技术摘要：GrowLoop——由人类种子启发的自进化对话评估系统

1. 问题陈述

大语言模型（LLM）在开放域对话中的评估正从可验证的正确性（如数学、代码）转向拟人化（自然度、个性、共情）。然而，评估这些特质面临着三个根植于隐性知识（人类直觉拥有但难以表述的知识）的根本性挑战：

1. 标注者间一致性低：与可验证的任务不同，人类对拟人化的判断差异巨大。虽然某些案例能达成共识，但其他案例则基于不同的文化背景、沟通风格和个人偏好而产生合理的分歧。现有方法往往强制设定单一事实标准，或盲目匹配标注分布，无法区分评估错误与合理的观点分歧。
2. 无法形式化标准：隐性知识抗拒显式表述。专家编写的基准测试依赖于难以编码为稳定评分细则的直觉，而基于偏好训练的奖励模型往往充当黑箱，缺乏可解释性，且无法被调试或修复。
3. 静态基准与动态目标的冲突：随着 AI 能力的进步和人类期望的转变，静态基准变得过时。它们无法涵盖新的失败模式，也无法适应不断变化的文化和技术背景。当前的“自进化”方法通常仅扩展案例难度，而未进化评估标准（评分细则）本身。

2. 方法论：GrowLoop 框架

GrowLoop 是一个由最少的人类种子标注和模型进展驱动的自进化对话评估系统。它根据标注者的一致性在两个不同的模式下运行，并利用评分细则 - 案例双循环协同进化机制。

2.1 共识 - 分歧感知评估

系统将评估案例划分为两个区域：

• 共识区：人类标注者达成一致的案例。在此区域，系统评估的是人机一致性。
• 分歧区：标注者存在合理分歧的案例。在此区域，系统无需匹配特定的事实标准，但必须在合理人类意见的范围内产生可信的判断。这承认了多个有效判断可以同时存在。

2.2 评分细则生成（隐性知识显性化）

系统通过启发式学习将最少的人类种子标注（50 个案例）转化为可操作的评估工具，该过程将评分细则视为由 LLM 代理优化的自由文本变量。该过程包含三个阶段：

1. 冷启动初始化：代理自下而上地分析种子标注，受现有基准的结构先验（如安全 - 质量分离、分层维度）引导。它提取候选维度和“致命问题”（如安全违规），以启动两个互补的评分细则：Rubric_safety（二元致命问题检测）和 Rubric_quality（多维度评分）。
2. 启发式学习：迭代优化循环细化评分细则。
   • 区域感知比较：优化信号仅源自共识区，以避免追逐模糊案例中的噪声。
   • 自然语言梯度：系统执行元反思，将评分错误追溯至评分细则定义中的结构性原因（如模糊的锚点），作为防止过拟合的正则化手段。
   • 优先级排序更新：修订遵循严格的层级（定义 > 锚点 > 边缘案例补丁），并应用压缩规则以防止无限增长。
3. 级联集成：最终评估函数首先应用 Rubric_safety（将存在致命问题的响应归零），然后再应用 Rubric_quality。

2.3 案例生成

系统使用**对话情境包（CSP）**生成多样化、具有区分度且校准过的案例集。CSP 是一个包含 15 个字段的结构化模板，用于控制上下文、用户角色、歧义模式和认知陷阱等变量。

• 多代理生成：四个代理（参考分析器、多样性代理、案例生成器、批评家）将 CSP 转化为多轮对话，确保覆盖所有评分细则维度并呈现真实的互动节奏。
• 验证与针对性重生成：生成的案例集针对五个硬性门槛（多样性、排序一致性、区分度、相邻层级差距、难度校准）进行评估。如果门槛未通过，针对性重生成循环将调整案例难度或结构，直到满足所有标准。

2.4 评分细则 - 案例协同进化

GrowLoop 通过双循环机制弥合静态评分细则与进化模型之间的差距：

• 评分细则 $\to$ 案例：评分细则驱动案例生成。如果某些维度代表性不足或被顶级模型饱和，系统将生成针对性案例以探测这些差距。
• 案例 $\to$ 评分细则：评估结果暴露评分细则的缺陷。
  • 锚点级信号（低一致性）触发通过启发式学习对现有维度进行细化。
  • 结构性信号（未归因的失败模式）触发人工介入注入新种子，从而扩展评分细则的范围以涵盖新的失败模式。

3. 主要贡献

1. 统一评估范式：GrowLoop 是首个同时解决共识 - 分歧感知、隐性知识显性化以及持续自进化的系统。
2. 启发式学习：一种将隐性知识从人类种子显性化为可编辑的评分细则和案例的新方法，利用 LLM 代理迭代优化标准而无需完全重新训练。
3. 双循环协同进化：评分细则与案例相互驱动改进的机制，使基准测试能够自主检测盲点，并在评估目标转变时扩展其范围。
4. 活体基础设施：该系统将基准测试范式从手动更新或难度扩展转变为全面的、持续的自进化过程。

4. 实验结果

该框架在开放域对话的拟人化评估中进行了验证，使用了 500 个案例的基准测试和四层模型池。

• 评分细则质量：
  • 共识区：优化后的评分细则在共识区与人类判断的一致性达到 86.0%，显著优于基线。
  • 分歧区：系统展示了在缺乏人类共识的情况下产生合理判断的能力，并且关键的是，能够识别人类标注者忽略的角色边界违规（如医疗建议）。
  • 跨模型一致性：该评分细则在不同裁判 LLM（Gemini 和 Claude）之间可靠迁移，证实了其稳定性。
• 与基线的比较：
  • GrowLoop 在Tie-aware Accuracy (0.78)、Pair-Accuracy (0.87) 和 Spearman's $\rho$ (+0.78) 上优于九个基线（包括零样本裁判、手动提示、免训练方法和奖励模型）。
  • 与奖励模型不同，GrowLoop 提供了可解释且可编辑的标准。
  • 与静态基准不同，它成功识别了因隐性先验（如将冗长等同于质量）而导致基线失败的案例。
• 案例质量：
  • 生成的 500 个案例集通过了所有五个硬性门槛，表现出高多样性（熵 > 0.97）、稳定的排序一致性（Kendall $\bar{\tau} \ge 0.7$）以及模型层级间清晰的区分度（Cliff's $\delta \ge 0.32$）。
  • 这些案例在深度和陷阱设计上扩展了人类种子，覆盖了 100% 的陷阱分类法，而人类编写的集合覆盖范围有限。
• 可进化性：
  • 评分细则进化：系统在无需额外人工标注的情况下，分别在 10 次和 6 次迭代内收敛于评分细则质量（86.6%）和安全性（91.5%）。更新泛化到了具有相似结构模式的未见案例。
  • 案例进化：针对性重生成循环自主收敛，指标在五轮中单调提升。

5. 意义与主张

该论文将 GrowLoop 定位为不仅仅是基准测试，而是一个活体评估基础设施。其意义在于：

• 解决隐性知识差距：它提供了一种机制，将人类直觉显性化为可调试的明确标准，解决了主观评估中“我们知道得比能说出的多”的问题。
• 处理合理分歧：通过区分共识与分歧，它避免了在主观任务上强制设定单一事实标准的武断性，同时保持了严格的标准。
• 持续适应：它通过使评估标准和测试案例与模型能力及不断变化的期望协同进化，解决了静态基准的过时问题。
• 非可验证 RL 的基础：作者指出，GrowLoop 为将可验证奖励强化学习（RLVR）应用于对话等非可验证任务奠定了必要基础，在这些任务中，评估标准本身必须是可解释且稳定的。

作者总结道，虽然当前的实现是基于文本的，但该框架与模态无关，并随着多模态基础模型的成熟，为评估语音、视觉和具身交互提供了一条路径。他们还指出，将多代理评估器蒸馏为紧凑、可编辑的奖励模型是规模化部署的关键下一步。