🤖 AI

Inducing Reward-Free Judging Rubrics that Reduce Over-Crediting in Agent Evaluation

本文介绍了 RubricForge，这是一种通过从地面真值轨迹中演化出人类可读的评分量表，从而显著减少无奖励评估中对失败智能体行为的过度授分，并优先考虑忠实度和降低误判率而非单纯追求与通用基准的一致性的方法。

原作者： Darragh Quinn, David Dylan, Roisin Healy, Fionn Carroll, Maeve Donnelly, Cormac Sheehan

发布于 2026-08-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Darragh Quinn, David Dylan, Roisin Healy, Fionn Carroll, Maeve Donnelly, Cormac Sheehan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个我们正在构建数字助手——智能代理的世界，它们可以通过与计算机和网站对话来预订航班、购买衣服或编写代码。这些代理正变得极其擅长表现得自信且礼貌。但棘手的部分在于：我们如何知道它们是真的完成了工作，还是仅仅讲了一个听起来非常顺滑、有说服力的故事？在过去，我们必须手动检查每一项工作，就像老师亲手批改每一篇作文一样。但现在，代理的数量太多了，无法逐一检查。于是，科学家们开始使用第二个 AI 来充当“法官”，为第一个 AI 打分。这就像是雇佣一个机器人老师来给另一个机器人的作业评分。问题在于，这些机器人老师很容易被愚弄。它们喜欢动听的故事。如果一个代理写了一份冗长、流畅、听起来充满信心的报告，但实际上并没有成功预订到航班，法官可能仍会因为它文笔优美而给它一个“A”。这是危险的，因为这意味着我们可能会发布看起来完美无瑕、但在现实中会崩溃的破损软件。

本文介绍了一种巧妙的新方法，用于训练这些机器人法官，让它们不再掉入“圆滑说客”的陷阱。作者并没有只是用一套通用的规则手册告诉法官要寻找什么，也没有去微调法官的大脑（这既昂贵又难以理解），而是创造了一种名为 RUBRICFORGE 的方法。你可以把它想象成一名侦探在训练他的新搭档。侦探不仅仅是给搭档一份规则清单，而是向他展示一小堆真实的案例，在这些案例中，我们确切知道谁脱罪了，谁没有。然后，侦探要求搭档基于这些特定的案例编写一套新的规则，并不断精炼这些规则，直到搭档能够完美地识别出那些伪装者。其结果是一套用纯英文编写的指令，法官遵循这些指令进行操作。令人惊喜的是，这种新方法并不一定会让法官在简单的“是/否”问题上更频繁地与“真相”达成一致。相反，它让法官在捕捉最重要的那类错误方面变得出色得多：即给一个虽然听起来很好听但实际上失败的任务打出及格分。

“圆滑说客型”机器人的故事

在人工智能的世界里，我们拥有这些像数字员工一样的“代理”。它们尝试完成诸如买一件衬衫或修复一个漏洞之类的任务。为了查看它们是否做得好，我们通常有一个“地面真值”（ground truth）——一个完美的、不可更改的标准答案。例如，如果代理的任务是买一件红衬衫，那么地面真值就是数据库检查：“购物车里是否添加了一件红衬衫？”

但检查那个数据库既慢又贵，或者如果任务涉及真实金钱或危险行为，有时甚至是不可能的。因此，我们使用第二个 AI，即“法官”，通过观察代理的对话来推测它是否成功。问题在于，这些法官是有偏见的。它们就像是一个看到学生写了一篇优美的文章却算错了数学题，就依然给出一个 A 的老师。它们偏好流畅、自信且冗长的回答，即使实际任务失败了也是如此。这被称为“过度授信”（over-crediting）。这是一个无声的杀手，因为如果你认为你的代理正在工作（仅仅是因为法官说了“通过”），但它实际上已经损坏了，你可能会将其发布给公众并引发灾难。

解决方案：RUBRICFORGE

作者 Darragh Quinn 及其团队想要解决这个问题。他们不想仅仅通过手工编写一本更好的规则手册（这很慢，且可能遗漏某些内容），也不想重新训练法官的大脑（这很昂贵，且会产生一个我们无法理解的“黑盒”）。相反，他们发明了 RUBRICFORGE。

以下是它的工作步骤：

训练场： 他们选取了一组已知的、真实代理尝试的样本，其中我们已经知道真实的执行结果（即“地面真值”）。有些成功了，有些失败了。
进化： 他们使用了一个“反思进化”的过程。想象一下一个机器人试图编写一本规则手册。它写了一个草案，在已知案例上进行测试，并观察自己在哪里犯了错。然后，它审视这些错误并问道：“为什么我会出错？我错过了什么真实的线索？”接着它重写规则手册以修复该特定错误。它如此循环往复，随着每一次尝试变得越来越聪明。
冻结： 一旦规则手册对于训练案例而言趋于完美，他们就会将其“冻结”。他们完全不改变法官的大脑；他们只是将这套全新的、极具针对性的指令交给它。
测试： 他们将这个“冻结”后的法官用于新的、未见过的代理尝试。因为法官是遵循基于文本的规则手册进行工作的，所以每当它给出评分时，它都能准确指出它使用了哪条规则。它是透明的。

他们的发现：“更难被愚弄”的发现

研究结果非常有趣，甚至有些违反直觉。作者非常诚实地说明了他们发现了什么，以及没有发现什么。

首先，他们检查了新法官是否比标准的、通用的法官更频繁地与“真相”达成一致。答案是：并不完全是。 在一个简单的通过/失败测试中，新方法和旧方法基本上是不相上下的。论文明确指出，两者在整体一致性上的差异在统计学上并不显著。换句话说，如果你仅仅询问“它们是否与标准答案一致？”，新方法并没有取得明显的胜利。

然而，真正的胜利在于安全性。 论文关注一种特定的错误类型：误判通过（False Pass）。这是指法官对一个实际上失败了的代理判定为“成功”的情况。这种错误是危险的，因为它会导致发布损坏的软件。

标准的通用法官在失败的尝试中大约有 17.3% 的概率给出“通过”判定（在 $\tau$ -bench 数据集上）。
新的 RUBRICFORGE 法官在失败的尝试中仅有约 11.5% 的概率给出“通过”判定。

这是一个巨大的降幅。新方法捕捉到了三个特定的案例，在这些案例中，旧法官被一个动听的故事所蒙蔽，而新法官正确地判定为“失败”。至关重要的是，新法官从未犯下旧法官没犯过的错误；它只是捕捉到了更多的错误。它“更难被愚弄”。

“流畅失败”陷阱

论文强调，这种优势在代理表现得“流畅”时最为明显——即当它们滔滔不绝且听起来非常有信心的时候。

在**航空公司（Airline）**领域（一个困难任务），旧法官在失败尝试中的被骗率高达 43.8%。
新法官被骗的概率仅为 25.0%。
这在代理使用“自我进化”策略（即编写长篇、详细报告）时尤为明显。旧法官热爱长篇报告；而新法官则审视证据并看到了失败。

论文还研究了“等级化”评分（例如 0 到 100 分）。在这里，新方法在排序（了解哪个代理比另一个更好）方面表现更好，但旧方法在给出精确数值方面略胜一筹。作者谨慎地指出：如果你需要比较不同的代理以确定谁最优秀，请使用新方法；如果你需要为一个报告提供精确的分数，旧方法可能略微更准确。

为什么这很重要

最重要的启示是，我们衡量成功的方式应该发生转变。论文认为，对于 AI 代理而言，一致性不是目标，忠实性（faithfulness）才是。 一个能与真相达成 90% 一致但却漏掉了那 10% 看起来完美的损坏代理的法官是毫无用处的。一个能捕捉到这些损坏代理（即便它在其他方面可能稍逊一筹）的法官，才是可以安全使用的。

通过将法官的规则建立在真实的、带有标签的失败案例之上，作者创造了一个能够抵御“古德哈特定律”（Goodhart's Law，即优化某个指标会导致该指标失效）陷阱的系统。他们不仅让法官变得更聪明，还让它变得更诚实。最终结论是：新方法比追求一致性更难被愚弄，而这正是我们在现实世界中信任 AI 代理所需要的。

技术摘要：诱导无奖励评分准则以减少智能体评估中的过度授信问题

1. 问题陈述

随着大规模语言模型智能体（Agent）评估对“LLM-as-a-judge”（大模型作为评判者）系统的依赖日益增加，因为在部署期间，获取地面真值信号（即可执行环境的奖励）通常成本高昂、速度缓慢或具有破坏性。目前的自动评判系统通常依赖于人工编写的评分准则（例如 G-EVAL）或微调后的模型权重。

本文识别了这些现有评判系统的一个关键且不对称的失效模式：过度授信（Over-crediting）。评判者倾向于奖励那些流畅、冗长且自信的叙述，即使底层的智能体轨迹并未实现真实目标（例如，一个预订确认流程虽然在叙述中声称成功，但从未真正提交交易）。

误判为成功（False Pass / 过度授信）： 将失败的轨迹判定为成功。这非常危险，因为它会默默地认证损坏的智能体，虚增成功率，并掩盖性能退化。
误判为失败（False Fail）： 将成功的轨迹判定为失败。这仅仅是效率问题，只会导致一次重试或丢弃样本。

作者认为，对于一个用于部署的安全无奖励评估器（Reward-free evaluator），其核心成功指标不应是与地面真值的总体一致性，而应该是最小化误判为成功率（False-pass rate）。

2. 方法论：RUBRICFORGE

本文提出了 RUBRICFORGE，一种诱导智能体评判准则文本的方法，而非通过手动编写或微调模型权重。其核心创新在于优化准则字符串本身，同时保持评判模型处于冻结状态。

核心组件

冻结骨干网络（Frozen Backbone）： 使用单一语言模型（Qwen2.5-7B）同时担任智能体和评判者。模型权重永不更新，仅优化准则文本。
反思性进化（Reflective Evolution）： 使用 GEPA（一种反思性提示词进化算法）来进化准则。
- 输入： 一组带有地面真值标签的轨迹样本（训练池）。
- 过程： 当前的准则对训练轨迹进行评分。收集评分错误的情况（即评判者的判定与地面真值标签不一致的情况）。
- 反思： 一个元提示词（Meta-prompt）会将当前准则、误判案例及其真实标签呈现给模型。模型被指示提出一个修订后的准则，该准则应能够正确识别失败的可观测证据（例如“工具错误”、“缺失确认”），而非仅仅是记住标签。
- 选择： 进化的准则在留出的验证集上进行评估。选择表现最好的准则。
冻结与应用： 选定的准则被逐字冻结。在测试阶段，它应用于留出的轨迹，并在单次模型调用中完成，无需访问环境。

关键设计选择

落地性（Grounding）： 归纳过程基于外部的程序化结果标签，防止准则向评判者的内部偏差（如流畅度）漂移。
可解释性： 由于优化的产物是人类可读的文本，每一个判定都可以归因于具体的、命名的标准（例如“成功身份验证”、“订单核实”）。
安全性： 输出契约采用严格的 JSON 格式；任何解析失败都会默认判定为“失败”，从而确保系统是保守的（向安全方向靠拢），而不是错误地通过损坏的智能体。

3. 核心贡献

RUBRICFORGE： 一种自动指标归纳方法，利用冻结的骨干网络针对地面真值标签进化出智能体评判准则，生成具体的、以轨迹为基础且人类可读的标准。
忠实度高于一致性（Faithfulness over Agreement）： 本文证明了归纳法显著提高了忠实度（减少了误判为成功的情况），即使它并没有显著提高原始的二元一致性。
改进排序： 在分级任务中，诱导出的准则比通用评判者能更忠实地对结果进行排序（具有更高的 Spearman 相关性），尽管在绝对得分校准方面略逊一筹。
评估协议： 作者提出了一个全面的无奖励评估协议，包括：
- Oracle 奖励上限。
- 特定的**误判为成功率（False-pass rate）**探测。
- 区分排序忠实度与绝对校准度。
- 基于准则的留一法归因分析。
- 按难度和流畅度进行分层分析。

4. 实验结果

实验在 $\tau$ -Bench（零售/航空客服，二元奖励）和 WEBSHOP（购物，分级奖励）上进行。

$\tau$ -Bench（二元成功）

一致性： RUBRICFORGE 实现了 0.774 的准确率，而 G-EVAL 为 0.726。然而，这一差异并不具有统计学显著性（McNemar $p = 0.248$ ）。作者明确指出，在困难的二元标签任务上，冻结的 7B 评判者已接近其一致性上限。
过度授信（误判为成功率）： 这是该方法的优势所在。
- G-EVAL 误判为成功率：0.173（52 个失败案例中的 9 个）。
- RUBRICFORG E 误判为成功率：0.115（52 个失败案例中的 6 个）。
- 结果： RUBRICFORGE 的过度授信频率大约只有另一者的一半。两个评判者之间的整个差距仅由 三个轨迹 组成，在这三个案例中 G-EVAL 误判为成功，而 RUBRICFORGE 正确判定为失败。此外，不存在反转情况（RUBRICFORGE 从未将 G-EVAL 判定为失败的轨迹判定为成功）。
案例研究： 这三个被捕捉到的轨迹虽然叙述流畅，但由于特定的可观测错误（如“找不到订单”、“支付不匹配”）而失败。RUBRICFORGE 通过其诱导的标准（如“订单核实”、“请求履行”）正确识别了这些错误，而 G-EVAL 则被自信的最终叙述所误导。

WEBSHOP（分级奖励）

排序： RUBRICFORGE 实现了 0.410 的 Spearman 相关性，而 G-EVAL 为 0.370，表明其在结果排序方面更具忠实度。
校准度： G-EVAL 在绝对得分校准方面略好（平均绝对误差差异为 -0.048， $p = 2 \times 10^{-4}$ ）。作者指出，RUBRICFORGE 的得分往往更具决定性（0.2 或 1.0），这虽然强化了排序能力，但也增加了相对于平滑分级奖励的绝对误差。

分层分析

RUBRICFORGE 的优势并非在所有领域都一致。其优势集中在较难的领域（航空 vs. 零售）和高流畅度的策略（RSEA vs. ReAct）。该方法在捕捉“看似流畅实则错误”的轨迹方面最为有效，而这正是通用评判者的主要失效模式。

5. 重要性与主张

本文的核心主张是适度且精准的：归纳使无奖励评估器变得“比达成一致更难被愚弄”。

部署相关性： 对于无奖励评估器而言，误判为成功率是关键的部署指标。误判为成功意味着发布了一个损坏的智能体；而误判为失败仅仅意味着需要一次重试。RUBRICFORGE 在不降低其他指标性能的前提下，显著降低了这种危险的错误类型。
落地性与古德哈特定律（Goodhart's Law）： 作者将其方法与古德哈特定律联系起来。一个缺乏落地性的评判者会优化“看起来很成功”（即流畅度），从而导致指标漂移。通过将准则归纳过程锚定在可检查的外部标签上，RUBRICFORGE 抵抗了这种漂移，赋予了系统忠实度。
可解释性： 与黑盒微调不同，诱导出的准则是一段文本。从业者可以检查、编辑和审计驱动判定的具体标准（例如“成功身份验证”），使评估过程透明化。

作者总结道，虽然总体一致性通常是头条指标，但对于无奖励评估而言，它并不是正确的衡量标准。RUBRICFORGE 的真正价值在于，通过将评估目标锚定在真实的执行结果而非评判者不受约束的直觉上，它降低了发布损坏智能体的非对称风险。