💬 NLP

LLM-as-a-Verifier: A General-Purpose Verification Framework

本文引入了“LLM-as-a-Verifier”，这是一个通过利用基于标记对数概率期望（token logit expectations）的连续评分来将验证确立为一种新缩放维度的无需训练的框架，在多种智能体基准测试中实现了最先进的性能，同时提升了任务监控能力和强化学习的样本效率。

原作者： Jacky Kwok, Shulu Li, Pranav Atreya, Yuejiang Liu, Yixing Jiang, Chelsea Finn, Marco Pavone, Ion Stoica, Azalia Mirhoseini

发布于 2026-07-08

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jacky Kwok, Shulu Li, Pranav Atreya, Yuejiang Liu, Yixing Jiang, Chelsea Finn, Marco Pavone, Ion Stoica, Azalia Mirhoseini

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一支由才华横溢但有时过于自信的 AI 助手组成的团队，他们试图解决复杂的问题，比如编写代码、修理机器人或诊断病人。你知道，如果你让他们尝试同一个问题 100 次，其中至少有一个人很可能会做对。真正的挑战不在于得到答案，而在于如何知道哪个答案才是最好的，而不需要每次都雇佣人类专家来进行检查。

这篇论文介绍了一个名为 LLM-as-a-Verifier（LLM 作为验证器） 的新工具。把它想象成一个“超级裁判”，它不仅能选出胜者，还能理解为什么一个答案比另一个更好，即使两者之间的差异微乎其微。

以下是它的工作原理，通过简单的概念进行拆解：

1. 问题所在：“平局”陷阱

通常，当我们要求一个 AI 去评判另一个 AI 的工作时，我们会要求它给出一个简单的分数，比如“1 到 5 星”。

缺陷： 如果两个答案都“很好”，但其中一个稍微好一点，裁判往往会给它们都打“4 分”。这造成了平局。系统无法区分它们的差异，因此只能随机选择。
论文的解决方法： 该方法不再强迫 AI 选择一个单一的数字，而是要求 AI 查看每种可能得分的概率。这就像不是问裁判“这个好吗？”，而是问“它是 4 分、4.1 分、4.2 分还是 4.9 分的可能性有多大？”通过平均所有这些微小的概率，系统得到了一个连续的分数（例如 4.87），而不是一个粗略的整数（例如 5）。这消除了平局，并捕捉到了细微的差别。

2. 三个可以调优质量的“旋钮”

论文展示了你可以通过调高三个特定的“旋钮”（缩放轴）来让这个“超级裁判”变得更强大：

旋钮 1：粒度（刻度尺）： 不要使用只有英寸刻度的尺子，而是使用带有毫米刻度的尺子。评分量表越详细（最高可达 20 个等级），裁判区分“好”答案与“卓越”答案的能力就越强。
旋钮 2：重复（评审团）： 不要只让一个裁判来做决定，而是让同一个裁判查看该项工作 16 次，并平均他们的意见。这可以平滑掉裁判可能出现的随机性差表现或瞬间的困惑。
旋钮 3：分解（清单）： 不要问“这整个项目完美吗？”，而是将其拆解。问三个独立的问题：“它是否满足了要求？”、“格式是否正确？”以及“是否存在任何错误？”然后组合这些答案。这可以防止裁判因为一个大问题而分心，从而忽略了微小的细节。

3. 挑选胜者的“锦标赛”

如果你有 100 个不同的解决方案要处理，将每一个都与其它每一个进行对比会非常耗时（且成本高昂）。

论文的解决方案： 他们创建了一个名为**概率枢轴锦标赛（Probabilistic Pivot Tournament）**的智能锦标赛。
- 想象一群正在跑步的选手。首先，他们进行一圈快速赛跑，每个人都与自己的邻居进行一次比赛。这能快速识别出顶尖的几位选手。
- 然后，系统会将精力集中在这些顶尖选手身上，让他们进行相互竞争，以选出绝对的冠军。
- 这在保持高准确度的同时，节省了时间和成本。

4. 现实世界的结果

作者在三个完全不同的领域测试了这个“超级裁判”，并在所有领域都击败了现有的最佳方法：

编程： 它帮助为复杂的计算机任务挑选出最佳的代码方案（Terminal-Bench V2），实现了 86.5% 的成功率。
机器人： 它观察机器人的运动视频，并能正确识别出哪个机器人进展得更好（RoboReward-Bench），击败了那些专门针对机器人数据训练了多年的模型。
医学： 它帮助挑选出最佳的医疗建议方案（MedAgentBench），实现了 73.3% 的成功率。

5. 额外功能：“进度条”与“教练”

论文还强调了该系统的两个额外超能力：

进度条： 因为裁判给出的分数非常详细，它可以告诉你一个智能体（Agent）在任务中处于什么阶段。如果 AI 正在编写代码，分数会随着工作的进行稳步上升。如果它卡住了或犯了错，分数就会趋于平缓或下降。这为复杂的 AI 工作提供了一个实时的“进度条”，让人们在 AI 浪费数小时之前就能知道它是否陷入了僵局。
用于学习的教练： 该系统可以作为训练其他 AI 的“稠密奖励（dense reward）”。与其在任务结束时才说“你失败了”，它会在每一个微小的进步步骤中给出微小的、连续的分数。这有助于机器人和数学求解 AI 学得更快（对于机器人来说快了约 1.8 倍），因为它们能更频繁地获得反馈。

总结

LLM-as-a-Verifier 是一种利用 AI 来检查其他 AI 工作的新方法。通过观察 AI 思考的细节（概率）而非仅仅看其最终答案，并结合诸如任务拆解和锦标赛等聪明策略，它能比以往更快速、更准确地找到最佳解决方案。它无需针对特定工作进行重新训练，因此是一个通用的工具，适用于编程、机器人和医学领域。

技术摘要：LLM-as-a-Verifier（LLM 作为验证器）

1. 问题陈述

近期大语言模型（LLMs）的进展已将“扩展”（scaling）确立为提升能力的 primary 范式，这主要由预训练数据、后训练优化以及测试时计算（test-time compute）所驱动。然而，尽管生成能力已从这些扩展定律中显著受益，但验证（verification）——即判断解的正确性或质量的能力——仍然是一个尚未得到充分探索且受限的扩展维度。

目前的验证方法存在根本性的局限性：

标准 LM 评判器（Standard LM Judges）： 这些模型通常被提示输出离散分数（例如 1–5 或 1–10）。这种方法将评分 Token 的完整分布坍缩为一个单一数值，导致评估过于粗糙、平局率高，且难以区分复杂的解。
学习型奖励模型（Learned Reward Models）： 这些模型受限于其训练数据，且往往难以在不同领域（如编程、机器人、医学）进行泛化。
缺乏粒度（Lack of Granularity）： 现有的系统通常无法提供细粒度的反馈，从而无法在长程智能体任务中区分高质量和低质量的轨迹。

本文认为，验证构成了一个独特的扩展维度，如果能够解锁该维度，可以在不需要额外模型训练的情况下，显著提高从候选池中选择最优解的能力。

2. 方法论：LLM-as-a-Verifier

作者引入了 LLM-as-a-Verifier，这是一个通用的框架，能够在无需额外训练的情况下，为智能体任务提供细粒度的、稠密的反馈。其核心创新在于从离散评分转向一种利用评分 Token 完整分布的概率化表述。

2.1 概率奖励估计

该框架并非提示 LLM 生成单个离散 Token（例如“5”），而是提示模型在一个定义的范围内（例如 1–20）输出一个分数，并提取所有可能分数 Token 的 Logits。轨迹 $\tau$ 的奖励 $R(x, \tau)$ 计算为这些评分 Token 分布的期望值：

$R(x, \tau) = \frac{1}{CK} \sum_{c=1}^{C} \sum_{k=1}^{K} \sum_{g=1}^{G} p_\theta(v_g | x, c, \tau) \varphi(v_g)$

其中：

$p_\theta(v_g | x, c, \tau)$ 是分配给分数 Token $v_g$ 的概率。
$\varphi(v_g)$ 将 Token 映射为标量值。
$G$ 是评分粒度（分数 Token 的数量）。
$K$ 是重复评估的次数。
$C$ 是准则分解（criteria decompositions）的数量。

这些连续奖励随后通过 Bradley-Terry 模型转换为成对偏好概率，以从候选者中选出最佳轨迹。

2.2 验证扩展的三大维度

该框架识别并扩展了三个独立的维度来提高验证准确性：

评分粒度 ( $G$ )： 通过增加评分 Token 的数量（例如从 5 个增加到 20 个）并取分布的期望值，该框架降低了平局率，并提高了正确解与错误解之间的信噪比（SNR）。这使得模型能够表达细微的信念（例如“略好”），而不是被迫做出粗糙的整数选择。
重复评估 ( $K$ )： 对独立评估进行平均可以减少奖励估计的方差。通过平均掉单次评估可能存在的噪声和特定提示词偏差，这与粒度维度相辅相成。
准则分解 ( $C$ )： 该框架不再使用单一的整体准则，而是将评估分解为更简单的子准则（例如针对编程任务的规范性、输出和错误）。这减少了提示词偏差，并允许验证器捕捉轨迹质量的不同方面。

2.3 概率枢纽锦标赛 (Probabilistic Pivot Tournament, PPT)

为了在受限预算下高效地从 $N$ 个候选池中选择最佳解，作者提出了 Probabilistic Pivot Tournament 算法。该算法将验证成本从 $O(N^2)$ （全循环赛）降低到 $O(Nk) $，其中$ k \ll N$：

环形传递（Ring Pass）： 候选者在一个随机的哈密顿回路中进行评分，以抵消位置偏差（确保每个候选者都分别出现在“A”槽位和“B”槽位一次）。
枢纽选择（Pivot Selection）： 根据环形传递评分选出前 $k$ 个候选者作为“枢纽”（pivots）。
枢纽轮次（Pivot Rounds）： 所有非枢纽候选者与枢纽进行比较，同时枢纽之间也进行相互比较。
选择（Selection）： 选择具有最高归一化胜场质量（win mass）的候选者。

3. 核心贡献

框架引入： 提出了 LLM-as-a-Verifier，这是一个利用评分 Token Logits 来产生细粒度反馈的免训练框架。
扩展维度： 识别并经验性地验证了三个扩展维度（粒度、重复、分解），这些维度能系统性地提高验证准确性。
高效排序： 开发了成本高效的概率枢纽锦标赛，实现了在大规模候选池中进行高效选择。
双重效用： 证明了细粒度的验证器信号不仅可以作为选择器，还可以作为进度估计器（价值-顺序相关性）以及强化学习（RL）的稠密奖励信号。

4. 实验结果

该框架在涵盖编程、机器人和医学领域的四个基准测试中进行了评估，在无需领域特定微调的情况下，一致达到了 SOTA（最先进）性能。

Terminal-Bench V2 (编程)： 达到了 86.5% 的准确率，超过了最佳基线（84.7%），并恢复了显著部分的 Oracle 上限（92.1%）。
SWE-Bench Verified (编程)： 达到了 78.2% 的准确率，优于 Claude Opus 4.5 (76.8%) 和 Gemini 3 Flash (75.8%) 等基线。
RoboRewardBench (机器人)： 达到了 87.4% 的偏好准确率，尽管是零样本（zero-shot）表现，仍优于经过训练的奖励模型如 RoboReward-8B (81.4%) 和 Robometer-4B (78.8%)。
MedAgentBench (医学)： 达到了 73.3% 的准确率，优于包括 Claude Opus 4.8 (70.2%) 在内的领先模型。

扩展分析：

将粒度从 $G=1$ 增加到 $G=20$ ，使验证准确率从 73.1% 提升至 77.5%。
将重复评估从 $K=1$ 增加到 $K=16$ ，使准确率从 74.7% 提升至 77.5%。
将准则分解为三个因素后，准确率提升至 78.3%。

附加能力：

进度追踪： 验证器分数与任务进度表现出强相关性（在成功的编程轨迹上 Spearman VOC 为 0.848，在机器人轨迹上为 0.966），从而能够实时监控智能体的行为。
强化学习： 当作为稠密奖励信号时，LLM-as-a-Verifier 将机器人领域离策 SAC 的样本效率提升了 ~1.8 倍，并将数学推理领域在策 GRPO 的样本效率提升了 ~1.1 倍。

5. 意义与主张

本文主张，验证是 LLM 一个独特且未被充分利用的扩展维度。通过从离散、粗糙的判断转向连续、概率化的评分，LLM-as-a-Verifier 解锁了存在于强大模型生成的候选池中的“上限空间”（headroom）。

这项工作的意义在于其通用性和高效性：

它提供了一种免训练机制，仅通过改变验证器处理 Logit 的方式，即可提高不同领域（编程、机器人、医学）的智能体性能。
它将验证器从一个简单的二元选择器转变为一个稠密信号，能够监控进度并通过 RL 指导策略优化。
它证明了扩展验证维度（粒度、重复、分解）能带来持续的收益，为在不承担重新训练基础模型计算成本的情况下提高自主智能体性能提供了一条切实路径。

作者总结道，LLM-as-a-Verifier 为评估、监控以及训练现实环境中的自主智能体提供了一种可扩展的机制。