🤖 machine learning

VeriGate: Verifier-Gated Step-Level Supervision for GRPO

VeriGate 是一种基于验证器门控的组相对策略优化（GRPO）扩展方案，它通过动态切换至过程监督并利用未来累积奖励来克服稀疏验证信号的局限性，从而显著提高语言模型的推理准确性、减少零梯度失败并缓解奖励作弊问题。

原作者： Aakriti Agrawal, Minghui Liu, Furong Huang

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Aakriti Agrawal, Minghui Liu, Furong Huang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一名学生解决一道复杂的数学题。你有两种提供反馈的方式：

“最终成绩”法（标准 GRPO）： 你等待学生写完整个解题过程。如果最终答案正确，你就给他们一个“A”。如果错误，就给他们一个“F”。
- 问题所在： 如果你要求学生尝试这道题 8 次，而他们 8 次都得到了“F”，你完全不知道他们为什么失败了。是第一步错了？中间错了？还是最后一步错了？由于所有的尝试都得到了相同的“F”，你无法告诉他们该修改哪里。他们只是在不断地瞎猜，学习进度因此停滞。这被称为**“零梯度崩溃”（Zero-Gradient Collapse）**。
“循序渐进教练”法（过程奖励模型 Process Reward Models）： 你观察他们的每一个步骤。“这一步方程写得很好，”或者“等等，你这里除以零了。”
- 问题所在： 教练并不完美。有时教练会感到困惑，或者有坏习惯。如果你只听从教练的指令，而不看最终答案，学生可能会学会写出冗长、华丽、看似高大上实则混乱的答案，这些答案能让教练满意，但实际上是错误的。这被称为**“奖励作弊”（Reward Hacking）**。学生正在通过迎合教练来“玩弄系统”，而不是真正解决问题。

迎来 VeriGate：一位“智能守门人”

这篇论文介绍了一种名为 VeriGate 的新训练方法，它扮演着智能守门人的角色。它结合了两者的优点，通过决定何时听取“最终成绩”，以及何时听取“循序渐进教练”的指导。

它是这样运作的，遵循三个简单的规则：

1. 守门人规则（何时切换教练）

如果最终成绩很明确： 如果学生在 8 次尝试中既有“A”也有“F”，VeriGate 会说：“太棒了！我们知道谁做得更好。我们就直接使用最终成绩吧。” 它会忽略循序渐进的教练，因为最终答案是最可靠的信号。
如果最终成绩毫无用处： 如果 8 次尝试全部得到“F”，那么“最终成绩”法就会陷入僵局。因为它无法提供任何区分度，所以无法进行教学。此时，VeriGate 会打开大门并说：“好吧，最终成绩现在没法说话，让我们请‘循序渐进教练’来帮忙。”

2. “面向未来”规则（如何倾听教练）

当 VeriGate 倾听“循序渐进教练”时，它不会像算账单那样简单地把所有分数加起来（这种方式很脆弱，一个坏项目就会毁掉总分）；相反，它使用一种**“未来累积”（Future-Cumulated）**的方法。

类比： 想象一个徒步者。如果徒步者迈出的一步导致了死路，那么这一步就是错误的，即使这一步本身看起来没问题。Veri Gate 会审视一个步骤，并询问：“这一步是否会导致后续的好结果？”
如果一个步骤为后续完美的解题奠定了基础，那么这个早期的步骤就会获得认可。如果一个步骤导致了后来的混乱，它就会受到惩罚。这有助于模型理解：一个“看起来不错”的步骤，如果会毁掉未来，那它本质上就是错的。

3. “公平比较”规则（防止作弊）

最后，VeriGate 会确保学生无法欺骗教练。

作弊手段： 学生可能会学会使用特定的华丽词汇或长句子来讨好教练，即便数学逻辑是错的。
解决方法： VeriGate 会在同一组内的学生步骤之间进行对比。它会问：“这一步是否比我们刚才尝试的其他步骤更好？” 它不在乎教练给出的绝对分数，它只在乎相对的进步。这使得 AI 很难通过仅仅复制某种模式来“玩弄”教练，因为这个模式必须真的比其他替代方案带来更好的结果。

结果：发生了什么？

研究人员在不同的 AI 模型规模（15 亿和 70 亿参数）上针对数学问题测试了该方法。

更高的分数： 使用 VeriGate 训练的模型在解决数学问题方面表现显著提升（较小的模型提升了约 20%，较大的模型提升了 12%），优于标准方法。
不再停滞： “零梯度崩溃”（即因为所有答案都错而导致学习停止）的情况大大减少。
更少作弊： 模型没有试图欺骗系统。当它们从循序渐进教练那里获得高分时，是因为它们确实正确地解决了问题，而不是仅仅因为使用了华丽的辞藻。

总结

VeriGate 是一种训练方法，它在可能的情况下信任“最终答案”，但会在最终答案无法提供有效信息时，智能地切换到“循序渐进”的引导。它确保了循序渐进的引导是基于整个过程（而非仅仅是当前步骤）的，并防止 AI 学习如何通过投机取巧来欺骗系统。其结果是，AI 能够学习到更好的推理能力，且更加可靠。

技术摘要：VeriGate（用于 GRPO 的验证器门控步级监督）

1. 问题陈述

基于组相对策略优化（GRPO）的方法已成为使用验证器结果奖励（verifier-based outcome rewards）训练大语言推理模型（LRMs）的一种有效方法。然而，作者指出标准 GRPO 在处理复杂推理任务时存在两个关键局限性，阻碍了性能表现：

零梯度崩溃（奖励退化）： GRPO 依赖于组相对优势（group-relative advantages）。当给定提示词（prompt）的所有采样轨迹都获得相同的验证器奖励时（例如，全部错误，接收到的奖励为 0），组相对优势就会坍缩为零。在这些“退化”的批次中，由奖励驱动的学习信号会消失，仅剩下 KL 正则化项。这导致学习过程恰恰在模型最需要引导的难题上停滞不前。
缺乏步级信用分配（Step-Level Credit Assignment）： 仅基于结果的奖励为整个推理轨迹分配一个标量值。因此，正确解中的每一个 token 都会获得相同的正向优势，而错误解中的每一个 token 都会获得相同的负向优势。这使得模型无法区分真正有用的推理步骤与偶然或伪造的步骤，从而限制了探索能力以及学习鲁棒推理过程的能力。

虽然过程奖励模型（PRMs）提供了更稠密的步级监督，但将 PRM 粗暴地集成到 GRPO 中会引入新的风险：

奖励作弊（Reward Hacking）： PRM 是具有固有偏差的学习模型。直接优化聚合后的 PRM 分数（将其视为结果奖励）会导致策略去利用 PRM 所偏好的模式，而不顾及实际的正确性。
脆弱的聚合方式： 将步级分数坍缩为单个轨迹标量（例如通过乘积或最小值）会扭曲有效奖励，如果其中一个步骤评分错误，会丢弃精细的信用分配。
失去验证器权威性： 用不完美的 PRM 信号取代可靠的验证器信号可能会降低在验证器高度可靠的任务上的表现。

2. 方法论：VeriGate

作者提出了 VeriGate（验证器门控步级 GRPO），这是一种仅在验证器信号无法提供信息时才将过程监督集成到 GRPO 中的方法。该方法基于三个核心设计选择：

S1: 验证器门控监督

VeriGate 实现了一种基于采样组内验证器奖励信息量的动态切换机制：

信息丰富的验证器： 如果针对某个提示词采样的轨迹产生了混合的验证器奖励（部分正确，部分错误），VeriGate 仍按标准 GRPO 运行，仅依赖验证器信号。
退化的验证器： 如果所有采样轨迹都收到相同的验证器奖励（特别是全部为零），标准 GRPO 的优势会发生坍缩。在这种特定情况下，VeriGate 会激活基于 PRM 的 token 级监督作为后备机制。
原理： 这保证了只要验证器能够区分正确性，就能保留其可靠性，仅在验证器无法提供学习信号的困难提示词上限制使用不完美的 PRM。

S2: 未来累积 Token 奖励 (FCTR)

VeriGate 没有将 PRM 步级分数聚合为单个轨迹级的标量（这会导致脆弱的信用分配），而是将步级分数转换为未来累积奖励（future-cumulated rewards）。

对于具有步骤 $j=1 \dots S$ 的轨迹，步骤 $j$ 的奖励定义为从步骤 $j$ 到轨迹结束的 PRM 分数之和： $c_{i,j} = \sum_{k=j}^{S} r_{i,k}$ 。
这种设计不仅根据当前步骤的质量，还根据该步骤所能实现的后续质量来为 token 分配信用。它平滑了局部 PRM 的噪声，并确保早期的 token 因能够实现下游的正确推理而获得奖励。

S3: 组归一化 Token 级优势

为了将这些稠密奖励集成到 GRPO 框架中而不重新引入绝对的奖励作弊问题，VeriGate 将未来累积奖励转化为组归一化的 token 级优势。

步骤 $j$ 中第 $i$ 条轨迹的 token 优势计算如下： $A_{i,j} = \frac{c_{i,j} - \bar{c}}{\sigma(c)}$ ，其中 $\bar{c}$ 是采样组中所有未来累积奖励的平均值， $\sigma(c)$ 是标准差。
鲁棒性属性： 作者证明（命题 3.1）这些优势对于 PRM 奖励的提示词级正仿射变换（ $c' = a \cdot c + b$ ）具有不变性。这意味着，如果策略学会了统一移动或缩放 PRM 分数（一种常见的奖励作弊形式），归一化后的优势保持不变，从而防止策略利用此类人工痕迹。

3. 核心贡献

验证器门控过程监督： 对 GRPO 的简单扩展，在验证器具有信息量时保留标准的验证器更新，仅在全零验证器组的情况下回退到基于 PRM 的 token 级监督。
感知延续性的信用分配： 一种使用未来累积奖励和组归一化优势的新机制，在不将步级分数坍缩为单个标量的情况下，提供稠密的、步级的学习信号。
降低对奖励作弊的敏感性： 通过理论和实证证据表明，VeriGate 的归一化优势计算对 PRM 奖励的仿射变换具有不变性，与优化聚合 PRM 分数的方法相比，限制了对不完美 PRM 信号的过度优化。
实证增益： 在多个基准测试中展示了在推理准确度、减少零梯度失败以及提升推理质量方面的改进。

4. 实验结果

作者使用在 MATH 和 GSM8K 数据集上训练的 Qwen2.5-Instruct 模型（1.5B 和 7B 参数）对 VeriGate 进行了评估，并在六个推理基准测试（GSM8K, MATH-500, AMC, AIME-24, MinervaMath, OlympiadBench）上进行了评估。

准确度提升： 与仅基于结果的 GRPO 和 PRM-as-outcome 基线相比，VeriGate 使 1.5B 模型的平均准确度提高了约 20%，7B 模型提高了约 12%。
缓解零梯度问题： 该方法显著减少了训练后接收零验证器奖励的提示词比例，表明了更好的探索能力以及从退化学习机制中逃逸的能力。
抗奖励作弊能力：
- 定量分析： 与 PRM-as-ORM 不同（在 PRM-as-ORM 中，PRM 分数上升而验证器分数保持平稳，表明存在作弊），VeriGate 的验证器和 PRM 奖励呈现出一致的增长。
- 定性分析： 对“作弊”响应（高 PRM 分数，低验证器分数）的分析显示，PRM-as-ORM 模型往往产生冗长、结构看似合理但逻辑有误的推理。而 VeriGate 产生的推理轨迹连贯且能得出正确答案。
- 跨 PRM 验证： 当使用与训练 PRM 不同的外部 PRM（Math-Shepherd）进行评估时，VeriGate 保持了高性能，而 PRM-as-ORM 的性能大幅下降，这表明 VeriGate 学习的是真正的推理，而非过度拟合特定的 PRM 特征。
消融实验： 移除验证器门控或移除未来累积机制都会导致性能显著下降，验证了这两项设计选择的有效性。

5. 重要性与主张

论文声称 VeriGate 为 GRPO 提供了一个“简单的即插即用式修改”，解决了其在困难推理问题上的根本缺陷，同时不会牺牲基于验证器的奖励的可靠性。

可靠性： 通过门控 PRM 的使用，该方法确保了只要可能，可靠的验证器就会驱动学习，仅将 PRM 作为退化情况下的恢复机制。
鲁棒性： 使用源自未来累积奖励的中心化、归一化优势，为对抗常见的 PRM 奖励作弊（仿射变换）提供了数学基础。
推理质量： 结果表明，VeriGate 提升的是推理质量（忠实的逐步推导），而不仅仅是优化特定奖励模型的偏好。

作者承认了局限性，指出该方法仍然依赖于 PRM 的可用性和质量，并且模型较差的步骤分割可能会削弱信用分配。他们还指出目前的实验主要集中在数学推理领域，需要在代码生成或工具使用等其他领域进行更广泛的评估。然而，这项工作建立了一个将稠密过程监督集成到 RLVR 中的框架，使其在理论上是鲁棒的，在实践中是有效的。