🤖 AI

GRPO is Secretly a Process Reward Model

本文从理论上证明了带有结果奖励模型的组相对策略优化（GRPO）等价于过程奖励模型，指出了其在处理不平衡步骤时存在的缺陷，并提出了一种简单的改进方法（ $\lambda$ -GRPO），该方法无需显式过程奖励模型即可显著提升推理性能和训练效率。

原作者： Michael Sullivan, Alexander Koller

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Michael Sullivan, Alexander Koller

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《GRPO 实为隐式过程奖励模型》的解读，通过简单概念和日常类比进行拆解。

核心理念：食谱中的“秘密配方”

想象一下，你正在教一个机器人解决复杂的数学问题。你给机器人一个提示，它尝试一步步写出解题过程。

通常，有两种给机器人打分的方式：

最终成绩（结果奖励）：你只看最后一步。它是否得出了正确答案？如果是，得 10 分；如果不是，得 0 分。这就像老师只看期末考试成绩，而忽略了学生是如何解题的。
步骤评分（过程奖励）：你对每一个步骤进行评分。“方程列得很好”，“哎呀，这里符号错了”。这更难实现，因为需要人类（或智能 AI）检查每一行。

论文的发现：
作者发现，一种流行的训练方法 GRPO（Group Relative Policy Optimization，组相对策略优化）实际上是在“意外”地做第二件事（步骤评分），尽管它本应只做第一件事（最终成绩）。

他们将其称为“过程奖励模型”（PRM），但称 GRPO 是“隐式”的过程奖励模型。这就像一位厨师以为自己在单纯地烤蛋糕，但实际上使用了一种秘密配料让蛋糕完美膨胀，而他甚至不知道这种配料的存在。

“秘密”如何运作：群聊类比

要理解 GRPO 如何隐式地对步骤进行评分，想象一个教室里的学生（一个“组”）都在尝试解决同一个谜题。

设置：老师提出一个问题。五名学生写下他们的答案。
重叠：
- 学生 A 写道：“首先，我加 2……"
- 学生 B 写道：“首先，我加 2……"
- 学生 C 写道：“首先，我加 2……"
- 学生 D 写道：“首先，我乘以 5……"
- 学生 E 写道：“首先，我乘以 5……"
注意，学生 A、B 和 C 共享相同的第一个步骤（“加 2"）。学生 D 和 E 共享另一个不同的第一个步骤。
隐式评分：
- 如果该组的最终答案很好，老师会给整个组打高分。
- 因为 A、B 和 C 共享了相同的第一个步骤，算法意识到：“嘿，这个特定步骤（‘加 2'）似乎为这三个人带来了好的结果。”
- 然后，它会给所有使用过该步骤的人在该特定步骤上给予“奖励”。
- 相反，如果该组失败了，且 D 和 E 都以“乘以 5"开始，算法就会意识到该步骤有风险，并对其进行惩罚。

结果：尽管老师只看最终答案，但算法通过观察哪些步骤在成功的组中共同出现，有效地推断出了哪些步骤是好的，哪些是坏的。

问题：“不公正的群体”

作者发现了这一隐式机制的一个缺陷。当群体平衡时，它运作良好，但当群体不平衡时，它就会失效。

类比：
想象一个投票系统，你统计有多少人支持某个特定想法。

场景：90% 的班级以“加 2"开始，只有 10% 以“乘以 5"开始。
缺陷：如果“加 2"组的成绩略低于平均水平，算法对“加 2"步骤的惩罚力度将是“乘以 5"步骤的90 倍，仅仅因为做这件事的人太多了。
后果：机器人可能会完全停止尝试“加 2"这条路径，即使它实际上是一条好路径，仅仅因为“人群”太大且得分略低。如果数字出现偏差，它就会害怕探索新路径或坚持好路径。

解决方案： $\lambda$ -GRPO（“公平过滤器”）

作者提出了一种简单的修复方案，称为 $\lambda$ -GRPO。

类比：
他们添加了一个“公平过滤器”，而不是同等地计算每一票。

如果一个步骤非常流行（许多学生都做了），过滤器会说：“好吧，让我们将分数除以人数。”
如果一个步骤很罕见，过滤器会说：“好吧，让我们给这个步骤赋予更多权重。”

这确保了每个步骤都根据其自身价值受到评判，而不是取决于在该特定组中恰好有多少人做了它。它防止算法被群体规模所“胁迫”。

结果：更快、更智能

作者在真实的数学问题上测试了这一修复方案：

性能提升：使用修复方案（ $\lambda$ -GRPO）的模型在数学推理任务上的得分高于标准模型。
学习加速：它们在一半的时间内（更少的训练步数）达到了峰值性能。
无额外成本：他们不需要雇佣昂贵的人类来对每个步骤进行评分。他们只是调整了现有算法的数学逻辑。

总结

该论文揭示，一种流行的 AI 训练方法（GRPO）一直以来都在隐式地充当步骤评分器。然而，它存在一个缺陷，即在面对不平衡的群体时会感到困惑。作者通过一个简单的数学调整（ $\lambda$ -GRPO）修复了这个缺陷，使 AI 能够更快、更好地学习推理任务，而无需任何额外的昂贵工具。

技术摘要：GRPO 实为隐式过程奖励模型

问题陈述

大语言模型（LLM）的强化学习（RL）通常依赖于结果奖励模型（ORM），即对整个轨迹分配单一标量奖励。虽然过程奖励模型（PRM）通过对中间步骤进行奖励来实现更细粒度的信用分配，但训练显式的神经 PRM 需要昂贵的步骤级人工标注，且易受奖励黑客攻击的影响。因此，许多成功的 RL 应用（特别是在数学推理领域）采用组相对策略优化（GRPO），该方法去除了传统 PPO 中使用的评论家模型和广义优势估计（GAE）。

然而，在理解 GRPO 如何处理步骤级信号方面存在关键缺口。尽管 GRPO 通常被视为结果级算法，但尚不清楚它是否隐式地执行了过程级信用分配。此外，如果存在此类隐式分配，尚不清楚标准 GRPO 目标函数是否包含固有缺陷，从而在过程步骤的频率或奖励不平衡时对探索和利用产生负面影响。

方法论

理论等价性

作者提供了理论证明：配备 ORM 的标准 GRPO 在数学上等价于配备非平凡、基于蒙特卡洛的 PRM 的 PRM 感知 RL 目标。

隐式过程步骤：作者将“过程集”（ $\lambda$ ）定义为训练组 $G$ 内共享相同前缀的轨迹子集。这些共享前缀自然地定义了过程步骤（子轨迹）。
隐式 PRM 构建：他们构建了一个函数 $f$ ，将每条轨迹映射为过程步骤序列。分配给特定过程步骤的奖励是该组中共享该特定前缀的所有轨迹的平均结果奖励（蒙特卡洛估计）。
等价性证明：在温和假设下（具体使用 token 级策略梯度目标和每个批次单次更新迭代），作者证明了标准 GRPO 损失函数（ $L_{GRPO}$ ）等同于 PRM 感知损失函数（ $L_{PRM}$ ），其中优势是相对于这些隐式步骤级奖励计算的。

缺陷识别

分析揭示了标准 GRPO 目标中存在与过程步骤频率不平衡相关的缺陷。

在标准公式中，过程步骤对总损失的贡献由共享该步骤的轨迹数量（ $|\lambda|$ ）进行缩放。
如果一个过程步骤具有负优势（即其平均奖励低于组平均值），但被许多轨迹共享，则惩罚会因 $|\lambda|$ 而复合。这会不成比例地抑制生成该步骤的概率，从而可能阻碍那些恰好与其他轨迹共享低奖励前缀的高奖励轨迹的探索。
反之，如果一个步骤具有正优势，奖励信号会被放大，从而可能阻碍对替代路径的探索。

proposed 解决方案： $\lambda$ -GRPO

为了缓解这一缺陷，作者提出了 $\lambda$ -GRPO，这是对 GRPO 损失函数的简单修改。

机制：token $y^{(i)}_t$ 的 token 级损失按其过程集大小的倒数 $|\lambda(i,t)|^{-1}$ 进行缩放。
效果：这种归一化抵消了标准目标中发现的频率缩放因子 $|\lambda|$ 。因此，无论有多少轨迹共享该前缀，每个过程集在给定索引处对损失的贡献都是相等的。这防止了算法仅因步骤在组内的频率而过度惩罚或过度奖励步骤。

主要结果

隐式 PRM 的经验验证

作者在现实世界设置中经验性地验证了“隐藏”的 PRM 结构是非平凡的。

使用 OpenRS 数学推理数据集，他们分析了训练期间由轨迹前缀形成的树结构（ $B(G)$ ）。
结果显示，对于大小为 6 和 36 的组，超过 99% 的生成组诱导了非平凡的过程奖励（即前缀显著重叠）。
随着训练的进行和模型的收敛，这些前缀结构的复杂性（路径深度）以及参与中间步骤的 token 比例急剧增加。

合成任务上的性能

在旨在测试“反探索”假设的合成二叉树环境中：

当目标路径与低奖励路径共享前缀时（由于复合负优势），标准 GRPO 难以收敛到最大奖励目标路径。
$\lambda$ -GRPO 在各种前缀长度和负奖励值配置下，更频繁地一致收敛到目标路径。

下游推理基准

作者在 OpenRS 数据集上微调了 DeepSeek-R1-Distill-Qwen-1.5B 和 Llama-3.2-1B-Instruct 模型，并在五个推理基准（AIME24、MATH-500、AMC23、Minerva、OlympiadBench）上进行了评估。

准确率：在 20 个特定任务/模型配置中， $\lambda$ -GRPO 模型在 15 个上优于标准 GRPO 模型。
效率： $\lambda$ -GRPO 模型达到峰值验证准确率所需的训练步数不到标准 GRPO 的一半。
加速：作者报告在达到峰值性能的步数方面实现了约 2 倍的训练加速，且归一化计算的计算开销可忽略不计。

意义与主张

该论文声称，标准 GRPO 算法已经拥有一个丰富的、内置的 PRM 结构，该结构源自结果级奖励和轨迹重叠。这项工作的意义主要体现在三个方面：

理论洞察：它揭示了 GRPO 的奥秘，证明它不仅仅是一个结果级算法，而是一个通过蒙特卡洛估计隐式优化结构化步骤级奖励的算法。
算法改进：它指出了标准目标中关于频率不平衡的具体数学缺陷，并提供了一种计算成本低廉的修复方案（ $\lambda$ -GRPO），显著提高了性能。
实际影响：它证明了无需训练显式神经 PRM 或收集步骤级人工标注的成本，即可实现高质量的步骤级信用分配。通过利用隐式结构，从业者可以以可忽略的额外成本提高推理能力和训练效率。

作者得出结论，未来的工作应利用这些隐式步骤级信号，而不是仅仅依赖昂贵且显式的 PRM。