🤖 machine learning

EP-GRPO: Entropy-Progress Aligned Group Relative Policy Optimization with Implicit Process Guidance

本文介绍了 EP-GRPO，这是一种增强的组相对策略优化框架，它通过利用内在熵和策略发散性来提供稠密的自监督 token 级指导，从而解决 GRPO 在信用分配上的失败，进而在数学推理任务中实现更高的准确性和效率。

原作者： Song Yu, Li Li, Wenwen Zhao, Zhisheng Yang

发布于 2026-05-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Song Yu, Li Li, Wenwen Zhao, Zhisheng Yang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一名学生（一个 AI）如何解决复杂的数学问题。你给出一个题目，他们写出一长串逐步解答，然后你检查最终答案。

旧方法（GRPO）：“全有或全无”的成绩单
目前的标准方法（称为 GRPO）就像一位非常粗放的老师。

问题所在： 如果学生最终答案错误，老师会给整篇作文打不及格。学生写的每一个字都被标记为“差”，即使前三段逻辑完美无缺。
有利之处： 如果学生答案正确，老师会给整篇作文颁发金奖。每一个字都受到表扬，哪怕其中有些字是学生犯了愚蠢错误或猜对的。
“空白页”问题： 有时，老师让全班解题，结果所有人都做错了。在这种情况下，老师说：“好吧，既然大家都没及格，那就没人得分。”学生们学不到任何东西，因为彼此之间没有差异可供比较。

该论文认为，这种做法效率低下，因为它浪费了错误答案中的正确部分，同时也表扬了正确答案中的错误部分。

新方法（EP-GRPO）：“智能教练”
作者提出了一种名为 EP-GRPO 的新方法。你可以将其想象为一位智能教练，实时观察学生的思考过程，并对每一个字提供具体反馈，而不仅仅是最终分数。

以下是这位新教练三大“超能力”的运作方式，使用简单的类比来说明：

1. “聚光灯”（熵门控调制）

问题所在： 在长篇数学解答中，有些字只是枯燥的自动计算（例如"2 + 2 = 4"）。而另一些则是关键的决策点，学生必须在这两条不同路径之间做出选择（例如“我应该用代数还是几何？”）。旧方法对这两类字一视同仁。
解决方案： 新教练使用“聚光灯”。当学生处于枯燥的自动步骤时，教练会调暗灯光，说：“继续，但别太担心。”但当学生遇到关键决策点（他们不确定且正在深入思考）时，教练会投下明亮的聚光灯。
结果： AI 学习得更快，因为它将精力集中在困难且重要的选择上，而不是浪费时间在简单、重复的部分。

2. “指南针”（隐式过程信号）

问题所在： 旧方法只看最终目的地。如果学生走错了路，但靠运气最终到达了正确答案，旧方法就会表扬那条错误的路线。如果他们走了正确的路，但最后迷路了，旧方法就会惩罚那条正确的路径。
解决方案： 新教练拥有一把指南针。它将学生当前的思考与“参考模型”（AI 的基准版本）进行比较。
- 如果学生以看似正在解决问题的方式偏离参考模型，教练会说：“方向正确！”
- 如果他们的表现看起来像是困惑或错误，教练会说：“停下，那是死胡同。”
- 关键在于，即使最终答案错误，这把指南针依然有效。它会告诉学生：“前半段你走对了，但在这里你偏离了轨道。”这解决了“全有或全无”的问题。

3. “救生艇”（零方差崩溃）

问题所在： 还记得“空白页”问题吗？当所有人都失败时，旧老师就停止教学了。
解决方案： 新教练有一艘救生艇。即使最终答案全错（因此没有“赢家”可供比较），教练依然关注过程。
- “好吧，大家都没做对，但学生 A 的路径比学生 B 更聪明。”
- 教练利用“指南针”（来自第 2 步）继续教学。它会说：“虽然我们没有得出正确答案，但学生 A 的逻辑更好，所以我们从中学习。”这确保了 AI 即使在极其困难的情况下也永远不会停止学习。

结果

作者在数学问题上测试了这位“智能教练”。

更高的分数： 与旧方法相比，AI 在困难数学测试中获得了显著更高的分数。
更聪明的思考： AI 开始写出更长、更详细的推理链条，因为它不再害怕探索不同的路径（它知道教练会对过程提供反馈，而不仅仅是结果）。
无额外成本： 最棒的是，这种新方法不需要雇佣人类教师或超级计算机来批改每一步。它利用“聚光灯”和“指南针”技巧，学会了如何自我评分。

总结：
旧方法就像只盯着最终答题卡来评分。而新方法（EP-GRPO）则像一位陪伴在学生身边的导师，highlighting 艰难的选择，纠正沿途的错误转向，并在最终答案错误时依然让课程继续进行。

技术摘要：EP-GRPO

问题陈述

该论文指出了群相对策略优化（Group Relative Policy Optimization, GRPO）——一种在大语言模型（LLMs）中用于可验证奖励强化学习（RLVR）的领先算法——所固有的三个基本信用分配失败。这些局限性阻碍了推理任务的效率与有效性：

统一的 Token 级粒度：标准 GRPO 为生成序列中的所有 Token 分配统一的优势值。这种粗糙的粒度忽略了 Token 异质的信息价值。实证分析表明，高熵 Token（代表决策转折点）对推理至关重要，而低熵 Token 通常代表确定性的、冗余的推导。将它们同等对待会稀释关键决策点处的梯度信号。
统一极性：GRPO 仅基于最终结果，为序列中的每个 Token 分配相同符号的优势（正或负）。这导致了“极性错位”，即失败轨迹中的正确中间步骤受到惩罚，而成功轨迹中的错误步骤被意外奖励。现有的解决方案如过程奖励模型（Process Reward Models, PRMs）虽能解决此问题，但需要昂贵的外部标注且难以泛化。
零方差崩溃：当组内所有采样的响应获得相同的奖励时（在训练早期或困难任务中常见），所有 Token 的归一化优势变为零。这导致结果驱动的梯度信号完全消失，学习停滞。虽然增加组大小可以缓解这一问题，但计算成本高昂。现有的修复方法通常依赖额外的采样或启发式重塑，这与逻辑进展并不一致。

方法论：EP-GRPO

作者提出了熵 - 进展对齐 GRPO（Entropy-Progress Aligned GRPO, EP-GRPO），这是一个将稀疏的、仅基于结果的反馈转化为稠密的、自监督的 Token 级学习信号的框架，无需外部奖励模型。该方法包含三个核心组件：

1. 熵门控结果优势

为了解决粒度问题，EP-GRPO 利用源自预测熵（ $H_{i,t}$ ）的 Token 级权重，对原始序列级优势（ $\hat{A}_i$ ）进行调制。

机制：该方法计算每个 Token 的预测熵。一个 Sigmoid 门控将标准化的熵值映射为权重（ $W_{i,t}$ ）。
效果：高熵 Token（决策转折点）获得放大的权重，而低熵 Token（确定性推导）受到抑制。调制后的优势为 $\hat{A}^{outcome}_{i,t} = W_{i,t} \cdot \hat{A}_i$ 。这保留了原始方向，但根据信息内容调整了幅度。

2. 隐式进展优势

为了解决极性和零方差崩溃问题，EP-GRPO 引入了源自策略分歧的方向性信号。

信号生成：它计算当前策略（ $\pi_\theta$ ）与冻结参考策略（ $\pi_{ref}$ ）之间的对数概率分歧： $s_{i,t} = \lambda (\log \pi_\theta - \log \pi_{ref})$ 。这作为一个自监督的过程信号。
方向锚定：由于分歧缺乏内在的方向性（置信度可能错位），它被锚定到结果优势上。
- 如果组奖励方差非零，锚点为 $\text{sign}(\hat{A}_i)$ 。
- 如果方差为零（崩溃），锚点退化为原始奖励符号（ $\text{sign}(r_i - \theta_{reward})$ ）。
进展对齐：为了在异步推理轨迹之间归一化这些信号，Token 基于累积熵（ $\tau_{i,t}$ ）被映射到“逻辑进展桶”中。归一化（Z-score）在这些桶内执行，而非基于物理位置，确保处于相似推理阶段的 Token 被比较。
结果：这产生了一个方向性的、稠密的奖励（ $\hat{A}^{progress}_{i,t}$ ），即使在结果优势消失时仍保持活跃。

3. 最终 Token 级优势

最终优势结合了这两个信号：
$\hat{A}^{final}_{i,t} = \hat{A}^{outcome}_{i,t} + \hat{A}^{progress}_{i,t}$
理论分析证明，该梯度等价于带有熵加权平方对数比项的正则化 GRPO 目标，有效地充当了精度指导的正则化，稳定了关键决策点处的探索。

主要贡献

熵门控调制：一种将粗糙的序列级优势转化为 Token 级权重的机制，优先在高熵决策转折点处进行梯度更新。
锚定隐式过程信号：一种通过将策略分歧锚定到结果优势上，将其转化为方向性过程奖励的方法。这提供了无需外部 PRM 的细粒度反馈，并在零方差崩溃期间保持梯度流动。
逻辑进展对齐：一种累积熵映射策略，将异步轨迹投影到统一的坐标系中，实现进展对齐的归一化，并确保即使在基于结果的梯度消失时也能提供有意义的信号。

实验结果

作者在五个数学推理基准测试（MATH500, AMC23, Minerva, AIME24, 和 AIME25）上评估了 EP-GRPO 在 Qwen2.5-3B 和 Qwen2.5-7B 模型上的表现。

性能提升：EP-GRPO 始终优于标准 GRPO 及其变体（例如，更高的温度、更多的 rollout）。
- 在 Qwen2.5-3B 上，平均准确率从 18.14%（GRPO）提升至 22.93%（+26.4%）。
- 在 Qwen2.5-7B 上，平均准确率从 27.11%（GRPO）提升至 30.34%（+11.9%）。
- 值得注意的是，3B 参数的 EP-GRPO 模型在 AMC23 基准测试上超越了商业 DeepSeek-R1-671B。
Pass@k 性能：随着样本数量（ $k$ ）的增加，EP-GRPO 在高难度数据集（AIME24/25）上显示出显著优势，表明其在复杂场景中发现正确推理路径的能力更强。
消融研究：移除任何单一组件（熵门控、隐式进展信号或零方差退化）都会导致性能下降，证实了这三种机制是非冗余的且集体必要的。
效率：训练挂钟时间与标准 GRPO 相当，因为额外的计算（熵、分歧）是轻量级的。然而，EP-GRPO 生成的推理链长度增加了约 20%，表明在不增加时间成本的情况下实现了更深层的推理。

意义

该论文声称，EP-GRPO 通过引入一种自监督的、稠密的信用分配机制，解决了 GRPO 在 RLVR 中的基本局限性。通过利用模型的内在信息流（熵）和策略动态（分歧），它消除了对昂贵的外部过程奖励模型的需求，同时解决了困扰标准基于群优化的零方差崩溃问题。结果表明，改进信用分配，而不仅仅是增加模型规模或采样预算，是增强大语言模型推理能力的关键杠杆。