💻 computer science

Selective-Advantage Entropy-Adaptive Horizon GRPO: Asymmetric Token-Level Discounting for Efficient Reinforcement Learning of Language Models

本文引入了选择性优势熵自适应时界 GRPO（SA-AH-GRPO），这是一种强化学习算法，它通过对负优势展开进行基于熵的折扣处理，同时为成功的轨迹保留完整的梯度信号，从而在数学推理基准测试中，与标准 GRPO 相比显著稳定了训练并提升了性能。

原作者： Chirag Chawla, Rohan Charudatt Salvi, Madhav S. Baidya

发布于 2026-06-05

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Chirag Chawla, Rohan Charudatt Salvi, Madhav S. Baidya

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在教一名学生（一个人工智能语言模型）如何解决数学问题。这个学生试图通过练习、获取反馈并调整学习习惯来进行学习。这篇论文介绍了一种更聪明的提供反馈的方式，使学习过程更快、更稳定且更不容易产生困惑。

以下是使用简单类比对该论文思想进行的拆解：

问题所在：“一刀切”的导师

目前训练这些 AI 模型的主流方法被称为 GRPO。你可以把 GRPO 想象成一个严厉的导师，他对待学生写的每一个字都一视同仁。

问题在于： 如果学生很自信并写出了一个清晰、正确的句子，导师会给他一个击掌鼓励。但如果学生感到困惑、结结巴巴或胡乱猜测（即具有高“熵”或不确定性），导师给予的关注度也是完全一样的——有时甚至会像惩罚那些自信犯错的行为一样，同样严厉地惩罚那些由于困惑而产生的行为。
结果： 这会让学生感到困惑。当学生已经在瞎猜时，受到严厉的惩罚可能会让他们陷入恐慌，并导致学到错误的东西。反之，如果学生做对了题目，但在过程中有过几次犹豫不定的猜测，导师可能会在无意中惩罚了这些犹豫，从而削弱了“这条路径能导向正确答案”这一教训。

解决方案：两种新的教学策略

作者提出了对这种教学系统的两种升级方案，他们称之为 AH-GRPO 和 SA-AH-GRPO。

1. “不确定性折扣”（AH-GRPO）

想象一下，导师有一条特殊的规则：“如果学生明显处于困惑状态，我们就调低反馈的音量。”

运作方式： 导师会在每一个词处检查学生的不确定程度。如果学生的猜测非常随机（高熵），导师会说：“好吧，这部分很混乱，所以我不把它作为主要的惩罚依据。”
益处： 这可以防止学生在挣扎时被噪声淹没。它缩短了“学习视野”，只关注答案中清晰的部分。

2. “选择性优势”规则（SA-AH-GRPO）—— 全场焦点

这是该论文的核心创新。它为上述规则增加了一个至关重要的转折：“只有当学生把整个答案都做错时，才调低音量。”

场景 A：学生做对了（正向优势）
即使学生在过程中磕磕绊绊或猜错了几个词，但只要他们最终正确解决了问题，导师就会说：“做得好！你写的每一个字，即使是那些犹豫不定的部分，都帮助你达到了目标。我们将所有的内容都计入奖励！”
- 为什么？ 因为最终结果是成功的。我们要强化通往胜利的整条路径。
场景 B：学生做错了（负向优势）
如果学生未能解决问题，导师会说：“你做错了。现在，让我们看看你在哪里感到困惑。我们会忽略那些你只是在胡乱猜测的部分，这样我们就不会因为那些猜测而误导你学到错误的教训。我们只关注那些清晰的错误。”
- 为什么？ 当你做错且同时感到困惑时，你的猜测只是噪声。过度惩罚这些噪声会产生混乱的学习信号。

结果：更平稳的体验

作者在数学问题上测试了这种新方法，使用了两种不同规模的 AI 模型（较小的 1.5B 模型和较大的 3B 模型）。

对于较大的模型 (3B)： 新方法并没有让模型变得比以前更聪明（因为它本身已经相当聪明了），但它让训练变得更加稳定。想象一下在开车：旧方法就像是在颠簸的路上行驶，车子会左右摇晃；新方法则平滑了道路。这种“摇晃”（方差）减少了 3.6 倍。车子到达了相同的目的地，但行驶过程要平稳得多。
对于较小的模型 (1.5B)： 新方法实际上帮助模型学得更好。与从零开始相比，它将最终得分提高了近 5 个百分点。看来较小的模型确实需要这种额外的稳定性来有效地学习。

“秘诀”所在：为什么有效

论文认为，这种方法尊重了**探索（Exploration）与利用（Exploitation）**之间的区别：

当模型在进行探索（猜测）时，存在不确定性是可以接受的。
当模型成功时，我们应该奖励整个过程，包括那些不确定的部分。
当模型失败时，我们应该小心，不要过度惩罚“不确定性”带来的噪声，否则会干扰学习信号。

总结

把 SA-AH-GRPO 想象成一位明智的教练，他知道什么时候该严格，什么时候该宽容。

如果你赢了比赛，教练会为你做的每一个动作喝彩，哪怕是那些冒险的动作。
如果你输了比赛，教练会忽略那些你只是在瞎猜的时刻，而只专注于那些清晰的错误，这样你就不会感到沮丧或困惑。

这种改变反馈权重的方式，使得 AI 训练过程变得更快、更稳定且更有效，尤其是对于那些需要额外帮助来站稳脚跟的小型模型。

技术摘要：选择性优势熵自适应时界 GRPO (Selective-Advantage Entropy-Adaptive Horizon GRPO)

问题陈述

组相对策略优化 (Group Relative Policy Optimisation, GRPO) 已成为语言模型中可验证奖励强化学习 (RLVR) 的主流算法，尤其是在推理任务中。然而，标准的 GRPO 在梯度加权方面存在两个主要局限性：

对称 Token 加权： 它对每个 token 位置进行同等对待，而不考虑模型的局部不确定性（熵）。在高熵位置，即模型正在探索多种可能的后续路径时，梯度信号本质上是充满噪声的。对这些位置应用统一权重会通过将噪声更新与置信度高的低熵更新视为同等量级，从而导致训练不稳定。
对称 Rollout 处理： 它对成功（正优势）和失败（负优势）的轨迹应用完全相同的梯度加权。在成功的轨迹中惩罚不确定的 token 位置是适得其反的，因为这些 token 贡献了正确的解，应该获得全部信用。相反，在失败的轨迹中过度惩罚不确定的位置可能会引入冲突的梯度信号。

现有的 token 级加权方法通常依赖于辅助奖励模型或固定启发式方法。本文提出了一种直接从模型自身预测不确定性中推导权重的方法，无需额外的监督。

方法论

作者为 GRPO 引入了两个层次化的扩展：自适应时界 GRPO (AH-GRPO) 和 选择性优势 AH-GRPO (SA-AH-GRPO)。

1. 熵自适应时界 (Entropy-Adaptive Horizon)

核心机制是基于轨迹中累计归一化熵的逐 token 权重。

归一化熵： 对于展开序列 $i$ 中的 token $t$ ，归一化熵 $\tilde{H}^{(i)}_t$ 计算为策略分布的香农熵除以 $\log V$ （词表大小），为了效率使用前 $K$ 个 logits ( $K=500$ ) 进行估计。
折扣因子： 应用逐步折扣 $\gamma^{(i)}_t = \exp(-\alpha \tilde{H}^{(i)}_t)$ 。
累计权重： Token $t$ 的权重是所有先前折扣的乘积： $w^{(i)}_t = \prod_{s=1}^t \gamma^{(i)}_s = \exp(-\alpha \sum_{s=1}^t \tilde{H}^{(i)}_s)$ 。
效果： 当 $\alpha > 0$ 时，高熵前缀会导致更强的折扣，从而有效地缩短了梯度通过不确定序列传播的“有效时界”。

2. AH-GRPO (统一应用)

在 AH-GRPO 中，熵基权重 $w^{(i)}_t$ 被统一应用于所有展开序列中的所有 token，无论该轨迹是成功还是失败。这减少了不确定位置产生的噪声梯度影响，但也存在风险，即可能会削弱那些恰好包含不确定步骤的正确解的信号。

3. SA-AH-GRPO (选择性应用)

SA-AH-GRPO 根据组归一化优势 $\hat{A}_i$ 引入了不对称性：

正优势 ( $\hat{A}_i \geq 0$ )： 该轨迹被视为成功。所有 token，包括处于高熵位置的 token，权重均为 $1$（不进行折扣）。这保留了正确解的完整梯度信号。
负优势 ( $\hat{A}_i < 0$ )： 该轨迹被视为失败。此时应用熵自适应权重 $w^{(i)}_t$ 。这抑制了失败轨迹中结构性模糊（高熵）位置的梯度更新，防止模型基于噪声信号进行过度修正。

损失函数经过修改，通过有效（加权）token 计数而非原始 token 计数进行归一化。

实验设置

模型： Qwen 2.5-1.5B-Instruct 和 Qwen 2.5-3B-Instruct。
数据集： GSM8K（数学推理），使用 800 个训练样本和 500 个评估样本。
微调： 低秩自适应 (LoRA)，秩 $r=16$ 。
奖励函数： 一个复合奖励（ $r_{max}=7.5$ ），结合了正确性、格式遵循（特定的 XML 标签）、解决方案标签的存在以及推理步骤密度。
基线： 标准 GRPO ( $\alpha=0$ ) 和 AH-GRPO ( $\alpha=0.5$ )。
消融实验： 在 1.5B 模型上进行 $\alpha \in \{-0.25, 0.0, 0.10, 0.25, 0.50\}$ 的扫描。

关键结果

1. 准确率与稳定性 (3B 模型)

在 Qwen 2.5-3B-Instruct 模型上，零样本基线表现强劲 (Pass@1 $\approx$ 0.831)。

峰值准确率： SA-AH-GRPO 实现了 0.858 的峰值 Pass@1（第 30 步），与标准 GRPO (0.852) 和 AH-GRPO (0.862) 的峰值性能相当。
训练方差： SA-AH-GRPO 显著降低了训练方差至 0.0246，相比标准 GRPO (0.0885) 降低了 3.6 倍，相比 AH-GRPO (0.0630) 降低了 2.6 倍。
结论： 在 3B 规模下，主要优势是在不牺牲峰值准确率的情况下大幅提升了训练稳定性。

2. 准确率与稳定性 (1.5B 模型)

在 Qwen 2.5-1.5B-Instruct 模型上，零样本基线较低 (Pass@1 $\approx$ 0.637)。

峰值准确率： SA-AH-GRPO 实现了 0.686 的峰值及最终 Pass@1，比零样本基线提升了 4.9 个百分点。其表现优于标准 GRPO（峰值 0.668）和 AH-GRPO（峰值 0.676）。
方差： 有趣的是，1.5B 模型在使用 SA-AH-GRPO 时显示出较高的训练方差 (0.1718)，作者将其归因于该模型有更多的“提升空间”，导致学习过程中的奖励变化较大，同时仍受益于对正向展开序列的无限制梯度信号。

3. 消融研究 ( $\alpha$ )

在 1.5B 模型上的扫描证实，正 $\alpha$ 值（熵折扣）的表现始终优于负 $\alpha$ 值（熵放大）。

$\alpha = -0.25$ 使性能低于基线。
在正值中， $\alpha=0.10$ 产生了最高的峰值但最终稳定性较低，而 $\alpha=0.50$ 提供了更好的平衡。
至关重要的是，在 $\alpha=0.50$ 时，SA-AH-GRPO (0.686) 显著优于对称的 AH-GRPO (0.676)，验证了选择性应用策略的有效性。

4. 训练动态

隐式课程学习： 随着训练的进行，平均归一化熵逐渐降低（在 3B 模型上从 ~0.029 降至 ~0.009）。因此，折扣因子自然趋近于 1，起到了一种隐式退火机制的作用，即随着模型变得更加自信，它对熵过滤器的依赖程度降低。
响应长度： 生成的平均长度随训练过程减少（例如 3B 模型从 243 减少到 171 个 token），这表明该方法鼓励更简洁的推理链。

重要性与主张

本文声称是第一项在 RLVR 环境中引入逐 token、逐展开序列熵自适应折扣的工作，也是第一个根据优势符号进行不对称应用的工作。

作者认为，SA-AH-GRPO 为结构化生成任务的 RLVR 提供了一种原则性的归纳偏置，通过以下方式实现：

保留梯度信号： 它确保了即使包含不确定步骤的正确解也能获得全部信用，防止了有效学习信号的抑制。
稳定训练： 通过仅在失败轨迹的不确定位置减弱梯度，它减少了冲突的梯度方向和训练方差。
消除辅助模型： 该加权机制仅依赖于策略自身的预测不确定性，不需要额外的奖励模型或固定启发式方法。

结果表明，不对称熵折扣是基于 GRPO 的微调的一种实用的改进方案，在较大规模的模型上提供了卓越的稳定性，并在较小规模的模型上提供了持续的准确率提升。作者提出了在更大规模（7B, 70B）和不同任务领域评估这些方法的未来工作。