🤖 AI

Momentum for Reasoning: Dense Intrinsic Signals in Policy Optimization

该论文介绍了 ISPO，这是一种新颖的策略优化方法，它通过利用源自策略自身概率的内在信号来使二元奖励稠密化，从而消除零优势崩溃（Zero-Advantage Collapse）和幻觉确定性（Hallucinated Certainty），进而显著提升大型语言模型在挑战性数学基准测试中的长链推理性能。

原作者： Hao Chen, Zhanming Shen, Liyao Li, Yanyu Chen, Xuhang Zhu, Xiaomeng Hu, Qi Zhang, Ru Peng, Xiaoyu Shen, Haobo Wang, Junbo Zhao

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Hao Chen, Zhanming Shen, Liyao Li, Yanyu Chen, Xuhang Zhu, Xiaomeng Hu, Qi Zhang, Ru Peng, Xiaoyu Shen, Haobo Wang, Junbo Zhao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一位才华横溢但固执的学生（即 AI）如何解决复杂的数学问题。这个学生在给出最终答案之前，会写出一段长长的、逐步进行的“思考过程”。

在目前的标准方法（称为 GRPO）中，老师只在最后给出反馈：“正确！”或“错误。”

这篇论文指出，这种“全有或全无”的反馈造成了两个主要问题：

“群体沉默”问题（零优势坍缩）：
假设你要求学生解决 8 个类似的题目。
- 如果 全部 8 个 都对了，老师会对所有人说：“做得好！”但因为每个人的得分都一样，老师无法分辨哪些具体的思考步骤更好。学生学不到任何新东西，因为没有差异可以进行比较。
- 如果 全部 8 个 都错了，老师会对所有人说：“再试一次。”同样，没有人知道自己为什么失败，或者哪一个具体的步骤出了问题。学生会陷入盲目猜测的循环。
- 论文的解决方法： 论文建议不要仅仅看最终的成绩，而是要观察思考过程本身，从而发现细微的差异，即使每个人的最终得分相同。
“自信地错误”问题（幻觉式确定性）：
随着练习的深入，学生可能会开始犯错，但却变得越来越笃定。他们可能会说：“我 100% 确定 2+2=5”，并且表现出完美的自信。
- 在旧系统中，老师只会在最后看到“错误”。老师看不到学生在整个过程中过早地变得“过于自信”。学生停止了探索其他可能性，只是重复着他们那些自信的错误。
- 论文的解决方法： 老师需要在特定的关键步骤上，对这种“自信地错误”进行惩罚，鼓励学生在遇到困难时保持开放的心态。

解决方案：ISPO（内在信号策略优化）

作者提出了一种名为 ISPO 的新方法。你可以把它想象成给学生的推理过程一个“动力加速”。老师不再等待最终的考试成绩，而是利用源自学生自身大脑（AI 自身的概率）的两种内部“信号”，提供持续且密集的反馈。

这里有两个用于监测的“仪器”：

1. “思考-答案链接”（序列级信号）

比喻： 想象学生写了一个故事（思考轨迹），然后得出了一个结论（答案）。
运作方式： 老师会检查：“如果我把故事删掉，结论还能成立吗？”
- 如果故事对答案有极大的影响（高链接），这意味着学生确实通过思考得出了答案。
- 如果故事对答案完全没有影响，这意味着学生只是先猜出了答案，然后再编造一个故事来匹配它。
益处： 即使整个小组得到了相同的“错误”评分，老师也能看出学生 A 的故事实际上对他的答案很有帮助，而学生 B 的故事则是胡言乱语。这打破了“群体沉默”，让每个人都有学习的动力。

2. “信心检查”（Token 级信号）

比喻： 想象学生正在走钢丝。在某些关键时刻（Token），他们必须做出艰难的选择。
运作方式：
- 如果答案是正确的： 老师会奖励学生在这些关键步骤上表现出的自信与清晰。
- 如果答案是错误的： 老师会观察学生的信心。如果学生在错误的情况下表现得非常自信，老师就会踩下刹车（一种“铰链惩罚”）。这迫使学生意识到：“等等，我不应该这么确定我是对的。”
益处： 这解决了“自信地错误”问题。它迫使学生在陷入困境时保持谦逊并探索其他选项，而不是在错误的道路上越走越远。

结果

论文在三个不同的 AI 模型和五个困难的数学基准测试（如 AIME 和奥林匹克竞赛）上测试了这种方法。

结果： 新方法（ISPO）始终优于旧方法。
表现最突出的地方： 它在最难的问题上帮助最大。这很好理解，因为在难题上，旧方法经常陷入“群体沉默”（大家都错了，所以没人能学到东西）。ISPO 通过寻找那些细微的“思考-答案链接”并纠正“自信的错误”，保持了学习的持续进行。

简而言之，这篇论文教 AI 模型去学习其“思考过程的质量”，而不仅仅是看最终的分数。它就像一位教练，不仅会说“你输掉了比赛”，还会说“你在第二节的表现很棒，但在第三节你变得太自信了——让我们改进这一点。”这使得即使在最终结果失败时，也能保持学习的动力。

技术摘要：推理的动量：策略优化中的稠密内在信号

问题陈述

基于可验证奖励（Verifiable Rewards, RLVR）的强化学习已成为激发大语言模型（LLM）长链推理的主导范式，主要采用群体相对策略优化（Group Relative Policy Optimization, GRPO）。然而，对二元结果奖励（正确/错误）的依赖引发了两种阻碍训练效率和推理质量的结构性失效模式：

零优势坍缩（Zero-Advantage Collapse）： 在一组采样轨迹中，如果所有轨迹具有相同的结果（例如，全部正确或全部错误），则群体相对优势变为零（ $\sigma_R = 0$ ）。这会导致梯度消失，从而浪费整个组的计算努力。随着训练的进行，当提示词趋于饱和（简单提示词）或仍无法解决（困难提示词）时，这种情形会变得日益频繁。
幻觉式确定性（Hallucinated Certainty）： 在训练后期，即使在错误的回合中，模型在关键决策 token 处的策略熵也会降低。模型变得“自信地错误”，使错误的推理模式固化。二元奖励无法区分自信的错误与犹豫的错误，因此无法针对这一特定病理进行惩罚。

这两种模式的根本原因在于，二元结果奖励仅指示了轨迹是否成功，但并未提供关于其如何得出答案的信息，导致策略缺乏过程层面的信号。

方法论：ISPO（内在信号策略优化）

作者提出了 ISPO，这是一种对 GRPO 的奖励级增强方案，通过完全利用策略自身条件概率计算出的两种内在信号，使稀疏的结果奖励变得稠密。该方法无需外部奖励模型或过程标注。

1. 序列级信号：条件式 IFD

为了解决零优势坍缩问题，ISPO 引入了一种衡量思维轨迹（ $T$ ）对最终答案（ $A$ ）信息贡献度的序列级信号。

定义： 条件指令遵循难度（Conditional Instruction Following Difficulty, IFD）定义为预测答案时，包含思维轨迹与不包含思维轨迹时的对数概率差值：
$\text{IFD}_{\text{cond}}(\tau) = \frac{1}{|A|} [\log p_\theta(A|Q, T) - \log p_\theta(A|Q)]$
理论保证： 作者证明该项的期望值等于条件 KL 散度 $D_{KL}(p_\theta(\cdot|Q, T) \parallel p_\theta(\cdot|Q))$ 。这一恒等式从形式上保证了，只要思维轨迹存在差异，即使输出结果是同质的（ $\sigma_{\text{outcome}}=0$ ），复合奖励的方差仍保持非零（ $\sigma_R > 0$ ），从而保留了梯度。

2. Token 级信号：方向性塑造

为了解决幻觉式确定性问题，ISPO 在 token 层面增加了一个受结果约束的细粒度定向奖励，并限制在特定的“关键 token”子集内。

关键 Token 选择： 通过两个过滤器的交集来选择 token：
1. 熵过滤器 ( $\mathcal{A}$ )：选择局部不确定性较高的 token（前 $k\%$ 的熵）。
2. 漂移过滤器 ( $\mathcal{C}_\Delta$ )：选择当前策略相对于冻结基座策略发生显著漂移的 token。
  这两个过滤器的交集隔离出了既具有不确定性又被 RL 积极塑造的高杠杆决策点。
方向性奖励：
- 正确回合： 在关键 token 处奖励低困惑度（高概率），以强化流畅的执行。
- 错误回合： 奖励高熵。至关重要的是，对低熵 token 应用了铰链惩罚（hinge penalty） $\max(0, \tau_H - H_t)$ 。这不对称地惩罚了“自信地错误”的预测（即在错误路径上表现出低熵），同时让不确定的错误 token 基本不受影响，直接针对幻觉式确定性这一病理。

3. 复合奖励

最终奖励 $R(\tau)$ 结合了二元结果 $R_o$ 与内在信号：
$R(\tau) = R_o + \lambda_1 (2R_o - 1) \text{IFD}_{\text{cond}}(\tau) + \lambda_2 R_{\text{token}}(\tau)$
符号因子 $(2R_o - 1)$ 确保了强思维-答案依赖性在正确答案时受到奖励，而在错误答案时受到惩罚。

核心贡献

失效模式的形式化： 论文正式识别并分析了零优势坍缩和幻觉式确定性作为二元结果 RLVR 的结构性失效。
内在信号设计： 提出了 ISPO，它整合了具有精确条件-KL 恒等式的序列级 Conditional IFD，以及带有幻觉式确定性铰链的 token 级定向奖励。
理论上的梯度保留： 提供了一个命题，证明 ISPO 在零优势批次中仍能保留非零梯度，有效地“解锁”了标准 GRPO 会丢弃的训练数据。
经验优越性： 大量的实验表明，在多种模型规模和基准测试中均取得了持续的性能提升。

实验结果

作者在三个 Qwen2.5 基座模型（1.5B、7B Math 和 7B General）上，针对五个数学推理基准测试进行了评估：AIME24、AIME25、AMC23、MATH-500 和 OlympiadBench。

性能： ISPO 在各项指标上均一致优于竞争对手基线（包括 Vanilla GRPO、Dr. GRPO、PACR、Scaf-GRPO 和 PREPO）。
- 在 Qwen2.5-Math-7B 上，ISPO 的平均 Pass@1 达到 55.4%，超过了最强的基线（Scaf-GRPO 为 51.3%）4.1 个百分点。
- 在最难的基准测试（AIME24/AIME25）中观察到了最大的增益，这些测试中零优势坍缩最为频繁。例如，在 AIME24 的 7B 模型上，ISPO 达到了 48.9%，而 Scaf-GRPO 为 43.3%。
效率： ISPO 恢复了那些原本会被 GRPO 丢弃的梯度。虽然 Vanilla GRPO 因零优势丢弃了约 24.7% 的采样，但 ISPO 保持了 100% 的有效采样，且仅带来了约 4.4% 的实际运行时间开销（由于增加了一次仅计算答案概率的前向传播）。
多样本评估： 在 pass@32 评估中，ISPO 显示出显著改进（例如在 AIME24 的 pass@32 上比 ProGRPO 高出 13.7%），表明该方法成功保留了样本级的多样性，并防止了向“自信地错误”的推理坍缩。
消融实验： 移除 Conditional IFD 或定向 token 塑造都会导致性能下降，证实了这两个组件都是必要的。实验证明，使用熵和漂移过滤器的交集优于仅使用其中之一。

意义与主张

论文声称 ISPO 通过利用模型自身的概率曲面作为稠密信息源，解决了 RLVR 中稀疏二元奖励的根本局限。作者将这些稠密的内在信号描述为“推理的动量”，在输出梯度消失的地方保持学习活跃。

这项工作的意义在于其能够：

稳定训练： 通过防止零优势坍缩，ISPO 确保了困难的提示词（通常导致全错的组）能够持续提供学习信号，而不是被丢弃。
纠正病理： 通过显式惩罚自信的错误，ISPO 缓解了“幻觉式确定性”失效模式，从而实现更稳健的推理轨迹。
正交集成： 该方法可以与现有的优化器级改进和数据清洗策略正交组合，在无需更改采样生成过程或外部奖励模型的情况下，为 RLVR 流水线提供通用的改进。

作者也指出了局限性，即该方法目前仍受限于具有可验证结果的任务，并且主要在 Qwen2.5 模型的数学推理任务上进行了验证。