🤖 machine learning

Rethinking Entropy Interventions in RLVR: An Entropy Change Perspective

本文介绍了 STEER，这是一种用于可验证奖励强化学习（RLVR）的基于原理的熵调制方法，该方法通过推导词元级熵变化的理论框架并自适应地重新加权词元，以解决熵崩溃问题，并在数学和代码基准测试中超越了现有的启发式干预方法。

原作者： Zhezheng Hao, Hong Wang, Haoyang Liu, Jian Luo, Jiarui Yu, Hande Dong, Qiang Lin, Can Wang, Jiawei Chen

发布于 2026-04-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhezheng Hao, Hong Wang, Haoyang Liu, Jian Luo, Jiarui Yu, Hande Dong, Qiang Lin, Can Wang, Jiawei Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在训练一个非常聪明的机器人来解决复杂的数学问题或编写代码。你使用了一种名为“可验证奖励强化学习（RLVR）”的技术。这就像一场游戏：机器人尝试不同的解决方案，如果它答对了，就会获得一枚“金星星”（即奖励）；如果答错了，则一无所获。久而久之，机器人学会了获取更多金星星。

然而，本文的研究人员发现，这种训练过程中存在一个重大缺陷，称为“熵崩溃”。

问题：机器人变得过于自信（并陷入停滞）

要理解“熵”，不妨将机器人的思维想象成一座庞大的答案图书馆。

高熵：图书馆里充满了多样且不同的想法。机器人正在探索，尝试许多不同的路径，并对新可能性保持开放。
低熵（崩溃）：图书馆突然萎缩。机器人停止探索，只选择它认为最佳的那一条路径。它变得僵化且重复。

在 RLVR 中，机器人往往过早地陷入这种“低熵”状态。因为它害怕犯错，所以不再尝试新事物。它开始一遍又一遍地生成完全相同的“推理”。如果那条唯一的路径是错误的，机器人就会失败，训练也会因此停滞，因为它无法发现更好的解决方案。

旧方案：猜测与检查

在这篇论文之前，科学家们试图通过“启发式”方法来解决这个问题——基本上，他们是在猜测什么可能有效。

“截断高值（Clip-High）”方法：他们试图放宽对机器人置信度变化幅度的限制，希望以此迫使机器人尝试更多事物。
“重加权（Reweighting）”方法：他们试图给罕见答案额外加分，或从常见答案中扣分。

这些旧方法的问题在于，它们就像试图通过只堵住一个漏洞来修复一艘漏水的船，却忽略了其他漏洞。由于没有完全理解为什么机器人会发生崩溃，它们的修复措施往往碰运气，效果不稳定。

新洞察：一张数学地图

本文的作者决定深入探究其内部机制。他们构建了一个精确的数学公式（一种“紧密的解析近似”），以追踪机器人的“多样性”（熵）在其学习的每一步中是如何确切变化的。

他们发现，多样性的变化受四个特定因素控制：

截断规则：训练算法在多大程度上限制了大幅度的变化。
优势分数：某个特定答案比平均水平好多少。
概率：机器人最初选择该答案的可能性有多大。
当前熵：在那确切时刻，机器人思维的多样性程度。

他们将此可视化为一个四象限地图。根据答案是“对/错”以及“可能/不可能”，机器人要么变得更具多样性，要么更缺乏多样性。他们意识到，以往的方法只关注了这些象限中的一两个，从而错过了全局图景。

解决方案：STEER

基于这张地图，他们构建了一个名为STEER（通过重加权稳定 Token 级熵变）的新工具。

将 STEER 想象成机器人学习过程中的智能交通控制器。

与其猜测，STEER 会精确计算机器人生成的每一个词（Token）所带来的多样性变化量。
如果机器人即将做出一个会导致其多样性过快崩溃（熵崩溃）的动作，STEER 会温和地对该特定动作踩下刹车。
它不会阻止机器人学习；它只是减缓那些过于激进的学习部分，从而保持机器人思维的开放性和多样性。

结果

团队在六个不同的数学基准测试和三个编程挑战上测试了 STEER。

结果：STEER 在整个训练过程中保持了机器人思维的多样性和探索性。
得分：它始终胜过所有其他顶级方法，解决了更多的数学问题，并编写了更好的代码。
通用性：它在不同规模的机器人（从小型到大型模型）以及不同类型的训练算法上均表现良好。

总结

该论文认为，要教会 AI 更好地推理，我们不能仅靠猜测来保持其创造力。我们需要理解其如何失去创造力的确切数学原理。通过构建这些变化的精确地图，他们创造了STEER，这是一种充当精细调节器的方法，确保 AI 保持好奇和探索，而不是陷入僵化的循环。这将带来更智能、更强大的 AI 模型。

以下是论文《重新思考 RLVR 中的熵干预：基于熵变视角》的详细技术总结。

1. 问题陈述

可验证奖励强化学习（RLVR） 是增强大语言模型（LLM）在数学和编程等任务中推理能力的基石技术。然而，RLVR 训练经常受到熵崩溃的困扰，这是一种策略熵在训练过程中迅速下降的现象。

这种崩溃导致两个关键失效：

探索受限：模型生成同质化的推理轨迹（rollouts），无法发现多样化或正确的解决方案。
优化中断：在基于组的算法（如 GRPO，组相对策略优化）中，同质化的轨迹导致缺乏区分度的优势分数，致使训练停滞。

尽管近期工作试图通过启发式干预（例如调整裁剪边界、重新加权正样本或熵感知优势）来缓解这一问题，但这些方法缺乏对为何有效或失效的统一理论理解。由于它们依赖于粗粒度的调整，且缺乏控制令牌级熵动态的原则性机制，其有效性往往受到限制。

2. 方法论与理论分析

作者提出从粗粒度的全局熵监控转向细粒度的令牌级熵分析。

A. 理论推导（定理 1）

论文推导了每个更新步骤中令牌级熵变（ $\Omega(s)$ ）的紧确解析近似。该变化被证明由四个关键因素控制：

裁剪指示器（ $I_{clip}$ ）：重要性采样比率是否被裁剪。
优势（ $A$ ）与旧策略（ $\pi_{old}$ ）：更新的加权因子。
令牌概率（ $\pi_\theta$ ）：当前令牌的概率。
条件熵（ $H(s)$ ）：当前状态的熵。

推导出的熵变公式为：
$\Omega(s) \approx -\frac{\eta}{L} \mathbb{E}_{\pi_\theta} \left[ I_{clip} \cdot A \cdot \frac{\pi_{old}}{\pi_\theta} (1 - \pi_\theta) (\log \pi_\theta + H(s)) \right]$

B. 四象限框架

基于**优势（ $A$ ）和令牌概率（ $\pi_\theta$ ）**的联合效应，作者将令牌更新分为四个象限：

第一象限（利用）：高概率，正确（ $A>0$ ）。熵减小（集中质量）。
第二象限（探索）：低概率，正确（ $A>0$ ）。熵增加（多样化策略）。
第三象限（抑制）：低概率，错误（ $A<0$ ）。熵减小（惩罚罕见错误）。
第四象限（纠错）：高概率，错误（ $A<0$ ）。熵增加（扁平化分布以寻求替代方案）。

熵崩溃被识别为一种状态，其中熵减力（第一和第三象限）持续压倒熵增力（第二和第四象限）。

C. 现有方法的批判

论文分析了现有的启发式方法（如 Clip-High、Unlikeliness、Entropy-Aware Advantage），发现它们存在局限性，因为：

它们仅调整四个控制因素中的一个或两个。
它们应用粗粒度的调整（例如全局裁剪），而非令牌级控制。
某些方法（如 Entropy-Aware Advantage）可能会通过放大那些已经经历剧烈变化的令牌的熵变，从而无意中加速崩溃。

3. proposed 解决方案：STEER

为了解决这些局限性，作者引入了 STEER（通过重加权稳定令牌级熵变）。

核心机制：STEER 计算每个令牌的理论估计熵变 $\Omega(s)$ 。
自适应重加权：它对令牌的梯度应用缩放权重 $\lambda(s)$ 。熵变过大（无论是增加还是减少）的令牌会被降权，以稳定动态。
权重函数：
$\lambda(s) = \exp\left(-\alpha \frac{|\Omega(s)|}{\max_{s' \in B} |\Omega(s')|}\right)$
这确保了驱动不稳定熵动态的令牌对梯度的贡献减少，而稳定的令牌得以保留。
优势：
- 原则性：基于推导的理论近似，而非启发式方法。
- 细粒度：在令牌级别操作。
- 高效：计算成本可忽略不计（仅需计算 $\Omega(s)$ ）。
- 通用性：兼容各种 RL 算法（GRPO、RLOO、OPO）和模型系列。

4. 实验结果

作者在六个数学推理基准（AIME、AMC、MATH 等）和三个编程基准（LiveCodeBench、Zeta、Internal）上评估了 STEER。

性能：STEER consistently 优于最先进基线（包括 GRPO、OPO、Clip-High、Entro. Adv. 等）。
- 在 Qwen2.5-Math-7B 上，STEER 取得了 48.6% 的平均分，显著优于第二名（OPO 为 46.4%）。
- 在 Qwen2.5-14B 上，它取得了 45.2% 的平均分，优于竞争对手。
熵控制：STEER 成功在整个训练过程中保持了稳定的熵动态，防止了基线中观察到的快速崩溃。在极端场景（禁用裁剪）中，STEER 保持稳定，而其他方法失效。
泛化性：
- 模型规模：在 1.5B、7B 和 14B 模型上均有效。
- 模型系列：适用于 Qwen、Llama 和 Mistral 架构。
- 算法：成功应用于 GRPO、RLOO 和 OPO。
编程任务：STEER 提高了代码生成和编辑任务的性能，证明了其在纯数学推理之外的鲁棒性。

5. 意义与贡献

理论突破：论文提供了 RLVR 中令牌级熵变的首个紧确解析近似，揭示了现有启发式方法背后的机制并阐明了其固有局限性。
统一框架：它引入了熵动态的四象限视角，为理解不同类型的令牌如何贡献于探索与利用提供了清晰的概念地图。
有效算法（STEER）：它提出了一种简单、有理论依据的方法，通过自适应重加权令牌来稳定训练。STEER 实现了卓越的性能，且无需复杂的架构变更或沉重的计算开销。
实际影响：通过解决熵崩溃问题，STEER 使得 RLVR 在高级推理任务中的扩展更加稳定和有效，这对于下一代推理模型的开发至关重要。

总之，这项工作将该领域从试错式启发式方法推进到对 RLVR 中熵动态的原则性理论理解，并提供了一个稳健的解决方案（STEER），显著推动了 LLM 推理领域的最先进水平。