💬 NLP

Flexible Entropy Control in RLVR with a Gradient-Preserving Perspective

本文针对可验证奖励强化学习（RLVR）中的熵崩溃问题，提出了一种新颖的动态裁剪机制，该机制利用保持梯度的视角，通过经验验证的策略精确控制策略熵，从而防止过早的过度自信并提升大语言模型的推理性能。

原作者： Kun Chen, Peng Shi, Fanfan Liu, Haibo Qiu, Zhixiong Zeng, Siqi Yang, Wenji Mao

发布于 2026-05-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Kun Chen, Peng Shi, Fanfan Liu, Haibo Qiu, Zhixiong Zeng, Siqi Yang, Wenji Mao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和创意类比对这篇论文的解读。

全局概览：“过度自信的学生”问题

想象你正在训练一位才华横溢的学生（大型语言模型）来解决高难度的数学问题。你使用了一种名为“可验证奖励强化学习（RLVR）”的系统。你可以把它想象成一位严格的教练，只有当学生答对答案时才会给分。

起初，学生充满好奇。他们尝试多种不同的解题方法，虽然会犯错，但能从中学习。这种“好奇心”被称为“熵”。高熵意味着学生正在探索多种可能性。

然而，随着训练继续，问题出现了。学生变得“过度自信”。他们不再尝试新方法，只是重复那几种他们知道有效的答案，即使这些答案并不完美。他们停止了探索。用术语来说，他们的“熵崩溃”了。

一旦发生这种情况，学生就停止学习，因为他们不再冒险。他们陷入了“局部最优”——一个让他们自以为表现极佳、实则错失最佳解决方案的舒适区。

根本原因：过于紧绷的“安全网”

论文将罪魁祸首锁定为一种名为“梯度保持截断（Gradient-Preserving Clipping）”的机制。

想象教练有一个安全网（“截断阈值”），用来防止学生做出疯狂且危险的猜测。

如果学生尝试一个新的、低概率的想法，安全网通常会接住它并说：“不，别往那里走。”
问题在于，这张网是“静态”（僵化）的。它对所有情况一视同仁。它过于严厉地切断了学生探索低概率想法的能力，同时也未能让他们在高概率想法上施加足够的力度。

由于这张网过于僵化，学生的信心（熵）下降得太快，导致“梯度”（指引学生如何改进的信号）消失。学生因此停止学习。

解决方案：一位“智能且灵活的教练”

作者提出了一种管理学生信心的新方法。他们不使用僵化的安全网，而是采用“动态截断阈值”。

这就像一位能根据学生当前状态调整规则的教练：

当学生不确定时（低概率）： 教练放松安全网。“去吧，试试那个奇怪的想法！即使可能性不大，我们也看看会发生什么。”这鼓励了探索，并保持了学生的好奇心（熵）处于高位。
当学生过于确信时（高概率）： 教练稍微收紧安全网。“你对这个答案已经非常自信了；别太自满。让我们确保没有忽略其他可能性。”这防止了学生过早变得过度自信。

通过使规则“依赖于概率”，系统可以精确控制学生探索与专注的比例。

三种训练策略

这篇论文不仅修复了安全网，还设计了三种不同的“训练计划”（策略），用于随时间使用这种灵活的安全网：

先增后减（ID）：
- 类比： 从“狂野孩童”阶段开始。让学生探索一切，尝试疯狂的解决方案。一旦他们打下了良好的基础，就慢慢收紧规则，帮助他们专注并打磨技能。
- 适用场景： 那些已经受过一定训练、需要在最终定型前爆发创造力的模型。
先减后增再减（DID）：
- 类比： 先让学生冷静下来（减少混乱）。然后，给他们第二次机会，让他们多探索一点（增加好奇心），以避免陷入僵局。最后，再次让他们冷静下来，锁定最佳答案。
- 适用场景： 那些在开始时非常混乱或“原始”、需要在安全探索前获得片刻稳定的模型。
振荡衰减（OD）：
- 类比： 一场有节奏的舞蹈。教练在整个训练过程中不断在“探索模式”和“专注模式”之间切换。如果学生变得太无聊（熵太低），教练会说：“去探索吧！”如果他们太狂野（熵太高），教练会说：“专注！”
- 适用场景： 长时间的训练过程，学生可能会陷入死胡同；这种方法能让他们时刻保持警觉。

结果

作者在数学问题（如 AIME 和 MATH 基准测试）上测试了这些方法。

结果： 他们的灵活方法防止了“熵崩溃”。学生没有过早变得过度自信。
得分： 使用这些新策略训练的模型比标准方法正确解决了更多的数学问题。他们更擅长找到正确答案，因为他们没有过早放弃探索新路径。

总结

论文认为，要让 AI 变得更聪明，我们既不能让它随机学习，也不能强迫它过于僵化。我们需要一位“动态教练”，它确切知道何时鼓励狂野的探索，何时要求专注，并实时调整规则，以保持 AI 的好奇心但又不陷入混乱。

技术摘要：基于梯度保持视角的 RLVR 灵活熵控制

问题陈述

带有可验证奖励的强化学习（RLVR），特别是使用组相对策略优化（GRPO），已成为增强大语言模型（LLM）推理能力的关键方法。然而，该范式下的持续训练往往导致策略熵崩溃。这种现象的特征是策略熵迅速衰减至接近零的值，导致过早的过度自信、输出多样性降低以及梯度范数消失，最终抑制进一步学习并损害模型性能。

驱动这些动态的一个主要因素是梯度保持截断，这是一种继承自截断近端策略优化（PPO-Clip）的机制，它将重要性采样比率限制在信任区域内。虽然现有的缓解策略（如"Clip-Higher"方法）试图通过静态调整截断阈值来解决这一问题，但它们缺乏将截断机制与精确熵控制联系起来理论框架。因此，当前方法通常是静态的，无法提供有效 RL 训练所需的灵活、特定阶段的熵调节。

方法论

本文提出了一种从梯度保持视角重塑 RLVR 中熵控制的新方法。该方法建立在三个核心组件之上：

1. 熵动态的理论分析与实证研究

作者从理论上分析了强化学习更新梯度与全局熵梯度之间的关系。通过计算目标梯度（ $\nabla_z L$ ）与熵梯度（ $\nabla_z H$ ）的内积，他们确定了重要性采样比率（ $r_t$ ）的四个不同区域，这些区域决定了熵是增加还是减少：

E1（高增益）： 具有正优势的高概率令牌鼓励进一步锐化（熵减少）。
E2（低增益）： 具有正优势的低概率令牌鼓励扁平化（熵增加）。
E3（高下降）： 具有负优势的高概率令牌鼓励扁平化（熵增加）。
E4（低下降）： 具有负优势的低概率令牌鼓励锐化（熵减少）。

实证验证证实，选择性地对这些特定区域应用梯度保持截断，会直接影响策略熵的轨迹。

2. 用于熵调节的动态截断阈值

基于理论发现，本文引入了一种动态截断阈值机制。该机制不使用固定的标量边界（ $\epsilon$ ），而是将截断阈值构建为当前策略概率（ $\pi_\theta$ ）的函数，并带有停止梯度操作：
$\epsilon(\pi_\theta) := f(\bar{p}_t), \quad \bar{p}_t = \text{sg}[\pi_\theta(a_t|s_t)]$
其中 $f(\bar{p}_t)$ 与概率呈负相关。

对于正优势： 对低概率令牌增加上截断阈值（以鼓励探索/E2），对高概率令牌降低上截断阈值（以防止过度集中/E1）。
对于负优势： 对高概率令牌降低下截断阈值（以维持稳定性），对低概率令牌放宽下截断阈值（以抑制次优区域/E4）。

该机制允许对信任区域进行精确的、依赖于概率的调制，以促进或抑制熵的变化。

3. 熵控制策略

利用动态调节机制，作者设计了三种不同的训练策略，以管理整个训练生命周期中的熵演变：

先增后减（ID）： 专为与 SFT 对齐的模型设计。它始于熵增加阶段（鼓励多样化推理），随后进入熵减少阶段（收敛至最优性能）。
减 - 增 - 减（DID）： 适用于基础模型或高熵模型。它最初减少熵以稳定优化，随后允许受控增加以防止崩溃，最后减少熵以实现收敛。
振荡衰减（OD）： 专为长训练运行或易陷入局部极小值的场景设计。它采用状态机，根据当前熵是否低于下界或超过衰减上界来触发熵提升或抑制，从而在整个训练过程中维持动态平衡。

主要贡献

理论洞察： 本文提供了理论推导和实证验证，阐明了特定重要性采样比率区域如何促进熵的增长和减少，建立了梯度保持截断与熵动态之间的清晰联系。
调节机制： 提出了一种动态截断阈值机制，根据令牌概率调节上下边界，从而实现对熵波动的灵活且精确的控制。
策略设计： 引入并评估了三种特定的熵控制策略（ID、DID、OD），这些策略使训练过程能够适应不同的模型状态和目标，有效缓解熵崩溃。

实验结果

所提出的方法在 Qwen2.5-Math-7B、Qwen2.5-7B 和 Phi-4-14B 模型上进行了评估，使用了 DAPO-MATH 数据集。性能在多个数学推理任务（AIME24/25、AMC、MATH-500、GSM8k、Olympiad）和非数学领域（GPQA-Diamond、LiveCodeBench、MMLU-Redux）上进行了基准测试。

性能提升： 所有三种策略（ID、DID、OD）在多个基准测试中均一致优于基线 GRPO 和其他最先进方法（如 Clip-Higher、Entropy-Regularization、GSPO）。例如，在 Qwen2.5-Math-7B 上，Ours-ID 策略在 AIME24 上得分为 33.1，而 GRPO 为 24.4；在 Olympiad 上得分为 48.3，而 GRPO 为 46.2。
熵控制： 训练曲线表明，所提出的方法成功防止了熵崩溃。ID 策略显示出清晰的初始熵上升，随后是受控衰减，而 OD 则维持了振荡行为，防止了过早收敛。
泛化性： 这些方法展示了对更大模型（Phi-4-14B）的可扩展性，并泛化到了非数学领域，在 Pass@K 指标和奖励分数上表现出一致的改进。
效率： 动态截断机制引入了最小的计算开销，训练时间与基线 GRPO 相当。

意义与主张

本文主张，通过将熵控制的视角从静态阈值调整转变为基于梯度的、依赖于概率的动态调制，可以精确管理 RLVR 中探索与利用之间的权衡。

作者断言，他们的工作解决了熵崩溃这一关键问题，该问题已被确定为扩展 LLM 推理 RL 的瓶颈。通过提供理论框架和实用策略（ID、DID、OD），本文为在持续训练期间保持输出多样性和梯度流提供了稳健的解决方案。结果表明，灵活的熵控制不仅仅是一种正则化技术，而是大语言模型实现卓越推理性能的基本组成部分。这项工作强调，这些策略的有效性在于它们能够根据令牌的特定概率状态调整信任区域约束，而不是应用统一的调整。