💬 NLP

Entropy Ratio Clipping as a Soft Global Constraint for Stable Reinforcement Learning

该论文提出了一种名为“熵比裁剪”（ERC）的新机制，通过引入当前与先前策略间的熵比作为全局约束指标，有效解决了强化学习后训练中因分布偏移导致的策略不稳定问题，并在多个基准测试中显著提升了 DAPO 和 GPPO 算法的性能。

原作者： Zhenpeng Su, Leiyu Pan, Minxuan Lv, Tiehua Mei, Zijia Lin, Yuntao Li, Wenping Hu, Ruiming Tang, Kun Gai, Guorui Zhou

发布于 2026-04-24

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhenpeng Su, Leiyu Pan, Minxuan Lv, Tiehua Mei, Zijia Lin, Yuntao Li, Wenping Hu, Ruiming Tang, Kun Gai, Guorui Zhou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种让大语言模型（LLM）在“自我进化”（强化学习）过程中变得更聪明、更稳定的新方法。我们可以把它想象成给正在学习走钢丝的杂技演员（AI 模型）加了一个“全局平衡仪”。

下面我用通俗的语言和生动的比喻来为你拆解这篇论文的核心内容：

1. 背景：AI 在“自我进化”时容易“走火入魔”

想象一下，你教一个学生（AI 模型）做数学题。

旧方法（PPO-Clip）： 就像老师只盯着学生做对的那道题，如果学生改得太多，老师就喊“停，改回来一点”。这能防止学生乱改，但有个大漏洞：老师没盯着学生没做的那几道题。
问题所在： 虽然学生做对的那道题改得不多，但他脑子里对其他所有题的想法可能已经天翻地覆了。这种“看不见的变化”积累多了，学生就会突然“走火入魔”，变得要么太保守（不敢尝试新解法），要么太疯狂（胡乱猜测），导致训练过程忽高忽低，很不稳定。

2. 核心创新：引入“熵比率”作为“全局体检表”

论文作者发现，要解决这个“看不见的变化”，不能只看单道题，得看整体心态。

什么是“熵”（Entropy）？
在 AI 的世界里，“熵”可以理解为**“探索的冲动”或“想法的多样性”**。
- 高熵： 学生脑子里有很多想法，犹豫不决，正在积极探索（比如：“这道题可能是 A，也可能是 B，或者 C..."）。
- 低熵： 学生非常确定，只认准一个答案，不再思考其他可能（比如：“肯定是 A，没跑了”）。
什么是“熵比率”（Entropy Ratio）？
这就是论文提出的新指标。它不是看某一道题，而是对比**“现在的想法多样性”和“之前的想法多样性”**。
- 如果比率突然变大：说明学生突然变得太飘忽不定，想法太多，容易乱套。
- 如果比率突然变小：说明学生突然变得太死板，不再探索，容易陷入死胡同。

3. 解决方案：ERC（熵比率裁剪）—— 给“心态”加个安全阀

作者设计了一个叫 ERC (Entropy Ratio Clipping) 的机制，就像给学生的“心态波动”装了一个双向安全阀：

以前的做法（PPO-Clip）： 只检查学生写出来的答案有没有改太多。
现在的做法（ERC）： 不仅检查答案，还要检查学生脑子里的整体想法有没有剧烈波动。
- 如果学生脑子里的想法突然变得太混乱（熵太高），或者太死板（熵太低），ERC 就会直接说：“停！这个更新太危险了，把它砍掉（裁剪）！”
- 关键点： 它不管这个想法是不是被选中的答案，只要整体分布不对劲，就立刻干预。

4. 为什么要这么做？（比喻解释）

想象你在开车（训练 AI）：

PPO-Clip 就像是只盯着方向盘。如果方向盘转得太急，它就帮你拉回来。但它不管轮胎抓地力或者发动机转速（也就是那些没被选中的动作/概率分布）。
ERC 就像是给全车装了个智能平衡系统。它不仅看方向盘，还看整辆车的重心。如果车身（整体概率分布）开始剧烈摇晃，哪怕方向盘没动，它也会立刻介入，防止翻车。

结果就是：

更稳： 训练过程不再忽上忽下，像坐过山车一样。
更聪明： 模型不会过早地“自暴自弃”（变得太死板），也不会“发疯”（变得太随机）。它能在稳定和探索之间找到完美的平衡点。

5. 实验效果：真的有用吗？

作者在数学推理（比如做奥数题）和代码生成等任务上做了测试：

成绩更好： 加上 ERC 后，模型在很难的数学竞赛题（如 AIME）上得分更高。
训练更顺： 模型的学习曲线非常平滑，没有出现那种突然“崩盘”的情况。
适用范围广： 无论是小模型还是大模型，无论是哪种现有的训练算法，加上这个“全局平衡仪”都能变强。

总结

这篇论文的核心思想就是：在 AI 自我进化的过程中，不能只盯着“做对的事”，还要盯着“没做但心里在想的事”。

通过监控**“想法多样性”的变化幅度（熵比率），并给这种变化加上双向限制（ERC）**，我们成功防止了 AI 在训练过程中“走火入魔”，让它能更稳定、更高效地学会解决复杂问题。这就像是给正在学艺的 AI 大师，配了一位能时刻感知其“心境”变化的严厉而智慧的教练。

1. 研究背景与问题定义 (Problem)

在大语言模型（LLM）的后训练阶段，强化学习（RL，特别是基于可验证奖励的 RLVR）已成为提升模型推理能力和对齐质量的核心范式。然而，现有的 RL 训练面临信任区域（Trust Region）偏离的严峻挑战，导致训练不稳定。

核心痛点：
- Off-policy 训练带来的分布偏移：现代 LLM 的 RL 通常采用 Off-policy 范式，即使用旧策略生成的数据更新新策略。这导致新旧策略之间存在分布漂移（Distributional Drift）。
- PPO-Clip 的局限性：主流的 PPO-Clip 算法通过截断重要性采样比率（Importance Ratio）来限制局部动作的更新幅度。然而，它仅约束了被采样的动作，而忽略了未被采样动作的概率分布变化。
- 后果：
  1. 熵的不稳定性：策略熵（Entropy）在训练过程中剧烈波动，导致探索行为过度或退化。
  2. 梯度范数不稳定：梯度出现爆炸或消失现象，损害收敛性。
  3. 全局分布漂移：即使采样动作的概率变化在允许范围内，未采样动作的分布可能已发生显著偏移，导致后续更新震荡。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了一种名为**熵比截断（Entropy Ratio Clipping, ERC）**的新机制，作为一种软全局约束。

2.1 核心概念：熵比 (Entropy Ratio)

作者定义了一个新的全局指标——熵比，用于量化新旧策略在相同数据上的相对探索变化。
对于每个解码步 $t$ ，Token 级别的熵比 $\rho_t$ 定义为：
$\rho_t = \frac{H(\pi_{\theta, t})}{H(\pi_{old, t})}$
其中 $H(\cdot)$ 表示策略在词汇表上的熵。

优势：与仅关注采样动作的重要性采样不同，熵比直接衡量了整个动作分布（包括未采样动作）的偏移。

2.2 ERC 机制 (Entropy Ratio Clipping)

受 PPO-Clip 启发，ERC 在优化目标中引入对熵比的双向截断约束：

约束范围：设定熵比的允许区间 $(1 - \beta_{low}, 1 + \beta_{high})$ 。
截断逻辑：如果某次更新导致熵比超出该范围，则直接**丢弃（Hard Truncate）**该 Token 对应的梯度。
数学形式（以 DAPO 为例）：
$J_{ERC}(\theta) = \mathbb{E} \left[ \frac{1}{\sum |y_i|} \sum_{i,t} I_{i,t} \cdot \min(\dots) \right]$
其中指示函数 $I_{i,t}$ 仅在熵比 $\rho_{i,t}$ 处于预设区间内时为 1，否则为 0。

2.3 与现有算法的集成

ERC 不替代现有的 PPO-Clip，而是作为正交补充：

PPO-Clip：约束局部采样动作的概率变化。
ERC：约束全局分布的熵变化。
两者结合（如 ERC-DAPO, ERC-GPPO）能同时解决局部和全局的分布漂移问题。

3. 主要贡献 (Key Contributions)

提出熵比指标：引入熵比作为衡量 RL 训练过程中策略探索相对变化的新维度，有效量化了更新过程中的全局分布漂移。
设计 ERC 机制：提出熵比截断机制，通过双向约束探索变化，有效缓解信任区域偏离，显著提升训练稳定性。
广泛的实验验证：将 ERC 集成到 DAPO 和 GPPO 等多种主流 RL 算法中。实验表明，该方法在不同模型规模（1.5B, 7B）和多个基准测试中均能稳定训练动态并提升性能。

4. 实验结果 (Results)

实验在数学推理（AIME, MATH, HMMT 等）、代码推理和指令遵循等多个基准上进行了评估。

性能提升：
- 在 AIME25 和 HMMT25 等高难度基准上，ERC-DAPO 相比基线（DAPO）有显著提升（例如 7B 模型在 AIME25 上从 45.9 提升至 48.4）。
- 在 1.5B 和 7B 模型上均表现出鲁棒性和可扩展性。
训练稳定性：
- 熵曲线：ERC 显著平滑了训练过程中的熵波动，避免了熵的剧烈震荡。
- 梯度范数：梯度范数更加稳定，减少了爆炸或消失现象。
截断率分析：
- PPO-Clip 的截断率极低（约 0.02%），而 ERC 的截断率高达 20.29%。
- 关键发现：ERC 主要截断了那些位于低熵区域（过度确定性）的 Token 更新，这些更新往往是噪声。保留高熵 Token 确保了模型的探索能力。
对比实验：
- vs. KL 正则化：ERC 优于 PPO-Penalty（KL 正则化）。KL 是点对点的硬约束，限制了探索；ERC 是分布级的软约束，在保持稳定的同时允许更高效的探索。
- vs. 熵正则化：ERC 优于单向的熵正则化，因为其双向截断机制能同时防止熵崩溃（过低）和熵爆炸（过高）。

5. 意义与结论 (Significance & Conclusion)

理论意义：揭示了 PPO-Clip 在 Off-policy 训练中的盲点（未采样动作的分布漂移），并证明了通过全局分布指标（熵比）进行约束的有效性。
实践价值：
- ERC 提供了一种简单但强大的机制，能够显著稳定 LLM 的 RL 训练过程，特别是在复杂的推理任务中。
- 它证明了“有选择地过滤”更新（即截断大量看似合理但导致分布漂移的更新）对于提升最终性能至关重要。
局限性：目前主要在数学推理领域验证，未来需要探索其在代码生成、Agent 等更广泛领域的泛化能力。

总结：该论文通过引入熵比截断（ERC），成功弥补了传统 PPO-Clip 在控制全局分布漂移方面的不足。ERC 通过双向约束策略熵的变化，在保持模型探索能力的同时，极大地提升了强化学习训练的稳定性，为大语言模型的高效后训练提供了新的技术路径。