🤖 machine learning

CE-GPPO: Coordinating Entropy via Gradient-Preserving Clipping Policy Optimization in Reinforcement Learning

该论文提出了一种名为 CE-GPPO 的新算法，通过以温和且有界的方式重新引入被传统 PPO 截断机制丢弃的低概率 token 梯度，有效协调了熵的动态变化并解决了强化学习中的熵不稳定性问题，从而在数学推理基准测试中显著提升了大语言模型的性能。

原作者： Zhenpeng Su, Leiyu Pan, Minxuan Lv, Yuntao Li, Wenping Hu, Fuzheng Zhang, Kun Gai, Guorui Zhou

发布于 2026-04-24

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhenpeng Su, Leiyu Pan, Minxuan Lv, Yuntao Li, Wenping Hu, Fuzheng Zhang, Kun Gai, Guorui Zhou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种名为 CE-GPPO 的新方法，旨在解决大语言模型（LLM）在通过“强化学习”进行自我提升时遇到的一个核心难题：如何平衡“大胆尝试”和“保守利用”。

为了让你轻松理解，我们可以把训练 AI 的过程想象成教一个学生（AI）参加数学竞赛。

1. 背景：学生是如何学习的？

在传统的强化学习（比如 PPO 算法）中，老师（算法）会给学生出题，学生回答后，老师会根据答案的对错给一个“分数”（奖励）。

如果学生答对了，老师会鼓励他：“做得好，下次继续这么答！”（利用/Exploitation）
如果学生答错了，老师会告诉他：“别这么答，换个思路。”（探索/Exploration）

在这个过程中，“熵”（Entropy） 就像是一个**“好奇心指数”**。

高熵 = 学生充满好奇心，愿意尝试各种解题思路，哪怕有些看起来很荒谬。
低熵 = 学生变得死板，只敢用一种他最确定的方法，不再尝试新东西。

2. 问题出在哪里？（旧方法的缺陷）

现有的主流方法（如 PPO）有一个**“安全护栏”**机制。

规则：如果学生提出的新答案和之前的习惯差别太大（概率太低），老师就会认为这个答案“太离谱了”，直接忽略它的反馈，只关注那些“稍微有点新意但还在安全范围内”的答案。
后果：
1. 过早放弃探索（熵崩溃）：那些虽然概率低、但可能包含绝妙创意（高熵）的答案被直接切断了。学生不敢尝试新招，很快变得死板，解题思路枯竭，成绩反而下降。
2. 过度探索（熵爆炸）：反过来，如果学生一直用一种很笨但很稳的方法（概率高），老师却强行让他去尝试那些“完全没用”的笨办法（概率低且负分），学生就会陷入混乱，一直在乱试，永远学不会。

简单比喻：
这就好比老师教学生骑车。

旧方法：学生只要稍微偏离一点点路线，老师就立刻把车刹停，说“不行，重来”。结果学生永远学不会在复杂路况下灵活变通（熵崩溃）。
或者，老师为了鼓励创新，让学生去尝试在悬崖边骑车，结果学生摔得鼻青脸肿，完全无法进步（熵爆炸）。

3. CE-GPPO 的解决方案：聪明的“缓冲带”

这篇论文提出的 CE-GPPO 就像是一位更懂心理学的金牌教练。

它不再简单地“一刀切”地忽略那些偏离轨道的答案，而是给这些答案加上了**“缓冲带”和“调节器”**：

核心创新：它保留了对那些“被切掉”的极端答案的反馈，但是控制反馈的力度。
- 对于“有创意但风险大”的答案（PA&LP）：教练会温和地鼓励（放大一点点梯度），告诉学生：“这个想法很有潜力，虽然有点冒险，但值得再试试！”这能防止学生变得死板（防止熵崩溃）。
- 对于“太笨拙且没用”的答案（NA&LP）：教练会温和地纠正（控制梯度大小），告诉学生：“这个方向确实不对，但别太灰心，我们慢慢调整。”这能防止学生乱试（防止熵爆炸）。

比喻：
想象你在玩一个**“走钢丝”**的游戏。

旧方法：只要你稍微晃一下，系统就判定你失败，直接把你踢出局。
CE-GPPO：当你晃得太厉害时，系统不会直接踢你出局，而是给你系上一根有弹性的安全绳。这根绳子会把你拉回来，但不会让你摔得太狠，也不会让你完全动不了。它让你能在钢丝上安全地摇摆，找到最稳的平衡点。

4. 为什么这个方法有效？

论文通过实验发现，CE-GPPO 做到了以下几点：

动态平衡：它像是一个自动调温器。在训练初期，它鼓励学生多尝试（保持高熵，多探索）；在训练后期，它引导学生收敛到最优解（降低熵，多利用）。
稳定性：它不会让 AI 学“疯”了（熵爆炸），也不会让 AI 学“傻”了（熵崩溃）。
效果显著：在数学推理（如 AIME 竞赛题）和代码生成等任务上，使用 CE-GPPO 训练的模型，比使用传统方法的模型成绩更好，而且模型越大，提升越明显。

5. 总结

一句话总结：
以前的 AI 训练方法像是一个严厉且僵化的教练，要么把学生管得太死，要么放得太松；而 CE-GPPO 像是一个智慧的教练，它懂得在“大胆尝试”和“稳妥执行”之间找到完美的平衡点，通过精细调节那些被忽略的“边缘反馈”，让 AI 既能保持好奇心，又能稳步进步。

它的核心贡献：

发现了被旧方法丢弃的“边缘答案”其实对保持 AI 的“好奇心”至关重要。
发明了一种新算法（CE-GPPO），用**“温和的弹性绳”**代替了“生硬的剪刀”，让 AI 在探索未知时更安全、更高效。

这是一篇关于大语言模型（LLM）强化学习（RL）训练的论文，提出了一种名为 CE-GPPO（Coordinating Entropy via Gradient-Preserving Clipping Policy Optimization）的新算法，旨在解决策略熵（Policy Entropy）不稳定的问题。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

在利用强化学习（特别是 RLVR，即基于可验证奖励的强化学习）优化大语言模型以处理复杂推理任务（如数学、代码）时，策略熵（Policy Entropy） 的管理是一个核心挑战。熵反映了模型在“探索”（Exploration）与“利用”（Exploitation）之间的平衡。

现有方法的缺陷：传统的近端策略优化（PPO）及其变体（如 GRPO、DAPO）使用截断机制（Clipping Mechanism） 来限制策略更新的幅度，以保证训练稳定性。然而，这种机制会丢弃那些重要性采样比率（Importance Sampling Ratio）超出截断区间（ $[1-\epsilon, 1+\epsilon]$ ）的 Token 的梯度信号。
被忽视的关键信号：作者分析发现，被截断的 Token 主要是低概率 Token。
- PA&LP Token（正优势 - 低概率）：通常对应高熵的探索性行为。如果截断其梯度，会导致熵崩溃（Entropy Collapse），模型过早收敛，丧失多样性。
- NA&LP Token（负优势 - 低概率）：通常对应引导模型进行利用的高概率行为。如果截断其梯度，会导致熵爆炸（Entropy Explosion），模型过度探索，难以收敛。
核心问题：现有的截断机制破坏了熵的动态平衡，导致模型要么过早收敛（性能下降），要么无法收敛（训练不稳定）。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 CE-GPPO 算法。其核心思想是保留并调节截断区间外 Token 的梯度，从而实现对策略熵的细粒度控制。

梯度保留机制：
CE-GPPO 引入了 Stop-Gradient（停止梯度） 操作，将截断区间外的 Token 梯度重新引入更新过程，但对其幅度进行有界调整。
目标函数设计：
算法定义了新的损失函数，根据 Token 的类型和优势值（Advantage）分别处理：
- 对于超出上界（ $\delta > 1+\epsilon$ ）且优势为正（PA&LP）的 Token：引入梯度，但通过系数 $\beta_2$ 进行缩放，以鼓励探索。
- 对于超出下界（ $\delta < 1-\epsilon$ ）且优势为负（NA&LP）的 Token：引入梯度，但通过系数 $\beta_1$ 进行缩放，以鼓励利用。
- 公式核心逻辑：
  $\ell = \begin{cases} \beta_1 \cdot \frac{1-\epsilon}{sg(\delta)} \delta \cdot \hat{A}, & \text{if } \delta < 1-\epsilon \text{ and } \hat{A} < 0 \\ \beta_2 \cdot \frac{1+\epsilon}{sg(\delta)} \delta \cdot \hat{A}, & \text{if } \delta > 1+\epsilon \text{ and } \hat{A} > 0 \\ \delta \cdot \hat{A}, & \text{otherwise} \end{cases}$
  其中 $sg(\cdot)$ 表示停止梯度操作， $\beta_1$ 和 $\beta_2$ 是控制缩放比例的超参数。
动态平衡策略：
- 增大 $\beta_2$ （放大 PA&LP 梯度）：减缓熵的下降，促进探索。
- 增大 $\beta_1$ （放大 NA&LP 梯度）：加速熵的下降，促进利用。
- 通过调整这两个参数，CE-GPPO 可以在训练的不同阶段动态平衡探索与利用。

3. 理论保证与稳定性 (Stability)

理论证明：论文证明了 CE-GPPO 引入的额外梯度是有界的。由于 $\beta_1, \beta_2$ 通常接近 1，且截断项限制了更新幅度，因此梯度不会无限放大，保证了策略模型不会过度偏离旧策略。
实验验证：通过监测 KL 散度和梯度范数，发现 CE-GPPO 在整个训练过程中保持稳定，没有出现像某些其他方法（如 CISPO）那样的模型崩溃现象。

4. 实验结果 (Results)

作者在数学推理、代码推理和指令遵循等多个基准测试上进行了广泛实验，使用了 DeepSeek-R1-Distill-Qwen (1.5B 和 7B) 模型。

主要性能提升：
- CE-GPPO 在所有基准测试中 consistently 优于强基线（包括 GRPO, DAPO, CISPO, GSPO）。
- 在最具挑战性的 AIME25 和 HMMT25 数学竞赛数据集上，提升尤为显著。
- 模型规模效应：CE-GPPO 的优势随模型规模增大而增强。7B 模型相比最佳基线提升了约 3 个百分点，1.5B 模型提升了 2.5 个百分点。
熵动态分析：
- GRPO：遭遇严重的熵崩溃，熵值迅速降至接近 0。
- DAPO：虽然缓解了崩溃，但在训练早期熵值过高（过度探索），后期出现熵反弹。
- CE-GPPO：实现了稳定且适度的熵下降。在训练早期保持较高熵以探索，后期平稳收敛以利用，从而获得最佳性能。
超参数鲁棒性：
- 实验表明，设置 $\beta_1 = 0.5, \beta_2 = 1$ 或 $\beta_1 = 0.75, \beta_2 = 1$ 在不同模型上均能取得优异效果，显示出良好的鲁棒性。
- 对比发现，给予 PA&LP Token 更大的权重（ $\beta_2$ ），给予 NA&LP Token 较小的权重（ $\beta_1$ ），更有利于维持探索能力并提升性能。

5. 主要贡献 (Key Contributions)

机制揭示：深入分析了 RL 中策略熵动态变化的内在机制，揭示了被 PPO 截断的低概率 Token（PA&LP 和 NA&LP）在调节熵演化中的关键作用。
算法创新：提出了 CE-GPPO 算法，通过保留和调节截断区间外的梯度，实现了对策略熵的细粒度控制，解决了熵崩溃和熵爆炸问题。
实证与理论结合：提供了理论证明和大量实验证据，表明该方法在保持训练稳定性的同时，显著提升了 LLM 在复杂推理任务上的表现。
性能突破：在多个数学和代码推理基准上，CE-GPPO 超越了当前最先进的方法（SOTA），特别是在处理高难度任务时表现突出。

6. 意义与影响 (Significance)

解决 RL 训练痛点：为 LLM 强化学习中的熵控制问题提供了一个新的视角和有效的解决方案，不再单纯依赖熵正则化项（Entropy Regularization），而是从梯度截断机制本身入手。
提升推理能力：通过更好地平衡探索与利用，使得模型能够更有效地学习复杂的推理路径，避免陷入局部最优或过度发散。
通用性：该方法计算开销与标准 PPO 相当（仅增加逐元素重加权），易于集成到现有的 RL 训练框架中，具有广泛的适用性。

总结：CE-GPPO 通过“温和地”重新引入被传统 PPO 丢弃的梯度信号，成功协调了策略熵的动态变化，实现了更稳定、更高效的强化学习训练，显著提升了大模型在复杂推理任务上的表现。