🤖 machine learning

Rethinking the Divergence Regularization in LLM RL

本文提出了散度正则化策略优化（Divergence Regularized Policy Optimization, DRPO），这是一种针对大语言模型的新型强化学习方法，它通过使用平滑的、基于优势加权的二次正则项来取代先前基于散度的方法中所使用的硬梯度掩码，从而提供连续的修正信号并提高训练稳定性。

原作者： Jiarui Yao, Xiangxin Zhou, Penghui Qi, Wee Sun Lee, Liefeng Bo, Tianyu Pang

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jiarui Yao, Xiangxin Zhou, Penghui Qi, Wee Sun Lee, Liefeng Bo, Tianyu Pang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个非常有天赋但有点小混乱的学生（即 AI）去参加一场高难度的考试。这个学生已经掌握了基础知识，但现在你想教他如何更好地解决那些特定的、棘手的难题。你通过给出练习题，让他回答，然后根据他的表现告诉他“做得好！”或“再试一次！”。这个过程被称为强化学习 (Reinforcement Learning, RL)。

然而，这里有一个陷阱：学生是在安静的图书馆里进行练习（训练），但在实际考试时却是在嘈杂、混乱的考场里（推理）。因为环境略有不同，学生可能会感到困惑，或者过度改变自己的习惯，从而导致崩溃，甚至忘掉之前学过的所有知识。

为了防止这种情况，老师们使用了一个“安全区”（信任区域/Trust Region）。这个区域规定：“你可以通过改变答案来做得更好，但不要改变得太剧烈，否则你会失去平衡。”

问题所在：旧规则过于僵化

长期以来，老师们一直使用一种名为 PPO（近端策略优化）的方法。把 PPO 想象成一本严格的规则手册：“如果你的答案变化超过 20%，就停止！切断该答案的所有信用。”

该论文指出了这种方法的两个重大缺陷：

“比例”陷阱 (The "Ratio" Trap)： PPO 通过观察答案的“概率比率”变化来衡量变化。在一个拥有数百万种可能单词的世界里（比如一个拥有 50,000+ 词汇量的字典），一个极罕见的词（比如“xylophone/木琴”）可能从 0.0001% 的概率跳到了 0.001%。虽然这在宏观层面几乎微不足道，但其“比例”变化却是巨大的（10 倍！）。与此同时，一个常见的词（比如“the/这”）可能从 90% 降到了 80%，虽然比例变化很小，但其含义发生了巨大的偏移。PPO 会因此感到困惑：它会对罕见词进行过度的惩罚，却任由常见词肆意妄为。
“硬截断”问题 (The "Hard Cut" Problem)： 更新的方法（如 DPPO）试图通过测量概率变化的“实际数值”（比如测量移动的距离而非百分比）来修复这个问题。但它们使用了“硬掩码 (Hard Mask)”。想象一堵墙：如果你跨出一步，老师会立刻拍打你的手并说：“停！这一步不再给予任何学分。”这是一个二进制开关：要么获得全额学分，要么获得零分。这导致学习过程变得生硬且不稳定。如果你只是稍微跨过了那道墙，老师不会给你任何引导让你走回正轨，而是直接忽略了你。

解决方案：DRPO（平滑的向导）

作者提出了一种新方法叫做 DRPO（散度正则化策略优化）。

DRPO 不再使用硬性的墙或严格的比例规则，而是像一个智能、有弹性的蹦床，环绕在安全区域周围。

在区域内： 如果学生在安全区域内做出良好的改变，蹦床会轻轻地推动他们前进，鼓励他们继续改进。
在边缘处： 当学生接近边缘时，蹦床会变得越来越软。它不会突然停止他们，而是会温柔地减缓他们的速度。
在区域外： 如果学生不小心走得太远（做了一个“坏”动作），蹦床并不会直接切断联系。相反，它会产生一种反弹力。它会施加一种温和的纠正力量，说：“哎呀，你走得太远了。让我们把你拉回到中心位置。”

为什么这效果更好

论文声称，DRPO 就像是一个平滑、连续的向导，而不是一个脆弱的、开/关式的开关。

它能更好地处理“长尾”问题： 在 AI 的世界里，有成千上万个罕见词。DRPO 测量的是一个词移动的实际“距离”，而不是“比例”。这意味着它不会因为罕见词从接近于零跳到一个微小的数字而感到困惑。无论这个词多么常见，它都能公平地对待每一次变化。
它永不停歇地学习： 即使学生犯了错误并踏出了安全区域，DRPO 也不会丢弃这次教训。它利用这次错误来温柔地引导学生回到正轨。这防止了训练变得不稳定或“崩溃”。
它无处不在： 作者在不同规模的 AI 模型（从小型到大型）、不同的计算机芯片，甚至在计算机以较低精度运行（比如使用略微模糊的镜头）的情况下测试了 DRPO。在每种情况下，DR-PO 都表现得更加稳定，并且比旧方法能更快、更好地帮助 AI 学习。

总结

把旧的方法想象成一位老师：一旦你犯了微小的错误，他就会大喊“停！”，或者如果你稍微偏离轨道，他就完全忽视你。

DRPO 则是一位睿智的教练，他会说：“你做得很好，但你离中心有点远了。让我们慢一点。如果你走得太远，我会轻轻把你拉回来，这样你就不会摔倒。”这种平滑、连续的纠正让整个学习过程变得更加安全、快速且可靠。

技术摘要：重新思考大语言模型强化学习中的散度正则化

1. 问题陈述

强化学习（RL）是后训练阶段大语言模型（LLM）以对齐人类偏好并增强推理能力的核心技术。然而，由于训练与推理引擎之间的不匹配（数值差异）以及将展开（rollout）拆分为多个小批量（mini-batches）的实践，现代 LLM 的强化学习在本质上是**离策（off-policy）的。这使得置信区域策略优化（TRPO）**变得至关重要，以通过约束当前策略（ $\pi$ ）与行为策略（ $\mu$ ）之间的散度来确保更新的稳定性。

目前主流的方法在这一背景下面临两个主要局限性：

基于比例的约束（PPO, GRPO, SPO）： 这些方法使用重要性采样比例 $r_t = \pi(y_t|s_t)/\mu(y_t|s_t)$ 来定义置信区域。对于具有大规模、长尾词表的 LLM 而言，该比例是衡量分布偏移的一个糟糕代理。在低概率 token 上微小的概率增加可能会产生巨大的比例变化，但其质量偏移却微乎其微；而对高概率 token 进行中等程度的比例变化，则可能引发显著的策略改变。这导致了对稀有 token 的过度约束和对常见 token 的约束不足。
硬掩码（DPPO）： 最近的研究如散度近端策略优化（DPPO）通过使用散度掩码（具体为测量绝对概率偏移 $|\pi - \mu|$ 的 Binary-TV）解决了比例问题。然而，DPPO 通过硬二进制掩码来强制执行置信区域。一旦某个 token 在有害方向上跨越了边界，其梯度就会被丢弃（设为零）。这虽然防止了进一步的偏离，但无法提供将策略拉回置近置信区域的纠偏信号，导致在阈值附近出现脆弱的优化过程。

2. 方法论：散度正则化策略优化（DRPO）

作者提出了 DRPO，该方法用一个基于策略偏移的平滑、优势加权二次正则项取代了 DPPO 的硬掩码，同时保留了相同的 Binary-TV 置信区域几何结构。

核心公式

DRPO 通过将 Binary-TV 约束 $|\pi(y_t|s_t) - \mu(y_t|s_t)| \leq \delta$ 重写为 token 自适应的比例界限来推导其目标函数。它不是进行裁剪，而是对代理目标应用一个平滑的正则项：

$\mathcal{L}_{DRPO}(x, \pi) = \mathbb{E}_{y \sim \mu} \left[ \sum_{t=1}^{|y|} \left( r_t \hat{A}_t - \frac{|\hat{A}_t|}{2\delta} \mu(y_t|s_t) (r_t - 1)^2 \right) \right]$

其中：

$r_t$ 是重要性比例。
$\hat{A}_t$ 是优势估计。
$\delta$ 是置信区域阈值。
$\mu(y_t|s_t)$ 项用于缩放正则项，将惩罚从基于比例的 $\chi^2$ 形式（如 SPO）转换为绝对概率偏移的 $\ell_2^2$ 形式。

梯度行为

DRPO 目标函数的梯度为每个 token 的策略梯度引入了一个连续权重 $w_t$ ：
$w_t = 1 - \text{sign}(\hat{A}_t(r_t - 1)) \frac{|\pi(y_t|s_t) - \mu(y_t|s_t)|}{\delta}$

该权重表现出三个关键行为：

置信区域内： 权重为正，但随着偏移接近 $\delta$ ，权重会平滑衰减，允许更新继续进行但减小幅度。
置信区域外（发散时）： 当更新进一步偏离行为策略（ $|\pi - \mu| > \delta$ ）时，权重变为负值。这会反转梯度，提供一个纠偏信号，将策略拉回边界，这与硬掩码的零梯度不同。
收敛更新： 当更新向行为策略方向移动时，权重会被放大（ $>1$ ），从而鼓励平滑地返回置信区域。

理论区别

对比 SPO： SPO 使用 $\chi^2$ 型正则项（除以 $\mu$ ），这会导致梯度权重在低概率的长尾 token 中变得无界。DRPO 使用 $\ell_2^2$ 型正则项（乘以 $\mu$ ），确保梯度权重在长尾分布中保持有界。
对比 DPPO： DRPO 保留了 DPPO 的 Binary-TV 几何结构，但用平滑、可微的正则项取代了不连续的掩码。

3. 主要贡献

DRPO 算法： 一种新型策略优化方法，用基于绝对概率偏移（Binary-TV）的平滑二次正则项取代了硬散度掩码。
有界梯度权重： 从理论和实证上证明了 DRPO 的梯度权重在长尾词表中保持有界，避免了由 PPO、SPO 等基于比例的方法引起的由于低概率 token 导致的权重爆炸问题。
纠偏机制： 引入了针对超出置信区域更新的连续纠偏信号，防止了在 DPPO 等硬掩码方法中观察到的“梯度死亡”现象。
设计原则： 确定了有效 LLM 强化学习正则化的三个实际标准：
- 诱导一个与分布偏移（而非仅仅是比例）一致的稳定边界。
- 在长尾词表中保持每个 token 的梯度权重有界。
- 当策略发散时提供平滑的纠偏信号。

4. 实验结果

作者在多种设置下评估了 DRPO，包括：

模型： Qwen3-4B, Qwen3-30B-A3B, Qwen3.5-35B-A3B, 以及 DeepSeek-R1-Distill-Qwen-1.5B。
架构： 稠密模型（Dense）和混合专家模型（MoE）。
精度： BF16, FP8（仅用于 rollout）, 以及 FP8（端到端）。
基准测试： AIME 2024 和 AIME 2025（数学推理任务）。

主要发现：

稳定性： DRPO 在所有设置下均能实现稳定的训练。相比之下，基于比例的方法（GRPO, SPO）经常出现不稳定或崩溃，特别是在低精度（FP8）设置下。
性能： DRPO 达到或超过了所有基准方法的最佳评估准确率。它在收敛速度和最终准确率方面优于硬掩码方法（DPPO）。
消融实验：
- 从正则项中移除绝对优势权重 $|\hat{A}_t|$ 会导致性能下降和不稳定，这证实了置信区域边界必须独立于奖励规模。
- 其他散度度量（KL, TV 惩罚）的表现不如 DRPO，这表明 Binary-TV 正则项的特定几何结构至关重要。
- 仅在置信区域外应用正则项（Mask-DRPO）的效果与完整 DRPO 相当，这表明主要的增益来自于置信区域外的纠偏正则化。

5. 意义与主张

本文声称，正则项所诱导的梯度几何结构比目标函数中名义上的散度度量更为关键。虽然以往的工作通常关注标准的散度（KL, JS），但这项工作证明了：

由于 LLM 的长尾词表特性，基于比例的约束在本质上是有缺陷的。
硬掩码虽然比比例法更好，但通过丢弃纠偏信号而引入了脆弱性。
DRPO 提供了一个统一的解决方案，它结合了基于散度约束（Binary-TV）的几何正确性与平滑正则项的优化稳定性。

作者将 DRPO 不仅仅定位为一个特定的算法，而是将其作为设计稳定策略优化目标的经验视角，强调有效的正则项必须提供有界的、连续的且具有纠偏能力的梯度信号，以应对 LLM 强化学习中的独特挑战。