🤖 machine learning

Predictive Divergence Masks for LLM RL

本文提出了预测散度掩码（Predictive Divergence Masks），这是一种用于大语言模型强化学习的新方法，它通过闭式预测下一个梯度步会增加还是减少用于邻近性准则的概率散度，从而取代了 PPO 基于比例的方向准则，进而提升了不同模型规模下的训练稳定性和性能。

原作者： Xiangxin Zhou, Jiarui Yao, Penghui Qi, Bowen Ping, Jiaqi Tang, Haonan Wang, Tianyu Pang

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xiangxin Zhou, Jiarui Yao, Penghui Qi, Bowen Ping, Jiaqi Tang, Haonan Wang, Tianyu Pang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个超级聪明的机器人写故事。你想让它从错误中学习，但你有一个严格的规则：“不要在一次操作中过于剧烈地改变你的写作风格。”如果机器人变得过于兴奋，开始用一种完全不同的口吻写作，你就必须踩下刹车。这就是大型语言模型（LLM）中**强化学习（RL）**的工作。

长期以来，按下这些刹车的标准方法是名为 PPO 的方法。它就像一个基于单个词语的简单交通灯。每当机器人选择一个词时，系统都会检查：“这个词是否比机器人通常选择的词概率高得多？而且奖励是否在告诉我们要让它变得更频繁吗？”如果答案对两个问题都是“是”，系统就会说：“停！这太远了！”并忽略掉这个词带来的教训。

但问题在于，机器人不仅仅是挑选一个词；它是在重新调整其整个“人格”（概率分布）来挑选那个词。旧的方法只关注它所选的那个特定词，就像通过听一支小提琴来评判整个管弦乐队。它忽略了其他音乐是如何变化的。

新的想法：预测性散度掩码（Predictive Divergence Mask）

来自腾讯、伊利诺伊大学香槟分校（UIUC）和新加坡国立大学（NUS）的研究团队意识到，这种单词视角具有误导性。他们提出了一种新规则，称为预测性散度掩码。

与其只看机器人选出的那一个词，这种新方法会问一个更大的问题：“如果我们采取这一步，机器人的整个‘人格’是否会进一步偏离它原本的自我？”

可以这样理解：

旧的方法 (PPO)： 你看到一个孩子正跑向悬崖。你检查那一步是否危险。如果是，你就大喊“停！”
新的方法 (预测性散度)： 你看到孩子在跑。你观察整个路径。即使这特定的一步看起来没问题，也许孩子的惯性正要把他们甩出去，导致他们滑向另一个不同的悬崖。新方法会在这一步发生之前，预判出整个“旋转”的过程。

它是如何工作的（神奇的数学）

研究人员发现了一个聪明的数学技巧，可以在不实际运行模拟的情况下预测这种“整体旋转”。

局部项（The Local Term）： 这是旧方法已经掌握的部分。它是机器人所选的具体词的变化。
全局项（The Global Term）： 这是新的秘密武器。它解释了改变一个词如何迫使机器人调整所有其他未被选中词的概率（因为总概率必须始终等于 100%）。

旧方法忽略了全局项。新方法将其累加。如果数学计算显示机器人的整个“人格”正在偏离得太远，掩码就会阻断这次更新。如果数学显示机器人实际上正在向安全区域“回归”，则允许更新。

“Top-K” 问题

现实世界中存在一个问题：机器人的引擎（生成引擎）为了节省时间和内存，只会展示概率最高的 20 个词（即“Top-K”）。它隐藏了数千个其他词组成的“尾部”桶。

为了让他们的预测在有限的视野下也能奏效，研究人员发明了两个轻量级的估计器：

聚合尾部估计器（Aggregated-Tail Estimator）： 假装所有隐藏的词都是一个巨大的整体。
均匀尾部估计器（Uniform-Tail Estimator）： 假装这些隐藏的词都是等概率的。

他们发现，由于前 20 个词通常占据了几乎所有的概率（超过 99%），这两种方法的效果几乎完全相同。这就像是通过观察天空来猜测天气；你不需要数清每一朵云才能知道是否会下雨。

实验结果表明

该团队在不同规模的机器人（参数量从 40 亿到 300 亿不等）上进行了测试，甚至在它们以“FP8”精度（一种超快、略低精度的数学模式，使训练和生成引擎表现不同）运行时也进行了测试。

结果： 新的掩码使训练更加稳定。
证据： 他们运行了 61 组不同的实验（种子）。他们发现旧方法有时会保留那些实际上让机器人偏离得更远的更新（“不安全保留”率为 36.9%）。新方法将其降低到了 34.2%。
改进： 虽然这些数字看起来很小，但在训练巨型 AI 模型的世界里，防止哪怕几次错误的步骤也有助于机器人学得更好、更快。新方法在所有模型规模和精度设置下都表现一致。

他们明确拒绝的内容

论文非常清楚地说明了哪些方法效果不佳：

他们反对使用采样 Token 重要性比例（即旧的“单支小提琴”检查）来决定更新的方向。他们证明了这种单词检查经常与机器人整个人格的真实变化不一致。
他们还表明，仅仅收紧“安全区”（信任区域）（例如将阈值从 0.15 降至 0.05）会让一切表现得更差，这表明仅仅变得更“受限”并不是答案；变得更“聪明”地判断方向才是关键。

他们有多确定？

作者基于实验中的测量数据对自己的发现充满信心。他们不仅仅是在真空环境下进行模拟；他们在真实的数学问题上训练了实际的模型（使用 DAPO-Math-17k 数据集），并在 AIME24 和 AIME25 等基准测试上测量了准确率。

他们认为这种方法实现了更好的规则对齐：如果你通过观察整个人格（散度）来定义安全区，你也应该通过观察整个人格来检查更新的方向，而不是只看单个词。结果表明，这会导致更稳定的训练，但他们也承认这仍然是一个“局部一阶近似”——这意味着它是一个基于即时下一步的极佳预测，而非对整个未来的完美预知。

简而言之，新方法就像是给了机器人一个 GPS，它能观察整张地图，而不仅仅是看它当前迈出的那一小步。它帮助机器人在不脱离世界边缘的情况下学得更快。

技术摘要：用于 LLM RL 的预测性散度掩码 (Predictive Divergence Masks)

1. 问题陈述

大语言模型（LLM）的强化学习（RL）本质上是离策（off-policy）的，这是由于用于生成采样（rollouts）的推理引擎与训练栈之间存在不匹配，以及策略过时（policy staleness）所致。为了稳定这些离策更新，近端策略优化（PPO）等标准方法采用了置信区域掩码（trust-region masks）。这些掩码依赖于两个准则来决定是否对某个 token 的梯度进行掩码（置零）：

接近度准则（Proximity Criterion）： 确定策略是否偏离行为策略（behavior policy）过远。
方向准则（Direction Criterion）： 确定更新是在将策略推离行为策略（向外指向），还是将其拉回（纠正性）。

最近的工作，特别是 DPPO，通过使用基于 top-K 词表的分布散度（例如 KL 散度）来替代单样本重要性比率，改进了接近度准则。然而，DPPO 保留了 PPO 原有的方向准则，该准则仅依赖于采样到的 token 的重要性比率 ( $r_t - 1$ )。

作者指出这种混合方法中存在一个根本性的不一致性：虽然接近度准则现在由全局分布散度定义，但方向准则仍然是一个单样本代理。作者观察到，采样比率的变化符号可能与实际散度的变化符号不一致。因此，即使更新实际上增加了全局散度，一个 token 也可能被保留（因为其比率表明是纠正性的）；反之亦然，一个 token 可能被掩码（因为其比率显示是向外的），尽管它实际上是在减小散度。

2. 方法论

本文提出了预测性散度掩码（Predictive Divergence Mask），该方法旨在使方向准则与接近度准则的分布特性保持一致。与其询问“采样比率是否会远离某一个值？”，该方法转而询问“下一个梯度步是否会增加散度？”

理论推导

针对自回归 LLM 中使用的 softmax 策略，作者推导出了沿策略梯度步的 Kullback-Leibler (KL) 散度的方向导数 $\dot{D}$ 的闭式表达式。
$\dot{D} = \underbrace{(\pi_k - \mu_k)}_{\text{局部项}} + \underbrace{\sum_{i} \pi_i (\mu_i - \pi_i)}_{\text{全局项}}$
其中：

$\pi_k$ 和 $\mu_k$ 分别是当前训练策略和行为策略下采样 token $k$ 的概率。
局部项（Local Term） 与标准基于比率的方向准则中所使用的量（ $r - 1$ ）完全对应。
全局项（Global Term） 捕捉了整个词表中的归一化耦合效应。这一项在单个采样比率中是不可见的，但对于确定真实的散度变化至关重要。

预测性掩码仅在 token 已超出置信区域（ $D_t > \delta$ ）且 $\hat{A}_t \cdot \dot{D}_t$ 的符号为非正（表示是纠正性或中性的移动）时，才保留该更新。

实际估计

生产环境下的采样引擎通常仅公开 top- $K$ 个 token 的概率，而非完整的词表分布。为了在这一截断视图下计算 $\dot{D}$ ，作者提出了两种轻量级的估计器，用于处理未观测到的分布尾部：

聚合尾部估计器（Aggregated-Tail Estimator）： 将整个剩余概率质量合并为一个聚合 token。
均匀尾部估计器（Uniform-Tail Estimator）： 将剩余的概率质量均匀分布在未观测到的词表 token 上。

这两种估计器仅需对保留的 top- $K$ 概率和尾部质量进行简单的归约操作，计算开销极小。

3. 核心贡献

识别不一致性： 本文强调了将分布式的接近度准则（散度）与单样本方向准则（比率）混合使用，会导致两者之间的失配，使得方向掩码无法准确追踪真实的散度变化。
预测性散度掩码： 一种新的掩码规则，利用散度本身的一阶变化来确定更新的方向。
闭式推导： 推导了 softmax 策略的方向导数，明确分离了局部（采样）和全局（归一化）组件。
截断词表估计器： 两种实用且低开销的估计器（聚合尾部和均匀尾部），使该方法能够在标准的生产环境采样约束（top- $K$ 视图）下运行。

4. 实验结果

作者在 DAPO-Math-17k 数据集上使用 Qwen3 模型（4B、8B 和 30B）以及各种精度设置（FP8）进行了评估。

训练稳定性： 在所有模型规模和精度设置（包括 FP8 压力测试）下，预测性散度掩码相比基线 DPPO-TopK-KL 提升了训练稳定性。相比之下，使用 clip-higher 技巧的标准 GRPO 在大型模型设置下表现出不稳定和崩溃现象。
方向准则对齐： Token 级分析表明，基于散度的方向准则比基于比率的准则更能与实现的散度变化保持一致。
- 在两种准则产生分歧的 token 中，基于散度的准则具有更低的“不安全保留”（unsafe-keep）率（34.2% vs 36.9%），这意味着它不太可能保留那些实际上增加了散度的更新。
- 反之，它保留了更高比例成功收缩散度的更新（65.1% vs 62.9%）。
鲁棒性： 该方法对置信区域阈值（ $\delta$ ）超参数表现出更强的鲁棒性，即使在更严格的约束下（ $\delta = 0.05$ ），其表现也优于基线。
估计器等效性： 聚合尾部和均匀尾部估计器产生了几乎相同的结果，表明该方法对尾部建模假设并不敏感。

5. 重要性与主张

本文声称，预测性散度掩码解决了当前 LLM 中基于散度的 RL 方法存在的结构性不一致问题。通过确保接近度准则和方向准则都源自同一个分布散度，该方法提供了更可靠的置信区域控制。

作者强调，虽然在“不安全保留”率上的提升幅度较小（由于产生分歧的 token 集合较小），但这种一致性在不同规模下在理论上是成立且在经验上是有益的。他们得出结论，方向准则应当接受与接近度准则相同的分布式处理，以充分发挥基于散度的置信区域的优势。该方法被呈现为现有 DPPO 实现的即插即用替代方案，除了现有的散度阈值外，无需引入新的超参数。