🤖 machine learning

Reformulate LLM Reinforcement Learning for Efficient Training under Black-box Discrepancy

本文通过将大语言模型强化学习中的训练-推理差异建模为具有动态拉格朗日松弛机制的差异约束马尔可夫决策过程（DCMDP），来解决该问题，该机制通过自适应地平衡奖励最大化与差异控制，在允许在容差范围内自由探索的同时纠正过度偏差，从而稳定训练并提升性能。

原作者： Jiashun Liu, Runze Liu, Xu Wan, Jing Liang, Hongyao Tang, Ling Pan

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jiashun Liu, Runze Liu, Xu Wan, Jing Liang, Hongyao Tang, Ling Pan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一位天才学生（即 AI）如何解决复杂的数学问题。为了进行这项训练，你准备了两个不同的房间：

训练室（The Training Room）： 这是一个高科技、超精密实验室，配备了最顶尖的设备。在这里，学生使用完美、高保真度的工具进行学习。
考试室（The Exam Room）： 这是一个拥挤、低预算的教室，学生将在那里参加测试。这里的工具更廉价，精度也稍低。

问题：“机器中的幽灵”
过去，研究人员注意到一个奇怪的故障。学生在豪华的训练室里刻苦学习，但当他们走进考试室时，却突然忘掉了所有知识，或者开始犯一些低级错误。这是因为运行学生大脑的“引擎”在训练室和考试室之间存在微小的差异。即便学生的“知识”（模型权重）是相同的，其处理信息的方式发生了足以导致性能全面崩溃的变化。

试图通过让训练室变得与考试室完全一致（将高级工具降级为廉价工具）来修复这个问题并没奏效；这会让学习过程变得不稳定，且容易发生“爆炸”。

解决方案：“安全区”教练
这些论文的作者想出了一种新的教练方式。他们意识到，学生并不需要与考试室完全一致才能取得成功。事实上，如果过早地强迫两者完全一致，反而会阻碍学生学习新的、具有创造性的解决方案。

他们引入了一个概念——DCMDP（差异约束马尔可夫决策过程）。以下是利用一个简单的类比来解释它是如何运作的：

1. “容差区”（安全缓冲）

想象学生正在走钢丝。

旧方法： 教练只要看到学生哪怕偏离了一毫米，就会大喊“停！”这让学生变得过于胆小，导致他们无法学习如何平衡或快速行走。
新方法 (DCMDP)： 教练在钢丝周围画了一个宽阔的、隐形的“安全区”。只要学生保持在这个区域内，教练就会说：“太棒了！继续探索吧！你可以稍微向左或向右摆动一点。”这让学生能够自由地学习并提高他们的数学技能。

2. “魔法惩罚”（修正）

然而，如果学生的摆动过远，超出了这个安全区（意味着训练室的行为与考试室的行为差异过大），教练就会温柔但坚定地将他们拉回。

论文发现，衡量这种“摆动”的最佳方法是观察学生说的每一个词（token）的概率差异。
如果学生说出的一个词在训练室中概率很高，但在考试室中概率极低，那么这就是一个“红旗”（警示信号）。

3. “聪明教练”（拉格朗日乘数）

论文引入了一个“聪明教练”（一个被称为拉格朗日乘数的数学工具），它会自动调整拉回的力量强度。

如果学生摆动得非常剧烈，教练就会用力拉回。
如果学生基本保持在区域内，教练就会放松，让他们专注于解决数学问题。
这确保了学生既能学得聪明，又能保持可靠。

结果：“异构”超能力

这篇论文最令人兴奋的部分是它实现了异构训练（Heterogeneous Training）。

你可以在高端实验室（使用昂贵、精密的计算机）中训练学生，以获得最佳的学习速度和质量。
但通过不断检查他们是否保持在“安全区”内，你同时也在教导他们为低预算考试室（使用廉价、资源受限的计算机）做好准备。

总结：
与其试图让训练环境和测试环境完全一致（这既困难又昂贵），这种方法是教会 AI 具备自我意识。它允许 AI 自由地探索和学习，只要它不会偏离其实际行为模式太远。如果它开始偏离太远，一个聪明的、自动化的修正机制会将它拉回正轨。

论文在大型 AI 模型（如 Qwen-8B 和 Qwen-30B）解决数学问题时测试了该方法。他们发现，这种方法防止了 AI “崩溃”，并且即使在训练设置比部署设置强大得多的情况下，实际上还提升了 AI 的表现。

技术摘要：通过黑盒差异实现高效训练的 LLM 强化学习重构

1. 问题陈述

强化学习（RL）已成为增强大语言模型（LLM）推理能力的关键后训练范式。然而，RL 后训练经常遭受不可预测的次优性能或完全训练崩溃的困扰。近期的研究将这些失败归因于普遍存在的训练-推理差异（或不匹配）。

这种差异源于工业界的需求：在训练与推理过程中，即使使用完全相同的模型权重，从业者也往往被迫使用不同的底层引擎和精度格式（例如，不同的算子内核、并行策略，或如 BF16 与 FP8 之类的数值精度）。这导致训练策略（ $\pi_{Train}$ ）与推理策略（ $\pi_{Inf}$ ）之间的动作概率分布产生了隐性的偏差。

现有的缓解策略存在显著局限性：

统一精度对齐： 仅仅通过降低训练精度来匹配推理精度（例如降至 FP16）会缩小可表示的数值范围，并加剧梯度爆炸的风险。
启发式干预： 如屏蔽高差异 Token 梯度的做法，仅能抑制噪声数据的影响。它们未能解决根本原因，也忽略了最终目标：即针对推理部署进行优化，而非仅仅针对训练过程进行优化。
基础设施对齐： 试图对齐底层算子和硬件栈既耗时耗力，又因存在无数种边界情况而往往难以实现。

核心挑战在于：如何使训练策略能够动态感知并主动消除其与推理策略之间的差异，同时又不牺牲主要的奖励最大化目标。

2. 方法论：差异约束 MDP (DCMDP)

作者提出了一个范式转变，将标准的马尔可夫决策过程（MDP）转向差异约束 MDP（DCMDP）。该框架将训练-推理差异视为一个黑盒优化问题，使系统能够无缝处理异构的训练与推理设置。

关键组件：

差异度量：
作者对三种 Token 级的差异信号进行了实证评估：概率差（ $\delta_{diff}$ ）、概率比（ $\delta_{ratio}$ ）以及对数概率差（ $\delta_{log}$ ）。他们发现绝对概率差（ $\delta_{diff} = |p_{Train} - p_{Inf}|$ ）是最有效的惩罚项。与容易对低概率 Token 过于保守的基于比例的惩罚不同，它提供了一种“具有塑性的”正则化，在纠正部署相关漂移的同时，不会过度限制由奖励驱动的探索。
差异容忍区域：
一个关键的实证发现是差异容忍区域的存在。在训练早期过度惩罚微小的、可以忽略不计的差异会抑制策略探索并降低学习效率。相反，在超出此区域时减少过度的差异则能提高优化的连贯性。
- 机制： DCMDP 公式仅在差异超过预设阈值 $c$ 时才施加惩罚。在此容忍区域内，策略被允许自由探索以最大化奖励。
通过拉格朗日松弛实现的双目标优化：
该问题被建模为在满足平均 Token 级差异约束的情况下最大化期望奖励：
$\max_{\theta} J(\theta) = \mathbb{E}_{\tau \sim \pi_{\theta}} \left[ \sum r(o_t) \right]$
$\text{s.t. } \frac{1}{|\tau|} \sum |\pi_{Train}(o_t) - \pi_{Inf}(o_t)| \leq c$

为了求解该问题，作者采用了拉格朗日松弛法。一个可学习的乘子 $\lambda$ 会动态调整差异惩罚的权重：
* 如果差异违反了容忍边界（ $>c$ ）， $\lambda$ 会增加，从而加强惩罚以将策略拉回安全区。
* 如果差异在边界内， $\lambda$ 会向零退火，允许策略专注于奖励最大化。

最终的目标函数（Dual-GRPO）将这种自适应惩罚直接注入到组归一化优势函数中：
$\hat{A}^{DCMDP}_{i,t} = \hat{A}_{i,t} - \lambda_k \cdot \delta_{i,t}$

3. 核心贡献

自主差异补偿： 本文证明了引入鲁棒的黑盒惩罚（Token 级绝对概率差）能赋予训练策略自主消除差异诱发训练崩溃风险的能力。
向 DCMDP 的范式转变： 作者将 LLM RL 重新表述为差异约束 MDP。这种方法在最大化任务奖励与最小化训练-推理差异这两个目标之间实现了最优平衡，超越了简单的目标标量化方法。
异构训练范式： 该方法支持一种训练设置，即模型可以在高保真、高资源消耗的环境（如 BF16 精度）中进行优化，同时显式地针对低成本、资源受限的推理部署（如 FP8）进行对齐。这使得基础设施的异构性从一种负担转变为一个可控的优化调节旋钮。

4. 实验结果

该方法在 Qwen3-8B（稠密模型）和 Qwen3-30B-A3B（混合专家模型/MoE）上，针对六个数学推理基准测试（AIME24/25, AMC23, MATH-500, Minerva, OlympiadBench）进行了评估。

BF16 训练/推理： 在所有基准测试中，DC-GRPO 在两种模型上均一致优于 vanilla GRPO 基线，实现了更高的平均分（例如，Qwen3-8B 从 67.3 提升至 71.0）。这证实了强制执行差异约束不仅不会阻碍，反而增强了主要的奖励优化。
异构训练 (BF16) + 部署 (FP8)： 在这种设定下，由于放大的训练-推理差距，vanilla GRPO 出现了显著的性能下降或崩溃。DC-GRPO 成功缓解了这一问题，保留并往往超过了仅使用 BF16 的基线表现。
消融实验： 该方法对初始拉格朗日乘子（ $\lambda_0$ ）和双学习率（ $\eta_\lambda$ ）的变化表现出鲁棒性。研究发现容忍预算（ $c$ ）至关重要：设置过小会导致过度正则化，而设置过大会导致该方法退化为 vanilla GRPO。

5. 重要性与主张

本文声称，DCMDP 提供了一个统一的算法框架，用于减轻训练-推理的不稳定性，而无需对底层硬件或软件栈进行详尽且定制化的优化。通过将差异视为黑盒反馈信号，该方法实现了：

稳定训练： 防止 RL 后训练中常见的突发性崩溃。
高效探索： 允许策略在安全的差异区域内自由探索。
资源效率： 使使用高保真训练环境来模拟并适应受限部署环境成为可能，从而促进更高效的现实世界模型部署。

作者承认了局限性，指出目前的实证范围目前仅限于 BF16 和 FP8 精度以及特定的模型家族，未来的工作需要将该方法扩展到其他后端组合和模型架构。