🤖 machine learning

The Mirage of Optimizing Training Policies: Monotonic Inference Policies as the Real Objective for LLM Reinforcement Learning

本文指出大语言模型强化学习中的训练-推理失配是导致不稳定的关键原因，并提出了一种名为单调推理策略更新（MIPU）的新型框架，旨在通过单调优化目标确保训练阶段的改进能直接转化为更好的推理性能。

原作者： Jing Liang, Hongyao Tang, Yi Ma, Yancheng He, Weixun Wang, Xiaoyang Li, Ju Huang, Wenbo Su, Jinyi Liu, Yan Zheng, Jianye Hao, Bo Zheng

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jing Liang, Hongyao Tang, Yi Ma, Yancheng He, Weixun Wang, Xiaoyang Li, Ju Huang, Wenbo Su, Jinyi Liu, Yan Zheng, Jianye Hao, Bo Zheng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在训练一名才华横溢的学生（AI 模型）来解决复杂的数学问题。你拥有两个不同的环境来进行这种训练：

教室（训练引擎）： 这是学生练习的地方。这是一个拥有完美光照、超高速计算机，且老师能洞察学生每一个念头的尖端实验室。
考场（推理引擎）： 这是学生在现实世界中真正参加考试的地方。这里的环境有点混乱，计算机速度稍慢，光照也不同。

问题：“两界”脱节

论文指出，在现代 AI 训练中，我们经常将这两个世界视为完全相同的。我们告诉学生：“做得好！你在教室里的成绩提高了 10%！”并假设这意味着他们在考场上的成绩也会提高 10%。

但问题在于：教室和考场实际上是不同的。

由于技术差异（例如计算机处理数字的方式），即使使用的是完全相同的“大脑”（模型参数），学生在考场上的表现也可能与在教室里略有不同。

在教室里，学生可能会说：“我有 90% 的把握这个答案是正确的。”
在考场里，同一个学生可能实际上只有 70% 的把握，或者犯了一个在实验室里不会犯的微小计算错误。

论文将此称为**“训练-推理失配”（Training-Inference Mismatch）**。

危险在于，AI 会根据它在教室里的表现不断进行更新。但如果这些更新无法转化为考场中的表现，AI 可能会开始做出更糟的现实决策，尽管其训练数据看起来非常完美。这就像一名飞行员在完美的模拟器中练习，却因为实际风力条件不同而在驾驶真飞机时坠毁。

解决方案：“单调推理策略改进”（MIPI）

作者为训练提出了一条新规则：不要只问，“学生在教室里进步了吗？”要问，“学生在考试中真的进步了吗？”

他们称之为 MIPI（单调推理策略改进）。这意味着我们只有在确定更新确实提升了现实世界性能的情况下，才会接受该训练更新，而不仅仅是看教室里的表现。

他们是如何实现的：“MIPU” 两步走过程

为了实现这一点，他们构建了一个新的训练框架 MIPU（单调推理策略更新）。你可以将其视为对学生新知识的一种两步质量控制流程：

第一步：“演练”（采样引用更新）
与其仅仅根据教室规则告诉学生去进步，老师首先会问：“如果你现在使用当前的大脑参加考试，你会表现如何？”

他们调整学生的学习方式，使“教室”的练习能更好地与“考场”的现实对齐。
这产生了一个候选更新——一个理论上应该变得更好的新版本学生。

第二步：“现实检查”（感知推理差距的接受机制）
在允许学生带着这些新知识进入现实世界之前，老师会进行一次快速测试。

他们模拟学生带着新知识参加考试的过程。
他们将结果与学生之前的表现进行比较。
决策：
- 如果新知识在考场模拟中确实有所帮助？接受它。 学生进入下一阶段。
- 如果新知识在教室里看起来很好，但在考场模拟中导致了混乱或错误？拒绝它。 学生回退到之前的版本。

为什么这很重要

论文在数学问题上测试了这一点，并使用了“低精度”设置（这使得教室与考场之间的差异变得非常明显，就像尝试用按键损坏的计算器来解数学题）。

旧方法： AI 会因为在教室里获得了高分而感到兴奋，应用更新，然后由于教室的分数是一个“海市蜃楼”，导致在现实世界中突然崩溃或表现不佳。
MIPU 方法： AI 保持稳定。它可能会学得慢一些，因为它会拒绝错误的更新，但它能持续地在实际任务上取得进步。它避免了“崩溃”，并保持稳步上升。

核心结论

论文声称我们一直在优化错误的目标。我们一直试图让 AI 变得更擅长“训练”，而实际上我们应该让它更擅长“部署”。

通过增加一个简单的“现实检查”步骤（第二步）并将训练规则与现实世界的规则相对齐（第一步），AI 变得更加可靠。它不再盲目追求虚假环境中的高分，而是开始在现实世界中实现真正、稳定的进步。

技术摘要：优化训练策略的幻象 (MIPU)

1. 问题陈述：LLM RL 中的目标失配

强化学习 (RL) 已成为大语言模型 (LLM) 后训练的关键范式，特别是对于增强推理和指令遵循能力而言。然而，现代 LLM RL 流水线经常遭受训练-推理不匹配 (training-inference mismatch) 的困扰。在实践中，LLM 使用不同的引擎进行生成（推理，例如 vLLM, SGLang）和梯度计算（训练，例如 FSDP, Megatron）。即使模型参数是同步的，由于精度（例如 FP8 与 FP16）、解码实现以及服务后端方面的差异，导致训练策略 ( $\pi$ ) 和推理策略 ( $\mu$ ) 对同一轨迹分配的概率也不同。

现有工作试图通过修正采样器侧的比率、过滤不稳定样本或衰减学习率来缓解这种不匹配。然而，作者认为这些方法只是在处理症状而非根源：目标失配 (objective misalignment)。标准的 RL 算法优化训练策略 ( $\pi$ )，假设 $\pi$ 的改进 ( $J(\pi_{k+1}) - J(\pi_k) \ge 0$ ) 能够保证部署推理策略 ( $\mu$ ) 的改进。本文证明，在存在不匹配的情况下，这一推论并不成立：
$J(\pi_{k+1}) - J(\pi_k) \ge 0 \nRightarrow J(\mu_{k+1}) - J(\mu_k) \ge 0$
因此，一个在训练侧看起来是有益的同步更新，在实际部署时可能会导致推理性能的下降。

2. 方法论：单调推理策略更新 (MIPU)

为了解决这个问题，作者提出了一种新的优化原则——单调推理策略改进 (MIPI)，该原则将目标从改进训练策略转向确保推理策略的单调改进 ( $J(\mu_{k+1}) - J(\mu_k) \ge 0$ )。他们通过一个名为单调推理策略更新 (MIPU) 的两步框架来实现这一原则。

MIPU 的核心是将推理策略的改进分解为三个项：
$J(\mu_{k+1}) - J(\mu_k) = \underbrace{[J(\mu_{k+1}) - J(\pi_{k+1})]}_{\text{项 1：更新后推理差距}} + \underbrace{[J(\pi_{k+1}) - J(\pi_k)]}_{\text{项 2：训练侧更新}} + \underbrace{[J(\pi_k) - J(\mu_k)]}_{\text{项 3：更新前推理差距}}$

第一步：基于采样器参考的策略更新

这一步旨在优化合并后的项 2 和项 3 ( $J(\pi_{k+1}) - J(\mu_k)$ )。

机制： MIPU 不再使用标准的训练策略 $\pi_k$ 作为代理目标的参考（如标准 GRPO/PPO 中那样），而是使用推理策略 $\mu_k$ （即采样器）作为参考。
实现： 作者采用了截断重要性采样 (Truncated Importance Sampling, TIS) 方法。他们计算校正权重 $w_i^k = \pi_k(y_i|x) / \mu_k(y_i|x)$ 以解释更新前的偏差。为了防止高方差，该权重会被截断。随后，裁剪约束仅应用于当前的更新比率 $r_i(\theta) = \pi_\theta(y_i|x) / \pi_k(y_i|x)$ 。
目标： 这生成了一个候选训练策略 $\pi_{k+1}$ ，该策略在理论上与采样器 $\mu_k$ 保持一致，从而确保了“半程”单调性 $J(\pi_{k+1}) - J(\mu_k) \ge 0$ 。

第二步：感知推理差距的更新接受

这一步用于验证项 1 ( $J(\mu_{k+1}) - J(\pi_{k+1})$ )，它代表了候选训练策略与其同步后的推理实现之间的差距。

机制： 在将 $\pi_{k+1}$ 同步到推理引擎以创建 $\mu_{k+1}$ 之后，系统会评估更新后推理差距。
代理估计： 由于无法获得 $\pi_{k+1}$ 下的精确优势函数 (advantage)，MIPU 使用逆恒等式，通过来自 $\mu_{k+1}$ 的验证回测 (validation rollouts) 来估计该差距。它计算一个代理值 $\hat{T}_{post} = -\mathbb{E}[\rho_i \hat{A}_{\mu_{k+1}}]$ ，其中 $\rho_i$ 是用于校正从 $\mu_{k+1}$ 到 $\pi_{k+1}$ 分布偏移的长度归一化重要性权重。
接受标准： 只有当 $\hat{T}_{post} \ge -c$ （其中 $c$ 是容差参数）时，更新才会被接受。如果差距过负（表明推理策略表现不如训练候选策略），则拒绝该更新，并将系统回滚到之前的检查点。

3. 核心贡献

MIPI 原则： 本文识别并形式化了 LLM RL 中的目标失配问题，提出优化的目标必须是推理策略的轨迹，而非训练代理。
MIPU 框架： 一种新型的两步 RL 框架，将候选构建（第一步）与推理差距验证（第二步）解耦。它允许灵活实现基于采样器的更新和感知推理的接受机制。
实证验证： 证明了在高度不匹配的设置下（特别是 FP8 量化回测），与标准 GRPO 和其他稳定化基线相比，MIPU 提升了推理性能和训练稳定性。

4. 实验结果

作者在 Qwen3-1.7B 和 Qwen3-4B 模型上评估了 MIPU，并使用 FP8 量化回测来诱导显著的训练-推理不匹配。训练在数学推理数据集（DAPO-Math-17, DeepMath-103K）上进行，并在五个基准测试（MATH-500, AIME24, AMC23, Minerva, OlympiadBench）上进行评估。

性能： MIPU 在两种模型规模上均取得了最高的平均准确率（Qwen3-4B 为 66.71%，Qwen3-1.7B 为 53.97%），优于标准 GRPO、MIS（不匹配过滤）和 LR-decay 等基线。
稳定性： 虽然基线模型在达到中间峰值后经常出现剧烈的性能下降或崩溃，但 MIPU 在整个过程中保持了稳定的训练动态。
消融研究：
- 仅第一步： 提高了候选质量，但未能防止不匹配误差的累积，导致了不稳定性。
- 仅第二步： 通过拒绝不良更新防止了崩溃，但如果基础候选策略本身存在偏差，则无法提升性能。
- 完整 MIPU： 两者结合是必要的；第一步校正了更新方向，而第二步过滤了不可靠的候选策略，从而实现了更高的峰值性能和长期的稳定性。
对第二步的分析： 作者验证了第二步的成功并非仅仅因为拒绝了更多更新（“随机回滚”对照组尽管拒绝了更多更新，但并未取得同样效果）。相反，其有效性源于利用推理差距信号来区分有害的与良性的同步候选策略。

5. 重要性与主张

本文声称，训练-推理不匹配不应仅被视为一个需要最小化的低层系统差异，而应被视为策略改进目标的一个根本转变。通过将重心从训练策略转向推理策略，MIPU 解决了“训练侧的改进并不转化为部署收益”这一“幻象”问题。

作者谦虚地指出，由于计算限制，目前的实验仅限于中等规模的模型，且第二步代表的是一个灵活的设计空间而非固定的实现方式。他们建议未来的工作可以探索更高效的更新后差距估计器，并将这些原则应用于更大规模的模型和多样化的 RL 系统。其核心贡献在于一种范式转变：确保正在被优化的正是用于部署的那个策略，而不是假设训练侧的优化就足够了。