🤖 machine learning

Off-Policy Learning to Reason Works Because It Is More Pessimistic Than You Think

本文认为，大语言模型大规模强化学习中离线策略学习的成功源于一种隐式的悲观主义，该悲观主义优化了更为保守的目标策略，并提出了一种 principled 的修正方法以稳定这种诱导分布，从而提升性能。

原作者： Otmane Sakhi, Aleksei Arzhantsev, Imad Aouali, Flavian Vasile

发布于 2026-05-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Otmane Sakhi, Aleksei Arzhantsev, Imad Aouali, Flavian Vasile

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一名学生（一个 AI 模型）如何解决复杂的数学问题。你给它们一套练习题，并根据它们的表现给出一个“分数”。目标是帮助它们从这些分数中学习，以便在未来更好地解决问题。

本文解决了一个在大规模训练这名学生时会出现的具体问题：这名学生正在从过时的作业中学习。

问题：从“陈旧”的作业中学习

在大型 AI 的现实世界中，生成新的练习题需要很长时间。当 AI 完成一批问题并获得分数时，“老师”（AI 当前的大脑）已经发生了一些变化。因此，AI 是在由它自己稍早、略有不同的旧版本所收集的数据上进行训练。

在 AI 领域，这被称为离策略学习（Off-Policy Learning）。数据来自“过去的自我”，但学习却发生在“当前的自我”身上。

大多数现有方法试图通过使用复杂的数学“校正因子”（就像一个强硬的翻译）来强行修正这种不匹配，假装旧数据实际上是新的。作者认为这种做法很混乱。它会引入高噪声，使训练不稳定，并可能导致 AI“恐慌”并忘记如何发挥创造力（这种现象称为熵崩溃）。

替代方案：拥抱不匹配

与其试图强行让旧数据看起来像新数据，作者建议：直接使用旧数据，但改变我们解读分数的方法。

他们研究了一种流行的方法，称为OAPL（该方法跳过了复杂的校正因子），并问道：“这种方法实际上对 AI 的大脑做了什么？”

发现：“悲观”的老师

作者发现，当你不使用那些校正因子进行训练时，AI 不仅仅是在忽略不匹配；它实际上变得悲观了。

这里有一个类比：

“乐观”的老师（标准方法）： 如果 AI 在某一道特定的数学题上得了满分，乐观的老师会说：“哇！这是解决它的唯一方法！忘掉其他一切，永远照做！”这很危险。如果那个满分只是一个偶然或奇怪的边缘情况，AI 就会陷入僵局，停止学习任何新东西。
“悲观”的老师（本文的方法）： 悲观的老师看到满分时会说：“好吧，这是一个很好的解决方案。让我们尝试这样做，但不要把所有赌注都压在上面。让我们保留一些其他的想法，以防万一。”

在数学上，作者发现这种“悲观”行为遵循一条特定的曲线，称为朗伯函数（Lambert function）。当 AI 看到高分时，它的信心不会像火箭一样呈指数级爆炸，朗伯函数则像一个减震器。它允许 AI 进步，但防止它过度承诺于单个可能 flawed（有缺陷）的高分示例。

为什么旧方法“意外地”有效

本文解释了现有 OAPL 方法中一个令人困惑的怪癖。理论上，数学表明 AI 应该处于一个危险且不稳定的区域。但在实践中，工程师必须调整一个设置（改变一个“温度”数值）才能让它正常工作。

作者意识到，这种调整并非随机的修复；它意外地将 AI 推入了“悲观”区域。它是手动迫使 AI 变得不那么激进，更加稳定。

解决方案：一个简单、有原则的修复

与其依赖工程师去猜测正确的“温度”调整，作者提出了一个简单的、内置的规则：将平均分向上微调一点点。

可以这样理解：

旧方法： “这是你的分数。如果它高于群体平均分，你就获得奖励。”（这可能不稳定）。
新方法： “这是你的分数。我们将假装平均分实际上略高于真实值，因此你的奖励计算得更加保守。”

这种简单的偏移保证了 AI 自动保持在“悲观”（安全）区域。它不需要复杂的调整。

结果

作者将这种新方法与旧方法进行了测试：

稳定性： 当“作业”非常陈旧（数据过时）时，旧方法会崩溃，或者 AI 停止发挥创造力。而新方法则能平稳运行。
鲁棒性： 当“改变多少”的规则变得非常严格（正则化很小）时，旧方法失败了，但新方法继续进步。

核心结论

本文表明，离策略学习之所以有效，并不是因为它忽略了过去，而是因为它自然地变得“悲观”和谨慎。 通过理解这一点，作者创建了一个简单的规则，使 AI 训练更加稳定，更不易崩溃，并且更能处理旧数据，而无需复杂的数学校正。

技术摘要：离线策略学习之所以有效，是因为它比你想象的更加悲观

问题陈述

强化学习（RL）已成为增强大语言模型（LLM）在数学、编程和多步问题解决等任务中推理能力的核心工具。然而，在现代 LLM 所需的规模下，训练流程本质上是**离线策略（off-policy）**的。由于生成轨迹（rollouts）的成本高昂，训练数据通常由滞后的推理工作节点或旧模型检查点产生，而非当前正在优化的策略。

现有方法（如 PPO 和 GRPO）试图通过将训练视为近似在线策略（on-policy）来处理这种不匹配，利用重要性权重、截断或过滤来纠正分布偏移。虽然这些方法在近在线策略设置中有效，但当策略滞后显著时，这些校正会引入高方差并可能导致优化不稳定。相反，最近的无比率方法（例如 $A^\star$ -PO、OAPL）去除了重要性权重，直接在行为策略数据上进行训练。虽然这些方法显示出实证成功，但其理论基础尚未被完全理解。具体而言，这些目标的标称推导暗示的目标分布，与实际实现（通常解耦优势计算和正则化的温度）所达到的分布不同。本文旨在解释为什么这些无比率方法有效，以及如何进一步稳定它们。

方法论与理论分析

作者分析了一类无比率离线策略目标，该类目标将学习到的策略的对数比率回归到目标优势，而不使用重要性权重。他们关注如下形式的目标：
$\mathbb{E} \left[ \sum_i \left( \hat{A}_i \log \frac{\pi_\theta(y_i|x)}{\pi_{old}(y_i|x)} - \frac{\beta}{2} \left( \log \frac{\pi_\theta(y_i|x)}{\pi_{old}(y_i|x)} \right)^2 \right) \right]$
其中 $\hat{A}_i$ 是组相对优势， $\beta$ 是正则化参数。

核心理论洞察：兰伯特 - 调温目标（Lambert-Tempered Targets）
通过分析该目标的驻点，作者推导出诱导的目标策略并非标准的指数（KL 正则化）分布，而是一种兰伯特调温策略（Lambert-tempered policy）：
$\pi^\star(y|x) = \pi_{old}(y|x) \frac{1}{\tau_s} W_0 \left( \tau_s \exp \left( \frac{A(x,y)}{\beta} \right) \right)$
其中 $W_0$ 是兰伯特 W 函数的主分支， $\tau_s$ 是由优势基线确定的归一化乘数。

目标策略的行为 critically 取决于 $\tau_s$ 的符号和大小，而 $\tau_s$ 受优势归一化方式的控制：

悲观机制（Pessimistic Regime， $\tau_s > 0$ ）： 目标比指数更新更保守。兰伯特函数在大优势下呈对数增长，防止策略对少数高奖励样本进行指数级的过度承诺。这缓解了熵崩溃。
指数边界（Exponential Boundary， $\tau_s = 0$ ）： 目标恢复为标准的指数倾斜。该机制非常脆弱；优势基线中的微小误差可能导致目标进入不稳定机制。
不稳定机制（Unstable Regime， $\tau_s < 0$ ）： 目标比指数更新更激进，放大了高优势响应，并增加了对熵崩溃的敏感性。

现有方法分析（OAPL/ $A^\star$ -PO）
本文证明，OAPL 中使用的标称优势估计器（对数 - 和 - 指数居中的优势）由于有限组大小下的詹森不等式偏差，在总体层面上诱导了一个处于不稳定机制（ $\tau_s \le 0$ ）的目标。OAPL 实现中观察到的经验稳定性归因于启发式的“温度解耦”（在优势计算中使用比正则化更大的温度），这隐式地将优势 shifts 到更保守的机制中。

提出的修改
为了在不依赖启发式温度解耦的情况下实现稳定性，作者提出了一种 $\beta$ 偏移的均值优势：
$\hat{A}_i = r_i - \bar{r} + \beta$
这种简单的偏移确保了诱导的兰伯特乘数满足 $\tau_s \ge 1$ ，从而保证目标策略在构造上始终处于悲观兰伯特机制中。

主要贡献

无比率目标的表征： 作者证明，无比率离线策略目标会诱导兰伯特调温目标策略，其中保守程度由优势归一化控制。
稳定性机制的解释： 他们解释说，OAPL 等方法的成功依赖于实际实现选择（温度解耦）所诱导的隐式悲观主义，而其标称理论推导实际上暗示了不稳定的目标。
原则性稳定化： 他们提出了一种 $\beta$ 偏移的均值优势，保证目标位于稳定的悲观兰伯特机制中，从而消除了对参数繁重的温度解耦的需求。

实验结果

作者在 DeepScaleR 数据集上使用 Qwen3-8B 模型评估了他们的方法与 OAPL 的对比，并在数学基准（Minerva、AIME2025、AMC23、BRUMO）上进行了评估。

对正则化（ $\beta$ ）的敏感性： 在较小的正则化强度（小 $\beta$ ）下，OAPL 表现出快速的熵崩溃和奖励下降，而提出的兰伯特方法保持稳定并持续改进。
对策略滞后的鲁棒性： 随着策略滞后（陈旧轨迹）增加（从 32 步增加到 256 步），OAPL 变得高度敏感，表现出熵崩溃或不稳定的熵增长。兰伯特方法在所有滞后设置下都保持了更高的熵，并收敛到更高的奖励。
结论： 提出的修改提高了对激进正则化和大策略滞后的鲁棒性，验证了将目标设定为悲观兰伯特机制可以稳定离线策略学习的假设。

意义与主张

本文主张，离线策略学习在 LLM 推理中的有效性不仅仅源于忽略分布不匹配，而是因为特定的优势归一化诱导了一种隐式悲观主义。这种悲观主义防止策略对陈旧的、高奖励的样本进行过度优化，这在轨迹由旧策略生成时至关重要。

作者将他们的工作定位为提供对近期离线策略算法中某些实现选择为何有效的原则性理解，从“信任区域”启发式转向基于兰伯特调温目标的框架。他们认为，通过偏移均值优势显式地针对悲观机制，提供了一种比现有方法更稳定、更可靠的替代方案，特别是在大规模、异步 LLM 训练这一具有挑战性的设置中。文章最后指出，该理论的 token 级变体代表了使离线策略推理算法更加原则化的一个有前景的方向。