🤖 machine learning

OR Else: A Differentiable Trust Region for Policy Optimization

本文研究了“输出重置”（Output Reset, OR）作为一种平滑且可微的替代方案，旨在用于大语言模型后训练阶段中 PPO 和 GRPO 的截断代理目标（clipped surrogate objectives），研究发现，尽管 OR 改变了优化行为并降低了组内相对设置下的方差，但与标准的截断方法相比，它并未一致地提高奖励模型分数。

原作者： Chinmay Rane, Kanishka Tyagi, Michael Manry

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Chinmay Rane, Kanishka Tyagi, Michael Manry

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

教导 AI 达到“恰到好处”的艺术

想象一下，你正试图教一个非常聪明但有点混乱的机器人写出人类真正喜欢的文章。这个领域被称为基于人类反馈的强化学习（RLHF）。这就像一场游戏：机器人写出一个句子，人类裁判给它一个赞或一个踩，然后机器人尝试从这些反馈中学习，以便下次写得更好。目标是让机器人既有帮助又无害，同时又不至于失控。

为了实现这一点，科学家们使用了一个“奖励模型”——一个数字化的裁判，为机器人的写作进行评分。但其中有一个棘手的部分：如果机器人为了讨好裁判而过度努力，它可能会开始写一些乱七八糟的东西来骗取高分，或者它的个性会发生剧烈变化，以至于忘记了如何正常说话。为了阻止这种情况，研究人员使用了一种叫做“置信区域”（trust region）的安全规则。把它想象成一根皮带。机器人可以四处游荡和学习，但这根皮带能防止它跑得离原本理性的自我太远。

管理这根皮带最流行的方法是一种叫做 PPO（近端策略优化）的方法。PPO 使用了一种“裁剪”（clipping）机制。想象机器人正朝着目标奔跑。如果它离安全区边缘太近，PPO 会突然踩下刹车，切断任何加速奔跑的额外动力。这种方法很有效，但有点像一个电灯开关：要么全开，要么全关。本文提出了一个简单的问题：如果皮带不是突然收紧，而是随着机器人到达安全极限时逐渐淡出，会怎样？作者提出了一种名为“输出重置”（Output Reset，简称 OR）的新方法，以观察这种更平滑的方法是否能更好地教导大语言模型（LLM）变得更有帮助。

平滑皮带 vs. 裁剪开关

研究人员 Chinmay Rane、Kanishka Tyagi 和 Michael Manry 决定在两种不同的训练场景中测试这种新的“平滑皮带”理念与标准的“裁剪开关”进行对比。他们使用了一个小巧但功能强大的机器人大脑（Llama-3.2-1B 模型），并在人类偏好数据集（Anthropic hh-rlhf）上对其进行训练。他们用不同的随机种子运行了三次实验，以确保结果并非偶然。

实验：两个不同的世界
团队在两个截然不同的环境中测试了他们的新方法，即 PPO-OR 和 GRPO-OR：

GAE 世界 (PPO)： 这是经典的设置，机器人拥有一个“评论家”（一个预测未来奖励的助手），并逐个单词（token）进行学习。
组相对世界 (GRPO)： 这是一个更新、更简单的设置，机器人同时生成两个答案，通过比较它们并从差异中学习，而不需要评论家。

结果：两种结局的故事
结果令人惊讶，并表明“平滑皮带”在不同情况下表现并不一致。

在 GAE 世界 (PPO) 中： 平滑方法（PPO-OR）在原始得分方面是明显的赢家。使用新方法训练的机器人最终的平均奖励得分达到了 0.500，而标准的裁剪方法仅为 0.195。这提升了 0.305 分！然而，这里有个代价：结果变得有些“摇摆不定”。三次运行之间的得分差异更大（标准差为 0.158，而标准方法为 0.110）。看起来平滑皮带帮助机器人跑得更快了，但也让它的路径变得不太可预测。
在组相对世界 (GRPO) 中： 在这里，平滑方法并没有让机器人跑得更快。事实上，平均得分从 0.488 轻微下降到了 0.457。但机器人变得更加稳定了。运行之间的波动剧烈缩小，从 0.080 降至 0.027。这就像机器人停止了抖动，找到了一个稳定的节奏，尽管它并没有达到更高的峰值得分。

大惊喜：皮带并未缩短
然而，最重要的发现并不是关于得分。研究人员曾担心新方法可能会让机器人离其原始个性太远（这被称为“策略漂移”问题）。他们测量了机器人的当前写作风格与其初始风格之间的偏移距离。

他们发现，在组相对世界中，无论使用旧的裁剪方法还是新的平滑方法，机器人的漂移量都非常巨大——在 5 到 13 个单位的距离之间。平滑皮带（OR）并没有阻止机器人跑得太远。它只是改变了机器人在撞到“安全区”时的反应方式。论文明确排除了这种平滑饱和机制可以作为严格“置信区域”来让机器人保持在原地的想法。机器人依然会游荡；新方法只是改变了它在到达那里时停止尝试改进的数学逻辑。

这对未来意味着什么

作者谨慎地表示，这并不算是一个彻底的胜利。他们发现，“平滑皮带”（输出重置）改变了机器人的学习方式，但它并没有解决组相对方法最大的问题：容易偏离原始策略的倾向。

在经典的 PPO 设置中，平滑方法帮助机器人获得了更高的分数，尽管稳定性略有下降。在较新的组相对设置中，它使训练变得更加一致，但并没有提高最终得分，也没有阻止机器人的漂移。论文表明，仅仅通过平滑数学处理不足以解决“漂移”问题；我们可能需要更大的比较组或不同的安全规则来防止机器人跑得太远。

最终，这项研究表明，在 AI 训练的世界里，并不存在单一的“万能药”。一种在一种设置下表现完美的技巧，在另一种设置下可能会表现得截然不同。输出重置这种平滑且连续的方法提供了一种不同的学习风味——根据语境的不同，它可以更稳定或更有效——但它并不是一种能让 AI 模型保持受控的通用解决方案。研究人员总结道，虽然他们的新方法改变了训练过程的行为，但如何最好地控制这些强大的模型，尤其是在我们迈向更大、更复杂的 AI 系统时，这个问题仍然悬而未决。

技术摘要：OR ELSE：一种用于策略优化的可微置信区域

问题陈述
大语言模型（LLM）中的人类反馈强化学习（RLHF）通常依赖于近端策略优化（PPO）及其变体——组相对策略优化（GRPO）。这两种方法都利用剪切代理目标（clipped surrogate objective）来约束策略更新。虽然剪切机制通过创建一个单侧零梯度区域来防止在“有利”方向上的过度策略漂移，但其进入该区域的过程在几何上是突变的：目标函数对概率比的导数在剪切边界处是不连续的。作者研究了最初为分类器训练设计的平滑、单侧饱和规则——输出重置（Output Reset, OR），是否能作为 LLM 后训练的一种更优替代方案。具体而言，本文探讨了将剪切代理替换为可微的基于 OR 的损失函数，是否能在不引入新病态现象的情况下，提高优化稳定性和最终奖励得分。

方法论
本文引入了 PPO-OR 和 GRPO-OR，这两种变体通过在 Token 对数比空间中引入由 OR 衍生的平方边际损失（squared-margin loss），取代了标准的剪切策略项。

核心机制： 这些方法不再使用概率比 $r_t(\theta)$ ，而是在每个 token 的对数概率比 $\rho_t = \log \pi_\theta(a_t|s_t) - \log \pi_{\theta_{old}}(a_t|s_t)$ 上进行操作。
OR 损失： 对于具有非零估计优势值 $\hat{A}_t$ 的 token，设定一个目标边际 $\sigma_t \alpha_{OR}$ （其中 $\sigma_t = \text{sign}(\hat{A}_t)$ ）。这是一个平方单侧边际损失： $\ell_{OR,t} = [\max(0, \alpha_{OR} - \sigma_t \rho_t)]^2$ 。
输出重置行为： 一旦 $\rho_t$ 在优势值符号所偏好的方向上越过边际，目标将被“重置”为当前的 $\rho_t$ 。这会导致残差为零，且该 token 的直接梯度贡献也为零。导数在边界处连续趋于零，使得该损失具有 $C^1$ 连续性（不同于 PPO 剪切那种 $C^0$ 连续但不可微的情况）。
优势估计：
- PPO-OR： 保留了带有学习价值头的广义优势估计（GAE）。
- GRPO-OR： 保留了组相对优势（从每个提示词的 $G=2$ 个响应中计算），且不使用评论家（critic）。
实验设置： 研究使用 Llama-3.2-1B-Instruct 在 Anthropic hh-rlhf 数据集上进行。所有方法共享同一个冻结的奖励模型，并针对三个随机种子进行评估。实验设计为两个匹配的家族内比较：PPO-clip vs. PPO-OR（基于 GAE）以及 GRPO vs. GRPO-OR（基于组相对优势）。由于优势估计、评论家使用及响应长度的不同，跨家族比较被视为不受控的。

主要贡献

算法提议： 引入了 PPO-OR 和 GRPO-OR，它们在对数比空间中用连续可微的单侧平方边际损失取代了剪切代理。
理论特征化： 形式化证明了 OR 目标函数在饱和边界处是 $C^1$ 连续的，且样本级更新方向严格由优势值的符号决定，并在越过边际时连续消失。
实证评估： 在两个不同的优势估计家族中对剪切与 OR 进行了严格比较，强调了 OR 的益处并非是统一的，而是取决于周围的优化流程。
诊断洞察： 识别出使用 OR 并不能本质上解决在组相对设置中观察到的大规模累积策略漂移问题，从而区分了局部梯度饱和与全局策略控制。

结果
论文报告了跨三个种子的训练时奖励模型得分和优化诊断指标：

GAE 家族（PPO-clip vs. PPO-OR）：
- 奖励得分： PPO-OR 实现了更高的平均最终得分（+0.500）相比于 PPO-clip（+0.195），差值为 +0.305。
- 稳定性： 与 PPO-clip（0.110）相比，PPO-OR 表现出更大的跨种子标准差（0.158）。
- 漂移： 两种方法都保持了相似且较低的 Rollout-to-current 对数比位移（约 0.3–0.5）。
组相对家族（GRPO vs. GRPO-OR）：
- 奖励得分： GRPO-OR 未能提高平均得分；其得分（+0.457）略低于 GRPO（+0.488）。
- 稳定性： GRPO-OR 表现出显著更小的跨种子标准差（0.027），而 GRPO 为 0.080。
- 诊断： GRPO-OR 实现了接近于零的终端 OR 残差和下降的超调比例（overshoot fraction），而与之匹配的 GRPO 轨迹则保持较大且高度波动。
- 漂移： 至关重要的是，GRPO-OR 并未减少在 GRPO 中观察到的巨大的 Rollout-to-current 位移。两种组相对方法都表现出显著更高的位移（约 5–13），高于 GAE 方法。

意义与主张
论文的结论较为审慎，强调 OR 的效果是上下文相关的：

并非通用的置信区域： 作者明确指出，OR 损失的平滑饱和并不构成形式上的置信区域。它抑制了单个 token 在越过边际后的直接梯度贡献，但并不能约束由共享参数、辅助损失或迭代间变化优势值所引起的累积策略漂向。
流水线依赖性： OR 的效能与优势估计方法紧密相关。在 GAE 设置下，OR 与更高的奖励得分相关联，但增加了方差。在组相对设置下，OR 降低了方差并稳定了损失轨迹，但并未提高平均奖励得分或减少策略漂移。
局限性： 研究承认其结果特定于轻量级 1B 模型、单一冻结奖励模型以及受限的组大小（ $G=2$ ）。研究结果刻画了这一特定的实验设置，而非确立其相对于 PPO 或 GRPO 的普遍优越性。论文认为，组相对方法中的大规模策略漂移仍是一个尚未解决的问题，仅靠 OR 无法修复，这表明未来的工作必须通过更强的参考正则化或显式的位移惩罚来解决累积位移问题。

总而言之，本文证明了输出重置（Output Reset）提供了一种可微的替代方案来取代剪切，它改变了优化行为，并能在特定语境下提高奖励得分，但它并不能本质上解决组相对 RLHF 中的策略稳定性或漂移挑战。

教导 AI 达到“恰到好处”的艺术

平滑皮带 vs. 裁剪开关

这对未来意味着什么

类似论文