💻 computer science

One-Way Policy Optimization for Self-Evolving LLMs

本文介绍了一种名为单向策略优化（OWPO）的新方法，该方法通过非对称重加权与迭代参考更新，将优化方向与更新幅度解耦，从而稳定并增强大语言模型的自演化能力，进而克服现有词元级约束的低效性，并实现在无需外部参考模型的情况下持续改进。

原作者： Shuo Yang, Jinda Lu, Kexin Huang, Chiyu Ma, Shaohang Wei, Yuyang Liu, Guoyin Wang, Jingren Zhou, Li Yuan

发布于 2026-05-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Shuo Yang, Jinda Lu, Kexin Huang, Chiyu Ma, Shaohang Wei, Yuyang Liu, Guoyin Wang, Jingren Zhou, Li Yuan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和日常类比对论文《面向自进化大语言模型的单向策略优化》的解释。

核心难题：“中途卡死”困境

想象你正在教一个机器人（AI）解决复杂的数学问题。你有一位裁判（验证器），它只能在解题的最终时刻说“对”或“错”。

问题所在：因为裁判只在最后发言，机器人经常迷失方向。它不知道哪一步出错了，因此学习缓慢且容易困惑。
旧方案：为了提供帮助，研究人员引入了一个参考模型（“老师”）。他们告诉机器人：“要紧跟老师的风格。”这虽然让训练变得稳定，却引发了新问题。
新问题：有时，机器人找到了比老师更优的解题方法。但由于系统强制机器人必须贴近老师，它反而因“与众不同”而受到惩罚。这就像一名学生发现了解题的更快捷径，老师却大喊：“不行！你必须走我教你的那条老路！”结果机器人陷入停滞，无法超越老师的水平。

解决方案：单向策略优化（OWPO）

作者提出了一种名为OWPO的新方法。你可以把它想象为一位聪明的教练，将方向与速度区分开来。

1. 教练的规则：

方向：由裁判决定。如果裁判说“这条路是对的”，机器人就走这条路；如果裁判说“这条路是错的”，机器人就掉头。老师从不决定方向。
速度：由老师决定。

2. 双向街道（非对称重加权）：
OWPO 根据机器人的尝试是“不如老师”还是“优于老师”，采取不同的处理方式。

场景 A：机器人落后（劣势偏差）
- 情况：机器人犹豫不决或犯错，而老师在此处很自信。
- 行动：教练加速学习。它说：“你在这里落后于老师了！快跑，赶紧追上来！”这被称为加速对齐。
场景 B：机器人领先（优势偏差）
- 情况：机器人找到了更好的解法，或者比老师更自信。
- 行动：教练减缓变化。它说：“你在这里做得很棒！别改太多，否则可能会意外丢掉这个好主意。”这被称为增益锁定。它能保护机器人新产生的、更优的想法，不被随机噪声冲走。

“棘轮效应”：打破天花板

过去，一旦机器人达到老师的水平，就无法再进步，因为老师就是上限。

OWPO 引入了一个棘轮机制（就像一种只能单向转动、不会回退的工具）。

每隔几步，机器人就暂停一下，审视自己最好的表现，并说：“好吧，现在我就是老师了。”
它将参考模型更新为自己当前的最佳状态。
这就形成了一架梯子。机器人向上攀登，锁住横档，然后以新的高度为基座继续攀登更高处。它绝不会滑回到过去那个较弱的老师水平。

为何重要（实验结果）

该论文在数学问题（如 AIME 竞赛）上测试了这种方法。

旧方法：机器人会卡在老师水平附近。如果老师只有 37% 的正确率，机器人就会徘徊在 37% 或 38% 左右。
OWPO：机器人突破了天花板。它从 30% 起步，超越了老师，最终达到了 40% 以上的准确率。
稳定性：其他方法在尝试更具创造性时可能会崩溃或不稳定，而 OWPO 通过“锁定”好想法，让机器人保持稳健。

总结类比

想象一名徒步者（AI）试图攀登一座山峰。

裁判是指向山顶的指南针。
旧老师是一张地图，上面写着：“必须走这条特定的小径。”如果徒步者发现了捷径，地图会强迫他回到老路上。
OWPO则是一位聪明的向导。向导说：“如果你偏离了小径且迷路了，就快跑回到路上。但如果你发现了一条通往更高处的捷径，就放慢脚步、小心行走，以免滑倒，但要沿着这条新路继续走。一旦你到达新的高点，就更新地图，表明你现在才是专家，并从此处开始寻找下一条捷径。”

这使得 AI 能够持续进化，不断变得更好，而无需一个外部的“超级老师”永远牵着它的手。

技术摘要：面向自进化大语言模型的单向策略优化

1. 问题陈述

本文探讨了**可验证奖励强化学习（RLVR）**在扩展大语言模型（LLM）推理能力方面的局限性。虽然 RLVR 为具有可检查结果的任务（如数学、代码）提供了一种有前景的范式，但它面临两个主要挑战：

稀疏且二元的信号：验证器奖励通常仅在序列级别可用，导致高方差、低样本效率以及优化不稳定。
参考引导方法中的“力反转”冲突：为了稳定训练，现有方法（如 KL 正则化 RL、在线策略蒸馏）引入参考策略（ $\pi_{ref}$ $π_{r e f}$ ）以提供密集的 token 级约束。然而，这些方法施加了对称约束，无论偏离是否提高了奖励，都会惩罚任何对参考的偏离。
- 核心问题：当策略试图超越参考（即“优越偏离”）时，对称的 KL 惩罚或蒸馏损失会施加一种将策略拉回参考的“回拉”力。如果这种力足够强，它会翻转优化方向，将原本能提高奖励的步骤转变为倒退步骤。这造成了性能天花板，阻止模型进化到初始先验之外。

2. 方法论：单向策略优化（OWPO）

作者提出了单向策略优化（OWPO），这是一个旨在解耦优化方向与更新幅度的框架。

核心原则

方向：完全由验证器（通过优势信号 $A_t$ ）决定。验证器确定一个 token 是正确还是错误。
幅度：由参考策略（ $\pi_{ref}$ ）调节。参考策略仅用于调整步长，而不反转方向。

机制：非对称重加权

OWPO 引入一个动态标量权重 $w_t$ ，应用于标准的 PPO/DAPO 目标函数。该权重由方向性偏离（ $\delta_t$ ）决定，定义如下：
$\delta_t(\theta) \triangleq \text{sgn}(A_t) \cdot \log \frac{\pi_\theta(y_t | s_t)}{\pi_{ref}(y_t | s_t)}$
基于 $\delta_t$ ，OWPO 应用两种不同的机制：

加速对齐（劣性偏离， $\delta_t < 0$ ）：
- 场景：当前策略 $\pi_\theta$ 在正确方向上落后于参考（例如，对正确 token 的置信度较低，或对错误 token 的置信度较高）。
- 动作：权重 $w_t > 1$ 。
- 效果：梯度被放大，以加速修正这些滞后，利用参考先验快速修复错误。
增益锁定（优越偏离， $\delta_t > 0$ ）：
- 场景：当前策略 $\pi_\theta$ 在正确方向上超越了参考（例如，对正确 token 的置信度更高）。
- 动作：权重 $w_t < 1$ （具体受 $\epsilon_{low}$ 限制）。
- 效果：更新步长减小。这通过降低方差并防止高方差噪声破坏或逆转这些有益偏离，从而“锁定”稀疏的高价值增益。

迭代自进化（棘轮效应）

为了克服固定参考策略的瓶颈，OWPO 结合了迭代自举过程：

在每个训练阶段结束时，参考策略通过“硬交换”进行更新： $\pi_{ref}^{(k+1)} \leftarrow \pi_\theta^{(k)}$ 。
这产生了一种棘轮效应，其中每次迭代都将最近的增益巩固为新的基线，使模型能够持续向更高奖励攀升，而不受原始先验的约束。

3. 主要贡献

方向冲突的识别：本文指出，现有 RLVR 方法中的对称约束会导致“力反转”，即参考策略无意中抑制了偏离先验的改进。
方向与幅度的解耦：OWPO 引入了一种新颖的目标函数，其中验证器决定梯度符号（方向），而参考策略仅缩放梯度幅度。
非对称信任区域：与标准的对称 KL 正则化不同，OWPO 构建了一个方向感知的信任区域，既加速修正劣性偏离，又通过方差减少保护优越偏离。
迭代自进化框架：通过将单向机制与周期性参考更新相结合，OWPO 实现了无需外部教师模型的持续自我改进。

4. 实验结果

作者在 Qwen-2.5-Math-7B 和 Qwen-3-8B 基础模型上，使用 DAPO-Math-17k 数据集和 AIME24/25 基准测试评估了 OWPO。

性能与基线对比：OWPO 始终优于强大的基线，包括纯 RLVR 方法（GRPO, DAPO）和参考引导方法（OPD, MOPD, Sym-DAPO）。
- 在 Qwen-3-8B 上，OWPO 在 AIME24 上实现了 51.90% 的最佳 Pass@1 和 50.74% 的收敛 Pass@1，显著超越了 MOPD（46.40%）和 DAPO（45.31%）。
- OWPO 打破了 MOPD 和 OPD 中观察到的“性能天花板”，后两者倾向于在接近参考策略性能的水平上 plateau（停滞）。
自进化效率：在从次优先验（约 30% Pass@1）开始的迭代设置中，OWPO 在 4 次迭代内达到了约 40% 的准确率，而 MOPD 需要 6 次迭代才能饱和在较低的约 37%。
泛化性：尽管严格在数学数据上训练，OWPO 在通用科学基准（GPQA 和 MMLU-Pro）上表现出优于其他方法的迁移能力。
消融研究：移除非对称性（对称重加权）导致严重的性能倒退，证实了对称惩罚会引发力反转。研究还发现，“加速对齐”和“增益锁定”组件都是不可或缺的。

5. 意义与主张

本文主张 OWPO 解决了 RLVR 中根本的稳定性 - 探索冲突。通过防止对称正则化固有的“力反转”效应，OWPO 使模型能够：

稳定地超越次优先验：模型可以在不崩溃的情况下进化到超越其初始参考策略的能力。
实现持续自进化：迭代的“棘轮效应”允许在没有外部教师模型的情况下持续提高性能。
优先遵循验证器引导：该框架确立了对于可验证推理任务，验证器的信号应作为优化方向的主要驱动力，而参考策略仅作为幅度的稳定器。

作者将 OWPO 定位为迈向可扩展、自进化推理模型的关键一步，指出虽然目前它专注于数学和可验证推理，但方向感知优化的原则广泛适用于 RLVR。