🤖 machine learning

UP: Unbounded Positive Asymmetric Optimization for Breaking the Exploration-Stability Dilemma

本文引入了无界正向非对称优化（Unbounded Positive Asymmetric Optimization, UP），这是一种通用的即插即用目标函数，通过在为正向优势提供无裁剪、稳定的梯度，同时保留针对负向优势的裁剪保护机制，解决了大语言模型强化学习中的探索与稳定性困境，从而显著提升了不同算法和架构下的推理准确性。

原作者： Chongyu Fan, Pengfei Liu, Jingjia Huang, Sijia Liu, Yi Lin

发布于 2026-07-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Chongyu Fan, Pengfei Liu, Jingjia Huang, Sijia Liu, Yi Lin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个才华横溢但谨小慎微的学生（即 AI）如何解决极其困难的数学谜题。这个学生有一本教科书（“旧策略”）可以遵循，但这些谜题太新、太复杂，以至于教科书中找不到答案。你需要学生尝试新的、具有创造性的思考方式来解决这些问题。

这正是大语言模型强化学习（RL）的核心挑战：如何鼓励 AI 探索疯狂的新想法，而不至于让它脱离轨道或忘记已掌握的所有知识？

问题所在：“走钢丝”的困境

该论文指出了一种令人沮挫的拉锯战，称为探索与稳定性困境（Exploration-Stability Dilemma）。

过度狂野的危险（不稳定性）： 如果你让 AI 在没有任何限制的情况下尝试任何新路径，它可能会偶然发现一个罕见的正确解。但在这一过程中，它也可能不小心给一个错误的猜测分配一个巨大的、疯狂的权重。这会导致训练爆炸，就像一辆失控加速的汽车。
过于保守的危险（抑制探索）： 为了防止爆炸，目前的方法使用了一种“裁剪（clipping）”机制。你可以把它想象成一条安全牵引绳。如果 AI 的想法偏离旧教科书太多，这条绳子就会把它拽回来。
- 缺陷： 论文认为这条牵引绳勒得太紧了。即使 AI 发现了一个正确但非常罕见的路径（一个“低置信度”的天才想法），牵引绳也会切断奖励，使其无法充分学习。这就像一位老师说：“尝试得不错，但由于规则限制，你的成绩最高只能到 80 分，”即便这个学生实际上完美地解决了问题。

作者将这种限制称为**“概率容量”（Probability Capacity，简称 Cap）**。他们证明了当前的方法限制了 AI 的成长能力，实际上扼杀了它发现罕见、卓越解法的潜力。

解决方案：UP（无界正向非对称优化）

作者提出了一个名为 UP 的新方法。把 UP 想象成一个智能的双向交通系统，它对“好”的想法和“坏”的想法采取截然不同的对待方式。

1. 为好想法开“绿灯”（无界正向）

当 AI 做出的举动导向一个正确的解（正向优势）时，UP 会完全撤掉安全牵引绳。

类比： 想象 AI 是一名冲浪者。如果它捕捉到了一波完美的浪（一条正确的推理路径），UP 会让它顺着这波浪一直冲向岸边，全程没有任何速度限制。
运作方式： UP 不再通过与旧教科书进行比较（这会导致不稳定性），而是将其与 AI 的当前状态进行锚定对比。这使得 AI 能够积极地强化其最优秀的想法，无论这些想法最初看起来多么不可思向，而不会导致训练崩溃。

2. 为坏想法设“红灯”（非对称安全性）

当 AI 做出的举动导向一个错误的解（负向优势）时，UP 会牢牢地拉住安全牵引绳。

类比： 如果冲浪者尝试了一个看起来会导致摔倒的动作，安全网（裁剪机制）会立即抓住他。
原因： 这能防止 AI 通过从错误中过度学习来破坏自己的知识库。它确保了训练过程保持稳定。

为什么这很重要

论文声称，通过将规则拆分为“对好想法无界”和“对坏想法裁剪”，他们解决了这个困境。

即插即用： 你不需要重建整辆车，只需要更换引擎。作者在不同类型的 AI“引擎”（如 GRP0、DAPO 和 GSPO 等算法）和不同的“底盘”（如 Dense、MoE 和视觉语言模型）上测试了 UP。
无处不在： 无论 AI 是在解决纯数学问题、视觉几何谜题还是多模态任务，UP 都能一致地帮助 AI 更快地找到更好的解法。
结果： 在实验中，使用 UP 的 AI 不仅学习得更快，而且找到了更多正确的答案（更高的准确率），并探索了更多富有创造性的路径（更高的熵），同时从未导致训练过程崩溃。

简而言之

目前的 AI 训练就像是在开车时踩着半个手刹——你无法跑得足够快去探索新路，但如果你完全松开，你就会撞车。

UP 就像是安装了一个智能巡航控制系统：

如果你行驶在一条安全、正确的路径上，它会完全松开手刹，让你发挥出全部潜力。
如果你开始驶向悬崖（错误的路径），它会立即踩下刹车以确保安全。

这使得 AI 既能在寻找天才解法时表现得大胆，又能保持足够的稳定性来学习这些解法。

技术摘要：无界正向非对称优化 (Unbounded Positive Asymmetric Optimization, UP)

1. 问题陈述：探索与稳定的困境

强化学习 (RL) 已成为增强大语言模型 (LLM) 推理能力的标准范式。虽然现代框架如组相对策略优化 (GRPO) 和动态采样策略优化 (DAPO) 利用重要性采样 (Importance Sampling, IS) 来提高样本效率，但它们面临着一个根本性的探索-稳定困境 (Exploration-Stability Dilemma)。

纯 IS 的不稳定性： 纯粹且未经过裁剪的 IS 容易导致灾难性的训练不稳定。在评估罕见的、长尾的推理路径时，如果历史策略 ( $\pi_{old}$ ) 给正确动作分配的概率极小，重要性采样比率 ( $r_{i,t}$ ) 可能会发生爆炸。这会导致病态梯度，从而破坏稳定的表示。
裁剪对探索的抑制： 为了缓解不稳定性，标准算法采用了裁剪机制（例如，将比率限制在 $[1-\epsilon, 1+\epsilon]$ 之间）。然而，作者认为这种保守的裁剪在结构上抑制了探索。
概率容量 (Probability Capacity, Cap)： 本文将概率容量 (Cap) 形式化为一个概念，定义为在梯度被截断之前，允许的正向优势 (Positive Advantages) 所能增加的最大 Token 概率。作者证明，保守的裁剪限制了 Cap 与历史策略 ( $\pi_{old}$ ) 成线性比例。对于低置信度但正确的推理路径（其中 $\pi_{old}$ 很小），更新预算受到严重限制（例如，仅为 0.0028 的增量），导致梯度过早消失。这阻碍了模型强化有前景的长尾轨迹。

2. 方法论：无界正向非对称优化 (UP)

为了解决这一困境，作者提出了无界正向非对称优化 (UP)，这是一种通用的、即插即用的目标函数，通过对正向和负向优势进行非对称处理来重构优化过程。

核心机制

通过停止梯度实现的自锚定比率 (Self-Anchored Ratio via Stop-Gradient)：
对于正向优势（正确的 Rollout），UP 使用带有停止梯度算子 ($sg$) 的自锚定比率来替换标准的 IS 比率 ( $\pi_{new}/\pi_{old}$ ):
$\tilde{r}_{i,t}(\theta) = \frac{\pi_\theta(\cdot)}{sg(\pi_\theta(\cdot))}$
- 理论含义： 由于分母在反向传播过程中被视为常数，该目标的梯度在数学上等同于稳定、未裁剪的 REINFORCE 梯度 ( $\nabla \log \pi_\theta$ )。
- 结果： 这种公式完全消除了导致 IS 不稳定的根源（即分母中爆炸的 $\pi_{old}$ ），同时允许无界更新。它有效地移除了针对正确路径的裁剪约束，使概率容量最大化至 $1 - \pi_\theta$ 。
非对称设计：
- 正向优势 ( $\hat{A} > 0$ )： 对正确的、低置信度的推理路径应用无界的、自锚定的公式，进行积极的强化，而不进行裁剪。
- 负向优势 ( $\hat{A} \leq 0$ )： 对于错误的 Rollout，该方法保留标准的裁剪机制（例如来自 DAPO 或 GRPO 的机制）。这作为一个结构性的防护措施，防止无界机制导致对错误动作进行激进的梯度上升，从而破坏原始表示。

与现有框架的集成

UP 框架被设计为一个通用的插件，兼容各种优化粒度：

Token 级： UP-DAPO 和 UP-GRPO 将裁剪的正向分支替换为无界的对数策略目标，同时保持负向分支为裁剪状态。
序列级： UP-GSPO 将此逻辑扩展到序列级重要性采样，将无界公式应用于长度归一化的序列优势。

3. 主要贡献

概率容量 (Cap) 的形式化： 本文引入了 Cap 来从数学上揭示当前 RL 算法中的结构性瓶颈，证明了保守的裁剪如何过早地截断了正确但低置信度路径的更新。
理论重构： 通过使用停止梯度算子将策略锚定到其当前状态，UP 在理论上重构了 IS 机制，从而绕过了正向优势的信任区域 (Trust Region) 瓶颈，使无裁剪梯度与 REINFORCE 的稳定性保持一致。
通用即插即用目标： UP 被验证为一种通用的增强方案，适用于不同的算法 (DAPO, GSPO, GRPO)、模型架构 (Dense, MoE, 视觉语言模型) 以及多种训练模态 (语言, 多模态)。

4. 实验结果

在多种基准测试 (AIME24, AMC23, MATH500, Minerva, OlympiadBench, Geometry3K) 和模型系列 (Qwen3 系列) 上进行了广泛的实验。

性能提升：
- UP-GRPO 在五个具有挑战性的推理基准测试中实现了最佳的平均 Pass@1 准确率 (61.31%)，超越了包括 GSPO (60.15%)、ASPO 和 REINFORCE++ 在内的 11 个强力基准模型。
- UP-DAPO 相比标准 DAPO 表现出显著改进，在 AIME24 上的峰值 Avg@32 从 47.71% 提升至 51.15%。
- UP-GSPO 使 MoE 模型 (Qwen3-30B-A3B-Base) 在 AIME24 上的绝对准确率提升了 3.02%。
- UP-GRPO 在视觉语言模型 (Qwen3-VL-8B) 上使 Geometry3K 的准确率提升了 3.30%。
探索与稳定性：
- 增强探索： UP 变体在整个训练过程中保持了持续上升的策略熵，而基准模型（如 GRPO, GSPO）则表现出熵崩溃现象。这表明 UP 成功保留了探索替代推理轨迹的能力。
- 稳定性： 尽管对正向优势移除了裁剪，但 UP 维持了与基准模型相当甚至更低的梯度范数和 KL 散度水平。这证实了非对称设计在最大化探索的同时，防止了训练不稳定性。
消融实验：
- 如果仅移除 DAPO 中的上界裁剪（而不使用自锚定比率），会导致立即的梯度爆炸，这证明了停止梯度算子的必要性。
- 将无界更新同时应用于正向和负向优势（对称无界）会导致灾难性的不稳定，验证了非对称设计的必要性。

5. 意义与主张

本文声称，UP 提供了一个数学基础，使其能够摆脱历史上限制基于 IS 的 RL 的保守裁剪约束。通过解耦对正确和错误 Rollout 的处理，UP 允许模型在不牺牲优化稳定性的情况下，积极地内化长尾推理能力。

作者将 UP 定位为不仅仅是一个启发式的改进，而是一个通用的范式，解决了基于 IS 的 RL 中固有的探索-稳定困境。结果表明，“无界正向”方法是增强不同架构和模态下 LLM 推理能力的、一个关键的、此前未被充分探索的方向。