技术摘要：ASymPO：用于异步 LLM 后训练的非对称尺度策略优化

1. 问题陈述

本文针对大语言模型（LLM）后训练中**异步强化学习（RL）**的一个关键不稳定性问题进行了研究。现代系统通常将响应生成（rollout）与策略优化（学习）解耦，以提高吞吐量。在这种设置下，rollout 工作节点从最近的策略快照中采样响应，而学习器则更新一个更新后的策略。

这种异步性引入了分布漂移（distribution drift）：生成响应的行为策略（$\pi_b$）与用于训练的当前策略（$\pi_\theta$）存在差异。

• 标准解决方案： PPO 等方法使用行为策略概率（log-probs）来计算重要性比例并应用裁剪。这要求 rollout 系统向学习器传输与 token 对齐、版本化且数值一致的行为 log-probabilities，从而增加了基础设施的复杂性并引入了潜在的数值漂移。
• 失效模式： 作者指出，在异步设置中，仅基于当前策略的目标函数（即忽略行为 log-probs）会导致不稳定。具体而言，在优势值总和为零（$\sum A_g = 0$）的组内相对 RL 中，正向和负向优势的响应进入损失函数时的当前负对数概率尺度截然不同。
  • 过时的负向优势响应通常比正向响应具有大得多的当前负对数概率。
  • 这导致负向部分的损失占据主导地位，破坏了组基准（group baseline）原本意图实现的零和抵消。
  • 其结果是训练崩溃，即模型过度抑制过时的负向样本，而没有收到来自正向样本的补偿信号。

2. 方法论

本文提出了两种旨在无需行为策略信息即可稳定训练的“仅限当前策略”目标函数。两者均基于组相对优势 $A_g$ 和当前策略的平均 token 负对数概率 $S_{\theta,g}$ 进行操作。

2.1 尺度策略优化 (SPO)

SPO 是一种启发式基准，通过手动降低负向优势响应的影响力。

• 机制： 它对负向优势（$A_g < 0$）应用一个固定的缩放系数 $\alpha \in (0, 1)$，而保持正向优势（$A_g \ge 0$）不变。
• 损失函数：
  $$L_{SPO}(\theta) = -\frac{1}{G} \sum_{g=1}^G \frac{1}{m_g} \sum_{i=1}^{m_g} \tilde{A}_g \log p_{g,i}(\theta)$$
  其中，若 $A_g < 0$，则 $\tilde{A}_g = \alpha A_g$；否则 $\tilde{A}_g = A_g$。
• 局限性： 缩放因子 $\alpha$ 需要手动调优，且无法根据每个响应的具体尺度或过时程度进行自适应调整。

2.2 非对称尺度策略优化 (ASymPO)

ASymPO 使用一种自适应的、响应级的归一化取代了手动规则，从而实现自动平衡损失贡献。

• 机制： 它通过每个响应自身的当前平均 token 负对数概率（$S_{\theta,g}$）来归一化损失。在分母上应用停止梯度（stop-gradient, $sg$）算子，以防止归一化项在反向传播过程中被更新。
• 损失函数：
  $$L_{ASymPO}(\theta) = \frac{1}{G} \sum_{g=1}^G A_g \frac{S_{\theta,g}}{sg(S_{\theta,g})}$$
• 理论保证： 定理 2 证明，在零和优势条件下，ASymPO 确保了精确的响应级损失平衡。无论当前的 log-probability 尺度如何不同，正向响应的前向损失贡献等于负向响应的贡献量级。
• 梯度： 梯度仍保持标准的策略梯度方向，但每个响应的更新幅度通过其自身的当前尺度进行归一化。

3. 核心贡献

1. 识别尺度失衡问题： 本文正式识别了在异步、仅基于当前策略的 RL 中，由于尺度差异导致负向样本主导损失，从而破坏组内零和优势平衡的一种特定失效模式。
2. 提出 SPO 与 ASymPO： 引入了两种无需行为策略概率即可稳定训练的目标函数。ASymPO 被证明在零和优势下能精确平衡正向和负向的损失贡献。
3. 简化基础设施： ASymPO 实现了一个更加精简的 rollout–learner 接口。它消除了传输逐 token 行为 log-probabilities、策略版本标签或在训练精度下重新计算 logit 的需求（表 1）。
4. 实证验证： 在三个模型家族（Qwen3-1.7B, Qwen3-4B, LLaMA-3.2-3B）上针对数学推理任务进行了异步 RL 的评估。

4. 实验结果

实验是在数学推理任务（MATH, AIME, GSM8K 等）上进行的，使用了 Staleness 阈值为 0.5 的异步 RL。

• 稳定性：
  • Naive Loss 和 GPG（一种避免重要性采样但缺乏组内平衡的方法）在所有模型家族中在训练期间均出现崩溃，未能产生可评估的检查点。
  • GRPO（经过行为修正的）、SPO 和 ASymPO 均保持了稳定的训练奖励轨迹。
• 性能：
  • 在综合指标上，ASymPO 通常表现出与 GRPO（行为修正基准）相当或更优的性能，特别是在 LLaMA-3.2-3B-Instruct 和 Qwen3-4B-Base 上。
  • SPO 也防止了崩溃并保持了竞争力，尽管 ASymPO 的自适应缩放通常在特定基准测试（如 AIME24, MATH500）上效果更好。
  • 在 Qwen3-1.7B-Base 上，ASymPO 的 mean@8 为 36.98，接近 GRPO 的 37.45，而 SPO 为 36.41。
• 消融实验： 文中指出 SPO 对 $\alpha$ 的选择较为敏感（实验中设为 0.2）。如果 $\alpha=1$，它会像 Naive Loss 一样发生崩溃；如果 $\alpha=0$，则表现为仅针对正向样本的微调，性能较弱。

5. 重要性与主张

本文的主张是，行为策略概率对于竞争性的、稳定的异步 RL 后训练并非严格必要，前提是必须显式地修正尺度失衡问题。

• 实际影响： ASymPO 提供了一种稳定异步组相对 RL 的机制，同时显著简化了系统架构。它移除了将 rollout–learner 接口与行为 log-probability 传输、版本控制及数值一致性相绑定的“正确性条件”。
• 范围： 作者谦逊地将该贡献界定为解决特定的失效模式（损失尺度失衡），而非通用的解决所有分布漂移问题的方案。作者承认，ASymPO 并不像行为修正方法那样限制生成与训练之间的策略比例，且其有效性目前主要在具有可验证奖励的数学推理任务中得到展示。
• 未来工作： 本文建议需要进一步的理论刻画，以理解在何时行为策略的归一化近似于行为修正，以及何时显式的行为策略信息仍然不可避免。