🤖 machine learning

Single-Rollout Asynchronous Optimization for Agentic Reinforcement Learning

本文介绍了单次采样异步优化（Single-rollout Asynchronous Optimization, SAO），这是一种稳定且高效的异步强化学习框架，它通过将分组采样替换为单次采样策略，并采用严格的 Token 级裁剪，成功地在复杂的编程和推理基准测试上训练了如 GLM-5.2 之类的大规模智能体模型。

原作者： Zhenyu Hou, Yujiang Li, Jie Tang, Yuxiao Dong

发布于 2026-07-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhenyu Hou, Yujiang Li, Jie Tang, Yuxiao Dong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在训练一支学生厨师团队来烹饪完美的佳肴。在旧的做事方式中（论文称之为同步强化学习/Synchronous RL），主厨会大喊：“所有人，开始做菜！”然后等待。学生们都会开始制作各自的菜肴。但问题在于：有些学生很快，而有些学生很慢。快学生做完菜后就会站在那里盯着墙看，等待最慢的学生完成。只有当所有人都完成后，主厨才能品尝食物、给出反馈并告诉大家下一步该做什么。这极其低效；厨房里充满了闲置时间。

为了解决这个问题，研究人员尝试了异步强化学习/Asynchronous RL。在这个版本中，一旦一名学生完成了一道菜，主厨会立即品尝并给出反馈。该学生可以立刻开始下一道菜。厨房从未停止运转。这要快得多。

然而，这里有一个巨大的陷阱。 因为主厨在品尝来自不同开始时间的学生的菜肴，学生们遵循的“食谱”一直在变化。有些学生是根据旧食谱在烹饪，而另一些人则在使用新食谱。这种混乱导致训练变得不稳定，学生们往往不仅没有进步，反而退步了。此外，用来给这些学生评分的流行方法（称为 GRPO）要求主厨等待一组学生完成之后才能给出评分，这又带回了等待的问题。

作者们引入了一种新方法，称为 SAO（单次采样异步优化/Single-Rollout Asynchronous Optimization）。他们通过三个聪明的技巧解决了这些混乱：

1. “即时反馈”规则（单次采样/Single-Rollout）

与其等待一组学生完成一批菜肴，SAO 要求：“只要一个学生完成了一道菜，就立即评分。”

比喻： 想象一款电子游戏，你在完成关卡的那一秒就能得到分数，而不是等待你的整个小队完成。这消除了“等待最慢成员”的延迟。
解决的问题： 它阻止了“小组”因为等待最慢的成员而停滞，让训练以全速运行。

2. “严格的安全网”（双向裁剪/Double-Sided Clipping）

由于学生们工作得非常快，且食谱不断变化，存在一种风险，即他们可能会变得疯狂，尝试一些完全离谱且危险的操作。

比喻： 作者在训练周围设置了一个“围栏”。如果一个学生的想法与老师的预期过于不同（太偏左或太偏右），系统不仅会忽略它，还会完全阻止学生从这个特定的错误中学习。这就像一位严厉的教练说：“如果你试图倒着跑，我根本不会让你从那次奔跑中学习任何东西。”
解决的问题： 这防止了当学生因快速变化的节奏而感到困惑时，训练变得不稳定或“爆炸”。

3. “超级教练”（更好的价值模型/Better Value Model）

在旧的“小组”方法中，教练可以通过将一个学生的菜肴与同学们的菜肴进行比较，来判断其好坏。但在这种“一个接一个”的方法中，没有同学可以比较。教练需要极其聪明，才能知道单道菜肴本身是好是坏。

比喻： 作者训练了一个特殊的“价值教练”（评论家/Critic），这位教练比学生厨师聪明得多，并且更新知识的速度比学生快两倍。他们还冻结了教练的“直觉”（注意力层），以免教练感到困惑，只让教练学习具体的食谱细节。
解决的问题： 这确保了即使在学生独自工作时，教练也能准确地告诉他们：“是的，那步走得很棒，”或者“不，那步很糟，”而不需要通过与小组对比来进行判断。

结果

论文在两个非常困难的任务上测试了这种新方法：

编程： 要求 AI 修复软件中的漏洞（就像机械师修理汽车）。
数学推理： 要求 AI 解决复杂的数学问题（就像学生参加一场高难度的考试）。

结果是：

旧方法（GRPO）起初表现良好，但由于过于困惑，运行一段时间后就会崩溃并失败。
新的 SAO 方法可以让训练平稳持续很长时间（高达 1,000 步），并持续获得更高的分数。
它还证明了这种方法非常适合在线学习（Online Learning），即在玩游戏的过程中规则也在发生变化。例如，如果老师突然说：“现在我想要可爱的小故事，”经过 SAO 训练的 AI 可以迅速切换风格，而其他方法则反应太慢，无法适应。

简而言之，论文指出：“不要再等待小组了。让每个人按自己的节奏工作，但给他们一个严格的安全网和一个能瞬间更新知识的超级聪明的教练。这使得 AI 训练更快、更稳定，并且更擅长解决困难且不断变化的问题。”

技术摘要：面向智能体强化学习的单次采样异步优化 (SAO)

问题陈述

强化学习 (RL) 已成为大语言模型 (LLM) 后训练阶段的关键组成部分，特别是在涉及长程路径、编程和复杂推理的智能体任务中。然而，现有的 RL 流水线主要呈现为同步且批处理交织 (synchronous and batch-interleaved) 的特征。在这些系统中，策略会生成一批采样（rollouts），只有在整个批次收集完成后，优化过程才会开始。对于智能体工作负载而言，这种方法效率低下，因为轨迹长度差异巨大；短轨迹会迅速完成，而长轨迹则会成为“掉队者”（stragglers），导致 GPU 集群产生大量的空闲等待时间。

虽然异步强化学习 (asynchronous RL)——即随着采样到达持续更新模型——提供了一种提高利用率和时钟效率的方案，但它引入了两个主要挑战：

训练不稳定与离策漂移 (Off-Policy Drift)： 在异步设置下，采样是由多个旧版本的策略模型生成的。这种“策略滞后”会产生不可预测的离策行为，从而破坏训练稳定性。
与组内采样 (Group-Wise Sampling) 的不兼容性： 广泛使用的算法如组相对策略优化 (GRPO) 依赖于针对每个提示词（prompt）采样一组响应，通过组级平均来估计优势函数。这种组式方法与异步训练不匹配，因为整个组必须等待最慢的成员完成，从而重新引入了延迟和离策偏差。此外，在环境通常仅针对单个轨迹提供反馈的在线或复杂智能体场景中，组式采样并不适用。

方法论：单次采样异步优化 (SAO)

作者提出了 SAO 框架，旨在在保持高效性的同时稳定异步 RL 训练。SAO 使用单次采样 (single-rollout sampling)（每个提示词仅一次采样）取代了组内采样，并引入了特定的机制来应对由此产生的离策和方差挑战。

1. 直接双侧重要性采样 (Direct Double-Sided Importance Sampling, DIS)

为了解决采样引擎与训练模型之间的“策略滞后”问题，同时避免追踪历史策略模型的计算开销：

简化的比例计算： SAO 直接使用采样策略 ( $\pi_{rollout}$ ) 作为行为代理，并使用当前策略 ( $\pi_\theta$ ) 进行重要性采样，从而有效地省去了对可能过时的“旧策略” ( $\pi_{old}$ ) 的追踪需求。概率比例直接从采样日志中计算： $r_t(\theta) = \exp(\log \pi_\theta - \log \pi_{rollout})$ 。
双侧 Token 级裁剪： 不同于标准的 PPO 裁剪，SAO 采用了严格的双侧裁剪策略。它将信任区域限制在 $[1-\epsilon_\ell, 1+\epsilon_h]$ 范围内。落在该范围之外的 Token 会被完全掩码 (masked)，不参与梯度计算。这种激进的掩码机制防止了由极端策略分歧引起的失稳。

2. 结合增强价值建模的单次采样

用单次采样更新取代组内采样虽然降低了延迟，但也增加了梯度方差。为了缓解这一问题，SAO 引入了特定的价值模型训练策略：

更快的价值更新： 价值网络 ( $V_\phi$ ) 的更新频率高于策略网络 ( $\pi_\theta$ )。具体而言，对于每一次单次策略梯度更新，价值网络会进行 $K$ 次更新（实验中 $K=2$ ）。这确保了价值估计在用于计算优势函数之前，能够快速适应当前策略。
冻结注意力训练 (Frozen-Attention Training)： 为了稳定价值模型，作者观察到不稳定性主要源于全注意力 (Full Attention) 层。因此，他们冻结了价值模型中的注意力参数，仅优化混合专家 (MoE) 投影层。这起到了正则化价值模型的作用，既利用了预训练的注意力权重，又允许模型学习特定任务的价值函数。
跳过观测值的 Token 级 GAE (Skip-Observation Token-Level GAE)： 对于存在交替动作 ( $a_i$ ) 与环境观测 ( $o_i$ ) 的智能体任务，标准的广义优势估计 (GAE) 在计算跨越“模型不生成观测值”边界的优势时会引入噪声。SAO 推导出了一种跳过观测值的 GAE，它将当前动作的价值直接与下一个动作的价值联系起来，绕过了外部环境反馈的 Token。

3. 价值模型预训练规模化

作者强调，强大的初始化至关重要。他们显著扩大了用于价值模型预训练的数据规模，以解决“冷启动”问题，确保价值模型在单次采样训练的早期阶段就能发挥作用。

核心贡献

稳定性机制： 引入了一种简化且激进的 Token 级重要性采样策略 (DIS)，在无需追踪历史策略的同时，通过严格的双侧裁剪来维持训练稳定性。
单次采样范式： 从组内采样转向单次采样，消除了异步 RL 中的同步障碍，并配合特定的价值模型设计（更快的更新、冻结注意力）来管理由此产生的方差。
针对智能体的估计器： 推导出了跳过观测值的 Token 级 GAE 估计器，能够正确处理多轮智能体轨迹中模型生成的动作与环境反馈之间的不连续性。
实证验证： 证明了 SAO 可以在多样化的基准测试上稳定训练超过 1,000 步，性能优于 GRPO 及其变体。

实验结果

SAO 在包括 SWE-Bench Verified、AIME2025、BeyondAIME、HMMT Nov 2025 和 IMOAnswerBench 在内的智能体编程和数学推理基准上进行了评估。

性能表现： 在所有基准测试中，SAO 的表现始终优于基线 (Qwen3-30B-A3B SFT) 和 GRPO 变体。
- 在 AIME2025 上，SAO 达到了 97.3% 的准确率，而 GRPO (含 Python) 为 84.2%，SFT 基线为 80.4%。
- 在 SWE-Bench Verified 上，SAO 达到了 29.8% 的准确率，超过了 GRPO (27.0%) 和基线 (23.0%)。
稳定性： 标准 GRPO 在约 160 个训练步后会出现性能崩溃，而 SAO 能保持性能稳定，并在高达 1,000 步的过程中持续提升。
消融实验： 去除“更快的价值更新”或“冻结注意力”等组件会导致性能下降，证实了这些设计选择的必要性。
在线学习： 在模拟具有变化奖励偏好（写作风格）的在线学习场景中，SAO 展示了快速的策略对齐能力，而运行均值 (Running Mean) 基线则表现出明显的适应滞后。

重要性与主张

本文声称 SAO 成功解决了 LLM 异步强化学习中的效率与稳定性之间的权衡。通过放弃 GRPO 中固有的组内采样模式，SAO 实现了真正的异步训练，即采样一经到达即可被消费，消除了掉队者效应。

作者断言，该方法对于智能体任务以及单轨迹反馈为常态的在线学习场景尤为有效。将 SAO 成功部署在开源 GLM-5.2 模型 (750B-A40B) 的训练流水线中，为该方法的扩展性和鲁棒性在真实大规模场景下的应用提供了实践验证。这项工作表明，通过适当的价值模型设计和离策修正，异步强化学习可以成为处理复杂、长程推理任务的稳定且优越的同步批处理替代方案。