🤖 AI

SPO++: Stream-Aligned Policy Optimization for Asynchronous Agentic RL

SPO++ 通过动作标记度量归一化（action-token-measure normalization）和事件对齐证据组织（event-aligned evidence organization），纠正了轨迹级优势中心化（trajectory-level advantage centering）与标记加权策略优化（token-weighted actor optimization）之间的失配，从而提升了异步智能体强化学习的在线学习效率。

原作者： Kai Ruan, Jinghao Lin, Qianshan Wei, Ziqi Zhou, Zihe Huang

发布于 2026-08-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Kai Ruan, Jinghao Lin, Qianshan Wei, Ziqi Zhou, Zihe Huang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在快速发展的人工智能领域，研究人员正在通过让计算机程序尝试、失败并从结果中学习，来教它们解决复杂问题。这一过程被称为强化学习（reinforcement learning），对于训练大型语言模型作为能够使用工具、在虚拟环境中导航或解决数学问题的智能体（agents）特别有用。这项工作的一个核心挑战在于，当通往答案的路径漫长且不可预测时，如何衡量成功。传统方法通常要求系统同时针对同一个问题生成许多不同的尝试，并等待每一项尝试都完成后才能从结果中学习。这造成了一个瓶颈：如果某一次尝试因为陷入困境或尝试了过多的工具而耗时过长，整个学习过程就会暂停，等待那个最慢的尝试赶上进度。

为了解决这种低效问题，一种被称为单流策略优化（Single-stream Policy Optimization）的新方法被开发了出来。该方法不再等待一组尝试完成，而是允许系统一次处理一个尝试，利用对过去成功与失败的持久记忆来指导未来的决策。然而，由 Kai Ruan 和 Jinghao Lin 领导的研究团队发现，虽然这种方法消除了等待时间，但它在计算机计算进度的方式上引入了一个微妙但显著的偏差。他们发现，系统计算平均奖励的方式与其处理解决方案步骤的方式并不一致。通过修正这种对齐，他们创建了一个改进版本，命名为 SPO++，该版本能让人工智能学习得更快、更高效。

问题的核心在于计算机处理其响应长度的方式。在原始方法中，系统会为整个尝试计算一个单一的分数，例如机器人是否成功清理了房间，或者数学求解器是否找到了正确答案。然后，它会将这个单一分数分布到模型生成的每一个词（或称“token”）上。这看似合乎逻辑，却造成了扭曲。如果一次尝试很长而另一次很短，长的尝试会将分数稀释到许多词语中，而短的尝试则会将分数集中在较少的词语上。当系统试图从这些分数中学习时，响应的长度在无形中改变了学习的中心点，导致模型在针对错误的目标进行优化。这就像系统试图平衡一个天平，但天平上的砝码重量会根据放置物品的数量而变化，而不是取决于物品本身的价值。

研究人员确定了两个发生这种失调的具体领域。首先，系统追踪的是它何时收到尝试的结果，而不是尝试何时实际生成的。在一个任务发送和完成速度不一的异步系统中，结果到达的顺序通常是随机的，取决于网络速度或计算机负载。原始方法使用这种到达顺序来更新其记忆，这意味着学习信号受到计算机系统定时性的影响，而非任务本身的逻辑影响。其次，更为关键的是，评分的平均方法没有考虑到模型是根据它生成的每一个词进行学习，而不仅仅是最终结果。研究人员意识到，要修复学习过程，需要根据生成的动作词数量来标准化分数，确保奖励信号与模型实际完成的工作量相匹配。

为了解决这些问题，团队引入了 SPO++，它对学习过程进行了两项关键改进。首先，他们重新组织了记忆系统，以追踪“策略事件”（policy event），即请求被发送出的特定时刻，而不是结果返回的时刻。这确保了系统对过去成功的记忆与任务创建时的模型状态相绑定，使得学习信号无论任务执行时间长短都保持一致。其次，他们改变了评分的平均方式。该方法不再将每次尝试视为一个单一单元，而是根据所有尝试中生成的动作词总数来计算平均得分。这确保了学习信号与模型逐词更新知识的方式完全对齐。

研究人员在两种不同类型的任务上测试了这些改进的效果：一种是包含 128 个模拟家务的任务，智能体必须将物体移动到特定位置；另一种是包含 1,500 个需要使用 Python 计算器的数学问题数据集。研究人员使用两种不同规模的语言模型进行了实验，一个拥有 8 亿参数，另一个拥有 20 亿参数。在每一次测试中，新方法 SPO++ 的学习速度都比原始方法更快。在家庭家务任务中，改进非常显著，新方法在整个训练过程中实现了更高的总奖励。在数学问题中，增益虽然较小但依然稳定，表明模型更快地达到了更高的性能水平。研究人员发现，新方法最强大的部分在于评分平均方式的改变，这本身就贡献了大部分的提升。

这些发现表明，在训练人工智能智能体的复杂世界中，数据处理的方式与数据本身同样重要。通过确保系统衡量进度的方式与其实际学习的方式相匹配，研究人员可以在不需要更多计算能力或更大模型的情况下，实现效率的显著提升。这项工作证明，即使是学习过程中微小的失调也会减缓进度，而修正这些不匹配可以让系统专注于解决问题，而不是补偿缺陷的测量方式。随着人工智能继续应对更加困难和多样的任务，像 SPO++ 这样的方法提供了一条更清晰的前行之路，确保模型的每一步都能被准确衡量，并有效地促进其成长。

技术摘要：SPO++：面向异步智能体强化学习的流式对齐策略优化

问题陈述
语言模型智能体的强化学习（RL）通常依赖于组相对策略优化（GRPO），该方法通过比较单个提示词（Prompt）下的多个输出结果来估计优势值（Advantage）。虽然这种方法很有效，但 GRPO 需要等待所有“兄弟”采样（Rollouts）完成后才能进行更新，这在处理长路径、变长且完成时间差异显著的工具使用轨迹时，会产生性能瓶颈。单流策略优化（SPO）通过移除组依赖性，利用持久性的提示词级价值估计，实现了异步的、每个提示词仅需一个采样的更新模式。

然而，作者指出原始 SPO 配方中存在两个关键的一致性失配，这些失配降低了优化效率：

时间对齐偏差（Temporal Misalignment）： SPO 根据学习器收到结果的接收顺序而非生成结果的策略事件（快照）来追踪提示词证据。在异步系统中，这导致基线（Baseline）与系统计时相关，而非与策略状态相关。
度量失配（Measure Mismatch）： 原始 SPO 配方对轨迹级优势进行白化处理（即在轨迹间进行中心化），然后将得到的标量广播到轨迹中的所有 Token。当 Actor 的损失函数是基于 Token 取平均值时，这会产生一种失配：如果轨迹长度与优势值存在相关性，那么优化器看到的 Token 加权均值将不是中心化的，从而产生隐性的更新偏差。

方法论：SPO++
SPO++ 保留了 SPO 的核心架构（单采样依赖和对终止结果的依赖），但引入了两个特定的改进，以使持久基线和优势值归一化与 Actor 的优化度量保持一致。

事件时间提示词记忆（Event-Time Prompt Memory）：
SPO++ 不再根据学习器收到结果的时间来更新提示词基线，而是将提示词价值固定在请求发出的那一刻。基线与生成该请求的特定策略快照（事件坐标 $z$ ）相关联。当结果返回时，它会被附加到该特定的策略事件上。证据积累（成功/失败计数）根据策略事件之间的距离（ $z_q - z_i$ ）进行衰减，而非基于墙钟时间或接收顺序。这确保了基线估计对于异步结果的到达顺序具有不变性，只要可见的历史记录是固定的。
动作-Token-度量归一化（Action-Token-Measure Normalization）：
作者使用一种尊重 Actor 损失函数的 Token 加权特性的归一化方案，取代了标准的轨迹级白化处理（论文中的公式 4）。
- 原始 SPO： 在轨迹间计算均值和方差（ $\mu_{traj}, \sigma_{traj}$ ）并对 $A_i$ 进行归一化。如果轨迹长度（ $L_i$ ）与优势值（ $A_i$ ）共变，则会导致非零均值。
- SPO++： 计算由每个轨迹中有效动作 Token 数量（ $L_i$ ）加权的均值和方差（公式 6）。归一化后的优势值 $\tilde{A}^{tok}_i$ 的构建方式使得 Token 加权和 $\sum L_i \tilde{A}^{tok}_i$ 恰好为零。这在保留轨迹级信用粒度的同时，确保了标量优势值对于 Token 均值损失函数是正确中心化的。

核心贡献

识别度量失配： 论文证明了对轨迹优势进行白化处理后接 Token 均值 Actor 损失，在响应长度与优势值共变时会产生系统性偏差。
动作-Token-度量归一化： 一种新的归一化技术，它在符合 Actor 损失所消耗的相同动作-Token 度量下标准化优势值，既保留了奖励和信用的粒度，又消除了中心化失配。
事件时间提示词追踪器： 一种用于提示词证据追踪的公式化方法，该方法对接收顺序具有不变性，将基线锚定在生成轨迹的策略事件上，而非学习器的接收时间。
实证验证： 在 ALFWorld 和 Math-TIR 上对两种模型规模（0.8B 和 2B）进行了评估，显示出在在线学习效率上的持续提升。

结果
作者使用具有相同检查点、提示词和超参数（除测试的具体配方组件外）的匹配独立运行，将 SPO++ 与 SPO 进行了对比评估。

ALFWorld： SPO++ 在归一化奖励曲线面积（AUC）方面表现出显著提升。对于 0.8B 模型，面积增加了 19.00 个百分点；对于 2B 模型，增加了 15.92 个百分点。最终奖励指标也得到了提升。
Math-TIR： SPO++ 在 AUC 上取得了 +2.50 个百分点 的小幅正向收益，在最终奖励上取得了 +5.03 个百分点 的收益。
消融实验： 一项专门隔离归一化度量（保持其他因素不变）的消融研究表明，动作-Token-度量归一化本身对 0.8B ALFWorld 任务的学习综合贡献了 +10.70 个百分点，确定了它是提升的主要组成部分。
优化诊断： 在相似的梯度范数下，SPO++ 比 SPO 表现出更低的 PPO KL 散度和剪切比例（clip fractions），表明其优化动态更加稳定。

意义与主张
本文声称，SPO++ 通过解决异步智能体强化学习中持久基线估计与 Actor 损失度量之间的根本不一致性，提高了在线学习效率。作者强调，单流 RL 将依赖性减少与持久统计量结合在一起；为了使这些统计量有效，它们必须同时与“策略时钟”（事件时间）和“Actor 度量”（Token 加权损失）保持一致。

该研究范围较为适中，指出实验是在训练预算有限的小型 Qwen3.5 模型上进行的。作者承认端到端的比较同时改变了多个变量（事件追踪、保留、双剪切/Dual-Clip），尽管消融实验隔离了归一化组件。他们总结道，虽然 SPO++ 为异步执行提供了一个鲁棒的配方，但未来仍需在更长的时界和分布外任务上进行扩展研究。其主要贡献在于提供了一种方法论上的修正，使得单流 RL 能够在无需 Critic 或组采样的情况下更高效地扩展。

技术摘要：SPO++：面向异步智能体强化学习的流式对齐策略优化

类似论文