🤖 AI

SAPO: Single-Rollout Autoregressive Policy Optimization for Agentic Reinforcement Learning

本文介绍了 SAPO，这是一个针对智能体强化学习（agentic reinforcement learning）设计的内存高效且计算优化的框架，该框架利用用于策略函数和价值函数的共享自回归主干网络，在实现优于 PPO 和 GRPO 等现有方法的高性能与高稳定性的同时，消除了对独立评论家（critic）模型的的需求。

原作者： Dayang Liang, Lang Feng, Bo An, Yunlong Liu

发布于 2026-08-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Dayang Liang, Lang Feng, Bo An, Yunlong Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能飞速发展的世界中，一个新的前沿领域已经出现：计算机程序不再仅仅是消极的文本生成器，而是成为了能够进行推理、搜索网络并跨越多个步骤解决复杂问题的活跃智能体。这个被称为“智能体强化学习”（agentic reinforcement learning）的领域，通过让这些数字助手在模拟环境中尝试行动并从结果中学习来对其进行训练。想象一名正在参加考试的学生：如果答对了，他们会感到愉悦；如果失败了，他们会试图弄清楚哪里出了错。对于人工智能而言，这种学习过程依赖于一个能够回顾长链决策并确定哪一个特定步骤导致了成功或失败的系统。传统上，这需要一个沉重的两部分系统：一部分用于决定下一步该做什么，另一部分则是庞大的、独立的“评论家”（critic）部分，用于评估当前状态的好坏。这种分离虽然运作良好，但需要巨大的计算能力和内存，往往会减慢学习过程，或使其在标准硬件上运行的成本过高。

研究人员最近发现，许多人工智能智能体在面对反馈稀疏或延迟的情况时（例如直到漫长任务结束才知道是否成功）会表现挣扎。现有的试图通过移除独立评论家来简化这一过程的方法，往往会导致学习不稳定或性能低下，因为它们缺乏一种清晰的方式来为长序列中的单个步骤分配信用。为了解决这个问题，来自厦门大学和南洋理工大学的一个科学家团队开发了一个名为 SAPO 的新框架，其全称为“单次展开自回归策略优化”（Single-Rollout Autoregressive Policy Optimization）。SAPO 并不使用两个独立的模型，也不需要针对一个任务生成数十次不同的尝试来进行学习，而是教导单个语言模型同时完成所有工作。它利用语言生成的自然流，在一个连续的思想流中同时决定行动、评估行动前的状态以及判断行动本身的价值。

SAPO 的核心创新在于它如何组织人工智能大脑内部的信息。在标准的对话或任务中，人工智能读取提示词、思考，然后写出响应。研究人员意识到，在人工智能开始编写响应之前的那个瞬间，是询问“当前情况有多好？”的最佳时机；而当响应完成后，则是询问“那个特定的行动有多好？”的最佳时机。通过将这两个问题放置在文本生成过程中特定的固定点，模型可以学会回答这两个问题，而无需一个独立的评估器。这种设计使人工智能能够仅通过一次任务尝试进行学习，而不是需要生成一大组变体进行相互比较。该系统有效地学习了其对不同情境下价值的理解泛化，确保它不仅仅是记住了通往成功的特定路径，而是理解了为什么某个动作是好或坏的底层逻辑。

为了测试这种方法，团队在两个具有挑战性的环境中训练了该人工智能：一个模拟家庭环境，智能体必须完成如清洁或加热物品等物理任务；以及一个复杂的网页购物场景，智能体必须在网站间导航以寻找特定产品。他们使用了两种不同规模的语言模型，一个拥有 15 亿参数，另一个拥有 70 亿参数，以观察该方法在不同规模下的表现。结果令人瞩目。在家庭任务中，与使用独立评论家的标准方法相比，新方法的成功率提高了 15 个百分点以上；与试图完全避免使用评论家的领先方法相比，提高了 12 个百分点以上。在网页购物任务中，提升同样显著，人工智能取得了更高的分数并更成功地完成了更多任务。或许最重要的一点是，由于消除了运行第二个独立模型来评估性能的需求，新方法在消耗显著更少内存的同时，每个训练步骤的速度比传统方法快了约 33%。

这一框架的成功表明，可以利用大型语言模型处理信息的自然方式来解决训练人工智能智能体时面临的一些最困难的问题。通过将学习过程与语言生成的自然结构相对齐，研究人员证明了在不承担维护决策与评估分离系统所带来的沉重计算成本的情况下，实现高性能是可能的。这种方法不仅提高了训练效率，还增强了稳定性，使得智能体即使在奖励延迟或不频繁的情况下也能有效地学习。随着人工智能领域向着创建更具自主性和能力的智能体迈进，像这样的方法提供了一条切实可行的路径，证明了效率与高性能可以并行不悖，且不会牺牲从复杂、长期交互中学习的能力。

技术摘要：SAPO（单次采样自回归策略优化）

1. 问题陈述

智能体强化学习（Agentic Reinforcement Learning, RL）已成为大语言模型（LLM）后训练阶段的关键环节，使其能够执行长程交互式任务，如推理、工具使用和网页导航。虽然现有方法取得了成功，但仍面临三个主要局限性：

缺乏显式的价值泛化能力： 无评论家（Critic-free）的组相对方法（例如 GRPO）通过在多个采样的轨迹之间进行奖励归一化来估计优势值（Advantages）。这种方法无法学习到一个通用的价值函数，从而无法独立于群体为特定的状态或提示词分配信用（Credit），导致时间信用分配（Temporal Credit Assignment）能力较弱。
优势值坍缩（Advantage Collapse）： 在具有稀疏反馈的长程任务中，一组采样中的所有轨迹往往会获得相同或极其接近的奖励。这会导致归一化后的优势值趋于消失，产生零梯度区域或“优势值坍缩”，从而导致学习停滞。
权衡效率低下： 组相对方法需要在采样预算与性能之间进行代价高昂的权衡。小规模分组会导致基准线（Baseline）噪声过大，而大规模分组虽然能提高稳定性，却会带来巨大的计算成本和同步障碍。相反，传统的带有学习评论家模型的近端策略优化（PPO）虽然提供了显式的价值学习，但由于需要一个独立的、与策略规模相当的评论家模型，从而产生了巨大的内存和计算开销。

目前试图缓解这些问题的尝试（如 DAPO、ReMax、VinePPO）要么仍然依赖于多次采样，要么保留了粗粒度的信用分配，或者需要参数重复的独立价值网络。因此，需要一种能够支持高效单次采样学习，且无需维护单独评论家模型的框架。

2. 方法论：SAPO

作者提出了 单次采样自回归策略优化（Single-Rollout Autoregressive Policy Optimization, SAPO），这是一个将策略学习与价值学习统一在单个自回归骨干网络中的低内存、低计算效率框架。

核心架构：自回归执行者-评论家（Autoregressive Actor-Critic）

SAPO 利用 LLM 的因果结构，在单个模型流中表示策略、状态价值（ $V$ ）和动作价值（ $Q$ ）。

因果边界： 该方法识别了智能体单次回合中的两个不同因果边界：
1. 动作前边界（Pre-action boundary）： 生成动作之前的状态上下文（ $c^s_t$ ）。
2. 动作后边界（Post-action boundary）： 连接了生成动作后的状态上下文（ $c^{s,a}_t$ ）。
共享骨干： 同一个 Transformer 模型在这些边界之间生成动作 Token。
双 Token 价值基准： SAPO 并没有使用单独的价值头，而是专门预留了两个特定的词表 Token（ $w^+$ $w^{+}$ 和 $w^-$ $w^{-}$ ）作为价值基准。模型通过读取这两个 Token 在相应因果边界处的 Logits 来计算归一化的标量值：
- $V_\theta(s_t)$ 在动作前边界处读取。
- $Q_\theta(s_t, a_t)$ 在动作后边界处读取。
- 价值值由 Logit 的差值推导而来，并被裁剪到归一化范围 $[-1, 1]$ 内，最后乘以最大可能回报（ $R_{max}$ ）。
策略分离： 预留的价值 Token 在策略生成和概率归一化过程中会被排除在动作词表之外，以确保它们不会干扰动作分布。

单次采样优势估计

与组相对方法不同，SAPO 每个任务仅采样 一条轨迹。

轨迹级 GAE： 该方法采用了广义优势估计器（GAE），利用学习到的状态价值（ $V$ ）将延迟的终端奖励向后传播至整个轨迹。
目标值：
- 状态价值（State Value） 被训练以逼近 $\lambda$ -回报（传播长程结果信息）。
- 动作价值（Action Value） 被训练以逼近在轨（On-policy）SARSA 目标（将动作后边界锚定在即时后果上）。
批归一化（Batch Normalization）： 为了在没有组统计数据的情况下稳定训练，回合级（Turn-level）的优势值在当前训练批次内通过批统计量（ $\mu_B, \sigma_B$ ）进行归一化，然后广播到动作中的所有 Token。

联合优化

SAPO 在单次反向传播中优化统一的目标函数：

Token 级策略损失： 使用经过批归一化的优势值的类 PPO 裁剪损失。
价值损失： 对 $V$ 和 $Q$ 目标采用裁剪回归损失，且是以回合（Turn）而非 Token 为单位进行平均，以确保无论响应长度如何，每个决策都获得相等的权重。
正则化： 包括针对参考策略的 KL 散度以及熵正则化。

3. 核心贡献

统一架构： 引入了一种单次采样自回归执行者-评论家架构，通过因果边界读取共同表示并训练策略、状态价值和动作价值，消除了对独立评论家网络的需求。
新型估计器： 开发了一种结合 $\lambda$ -回报与批归一化的轨迹级优势估计器，实现了显式的回合级信用分配，而不依赖于组相对采样。
效率与稳定性： 证明了该统一框架在长程智能体任务上，能在性能、训练稳定性、内存效率和运行效率之间取得良好的平衡。

4. 实验结果

作者在 ALFWorld（具身推理）和 WebShop（网页导航）基准测试上，使用 Qwen2.5-1.5B 和 Qwen2.5-7B 骨干模型对 SAPO 进行了评估。

性能： SAPO 一致优于标准的 PPO 和 GRPO。
- 在使用 Qwen2.5-1.5B 的 ALFWorld 任务中，SAPO 达到了 90.1% 的总成功率，分别比 PPO 和 GRPO 高出 35.7 和 17.3 个百分点。
- 在 WebShop 中，SAPO 比 PPO 实现了 +8.4 分 的得分提升和 +12.2 个百分点 的成功率提升。
- 根据实验总结（见摘要），SAPO 训练稳定，平均比 PPO 和 GRPO 分别高出 +15.1 和 +12.1 个百分点。
- 使用 7B 模型 时，SAPO 在 ALFWorld 获得了 94.0% 的成功率，在 WebShop 获得了 88.6 的得分及 82.4% 的成功率，在所有三个综合指标上均优于 PPO、GRPO 以及近期的变体。
效率：
- 内存： SAPO 消除了独立评论家模型（通常为策略规模）带来的内存占用。
- 运行时间： 与 PPO 相比，SAPO 将单次迭代的运行时间减少了 33.2%。主要的节省来自于移除了独立的价值推理和评论家优化阶段，使 ALFWorld 上的总时间从每轮 451.2 秒降至 301.4 秒。
稳定性： 该方法在每个提示词仅单次采样的条件下仍能稳定训练，避免了组相对方法在稀疏反馈下出现的优势值坍缩问题。

5. 重要性与主张

本文声称 SAPO 解决了执行者-评论家算法的显式价值泛化能力与无评论家、组相对优化在内存/计算效率之间的矛盾。

架构对齐： 作者认为，执行者-评论家学习所需的信息流与语言生成的因果顺序自然对齐。通过利用这种对齐，SAPO 能够在单个因果模型内实现高效的基于价值的优化。
可扩展性： 该框架表明，显式价值学习并不需要重复的模型或高昂的采样成本，为高效的长程智能体强化学习提供了一条可行路径。
泛化性： 结果表明，自回归建模与执行者-评论家学习之间的架构对齐可以降低对任务特定密集奖励工程的依赖，因为该方法在处理稀疏结果奖励时表现出色。

文章结论指出，SAPOT 代表了在使智能体强化学习在复杂多轮交互中更具扩展性和实用性方面迈出的重要一步。