💬 NLP

GAGPO: Generalized Advantage Grouped Policy Optimization

本文提出了广义优势分组策略优化（GAGPO），这是一种无需价值评估器的强化学习方法，它通过从采样轨迹构建非参数化分组价值代理，实现了多轮语言模型智能体中精确且与步骤对齐的时间信用分配，从而在 ALFWorld 和 WebShop 等环境中超越了现有基线方法。

原作者： Siyuan Zhu, Chao Yu, Rongxin Yang, Zongkai Liu, Jinjun Hu, Qiwen Chen, Yibo Zhang

发布于 2026-05-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Siyuan Zhu, Chao Yu, Rongxin Yang, Zongkai Liu, Jinjun Hu, Qiwen Chen, Yibo Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人穿越复杂的迷宫去寻找宝藏。在过去，机器人会四处游荡，做出数百次微小的移动，而只有在最终时刻，它才会收到一条单一的“做得好！”或“失败”的信息。问题在于：机器人完全不知道哪一个具体的转弯或步骤导致了宝藏的发现。它可能会想：“也许我应该在第 50 步时左转”，而实际上，错误发生在第 5 步。

这就是论文GAGPO（Generalized Advantage Grouped Policy Optimization，广义优势分组策略优化）试图为 AI 智能体（例如能够在现实世界中采取行动的高级聊天机器人）解决的核心问题。

以下是其工作原理的简单分解，使用日常类比：

1. 问题：“盲反馈”循环

在传统训练中，如果一个 AI 智能体需要走 50 步才能完成任务，并在结束时获得奖励，那么这种反馈是“稀疏的”（太少）且“延迟的”（太晚）。

旧方法：这就像一名学生参加期末考试并获得了 85 分。他们知道自己通过了，但不知道具体哪些数学题做对了或做错了。下次他们可能会复习错误的方向。
AI 的困境：当前的 AI 方法通常试图使用复杂的“评论家”（一个作为裁判的第二 AI 模型）来猜测每一步的价值。但构建和训练这个裁判既昂贵又往往不准确。

2. 解决方案：GAGPO 的“分组记忆”

GAGPO 是一种“无评论家”的方法，意味着它不需要第二个 AI 来评判步骤。相反，它使用了一个巧妙的技巧，称为分组价值代理（Grouped Value Proxy）。

类比：“众包地图”
想象你在培训一名新员工。与其雇佣一名经理来监视每一个动作，不如查看 100 名做过同样工作的其他员工的日志。

分组：如果那 100 名员工中有 50 人在某个时刻站在“厨房”（一个特定的状态）里，GAGPO 就会将所有这些时刻归为一组。
代理：它会问：“平均而言，人们在‘厨房’之后表现得如何？”如果大多数站在“厨房”里的人后来都找到了宝藏，那么“厨房”就是一个“好”地方。如果他们迷路了，那就是一个“坏”地方。
无需额外裁判：它纯粹根据尝试本身的数据构建这张地图，而不需要额外的 AI 来猜测价值。

3. 魔力：“时间旅行的信用”

一旦 GAGPO 知道了哪些“状态”（如“厨房”）是好是坏，它就需要告诉 AI 何时应该对其行为感到高兴或沮丧。

类比：“涟漪效应”
在旧方法中，如果你在结束时获得了奖励，这个奖励通常被平等地贴到每一步上。

GAGPO 的方法：它使用一种“时间旅行”逻辑（称为时序差分或 GAE）。它从终点向后回溯。
- 如果最终结果很棒，它会向时间回溯发送“做得好！”的涟漪。
- 然而，随着回溯，信号会逐渐减弱。紧接在成功之前的那一步会得到强烈的“做得好！”，而在那之前的第 10 步则会得到较弱的“你走在正确的轨道上”。
- 这确保了 AI 能够确切地学习到哪些具体行动导致了胜利，而不是同等地责备或赞扬整个旅程。

4. “团队制服”（分组归一化）

论文还提到了一种称为分组归一化 PPO（Group-Normalized PPO）的技术。

类比：“按曲线评分”
想象一个班级，有些学生参加的是难题考试，有些参加的是简单考试。如果你只看原始分数，考简单题的学生看起来像是天才。

GAGPO 会查看一组特定的尝试（一个“批次”），并在该组内部对分数进行归一化。
它会问：“在这组特定的尝试中，哪些行动比其他行动更好？”这保持了训练的稳定性，防止 AI 因奖励分数的巨大波动而感到困惑。

5. 结果：更快、更平滑的学习

作者在两个复杂任务上测试了这种方法：

ALFWorld：一个虚拟房屋，智能体必须找到物体、清洁它们，并将它们放在特定的地方。
WebShop：一个虚拟在线商店，智能体必须根据指令搜索、比较并购买商品。

发生了什么？

更快的起步：GAGPO 在初期比其他方法学习得快得多。它更早地发现了“好”的举动。
更平稳的进程：训练过程不那么“抖动”。其他方法的表现会有剧烈的上下波动；而 GAGPO 则稳步上升。
更高的分数：在房屋和商店这两个任务中，使用 GAGPO 训练的 AI 获得了比之前最佳方法（如 PPO、GRPO 和 GiGPO）更高的成功率和更好的分数。

总结

GAGPO是一种教导 AI 智能体如何玩多步骤游戏的新方法。它不需要雇佣一个昂贵的“裁判”AI 来批评每一步，而是通过查看过去尝试的分组，找出游戏中哪些位置是好的。然后，它将“信用”的涟漪从胜利处向后发送，直到导致胜利的具体步骤。这使得 AI 能够更快、更准确地学习，且更少困惑，同时无需额外的计算资源来训练评论家模型。

技术摘要：广义优势分组策略优化（GAGPO）

问题陈述

强化学习（RL）已成为大语言模型（LLM）智能体后训练的主导范式，尤其适用于多轮交互场景。然而，一个关键的瓶颈依然存在：多轮环境中的信用分配。在这些设定中，智能体通常仅在回合结束时接收到稀疏的、轨迹级别的奖励。这使得确定哪些具体的中间动作导致了成功或失败变得困难。

现有解决方案面临一种权衡：

基于评论家（Critic）的方法：引入辅助价值估计器或过程奖励模型以提供更密集的步级反馈。虽然有效，但这些方法增加了显著的训练复杂度和估计误差。
无评论家（Critic-free）的方法：依赖轨迹相对或蒙特卡洛风格的分组优化（例如 GRPO、GiGPO）。虽然架构简单，但这些方法通常产生高方差信号和传播微弱的监督，未能将信用分配与智能体的实际决策边界（环境步）对齐，而是与 token 生成对齐。

核心挑战在于：在不依赖学习到的评论家或专用搜索程序的情况下，实现多轮智能体训练中的时间传播、步级对齐的信用分配。

方法论：GAGPO

作者提出了广义优势分组策略优化（GAGPO），这是一种无评论家的 RL 方法，旨在实现精确的、步级对齐的时间信用分配。GAGPO 在三个主要阶段运行：

1. rollout 分组与状态聚合

与标准的 token 级更新不同，GAGPO 将每个环境步视为信用分配的基本单位。单个智能体动作（一系列 token）内的所有 token 共享一个步级优势。

分组价值代理：该方法通过跨采样轨迹对同一环境状态 $s$ 的所有出现进行分组，构建了一个非参数价值代理。对于状态 $s$ ，组 $G(s)$ 收集所有状态匹配的步 $(i, t)$ 。
价值估计：价值代理 $\bar{V}(s)$ 计算为 $G(s)$ 中所有步的折扣回报平均值：
$\bar{V}(s) = \frac{1}{|G(s)|} \sum_{(j,u) \in G(s)} \hat{R}^{(j)}_u$
这种聚合完全基于收集的 rollout 进行，不需要额外的训练成本或学习到的评论家。

2. 步级时间信用分配

GAGPO 递归地计算时间优势，模仿广义优势估计（GAE），但使用非参数代理 $\bar{V}$ 代替学习到的价值函数。

TD 残差：对于步 $(i, t)$ ，时间差分残差为：
$\delta^{(i)}_t = r^{(i)}_t + \gamma \bar{V}(s^{(i)}_{t+1}) - \bar{V}(s^{(i)}_t)$
（其中 $\bar{V}$ 在终止状态下为 0）。
递归传播：步级优势 $\hat{A}^{(i)}_t$ 通过偏差 - 方差权衡参数 $\lambda$ 递归计算：
$\hat{A}^{(i)}_t = \delta^{(i)}_t + \gamma \lambda \hat{A}^{(i)}_{t+1}$
这使得结果监督能够随时间向后传播，根据延迟奖励为中间决策分配信用。

3. 分组归一化的 PPO 更新

为确保稳定性和局部优化：

分组归一化：与其在整个批次上进行归一化（这会混合异构任务），不如在每个 rollout 组 $B$ 内对优势进行标准化：
$A^{(i)}_t = \frac{\hat{A}^{(i)}_t - \mu_B}{\sigma_B + \epsilon}$
序列级重要性比率：由于一个动作 $a_t$ 由多个 token 组成，GAGPO 通过平均各个 token 的对数比率来计算整个动作序列的单一重要性比率，而不是独立地截断 token 级比率。这防止了单个动作内的“梯度撕裂”。
目标函数：最终目标是一个使用这些分组归一化、序列对齐优势的截断 PPO 损失。

主要贡献

无评论家的时间传播：GAGPO 引入了一种无需学习评论家即可计算 TD/GAE 风格时间优势的方法，利用从 rollout 数据导出的非参数分组价值代理。
步级对齐的信用分配：它将优化单位从 token 转移到环境步，确保信用分配给智能体的实际决策边界。
稳定的优化动态：通过将时间递归与分组归一化和序列级重要性比率相结合，GAGPO 直接从多轮轨迹中提取稳定、低方差的优化信号。
实证优越性：该方法在复杂的多轮基准测试中表现出对强 RL 基线（PPO、RLOO、GRPO、GiGPO）的一致改进。

实验结果

作者在 ALFWorld（具身家庭任务）和 WebShop（在线购物）上评估了 GAGPO，使用了 Qwen2.5-1.5B-Instruct 和 Qwen2.5-7B-Instruct 骨干网络。

性能提升：GAGPO 始终优于所有基线。
- 在 ALFWorld（7B 模型）上，它取得了 95.6 的总分，超越了最强的基线（GiGPO 为 88.8）6.8 分。
- 在 WebShop（7B 模型）上，它将分数从 86.3 提高到 90.3，成功率从 66.4% 提高到 77.5%。
学习动态：对前 120 个训练步的分析显示，GAGPO 在早期阶段学习更快，并且与 GiGPO 和 GRPO 相比，在整个训练过程中保持了性能差距。
交互效率：GAGPO 智能体平均以更少的交互步数（更短的回合长度）成功完成任务。
优化稳定性：
- 梯度范数：与 GiGPO 中出现的大幅波动相比，GAGPO 表现出更平滑、波动更小的梯度动态。
- 优势方差：GAGPO 中步级优势的分布明显更加集中（四分位距更小，极端值更少），表明其学习信号的方差更低。

意义与主张

论文声称 GAGPO 为多轮智能体 RL 提供了一个简单但极其有效的框架。其主要意义在于证明：

如果信用分配是在环境步级别而不是 token 级别进行的，无评论家的方法可以有效地扩展到交互式 LLM 智能体。
通过非参数代理进行的稀疏奖励的时间传播足以克服信用分配问题，而无需训练辅助价值模型的开销。
分组归一化和序列级对齐对于稳定多轮策略的优化至关重要，可防止通常与蒙特卡洛风格分组更新相关的高方差和不稳定性。

作者总结道，GAGPO 提供了一种步级对齐、时间一致且稳定的训练信号，使 LLM 智能体能够通过搜索和交互更高效地改进。他们指出了局限性，包括对精确状态匹配的依赖（这适用于确定性文本环境，但在随机或连续设置中可能需要近似），以及评估范围仅限于特定基准和模型大小。