🤖 AI

Agent-G $^2$ : Gaussian Guidance for Agentic Reinforcement Learning

Agent-G $^2$ 是一种新颖的强化学习框架，它通过从在线估计的高斯分布中进行采样来优化基于提示的引导深度，从而在智能体任务中超越了现有的确定性和探测式方法，同时显著降低了计算成本。

原作者： Zixuan Wang, Yanrui Miao, Zhengxi Lu, Teng Pan, Yiwen Qiu, Hongxing Li, Peng Qiu, Ruiqing Zhang, Yongliang Shen

发布于 2026-08-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Zixuan Wang, Yanrui Miao, Zhengxi Lu, Teng Pan, Yiwen Qiu, Hongxing Li, Peng Qiu, Ruiqing Zhang, Yongliang Shen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个计算机程序正试图学习如何在复杂的环境中导航，比如一个机器人在房屋中移动，或者一个虚拟代理在网站上购物。这些任务通常需要一系列长链条式的决策，程序必须经过许多步骤才能最终成功或失败。核心问题在于，程序只有在最后结束时才会收到一个关于它赢了还是输了的信号。这使得学习变得异常困难，就像通过在骑完一英里路后才被告知“做得好”或“你摔倒了”来学习骑自行车一样，而在中间过程中，你并不知道自己的转向是否正确。为了帮助程序学习，研究人员尝试在每次尝试开始时给它一个“提示”：一段由专家完成的完美路径的短片段。这给了程序一个良好的开端，让它更接近终点线，从而可以学习剩余的步骤。然而，一个关键问题仍然存在：应该展示多少专家路径？展示得太少，程序依然会迷失方向；展示得太多，它只会单纯地模仿专家而学不到任何新东西。

长期以来，研究人员在处理这个问题时，仿佛存在一个适用于所有任务的完美辅助量，或者他们试图通过运行许多昂贵的额外练习轮次来测试不同的辅助水平，从而为每个特定任务猜测出正确的量。浙江大学和百度的一个研究团队提出的新观点认为，这两种方法都偏离了目标。研究人员发现，“最佳点”并不是一个单一、精确的点，而是一个范围。对于任何给定的任务，都存在一个能产生良好效果的不同辅助量的区间，并且这个区间会随着任务难度的不同而移动。与其试图确定一个精确的数字，该团队开发了一种将合适的辅助量视为随程序学习而变化的灵活范围的方法。他们将这个系统称为 Agent-G2。

研究人员在两个具有挑战性的环境中测试了他们的想法：一个是文本世界，其中的智能体必须完成如捡拾物品或打扫卫生之类的家务活；另一个是模拟在线商店，其中的智能体必须搜索并购买特定商品。他们使用语言模型作为这些智能体的“大脑”。在实验中，他们发现最有效的辅助量在理想点周围呈钟形曲线分布。这意味着对于一项困难的任务，广泛的辅助水平可能都会奏效，而对于较简单的任务，其范围可能会更窄。至关重要的是，他们发现任务的难度与专家路径的长度密切相关。一个需要二十个步骤的任务通常比仅需两个步骤的任务更难。

为了解决寻找正确辅助量而浪费时间的问题，Agent-G2 根据任务长度对任务进行分组，然后利用当前练习轮次的结果来调整下一轮的辅助量。如果短任务组进展得过于顺利，系统会自动减少给予它们的辅助量。如果长任务失败了，则增加它们的辅助量。系统通过计算每个组的中心点和跨度来实现这一点，本质上是创建了一个关于学习应发生之处的动态地图。然后，它会为每次新的尝试从该地图中随机抽取一个特定的辅助量。这种方法允许系统同时探索多种有效的起始点，确保既容易又难的任务都能得到适当的推动，而无需为了确定设置而运行额外的测试。

结果令人瞩目。在家庭任务环境中，使用较小的模型实现了 95.3% 的成功率，使用较大的模型实现了 98.4% 的成功率。这优于现有的使用提示的最强方法，也优于那些尝试在没有任何提示的情况下进行学习的方法。或许最重要的一点是，新方法使用的计算资源远少于之前试图为每个任务单独猜测合适辅助量的最佳方法。那些旧方法需要运行许多额外的练习轮次来寻找答案，这既缓慢又昂贵。新系统则是在运行过程中实时学习正确设置，利用它正在收集的数据来改进智能体。

研究还表明，该系统在不同规模的计算机模型上都能表现良好，证明了辅助交付的方式与进行学习的“大脑”规模同样重要。事实上，使用这种智能引导系统的较小模型，其表现优于使用旧有、不够复杂方法的更大模型。研究人员指出，他们的方法依赖于为每个任务准备一个完美的示例路径作为开始。如果没有这样的完美路径，该系统就无法直接使用。然而，对于许多专家可以演示正确路径的现实问题，这种方法提供了一种强大的方式，教人工智能如何从自身的错误中学习，而不是仅仅模仿它所看到的东西。通过将合适的指导视为一个灵活的范围而非一个固定的数字，研究人员找到了一种更高效且更稳健的方法，来帮助机器掌握复杂的长期目标。

技术摘要：Agent-G2：面向智能体强化学习的高斯引导

1. 问题陈述

针对大语言模型（LLM）智能体在长程决策任务中的强化学习（RL）面临着一个关键挑战：奖励稀疏性（reward sparsity）。在诸如网页导航或具身控制等环境中，智能体通常仅在终端状态收到一个二元的成功信号，而在此之前经历了数十个连续决策。因此，从初始状态进行的在策略（on-policy）探索很难达到成功的终端状态，导致像组相对策略优化（GRPO）这类训练算法出现“优势崩溃（advantage collapse）”。

基于提示（Hint-based）的强化学习试图通过在每次展开（rollout）前保留专家轨迹的一个前缀来缓解这一问题，允许策略从更接近成功状态的位置开始探索。然而，这种方法的有效性取决于引导深度（guidance depth） $d$ ：即保留专家轨迹的比例。

引导过少： 策略起始过早，导致成功的展开次数过少。
引导过多： 奖励趋于饱和，消除了有效优势估计所需的对比度。

现有方法将此深度视为确定性标量，导致了两种次优范式：

基于调度的方案（Schedule-based methods）： 在所有样本中共享单一的深度值（例如，基于训练步数）。这忽略了任务间的异质性，因为同一批次内的任务在难度上可能存在显著差异（例如，一个 2 步的任务与一个 20 步的任务）。
基于单样本探测的方案（Per-sample probing methods）： 通过二分查找或枚举来为每个样本估计最优深度。虽然更准确，但会产生高昂的计算成本（每个样本需 $O(\log n)$ 或 $N \times$ 额外的展开次数），并在有限的展开预算下引入噪声。

作者发现这些方法存在根本性的结构失配：它们假设每个任务都存在一个单一的最优深度。实证分析表明，有用的引导占据了一个围绕最优点的“带状区域（band）”，其信息量分布特征近似于高斯分布。

2. 方法论：Agent-G2

作者提出了 Agent-G2，这是一个高斯引导框架，它将引导深度建模为一个针对每个任务的高斯分布 ( $N(\mu_i, \sigma_i^2)$ )，而非一个标量。该分布通过在策略优化期间收集的展开统计数据进行在线估计，无需额外的探测展开或学习到的深度预测器。

核心组件

离线聚类（Offline Clustering）：
根据专家轨迹长度（作为难度的代理指标）将任务划分为 $K$ 个簇。这使得系统能够通过维护不同难度水平的独立统计数据来处理异质性。
自适应高斯调度（Adaptive Gaussian Schedule）：
对于簇 $k$ 中的每个任务 $i$ ，动态计算参数 $\mu_i$ （中心）和 $\sigma_i$ （跨度）：
- 全局基准 ( $\mu_{global}$ )： 追踪整体策略进度。它根据相对于目标成功率 $p_{target} = 0.5$ （即“刚刚可学习”阶段）的批次成功率 ( $acc_B$ ) 进行调整。
- 簇统计数据： 对于每个簇 $k$ ，系统维护经验成功率 ( $A_k$ ) 和方差 ( $V_k$ ) 的指数移动平均（EMA）。
- 参数计算：
  - $\mu_i = \text{clip}(\mu_{global} + \lambda(p_{target} - A_k), 0, 1)$ ：根据簇相对于全局基准的难度调整中心。
  - $\sigma_i = \max(\gamma V_k, \sigma_{min})$ ：根据簇内的方差设置跨度，确保对异质任务具有更广泛的覆盖。
采样与展开（Sampling and Rollout）：
对于每个任务，从 $N(\mu_i, \sigma_i^2)$ 中采样一个引导比例 $r_i$ ，并将其裁剪至 $[0, 1]$ 。这决定了前缀长度 $n_i$ 。智能体执行专家前缀以到达状态 $s_i$ ，然后从 $s_i$ 进行 $R$ 次独立的展开。
训练循环：
- 策略更新： 使用 GRPO 损失（作用于 $R$ 次展开）和作用于采样专家前缀的辅助损失 ( $L_{aux}$ , 模仿学习) 组合来更新策略。
- 调度更新： 用于策略更新的相同展开过程会刷新下一批次的全局基准和簇统计数据（ $A_k, V_k$ ）。这创建了一个闭环系统，使引导分布随策略能力的变化而演进。

3. 主要贡献

结构性洞察： 本文揭示了有信息量的引导深度形成的是一个带状区域，而非单个点。该带状区域内的训练信号剖面是单峰且对称的，并能很好地拟合高斯分布。这解释了共享深度调度器（结构失配）和单样本探测（噪声/成本权衡）的失效模式。
Agent-G2 框架： 一种新颖的框架，通过全局-局部分解在线估计每个任务的深度分布。它实现了每任务深度的变化，且无需额外的探测展开或辅助网络。
实证优越性： 在使用 Qwen2.5-1.5B 和 7B 模型的 ALFWorld 和 WebShop 上进行了广泛评估，结果表明 Agent-G2 在运行成本低于单样本探测方法三分之一的情况下，性能优于所有先进的基准方法（包括基于提示、无提示及辅助 RL 方法）。

4. 实验结果

ALFWorld： Agent-G2 实现了 95.3% 的成功率（1.5B 模型）和 98.4%（7B 模型）。相比最强的基于提示和无提示基准，分别提升了 +2.3 和 +3.9 个百分点。
WebShop： Agent-G2 获得了 92.3 的奖励得分和 84.4% 的购买成功率（7B 模型），超越了所有非探测类基准。
效率： 虽然与简单的调度类方法相比，Agent-G2 有轻微的单步开销，但它比探测类方法（二分查找、枚举）显著更快（快 3.24x–4.83x），因为它避免了额外的展开。
消融实验：
- 去除随机采样（仅使用均值 $\mu_i$ ）会导致性能下降 5.5 个百分点，证实了覆盖信息带的必要性。
- 去除簇特定自适应（ $K=1$ ）会导致性能下降 6.2 个百分点，凸显了处理任务异质性的重要性。
- 辅助损失 ( $L_{aux}$ ) 提供了稳定性（+8.6 个百分点）但并非主要的性能驱动力；在后前缀状态上的 GRPO 学习才是关键。

5. 意义与主张

本文声称 Agent-G2 代表了一种转变，即将引导深度从一个静态、确定性的超参数转变为一个动态的概率变量。通过建模有用引导的“邻域”而非单个点，该方法有效地平衡了长程任务中的探索与利用。

作者强调，调度设计可以替代骨干网络规模的扩张。值得注意的是，带有 Agent-G2 的 1.5B 模型超越了 7B 的 BEACON 基准，这表明智能引导策略可以补偿有限的模型容量。

承认的局限性：

该方法需要每个任务对应一条专家轨迹；在无法获得此类数据的情况下无法直接应用。
高斯参数化是基于经验的动机；对于具有多峰或严重偏斜深度分布的任务，可能需要更丰富的分布模型。
难度聚类目前基于离线轨迹长度；在线难度估计是一个潜在的未来研究方向。

总之，Agent-G2 通过利用引导深度的统计结构，为智能体 RL 中的奖励稀疏问题提供了一种高效且可扩展的解决方案，在无需昂贵探测的同时实现了对任务异质性的实时适应。