🤖 AI

PlanPO: Group Planning-Aware Policy Optimization for Multi-Turn Agentic LLMs

PlanPO 是一种新颖的组相对策略优化方法，它通过引入由粗到精的优势信号来区分基于交互效率的成功轨迹，从而使多轮智能体大语言模型能够学习可泛化的规划行为，并在挑战性基准测试上显著超越现有基准。

原作者： Dayang Liang, Liyuan He, Xuan Feng, Shuxin Li, Bo An, Yunlong Liu

发布于 2026-08-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Dayang Liang, Liyuan He, Xuan Feng, Shuxin Li, Bo An, Yunlong Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在快速发展的人工智能领域，一类被称为大语言模型的特定计算机程序已经开始不仅仅作为被动的阅读者或书写者，而是作为主动的智能体。这些数字实体可以通过参与多轮对话来导航复杂的环境，从虚拟网络商店到模拟科学实验室，通过观察情况、思考应对方案并采取行动。为了教导这些智能体如何有效地执行此类任务，研究人员经常使用一种称为强化学习的方法。在这个过程中，智能体会尝试许多不同的方式来解决问题，当它成功时，就会获得奖励。随着时间的推移，智能体会学会重复那些导致成功的行为。然而，当智能体找到一种成功的方法时，一个重大的挑战也随之而来：并非所有的成功路径都是平等的。有些解决方案是直接且高效的，而另一些则是迂回的，充满了不必要的循环、冗余的步骤或过于冗长的解释，尽管它们都获得了相同的“成功”奖励。这种缺乏区分度的现象会干扰学习过程，导致智能体在低效的习惯上浪费时间，或无法培养预先规划的能力。

一个研究小组提出了一种解决这一问题的新方法，称为组规划感知策略优化（Group Planning-aware Policy Optimization），简称 PlanPO。该方法不再仅仅奖励任何成功的结局，而是通过观察解决方案是如何达成的，来教导智能体区分“好”的解决方案与“卓越”的解决方案。研究人员观察到，即使智能体正确完成了任务，到达终点的过程也会大相径庭。有些智能体可能会在一个虚拟房屋中徘徊，在找到物体之前反复检查同一个抽屉，而另一些则可能直接前往正确的地点。同样，当智能体表达或书写其想法时，有些响应是简洁且逻辑清晰的，而有些则是啰嗦或包含混乱的推理，即便最终采取的行动是正确的。PlanPO 的核心思想是利用这些长度和效率上的差异作为学习信号。通过将智能体的成功尝试进行相互比较，系统可以识别出哪些路径更为直接，哪些响应更为高效，从而对这些特定的行为给予更高的奖励，而非那些笨拙的行为。

研究人员通过在三个不同且具有挑战性的环境中训练语言模型来测试这一想法。第一个是模拟家庭环境，智能体必须执行诸如拿起物体、清洁或加热物品等任务。第二个是复杂的网络购物环境，智能体必须根据用户指令在数千种选项中寻找特定产品。第三个是科学模拟环境，智能体必须操纵虚拟仪器来进行实验。在这些测试中，研究人员将他们的新方法与几种现有技术进行了对比，包括那些无法区分不同类型成功的标准强化学习方法。结果显示，使用 PlanPO 训练的智能体表现持续优于其他方法。平均而言，新方法在这些困难的基准测试中提升了 27.2% 的性能。在家庭环境中，使用 PlanPO 训练的智能体实现了超过 91% 的成功率，这与以往的方法相比是一个显著的飞跃。

使这一发现显得尤特别引人注目的是智能体行为的变化方式。研究人员发现，使用 PlanPO 训练的智能体不仅学会了完成任务，还学会了更高效地完成任务。它们采取更少的步骤来达到目标，并生成更短、更集中的响应。例如，在家庭任务中，完成一项工作所需的平均交互轮数从超过 26 轮降至不到 14 轮。智能体也停止了产生冗长或重复的文本，显著减少了平均响应长度。这种改进并非通过简单地强制要求智能体变得更短或更快来实现的，研究人员表明，单纯这样做实际上会损害性能。相反，智能体学会了仅在有助于成功时才保持高效。它们开发出了一种规划意识，理解直接的路径和清晰的解释比漫长且曲折的路径更好，即便两者最终都能导致相同的结果。

研究还考察了这些智能体是否能将所学知识应用于未曾见过的全新情境。当在与训练任务不同的任务上进行测试时，PlanPO 智能体保持了极高的成功水平，并以大幅领先于其他方法。这表明这些智能体并非仅仅是在针对特定问题记忆特定解决方案，而是在学习一种通用的规划与决策技能。研究人员指出，这种提升并不需要大量的额外计算能力或复杂的全新硬件；该方法只是重新组织了现有训练数据的评估方式。通过将成功尝试中的差异视为有价值的信息而非噪声，研究人员使智能体能够更有效地学习。这项工作证明，在复杂的人工智能世界中，成功的质量与成功本身同样重要，而教导机器识别这种差异可以带来更聪明、更强大的数字助手。

技术摘要：PlanPO —— 面向多轮智能体 LLM 的组规划感知策略优化

问题陈述

在多轮智能体大语言模型（LLM）领域，组相对策略优化（GRPO）已成为利用可验证结果奖励来训练智能体的标准范式。然而，GRPO 在处理成功展开（successful rollout）异质性方面存在一个关键局限。

现有的变体通常会对所有成功完成任务的轨迹分配相同的结局奖励，而忽略了交互效率的差异。这导致了“优势坍缩”（advantage collapse），即：

迂回的成功（包含冗余状态转移、循环或死胡同的轨迹）与最优的成功被同等对待。
成功响应中冗长或逻辑有缺陷的推理与简洁、连贯的推理获得相同的信用。
对成功轨迹缺乏辨别能力，阻碍了智能体学习通用的规划能力，往往导致它们仅仅是模仿特定的高质量模式，而非开发稳健的、任务通用的策略。

目前试图解决这一问题的方案通常依赖于价值模型（评论家）或过程奖励模型（PRM），但这会引入估计偏差、代理误差以及显著的内存开销。其他方法则依赖于缺乏通用性的手工设计或经验启发式方法。

方法论：PlanPO

作者提出了组规划感知策略优化（PlanPO），这是一种简单且有效的强化学习方法，它利用自然可用的长度分布来构建由粗到细的优势信号。其核心创新在于将长度归一化严格限定在成功的轨迹之内，从而避免了标准长度最小化的陷阱。

1. 基于成功的长度归一化

PlanPO 在标准的组相对框架内运行，但引入了两个截然不同的优势计算层级，两者均以实现任务目标（ $R(\tau) = 1$ ）为前提条件：

轨迹级优势 ( $A^E$ )：
对于针对同一任务采样的 $N$ 条轨迹组，PlanPO 仅针对成功的轨迹对结局奖励进行轨迹长度（交互轮数， $T_i$ ）归一化。
$R^E(\tau^i) = \mathbb{1}[\tau^i \in G^U_x] \cdot \frac{R(\tau^i)}{T_i}$
优势 $A^E$ 通过这些长度归一化后的奖励的组相对归一化（均值和方差）来计算。该信号鼓励智能体在成功的展开中寻找更短、更直接的交互路径。
响应级优势 ( $A^S$ )：
在轮次层面，PlanPO 将针对同一任务生成的所有成功响应合并为一个组。它为每个轮次的响应 Token 长度（ $L_{i,t}$ ）对结局奖励进行归一化。
$R^S(a_{i,t}) = \mathbb{1}[\tau^i \in G^U_x] \cdot \frac{R(\tau^i)}{L_{i,t}}$
优势 $A^S$ 在此活跃响应组内进行计算。这提供了细粒度的监督，鼓励在成功的交互中进行简洁且连贯的推理。

2. 由粗到细的策略优化

轨迹 $\tau^i$ 中 Token $a_{i,t}$ 的最终优势是轨迹级优势与响应级优势的加权组合：
$A^{\text{PlanPO}}(a_{i,t}) = A^E(\tau^i) + \alpha(k) A^S(a_{i,t})$

加权衰减： 系数 $\alpha(k)$ 在训练期间线性衰减。这种设计在初期优先考虑轨迹级规划信号（粗粒度），随后逐渐通过响应级信号进行精细化（细粒度）。
偏差-方差权衡： 理论分析（定理 1）表明， $\alpha(k)$ 平衡了偏差-方差权衡。较大的 $\alpha$ 保留了轮次级的精细化，但增加了采样方差；而较小的 $\alpha$ 在降低方差的同时会带来收缩偏差。

策略使用类似于 GRPO 的剪切组相对目标进行优化，并包含针对参考策略的 KL 散度惩罚。

核心贡献

识别瓶颈： 本文指出，成功展开的异质性（成功轨迹中的冗余轮次和冗长推理）是组相对优化中的一个关键瓶颈，它掩盖了展开质量并限制了策略学习。
提出 PlanPO： 一种新颖的方法，通过构建基于成功的长度归一化优势。不同于通用的基于长度的奖励塑造，PlanPO 仅在成功的展开组内应用长度归一化，确保智能体学习的是具备规划意识的行为，而非仅仅是最小化长度。
实证验证： 大量实验证明，Plan料在多个基准测试中一致优于强基线模型（包括 GRPO、GiGPO 和 PPO），且几乎没有增加额外的训练成本。

实验结果

作者使用 Qwen2.5-1.5B-Instruct 和 Qwen2.5-7B-Instruct 在三个具有挑战性的多轮基准测试（ALFWorld、WebShop 和 SciWorld）上评估了 PlanPO。

性能提升：
- 在平均水平上，PlanPO 在各基准测试中比 GRPO 提升了 27.2%。
- 在 ALFWorld（1.5B 模型）中，PlanPO 实现了 91.3% 的总体成功率，比 GRPO 提升了 18.5 个百分点。
- 在 ALFWorld 的分布外（OOD）任务中，PlanPO 实现了 87.1% 的成功率，超过 GRPO 17.0 个百分点，超过 GiGPO 4.7 个百分点，显示出强大的泛化能力。
- 在 SciWorld 中，PlanPO-7B 取得了 68.46 的总分，显著优于之前的最佳 RL 基线（ScalingInter-7B 为 57.00）。
效率与行为：
- 交互效率： PlanPO 智能体将平均交互轮数从 26.1 轮（GRPO）减少到了 13.8 轮。
- 响应简洁度： 平均响应 Token 长度从 95.1（GRPO）减少到了 56.3。
- 成本： 该方法带来的额外训练成本微乎其微，因为与 LLM 的前向/后向传播相比，长度归一化和优势计算属于轻量级操作。
消融实验：
- 移除轨迹级（ $A^E$ ）或响应级（ $A^S$ ）优势中的任何一个都会显著降低性能。
- 无条件的长度塑造（不带成功条件）会导致性能崩溃，证实了单纯的长度最小化是有害的。
- 仅靠基于成功的长度塑造是不够的；必须结合组相对优化才能产生增益。

意义与主张

本文声称 PlanPO 为智能体 RL 中的优势坍缩问题提供了一个简单、可扩展且任务通用的解决方案。通过利用成功展开中的内在异质性（特别是交互长度和响应长度）作为监督信号，PlanPO 使智能体能够学习可泛化的规划能力，而非过度拟合于特定的高质量行为模式。

作者强调，该方法不需要昂贵的价值模型、手工奖励工程或复杂的启发式规则。相反，它利用了成功组内“天然存在但未被充分利用”的长度分布信号，引导智能体实现更直接、更高效且更连贯的交互。研究结果表明，成功展开的异质性是训练具备规划意识的智能体 LLM 的一种可行且强大的信号。