💬 NLP

PEARL: Plan Exploration and Adaptive Reinforcement Learning for Multihop Tool Use

PEARL 是一个新颖的两阶段框架，它将离线工具探索与在线群体相对策略优化（GRPO）相结合，显著增强了大语言模型在复杂多跳工具使用中的规划与执行能力，并在 ToolHop 基准测试上实现了 56.5% 的新最先进成功率。

原作者： Qihao Wang, Mingzhe Lu, Jiayue Wu, Yue Hu, Yanbing Liu

发布于 2026-01-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Qihao Wang, Mingzhe Lu, Jiayue Wu, Yue Hu, Yanbing Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个非常聪明、博学多才的助手（一个大语言模型），它对世界了如指掌，但从未亲自动手做过任何事。它可以滔滔不绝地谈论如何修理汽车或烘焙蛋糕，但如果你要求它实际使用扳手或烤箱，它可能会猜错工具、转错方向，或者尝试使用一个根本不存在的工具。

这篇论文介绍了一种名为 PEARL 的全新训练方法，旨在将这种“只会空谈”的助手转变为一个在需要使用一系列数字工具（如 API）来解决复杂问题时，能够可靠“执行任务”的行动派。

以下是 PEARL 的工作原理，通过简单的概念进行拆解：

问题所在：会“白日做梦”的助手

目前的 AI 助手在处理多步骤任务时经常表现挣扎。如果问它们：“找一个公园，然后找出是谁建造了它，再计算他们名字中的字母数量”，它们通常会：

忘记计划： 在完成第一步后就迷失了方向。
幻觉： 凭空捏造不存在的工具。
犯错： 使用了正确的工具，但设置错误（比如试图用锤子去开门）。
放弃： 如果犯了错，它们不知道如何修复，只会原地打转。

解决方案：PEARL 的两阶段训练

PEARL 通过将训练分为两个截然不同的阶段来解决这个问题，就像在让飞行员驾驶飞机前先进行飞行员培训一样。

第一阶段：“游乐场”（离线工具探索）

在 AI 真正尝试解决用户的现实问题之前，它会进入一个安全、受控的“游乐场”。

类比： 想象一位从未下过厨的厨师。在为顾客上菜之前，他会在厨房里花好几个小时去触摸每一个锅具、平底锅和香料。他尝试打开和关闭炉灶，搅拌食材，并观察如果操作错误会发生什么。
PEARL 的做法： AI 会主动通过试错的方式尝试使用每一个可用工具。它学习如何精准地握住“扳手”（工具），以及如果转错方向会发生什么。这建立了一个“心理使用手册”，这样当它真正开始工作时，就不会手忙脚乱或发明假工具。

第二阶段：“将军”（利用强化学习进行战略规划）

一旦 AI 知道如何使用工具，它就需要学习如何规划一系列动作。

类比： 想象一位国际象棋选手。仅仅知道棋子的走法（第一阶段）是不够的；你需要知道赢下比赛的策略。
创新之处： PEARL 使用了一种特殊的训练方法——强化学习（具体为 GRPO）。
- 系统不仅仅是在任务结束时说“做得好”或“做得不好”，而是会在 AI 计划的每一步都给它一份“计分卡”。
- 如果 AI 出于正确的理由使用了正确的工具，它就会得到分数。如果它跳过了步骤或选错了工具，就会失去分数。
- 这教会了 AI 预判下一步，并在开始行动之前制定出一份完美的“蓝图”。

结果：超级可靠的智能体

论文在两个极具挑战性的基准测试（ToolHop 和 T-Eval）上测试了该方法，这些测试要求 AI 必须串联使用多个工具来回答问题。

得分： PEARL 实现了 56.5% 的成功率，创下了新的纪录（达到 SOTA 顶尖水平）。
对比： 它击败了规模更大、成本更高的模型（如 GPT-4o）以及仅通过标准训练进行“记忆”的模型。
可靠性： 它在实际调用工具时的错误率极低（仅为 3.8%），证明了“游乐场”训练确实有效。

为什么这很重要

论文声称，PEARL 通过分离“规划”与“执行”解决了这两者的矛盾。它训练了一个专门的“规划者”（Planner）来进行战略思考，以及一个已经成为工具使用专家的“执行者”（Executor）。

最令人兴奋的发现是，这个规划者制定计划的能力如此之强，以至于如果你将它的计划交给其他强大的 AI 模型，那些模型处理任务的能力也会随之大幅提升。这就像拥有一位天才将军，他能写出精妙的作战计划，让任何士兵——无论经验多么匮乏——都能遵循计划并赢得战争。

简而言之： PEARL 教会 AI 先在沙盒中练习使用工具，以免弄坏它们，然后再教会它如何在开始游戏之前，制定出一套完美的逐步行动计划。

技术摘要：PEARL（用于多跳工具使用的计划探索与自适应强化学习）

问题陈述

尽管大型语言模型（LLMs）在增强外部工具使用方面展现出了巨大潜力，但在复杂的、多轮工具调用场景中仍面临重大障碍。现有方法通常存在以下问题：

规划能力弱： 智能体经常采用近视的、单步的策略，无法制定或遵循连贯的长程计划。
执行错误： 模型会出现“工具幻觉”（调用不存在的工具）、生成错误的参数，并在处理顺序工具调用之间的依赖关系时表现挣扎。
适应性差： 当发生执行错误时，智能体往往无法诊断问题或动态调整其策略，从而导致重复的失败循环。

现有的方法主要依赖于监督微调（SFT）或模仿学习，在面对新颖场景时显得脆弱，且需要复杂的错误恢复机制。目前迫切需要一种能够将鲁棒的执行与战略规划解耦，并利用自适应学习来优化两者的框架。

方法论：PEARL 框架

PEARL（计划探索与自适应强化学习）通过一个将战略计划生成与知情执行分离的原则性两阶段架构来解决这些挑战。

1. 任务形式化

智能体的目标是使用一组工具 $\mathcal{T}$ 来解决复杂查询 $q$ ，通过生成一个有序的子任务序列（即计划） $P = ((s_1, \tau_1), \dots, (s_n, \tau_n))$ ，其中 $s_i$ 是自然语言目标， $\tau_i$ 是选定的工具。

2. 第一阶段：战略计划生成（在线强化学习）

一个专门的**规划器（Planner）**模型 ( $\pi_\theta$ ) 被训练用于在执行开始前生成整个多步计划。

优化算法： 规划器使用**组相对策略优化（GRPO）**进行优化，这是近端策略优化（PPO）的一种变体。GRPO 通过在为相同输入生成的候选计划组中对优势估计进行归一化，增强了训练的稳定性。
奖励设计： 采用了一种全新的、以规划为中心的奖励函数，以提供稠密的、逐步的反馈。
- 该奖励将生成的计划与基准计划进行对比。
- 对于在第 $i$ 步正确选择的每个工具，分配一个归一化奖励 ( $1/m$ )，其中 $m$ 是最优计划中的总步数。
- 这种设计直接优化了工具链的结构和语义正确性，解决了长程规划中的信用分配问题。

3. 第二阶段：知情执行（离线 + 在线）

一个**执行器（Executor）**模型 ( $\pi_\phi$ ) 负责执行由规划器生成的计划。

离线工具探索： 在任何任务执行之前，智能体会对每个可用工具进行主动的试错阶段。它系统地尝试各种参数配置，以学习有效的用法模式、参数约束和失败条件。这构建了一个“学习型用户手册”，使执行器能够立足于现实，从而大幅减少幻觉和参数错误。
在线逐步执行： 执行器接收规划器的输出并迭代执行。它利用在离线阶段获得的知识来构建具有正确参数的有效工具调用，并利用先前执行结果的历史记录来指导后续步骤。

核心贡献

新颖框架： PEARL 将用于鲁棒执行的离线工具探索与用于自适应战略规划的在线强化学习相结合，有效地将这两个复杂问题解耦。
以规划为中心的奖励机制： 作者设计了一种特定的奖励函数，使得通过强化学习直接优化多步工具计划成为可能。它通过提供关于计划质量的稠密反馈而非仅仅依赖稀疏的最终任务成功信号，引导智能体走向最优策略。
最先进的性能： 该框架建立了新的性能基准，证明了专门的架构设计可以优于简单的模型规模扩展。

实验结果

作者在两个基准测试上评估了 PEARL：ToolHop（多跳工具推理）和 T-Eval（工具利用能力）。

ToolHop 性能： PEARL-7B 实现了 56.5% 的成功率 (SR)，显著优于经过专门微调的 Qwen2.5-7B-SFT 基准（46.2%）以及更大的专用模型如 GPT-4o（49.0%）。至关重要的是，它保持了较低的 调用错误率 (IER) 3.8%，验证了离线探索阶段的有效性。
T-Eval 泛化能力： 在泛化基准测试中，PEARL-7B 实现了 77.0% 的 SR，超过了领先的专用模型（GPT-4o 为 76.0%，Claude 3.5 Sonnet 为 71.0%）及开源模型。其 IER 降至 1.0%，表明了极高的可靠性。
规划器泛化性： 实验表明，由 PEARL-Planner 生成的计划能显著提升其他强大模型（如 GPT-4o 和 Qwen2.5-72B）作为执行器时的表现，证实了所学规划策略的可迁移性。
消融实验：
- 去除以规划为中心的奖励会导致 SR 从 56.5% 骤降至 23.4%，凸显了其在信用分配中的关键作用。
- 去除离线探索会导致 IER 从 3.8% 飙升至 24.1%，证明了预见性的工具学习对于可靠执行至关重要。

意义与主张

论文声称 PEARL 是解决复杂工具使用规划挑战的关键进展。通过系统地将工具机制的学习（离线）与战略编排的学习（在线 RL）分离，该框架产生的智能体既具有鲁棒性（低错误率），又具有战略性（高多步任务成功率）。

作者断言，他们的工作为开发更可靠、更自主的基于 LLM 的智能体做出了贡献。结果表明，对于复杂的工具使用任务，专门的规划与执行训练架构比单纯扩大模型参数或依赖标准的监督微调更为有效。PEARL 规划器的高泛化能力进一步验证了所学策略的质量，为开发能够处理日益复杂的现实世界数字交互的智能体指明了路径。