💬 NLP

PEARL: Plan Exploration and Adaptive Reinforcement Learning for Multihop Tool Use

PEARLは、オフラインのツール探索とオンラインのGroup Relative Policy Optimization (GRPO) を組み合わせることで、複雑なマルチホップ・ツール利用における大規模言語モデルの計画および実行能力を大幅に向上させ、ToolHopベンチマークにおいて56.5%という新たな最高成功率を達成した新しい2段階フレームワークである。

原著者： Qihao Wang, Mingzhe Lu, Jiayue Wu, Yue Hu, Yanbing Liu

公開日 2026-01-29

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Qihao Wang, Mingzhe Lu, Jiayue Wu, Yue Hu, Yanbing Liu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してみてください。あなたの手元には、非常に賢く、博識なアシスタント（大規模言語モデル）がいます。彼らは世界中のあらゆる事柄を知っていますが、実際に手を使って何かをしたことは一度もありません。車の修理方法やケーキの焼き方については語れますが、いざレンチを手に取ったりオーブンを使おうとしたりすると、道具を間違えたり、ダイヤルを逆方向に回したり、存在しない道具を使おうとしたりするかもしれません。

この論文は、この「話すだけ」のアシスタントを、複雑な問題を解決するために一連のデジタルツール（API）を使いこなすことができる、信頼できる「実行者」へと変貌させるための新しい学習手法、PEARLを紹介しています。

PEARLの仕組みを、シンプルな概念に分解して説明します：

問題点：「空想する」アシスタント

現在のAIアシスタントは、多段階のタスクにおいてしばしば苦戦します。例えば、「公園を見つけ、次にその公園を作った人を探し、次にその人の名前の文字数を数えて」と頼むと、以下のような現象が起こります：

計画を忘れる： 最初のステップの後に迷子になります。
ハルシネーション（幻覚）： 存在しないツールを捏造します。
ミスをする： 正しいツールを選んでいるものの、設定を間違えます（例：ドアをハンマーで開けようとする）。
諦める： 間違いを犯したとき、どのように修正すればよいか分からず、同じ動作を繰り返して堂々巡りになります。

解決策： PEARLの2段階学習

PEARLは、パイロットが飛行機に乗る前に訓練を受けるように、学習を2つの明確なフェーズに分けることでこれを解決します。

ステージ1：「遊び場」（オフライン・ツール探索）

AIがユーザーの実際の問題に取り組む前に、安全で制御された「遊び場」に入ります。

比喩： 料理をしたことがないシェフを想像してください。客に料理を出す前に、彼はキッチンで鍋やフライパン、スパイスの一つひとつに触れて時間を過ごします。コンロのスイッチをオン・オフしたり、材料を混ぜたり、失敗したらどうなるかを試したりします。
PEARLが行うこと： AIは試行錯誤を通じて、利用可能なすべてのツールを積極的に試します。これにより、ツール（レンチ）をどのように持ち、逆に回すとどうなるかを学びます。これにより「心の内の取扱説明書」が構築され、実際に作業を行う際に、手元を狂わせたり架空のツールを捏造したりすることがなくなります。

ステージ2：「将軍」（強化学習による戦略的プランニング）

AIがツールの使い方を習得したら、次は一連の動きをどのように計画するかを学ぶ必要があります。

比喩： チェスのプレイヤーを想像してください。駒の動きを知っている（ステージ1）だけでは不十分であり、勝つための戦略を知る必要があります。
革新性： PEARLは、強化学習（具体的にはGRPO）と呼ばれる特別な学習手法を使用しています。
- タスクの最後に単に「よくできました」や「ダメでした」と言うのではなく、システムは計画のあらゆるステップに対して「スコアカード」を提示します。
- もしAIが適切な理由で正しいツールを使う計画を立てれば、ポイントを獲得します。もしステップを飛ばしたり、間違ったツールを選んだりすれば、ポイントを失います。
- これにより、AIは先を読み、行動を開始する前に完璧な「設計図」を作成することを学びます。

結果：超信頼性の高いエージェント

この論文では、AIが質問に答えるために複数のツールを連鎖させる必要がある、2つの困難なベンチマーク（ToolHopとT-Eval）でPEARLをテストしました。

スコア： PEARLは56.5%の成功率を達成し、新記録（SOTA：最先端）を樹立しました。
比較： より大規模で高価なモデル（GPT-4oなど）や、標準的な学習で「暗記」されただけのモデルに勝利しました。
信頼性： ツールの呼び出しにおけるエラー率が非常に低かったこと（3.8%）から、「遊び場」でのトレーニングが機能したことが証明されました。

なぜ重要なのか

この論文は、PEARLが「計画（プランニング）」と「実行（エグゼキューション）」を分離することで、この問題を解決したと主張しています。戦略的に考えるための専用の「プランナー（計画者）」と、ツールの扱いに長けた「エグゼキューター（実行者）」を別々に訓練しているのです。

最もエキサイティングな発見は、このプランナーの計画能力が非常に高いため、その計画を他の強力なAIモデルに与えると、それらのモデルも突然、そのタスクにおいて格段に優れた能力を発揮するようになるという点です。それはまるで、優れた将軍が作成した作戦計画があれば、経験の乏しい兵士であっても、その計画に従うことで戦争に勝利できるようなものです。

要約すると： PEARLは、AIに対し、まずサンドボックス内でツールを使う練習をして道具を壊さないように教え、次に、実際にプレイを開始する前に完璧なステップ・バイ・ステップのゲームプランを作成する方法を教えるのです。

技術要約: PEARL (Plan Exploration and Adaptive Reinforcement Learning for Multihop Tool Use)

問題提起

大規模言語モデル（LLM）は、外部ツールを拡張することで大きな可能性を示していますが、複雑なマルチターン（多段階）のツール呼び出しシナリオにおいては、重大な障壁に直面しています。既存のアプローチには、以下のような課題があります：

計画性の弱さ: エージェントはしばしば近視的な一歩限りの戦略を採用し、一貫した長期的な計画の策定や遵守に失敗します。
実行エラー: モデルは「ツールの幻覚」（存在しないツールの呼び出し）、誤ったパラメータの生成、および連続するツール呼び出し間の依存関係の管理における困難さを示します。
適応力の低さ: 実行エラーが発生した際、エージェントは問題の診断や戦略の動的な調整に失敗することが多く、結果として反復的な失敗ループに陥ります。

教師あり微調整（SFT）や模倣学習に大きく依存している既存の手法は、新しいシナリオに直面した際に脆弱であり、複雑なエラーリカバリを必要とします。堅牢な実行と戦略的な計画を分離し、両方を最適化するために適応型学習を活用するフレームワークが切実に求められています。

手法: PEARLフレームワーク

PEARL（Plan Exploration and Adaptive Reinforcement Learning）は、**戦略的計画生成（Strategic Plan Generation）と情報に基づいた実行（Informed Execution）**を分離する、原理に基づいた二段階アーキテクチャを通じて、これらの課題に対処します。

1. タスク定式化

エージェントの目標は、一連のサブタスク（計画） $P = ((s_1, \tau_1), \dots, (s_n, \tau_n))$ を生成することによって、ツール集合 $\mathcal{T}$ を用いて複雑なクエリ $q$ を解決することです。ここで、 $s_i$ は自然言語による目標、 $\tau_i$ は選択されたツールを表します。

2. ステージ1: 戦略的計画生成 (Online RL)

専用の**プランナー（Planner）**モデル ( $\pi_\theta$ ) は、実行が始まる前に、マルチステップの計画全体を生成するように訓練されます。

最適化アルゴリズム: プランナーは、**GRPO（Group Relative Policy Optimization）**を用いて最適化されます。これはPPO（Proximal Policy Optimization）の変種です。GRPOは、同一の入力に対して生成された候補プランのグループ間でアドバンテージ推定を正規化することにより、学習の安定性を高めます。
報酬設計: 密なステップバイステップのフィードバックを提供するために、斬新な**計画中心の報酬関数（planning-centric reward function）**が採用されています。
- 生成された計画を正解の計画と比較します。
- ステップ $i$ において正しく選択されたツールごとに、正規化された報酬 ( $1/m$ ) を割り当てます（ここで $m$ は最適な計画のステップ数）。
- この設計は、ツールチェーンの構造的および意味的な正確性を直接最適化し、長期計画におけるクレジット割り当て問題（credit assignment problem）を解決します。

3. ステージ2: 情報に基づいた実行 (Offline + Online)

**エグゼキューター（Executor）**モデル ( $\pi_\phi$ ) は、プランナーが生成した計画を実行する責任を負います。

オフライン・ツール探索: タスク実行の前に、エージェントは利用可能な各ツールに対して、能動的な試行錯誤フェーズを行います。様々なパラメータ構成を体系的に試行することで、有効な使用パターン、引数の制約、および失敗条件を学習します。これにより、エグゼキューターを現実に接地させ、幻覚やパラメータエラーを劇的に減少させる「学習されたユーザーマニュアル」を構築します。
オンライン・ステップバイステップ実行: エグゼキューターはプランナーの出力を受け取り、それを反復的に実行します。エグゼキューターは、オフラインフェーズで獲得した知識を活用して、正しいパラメータを持つ有効なツール呼び出しを構築し、以前の実行結果の履歴を利用して後続のステップに情報を与えます。

主な貢献

新しいフレームワーク: PEARLは、堅牢な実行のためのオフライン・ツール探索と、適応的な戦略的計画のためのオンライン強化学習を統合し、これら二つの複雑な問題を効果的に分離しています。
計画中心の報酬メカニズム: 著者らは、RLを通じてマルチステップのツール計画を直接最適化することを可能にする、特定の報酬関数を設計しました。これは、単なる疎な最終タスク成功シグナルに頼るのではなく、計画の質に対する密なフィードバックを提供することで、エージェントを最適な戦略へと導きます。
最先端の性能: 本フレームワークは新たな性能ベンチマークを確立し、専門化されたアーキテクチャ設計が単純なモデルのスケーリングよりも優れた性能を発揮することを証明しました。

実験結果

著者らは、ToolHop（マルチホップ・ツール推論）とT-Eval（ツール利用能力）の2つのベンチマークでPEARLを評価しました。

ToolHopの性能: PEARL-7Bは**56.5%の成功率（SR）**を達成し、特別にチューニングされたQwen2.5-7B-SFTベースライン（46.2%）や、GPT-4o（49.0%）のようなより大規模なプロプライエタリモデルを大幅に上回りました。決定的なことに、呼び出しエラー率（IER）を3.8%という低水準に維持しており、オフライン探索フェーズの有効性を検証しています。
T-Evalの汎化性能: 汎化ベンチマークにおいて、PEARL-7Bは77.0%のSRを達成し、主要なプロプライエタリモデル（GPT-4oの76.0%、Claude 3.5 Sonnetの71.0%）およびオープンソースモデルを凌駕しました。そのIERは**1.0%**まで低下しており、未知のタスクに対する高い信頼性を示しています。
プランナーの汎化: 実験により、PEARL-Plannerによって生成された計画は、エグゼキューターとして使用された際に他の強力なモデル（GPT-4oやQwen2.5-72Bなど）の性能を大幅に向上させることが示され、学習された計画戦略の転移可能性が確認されました。
アブレーション研究:
- 計画中心の報酬を除去すると、SRは56.5%から23.4%へと急落し、クレジット割り当てにおけるその決定的な役割が浮き彫りになりました。
- オフライン探索を除去すると、IERが3.8%から24.1%へと急上昇し、事前のツール学習が信頼できる実行に不可欠であることが証明されました。

意義と主張

本論文は、PEARLがツール使用における複雑な計画の課題に対処するための重要な進展であると主張しています。ツールのメカニズムの学習（オフライン）と、戦略的なオーケストレーションの学習（オンラインRL）を体系的に分離することで、本フレームワークは**堅牢（低エラー率）かつ戦略的（高ステップタスク成功率）**なエージェントを生み出します。

著者らは、彼らの研究が、より信頼性の高い自律的なLLMベースのエージェントの開発に貢献すると断言しています。結果は、計画と実行のための専門化されたトレーニングアーキテクチャが、単にモデルのパラメータをスケールアップしたり、標準的な教師あり微調整に依存したりするよりも、複雑なツール使用タスクにおいて効果的であることを示唆しています。PEARL-Plannerの高い汎化能力は、学習された戦略の質をさらに裏付けており、ますます複雑化する現実世界のデジタルインタラクションを扱うことが可能なエージェントへの道筋を示しています。

問題点： 「空想する」アシスタント