GraphPlanner: 多エージェント LLM 向けのグラフメモリ強化型エージェントルーティング

本論文は、ICLR 2026 にて発表された「GraphPlanner」に関する研究です。これは、大規模言語モデル（LLM）のルーティングを、単なるモデル選択から、タスク計画、多段階の協力、メモリ活用を含む「エージェント的（Agentic）」な設定へと拡張する革新的なフレームワークを提案するものです。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

1. 問題定義と背景

既存の LLM ルーティング手法は、主に以下の 2 つのカテゴリに分類されますが、複雑な現実世界のタスクには限界があります。

• シングルラウンド・ルーティング: クエリに基づいて一度きりでモデルを選択する手法。効率的だが、多段階の推論やタスク分解、異種モデル間の協調が不可能。
• マルチラウンド・ルーティング: 文脈を蓄積しながら複数回モデルを呼び出す手法。柔軟性は向上するが、各呼び出しを独立した事象として扱い、エージェント間の明示的な協力や役割分担（プランナー、エグゼキューター等）をモデル化していないため、冗長な呼び出しや文脈の衝突が発生しやすい。

課題:
複雑なタスクを処理するには、異なる能力・コスト・信頼性を持つ異種 LLM を、適切な「エージェント役割（Planner, Executor, Summarizer など）」として動的に割り当て、協調的なワークフローを生成する必要があります。しかし、以下の課題が存在します。

1. 複雑な依存関係: クエリ、レスポンス、モデル候補間の関係は多様で、進化する文脈下での推論が求められる。
2. 遅延報酬（Deferred Rewards）: 初期のルーティング決定が最終結果に長期的な影響を与えるため、即時のフィードバックだけでは最適化が困難。
3. 歴史的メモリの活用不足: 過去の成功/失敗の協力パターンやエラーモードを体系的に活用する手法が不足している。

2. 手法：GraphPlanner

GraphPlanner は、異種グラフメモリを強化したエージェントルーティングフレームワークであり、各クエリに対して動的なルーティングワークフローを生成します。

2.1 マルチエージェント協調としてのルーティング定式化

ルーティングをマルコフ決定過程（MDP）として定式化し、各ステップで以下の 2 つを同時に決定します。

1. LLM バックボーンの選択: どのモデルを使用するか。
2. エージェント役割の選択: プランナー（分解）、エグゼキューター（実行）、サマライザー（要約）のいずれかを活性化するか。

2.2 異種グラフメモリ（GARNet）

GraphPlanner の中核は、GARNet と呼ばれる異種グラフニューラルネットワークです。これは以下の 2 つのグラフを統合して状態表現を構築します。

• ワークフローメモリグラフ ($G_{workflow}$): 現在のタスク解決中のクエリ、レスポンス、モデル選択の履歴。
• 歴史的メモリグラフ ($G_{history}$): 過去のタスクから蓄積された相互作用パターン。

特徴:

• 共有ハブノード: 異なる LLM と役割の組み合わせ（例：LLaMA-Planner）に対応する「役割ハブノード」を固定して共有します。これにより、現在のワークフローと過去の歴史が同じノードを通じて情報を交換し、効率的なメッセージパッシングが可能になります。
• 状態表現: 現在のクエリ、役割、レスポンス、コスト、タスク性能などの情報をグラフ構造に埋め込み、文脈に敏感な状態表現を生成します。

2.3 強化学習による最適化

ポリシーネットワーク（GARNet）は、PPO (Proximal Policy Optimization) による強化学習で最適化されます。

• 報酬関数: 最終的なタスク精度（Utility）と計算コスト（Cost）のバランスを考慮します。
  $$r_t = U(\hat{y}, y^*) - \alpha C(a_t)$$
  ここで、$\alpha$ はコストと精度のトレードオフ係数です。
• 目的: 期待割引収益を最大化するポリシーを学習し、高精度かつ低コストなワークフローを生成します。

3. 主要な貢献

1. エージェント的ルーティングの提案: 単なるモデル選択を超え、「役割」と「モデル」を同時に決定し、構造化された協調ワークフローを生成する最初のルーティングフレームワークの一つです。
2. GARNet の開発: 異種グラフを用いて、現在のワークフローと過去の歴史的相互作用を統合的にモデル化し、推論と適応性を向上させる新しいアーキテクチャを提案しました。
3. 推論モードのサポート:
   • 帰納的（Inductive）: 訓練データを使用せず、軽量で効率的な推論。
   • 転移的（Transductive）: 歴史的相互作用を活用し、より高い性能を目指す推論。
     両方のモードをサポートし、ユーザーの要件に応じた柔軟な運用を可能にします。

4. 実験結果

14 のタスク、6 つのドメイン（数学、コード、常識推論、世界知識など）で評価を行いました。

• 性能向上:
  • Phase 1（既存ワークフロー内での最適化）: 既存のシングル/マルチラウンドルーティングと比較し、平均精度が +3.8% 向上。
  • Phase 2（ワークフロー生成）: 平均精度が +9.3% 向上（最高で 9.3% の改善）。特に数学やコードタスクにおいて、多段階計画の恩恵により顕著な改善が見られました。
• コスト削減:
  • GPU 計算コストを 186.26 GiB から 1.04 GiB へと劇的に削減（約 180 倍の効率化）。
  • トークン消費量も削減され、Pareto 曲線（精度とコストのトレードオフ）上で最善のバランスを示しました。
• 汎化性能:
  • 未見タスク: 訓練データに含まれないタスク（LogicGrid, MGSM, CommonGen）において、平均 78% の精度を達成（既存手法より 20-40% 高い）。
  • 未見 LLM: 訓練時に使用していない LLM（Mistral-Nemo, Mixtral 等）に対しても、追加の微調整なしで高いゼロショット性能を発揮しました。
• アブレーション研究:
  • 歴史的メモリ（GARNet）を除去すると性能が大幅に低下し、グラフ構造や異種性の重要性が確認されました。
  • 帰納的推論と転移的推論の両方が有効であり、用途に応じて使い分けが可能であることが示されました。

5. 意義と結論

GraphPlanner は、LLM ルーティングの分野において、単なる「モデル選択」から「エージェント的ワークフローの生成」へとパラダイムシフトをもたらす重要な研究です。

• 実用性: 複雑なタスクを、異なる能力を持つ複数の LLM を協調させることで効率的に解決可能にし、計算コストを大幅に削減します。
• スケーラビリティ: 強化学習とグラフメモリを活用することで、新しいタスクや新しいモデルへの適応性が高く、将来のマルチエージェントシステムにおける基盤技術となり得ます。
• 今後の展望: プランナー、エグゼキューター、サマライザー以外の役割（例：Thinker, Verifier）への拡張や、より複雑なエージェント生態系への適用が期待されます。

総じて、GraphPlanner は、効率的で適応性の高いマルチエージェント LLM システムを実現するための強力なアプローチを提供し、大規模言語モデルの実社会への応用を大きく前進させる成果と言えます。