技術サマリー: AutoTool: エージェンティックな推論のための動的なツール選択と統合

1. 問題提起

エージェンティック強化学習（RL）の最近の進展により、大規模言語モデル（LLM）は、外部ツールの使用を挟み込んだ長い思考連鎖（CoT）の軌跡を生成することが可能になった。しかし、既存のアプローチは通常、特定のタスクに対して事前定義された**固定のツール・インベントリ（目録）**が存在するという仮定の下で動作している。これらの手法はクローズドな環境では効果的であるが、以下のような現実的なシナリオを捉えることができない：

1. エージェントが、複雑でドメインの多様なツールセットの中から適切なツールを選択しなければならない場合。
2. 推論中に、トレーニング時には存在しなかった未知の新しいツールが導入される場合。

現在のモデルは、静的なツールリストに過学習するリスクがあり、進化するツール環境への汎化能力に欠けている。本研究が取り組む核心的な課題は、**「いかにしてLLMエージェントが、強力な推論能力を維持しながら、進化するツールセットから動的にツールを選択できるか？」**である。

2. メソドロジー: AutoTool フレームワーク

著者らは、LLMエージェントに動的なツール選択能力を習得させるためのトレーニングフレームワークである AutoTool を提案する。このフレームワークは、推論とツール使用を統一された軌跡へと統合し、二段階の最適化パイプラインを採用している。

2.1. ツール認識型軌跡生成

本フレームワークは、推論の軌跡 $\tau$ を以下の3つのコンポーネントの相互作用として概念化する：

• 内部推論 ($\tau^{reason}$): 標準的なCoTによる内部推論。
• ツール選択 ($\tau^{select}$): エージェントがツールセット $\mathcal{T}$ を検討し、ツール $t_k$ を選択する。
• ツール統合 ($\tau^{integrate}$): 選択されたツールを実行し、そのフィードバックを生成プロセスに還元する。

進化するツールセットを扱うために、AutoToolは**埋め込みアンカー型ツール選択（Embedding-Anchored Tool Selection）**を利用する：

• ツール埋め込み: 各ツール $t_k$ は、特徴記述 $\mu(t_k)$ （名称、機能、スキーマ）とペアになり、LLMの内部埋め込み層を用いて潜在的な埋め込み $e_{t_k}$ にエンコードされる。
• 選択メカニズム: ツール名を直接生成する手法（これは未知のツールに対して失敗する）の代わりに、エージェントは選択の根拠となる論理 $s_i$ と、予測される埋め込みアンカー $e'_i$ を生成する。ツールは、$e'_i$ と候補となるツール埋め込み $e_{t_k}$ の間のフロベニウスノルム距離に基づくソフトマックス分布からサンプリングされることで選択される。これにより、エージェントは記憶された識別子ではなく、表現の整列（アライメント）を通じて新しいツールを選択することが可能になる。

2.2. 二段階最適化パイプライン

トレーニングプロセスは、2つの明確なフェーズで構成される：

フェーズI: 軌跡の安定化

• 目的: エージェントに、安定した長文形式のCoT推論と、有効なツール統合パターンを習得させる。
• 手法: エージェントをベースのリファレンスモデル ($\pi_{\theta_{ref}}$) から初期化し、教師あり微調整（SFT）とRLベースの方策最適化（例：GRPO）を通じて訓練する。これにより、モデルが推論、選択、実行のステップを含む一貫した軌跡を生成できるようにする。

フェーズII: ツール選択の精緻化

• 目的: 動的なツールセットを扱うために、ツール選択プロセスを明示的に最適化する。
• 手法: 最適化は、内部推論および統合のステップをマスクした上で、ツール選択ステップに特化して行われる。著者らは、ツール選択を Plackett–Luce (PL) ランキング問題として定式化している。
  • 理論的架け橋: 著者らは、KL正則化されたRL目的関数の最適化が、候補となる軌跡に対する方策の誘導PLランキング分布との一致に等しいことを証明している。
  • 目的関数: 方策は、より優れたツール選択の根拠と正しい最終回答を持つ軌跡が高くランク付けされる、報酬ガイド付きのランキングに適合するように最適化される。
    数式：$\pi_\theta$ を最適な方策 $\pi^*$ に向けて訓練するために、扱いやすいクロスエントロピー（CE）損失が使用され、モデルの誘導ランキングと報酬ベースのランキングの差を最小化する。

3. データ・キュレーション

動的なツール環境をサポートするために、著者らは明示的なツール選択の根拠（ラショナール）を含む20万規模のデータセットを構築した。

• 範囲: コード、検索、マルチモーダルを含む1,346個のツールと、数学、科学、コード生成、マルチモーダル理解にわたる120以上のタスクタイプをカバー。
• パイプライン:
  1. 収集: ツールとタスクを集約。
  2. 根拠の生成: エキスパート推論モデル（DeepSeek-R1）を使用して、各ステップでなぜ特定のツールが選ばれたのかについての明示的な正当化を生成し、コンテキストと選択の整合性を確保。
  3. 拡張: 無効な根拠をフィルタリングし、有効な根拠を軌跡内に挿入することで、高品質なトレーニングデータを作成。
• 進化する設定: トレーニング中には460個のツール（34.2%）のみが使用された。残りの886個のツールは未知のまま保持され、汎化性能を評価するために推論時のみに使用される。

4. 実験結果

実験は、Qwen3-8B および Qwen2.5-VL-7B をベースモデルとして、10の多様なベンチマークに対して実施された。

4.1. パフォーマンスの向上

AutoToolは、高度なLLMエージェントや特化したツール統合手法を一貫して上回った：

• 数学および科学的推論: 平均 +6.4% の向上。
• 検索ベースのQA: 平均 +4.5% の向上。
• コード生成: +7.7% の向上。
• マルチモーダル理解: +6.9% の向上。
• 比較: AutoTool（8B/7Bパラメータ）は、すべてのドメインにおいて、より大規模なモデル（例：Qwen2.5-72B, GPT-4o）や特化したRLベースライン（例：ReTool, Search-R1）と同等またはそれを上回る性能を達成し、バランスの取れた堅牢性を示した。

4.2. 未知のツールへの汎化

• 未知のツールにおける性能: 推論時に完全に未知のツールセット（886個のツール）で評価した場合でも、AutoToolはフルツールセットを使用した場合と比較して、減少幅を2%未満に抑え、高い性能を維持した。
• ヒット率: ツール選択のヒット率（正しいツールを選択すること）が高いほど、ダウンストリームの精度が向上することと直接相関していた。
• アブレーション: ツール選択の根拠を用いて訓練されたモデルは、それを用いないモデルよりも大幅に優れた性能を示し、ツール実行の成功率を13.5%向上させた。

5. 重要性と主張

本論文は、AutoTool が、進化する環境で動作可能な拡張可能なエージェンティック・システムへの重要な一歩であることを主張している。

• 静的なツールを超えて: 固定のツール・インベントリを前提とする従来の研究とは異なり、AutoToolは、動的かつオープンエンドな集合からツールを適応的に選択することを可能にする。
• 汎化: 選択を埋め込み空間にアンカーし、PLランキングングを通じて最適化することで、本フレームワークは、トレーニング中に一度も目にすることのなかったツールに対しても強力な汎化を実現している。
• 効率性: この手法は、競合する最先端のエージェントよりも少ないパラメータ（8B/7B）でこれらの結果を達成しており、明示的なツール選択の最適化の効率性を際立たせている。
• 実用的影響: 本フレームワークは、ツールセットが流動的で継続的に拡大していく実世界のデプロイメントにおける、クローズドループのトレーニングと現実のギャップを埋めるものである。

著者らは、単なるツールの使用ではなく、ツールの選択を明示的に最適化することが、複雑で変化する環境において効果的に推論し行動できるエージェントを構築するために極めて重要であると結論付けている。