技術要約：経験駆動型適応ガイダンス（ExpG）によるエージェントの堅牢なツール利用に向けて

1. 問題提起

AIエージェントの性能におけるボトルネックは、大規模言語モデル（LLM）固有の能力から、ツールの使用を中心とした実行プロセスの堅牢性へと移行しています。ツールはエージェントが外部環境と相互作用するための主要なインターフェースとして機能しますが、既存の手法は、多様な実行時条件下での堅牢なツール使用を保証できないことが多々あります。

現在のアプローチは、通常、以下の静的な仮定に基づいています：

1. ツールは常に正しく呼び出され、期待通りのレスポンスを返す。
2. ツールの失敗は、継続的な自己反省を可能にする情報豊かな信号を提供する。

しかし、現実世界の状況はこれらの仮定を覆します。環境の動態により、同じツールであってもコンテキストに応じて異なる結果をもたらすことがあります。また、ツールのレスポンスはノイズが多く、粒度が粗い場合もあります（例：計算機が誤った結果を返しているにもかかわらず、「成功」と報告する場合など）。ツールの能力の境界や堅牢な使用パターンに関する明確な理解がなければ、エージェントは汎化に苦しみ、曖昧な信号に直面した際に試行錯誤に陥ったり、誤った推論パスに従ったりすることがよくあります。

2. メソドロジー：ExpG

著者らは、ツールの呼び出しを「分析可能で、相互依存的で、学習可能な経験」として扱うことで、ツールに対する適応型ガイダンスを構築・洗練させるメカニズムであるExpG（Experience-Driven Adaptive Guidance：経験駆動型適応ガイダンス）を提案しています。静的なブラックボックス・アプローチとは異なり、ExpGはエージェントのメモリに触発された進化する経験プールを維持し、以下の3つの連続したフェーズを通じて動作します。

フェーズ1：経験の獲得（Experience Acquisition）

ExpGは、過去の実行軌跡を分析し、各ツール呼び出しの成功または失敗を帰属させます。

• 定式化: 経験 $E$ は $\langle h, m, c \rangle$ として定義されます。ここで、$h$ は一意のハッシュ、$m$ はメタデータ（ツールの情報、コンテキスト、入力、レスポンス、コスト）、$c$ は評価内容です。
• 評価: LLM_evaluator（判定役として機能）が、$d$ 個の次元（例：環境、エージェントの挙動、ツールの信頼性をカバーする10の側面）にわたって各呼び出しを評価します。これはバイナリのスコアベクトルと自然言語による説明を生成します。
• 分割: 同一ツールの経験は、スコアベクトルに基づいて**等価クラス（equivalence classes）**に分割されます。これにより、呼び出しの異なるパターン（例：「完璧な呼び出し」対「入力は正しいがツールが失敗したケース」）ごとに呼び出しをグループ化します。

フェーズ2：経験の蒸留（Experience Distillation）

このフェーズでは、生の経験を実用的なガイダンスへと変換します。

• フィルタリング: 役に立たない経験を排除します。これには、ハッシュによるフィルタリング（冗長性の除去）、時間によるフィルタリング（古いデータの破棄）、および有効性によるフィルタリング（一貫して後続のスコアを低下させる経験の除去）が含まれます。
• 選択: 有効な経験の数に基づき、ツールを分類します：
  • One-shot: スキップ（データ不足）。
  • Few-shot: 保留されたすべての経験を使用。
  • Many-shot: 等価クラスに基づく選択アルゴリズムを適用。代表的な経験のクォータ（割り当て量）$Q$ を選択し、元の分布を維持（頻出パターンを重視）しつつ、多様性（異なる呼び出しパターンを網羅）を確保します。
• 要約: LLM_summarizer がフィルタリングされたセットを分析し、各ツールに対するガイダンスを生成します。このガイダンスには以下が含まれます：
  • 定性的: コア機能、成功パターン、一般的な問題、およびベストプラクティス。
  • 定量的: 平均成功率、スコア、時間コスト、およびトークンコスト。

フェーズ3：経験の再利用（Experience Reuse）

蒸留されたガイダンスは、エージェントを盲目的な試行錯誤から、情報に基づいた実行へと移行させるために将来のタスクに適用されます。

• 動的 vs 安定: ガイダンスは一貫性に基づいて分類されます。
  • 動的ガイダンス (Dynamic Guidance): 変動的な呼び出しパターンを持つツールに対して、軽量なコンテキスト・プロンプトとして使用されます。
  • 安定ガイダンス (Stable Guidance): 一貫した失敗/成功パターンを持つツール（例：入力は正しいにもかかわらず、内部的な信頼性の問題で一貫して失敗するツール）に対して、厳格なスキーマ制約として使用されます。
• 適用: ガイダンスは、エージェントの現在の状態やツールの信頼性に応じて、プロンプトの一部として、あるいはツールのスキーマ内の制約として注入されます。

3. 主な貢献

1. ツール呼び出しの構造化された特性付け: 本論文は、環境、エージェント、およびツールの要因をカプセル化した構造化された特性付けを導入することで、ツールの呼び出しに関する静的な見方を打破しました。これにより、等価クラス分割を通じた学習可能な経験の獲得が可能になります。
2. ExpGメカニズム: 進化するツールレベルの経験プールを維持するための新しいフレームワーク。経験を獲得、蒸留、再利用することで、ExpGは能力の境界とベストプラクティスを構築し、それらを継続的に洗練させることができます。
3. 実証的検証: 広範な実験により、ExpGがツールの選択、ツールの呼び出し、およびレスポンス生成の各段階において、一貫して性能を向上させることが示されました。特に、ExpGを利用しない場合よりも、より小さなモデル（例：Qwen3-8B）がより大きなモデルを凌駕することを実現しました。

4. 実験結果

実験は、ツールの使用における異なる段階を対象とした3つのベンチマーク、MetaTool（ツール選択）、API-Bank（ツール呼び出し）、および BFCL-V3（レスポンス生成）を用いて実施されました。

• 性能向上: ExpGは、すべてのデータセットおよびモデルにおいて、最高の Avg@3 および Pass@3 スコアを達成しました（GPT-5 nano, DeepSeek-V3, Qwen3 シリーズ）。例えば、Qwen3-8Bにおいて、ExpGは「手法なし（No Method）」のベースラインと比較して、Avg@3 で 7.41%、Pass@3 で 6.92% の総メトリック向上を実現しました。
• 困難な設定における堅牢性: ExpGは、ノイズの多い環境（例：パラメータの欠落、未定義のツール、ディストラクター・ツール）において、特に強力な改善を示しました。BFCL-V3 では、問題のある設定において、シングルターン・タスクの性能を 13.09%、マルチターン・タスクの性能を 10.33% 向上させました。
• 効率性: 通常のマルチターン・タスクにおける平均推論ステップを減少させ（10.14 から 9.02 へ）、一方で困難なシナリオにおいては、より慎重な挙動を促すことで、不必要な相互作用を減らしつつ成功率を高めました。
• アブレーション研究: いずれかのフェーズ（獲得、蒸界、または再利用）を削除すると性能が低下し、フルパイプラインの必要性が確認されました。等価クラスに基づく選択手法は、一様選択やクラスバランス選択と比較して、分布の整合性と多様性のバランスを効果的に取れていることが示されました。

5. 意義と主張

本論文は、ExpGが静的なツール・ドキュメンテーションを超えた、「学習可能なツール」への初期のステップを象徴していると主張しています。

• パラダイムの転換: これは、モデル中心の改善から実行プロセスの堅牢性へのシフトに対処しており、ツールが現実世界のコンテキストで異なる挙動を示す「開発と本番環境の間のギャップ」に対する解決策を提供します。
• 自己進化: システムは、構造化された蒸留とツールの経験の再利用を通じて、エージェントが自己進化することを可能にし、ツールの習熟におけるハイティアモデルへの依存を軽減します。
• 実用性: このアプローチは既存のエージェント・ハーネスと互換性を持つように設計されており、より高次のメモリやスキルベースの手法を補完する、ツールの微細な粒度で動作します。

著者らは、ExpGが能力の境界とベストプラクティスを捉えることで、予測不可能な環境やノイズの多いフィードバックに対処できる、より堅牢で適応的なエージェントシステムの構築への道を切り開くと結論付けています。