EvoTool: Self-Evolving Tool-Use Policy Optimization in LLM Agents via Blame-Aware Mutation and Diversity-Aware Selection

本論文は、遅延した教師信号と長期タスクにおけるクレジット割り当ての困難さに対処するため、失敗を特定モジュールに帰属させ、自然言語によるフィードバックに基づきモジュール単位で変異を行い、多様性を維持する選択を行う「EvoTool」という、モジュール化されたツール使用ポリシーを自己進化的に最適化する新しいフレームワークを提案し、複数のベンチマークで既存手法を上回る性能を実証しています。

要約

🍳 例え話：4 人の料理チームと「失敗の責任追及」

Imagine you have a team of 4 chefs working together to cook a complex dish (the task).

• プランナー (Planner): 献立を決め、手順を考える人。
• セレクト (Selector): 必要な食材や道具を選ぶ人。
• コーラー (Caller): 実際に調理器具を操作し、火加減や調味料を調整する人。
• シンセサイザー (Synthesizer): 出来上がった料理を盛り付け、客に提供する人。

これまでの AI の学習方法には、2 つの大きな問題がありました。

1. 全員を一度に直す方法（モノリシック）：
   料理がまずかったとき、「チーム全体が悪い！」として、4 人全員の手順を一度に書き換えてしまいます。

   • 問題点: 道具選びが上手だったのに、そのせいで「道具選びも下手になった」という**「巻き添え被害」**が起きます。

2. 1 人だけ直す方法（シングルアスペクト）：
   「プランナーが悪いんだ！」と決めつけて、プランナーだけを変えます。

   • 問題点: 実際は「道具選び」が間違っていたのに、プランナーだけ変えても直りません。また、他の人が作った影響（エラーの連鎖）を無視してしまいます。

---

✨ EVOTOOL の新しいアプローチ：「 blame（責任追及）」と「進化」

EVOTOOL は、**「誰のせいで失敗したのかを正確に見極め、その人だけをピンポイントで指導する」**という、まるで優秀な料理長のようなアプローチを取ります。

この仕組みは、3 つのステップで回っています。

1. 🔍 失敗の「犯人探し」（Blame Attribution）

料理が失敗したとき、AI は「なぜ失敗したか」を詳しく分析します。

• 「献立が難しすぎたのか？」（プランナーのミス）
• 「間違えた鍋を使っちゃったのか？」（セレクトのミス）
• 「火が強すぎて焦がしちゃったのか？」（コーラーのミス）
• 「盛り付けが汚かったのか？」（シンセサイザーのミス）

AI は、**「この失敗は、主に『道具選び（セレクト）』の人のせいだ！」**と、最も責任の重い人だけを特定します。これを「トラジェクトリー・グラウンドド・ブレイム（軌跡に基づく責任追及）」と呼びます。

2. 📝 犯人だけへの「ピンポイント指導」（Targeted Mutation）

特定された「道具選びの人」に対してだけ、自然言語（普通の言葉）でフィードバックを与えます。

• 「さっきは鍋を選んだけど、実はフライパンが必要だったね。次は『鍋』ではなく『フライパン』を選ぶルールを追加しよう。」
• 重要: 他の 3 人はそのままにします。だから、上手だった部分は壊れません。

3. 🧬 多様性を保つ「チームの選抜」（Diversity-Aware Selection）

進化の過程で、「一番上手な人」だけを残そうとすると、チーム全体が「似たような考え方」しか持たなくなり、新しいアイデアが出なくなります（多様性の欠如）。
EVOTOOL は、**「この料理には A さんが得意、あの料理には B さんが得意」というように、「得意分野が違うメンバー」**をチームに残します。これにより、どんな難しい料理（タスク）にも対応できる柔軟なチームになります。

---

🚀 結果：どうなった？

この新しい方法（EVOTOOL）を実験で試したところ、以下の成果がありました。

• 劇的な成績向上: 既存の AI 手法よりも、テストの点数が5 点以上も上がりました。
• 効率が良い: 無駄な試行錯誤を減らしたため、計算コスト（トークン使用量）も少なくて済みます。
• 応用が利く: 一度学んだ「道具選びのスキル」は、別の料理（別のタスク）や、別のシェフ（別の AI モデル）にでもそのまま使えて、高い性能を発揮しました。

💡 まとめ

この論文が伝えているのは、**「AI に失敗から学ぶとき、全体をバラバラに直すのではなく、『どこがダメだったか』を正確に見つけて、その部分だけ優しく、かつ的確に指導すれば、AI は驚くほど早く賢くなる」**ということです。

まるで、子供が料理を失敗したとき、「お前全部ダメだ！」と怒るのではなく、「お前が塩を入れすぎたね。次は塩の量を半分にしてごらん」と教えてあげるような、**「 blame-aware（責任を特定する）」**な進化の仕組みが、AI の未来を切り開く鍵になるのです。

技術概要

EVOTOOL: blame 意識的変異と多様性意識選択による LLM エージェントの自己進化型ツール使用ポリシー最適化

本論文は、大規模言語モデル（LLM）ベースのエージェントが複雑なタスクを解決する際に不可欠な「ツール使用ポリシー」の最適化課題に焦点を当て、EVOTOOL（Self-Evolving Tool-Use Policy Optimization）という新しいフレームワークを提案しています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

---

1. 背景と問題定義

LLM エージェントは、外部ツールを駆使して推論、意思決定、自動化を行う能力を持っていますが、その性能は「ツール使用ポリシー（どのツールを、いつ、どのように使うか）」に依存します。しかし、このポリシーの最適化には以下の重大な課題が存在します。

• 遅延する監督信号とクレジット割当の難しさ: 複雑なタスク（長距離の軌道）では、最終的な成功/失敗のフィードバックのみが得られ、どこでエラーが発生したか（計画、ツール選択、呼び出し、合成のどの段階か）を特定するのが困難です。
• 既存手法の限界:
  • モノリシック最適化: エージェント全体のプロンプトを一括で最適化する方法は、異なるモジュール間の行動が絡み合い（エンタングル）、ある修正が他の機能の劣化（回帰）を招くリスクがあります。
  • 単一側面最適化: 計画やツール呼び出しなど個別のコンポーネントのみを最適化する方法は、長距離の軌道におけるモジュール間のエラー伝播を無視しており、根本的な解決になりません。

これらの課題を解決し、遅延フィードバック下でのクレジット割当を可能にしながら、モジュール間を協調的に改善する手法が必要です。

2. 提案手法：EVOTOOL

EVOTOOL は、勾配なし（gradient-free）の進化パラダイムを用いて、モジュール化されたツール使用ポリシーを自己進化させるフレームワークです。エージェントのポリシーを以下の 4 つのモジュールに分解し、反復的な自己改善ループを通じて最適化します。

• Planner: 入力タスクをサブゴールに分解。
• Selector: 現在の状態とサブゴールに基づき、使用するツールを決定。
• Caller: ツールの引数を構築し、ツールを呼び出す。
• Synthesizer: ツールの出力を統合し、最終回答を生成。

この最適化は、以下の 3 つの革新的なメカニズムによって実現されます。

2.1 軌道に基づく責任帰属（Trajectory-Grounded Blame Attribution）

失敗したタスクの軌道（trajectory）から構造化された診断情報を抽出し、LLM（Blamer）を用いてどのモジュールが最も責任があるかをスコアリングします。

• 仕組み: 失敗の原因を特定し、最も高い blame スコアを持つ単一のモジュール（例：Selector）を「変異ターゲット」として特定します。
• 効果: 全体を盲目的に検索するのではなく、エラーの根源を局所化し、特定のコンポーネントのみを修正対象とすることで、最適化の効率を向上させます。

2.2 フィードバック誘導型ターゲット変異（Feedback-Guided Targeted Mutation）

特定された責任モジュールに対してのみ、自然言語による批判（critique）に基づいて修正を加えます。

• 仕組み: 失敗したエピソードと責任モジュールを LLM（Mutator）に提示し、そのモジュールの仕様（プロンプトなど）を自然言語のフィードバックに基づいて編集します。他のモジュールは固定されたままです。
• 効果: 修正が局所的であるため、無関係な機能の劣化を防ぎつつ、軌道に基づく具体的な改善を実現します。

2.3 多様性意識型集団選択（Diversity-Aware Population Selection）

進化の過程で集団が単一の戦略に収束（モード崩壊）するのを防ぎます。

• 仕組み: 単に平均スコアが高いものを選ぶのではなく、テストセット上の「個々のインスタンスにおいて他よりも優れている（勝つ）」候補を保持します。これにより、異なるタスク分布に特化した「専門家」的な候補も集団内に維持されます。
• 効果: 多様な能力を保持しつつ、広く効果的なポリシーへ収束させるバランスを保ちます。

3. 主要な貢献

1. EVOTOOL フレームワークの提案: 勾配なしの進化パラダイムを用いた、モジュール化されたツール使用ポリシーの自己進化フレームワークを提案。
2. 責任帰属とターゲット変異の導入: 構造化された軌道と自然言語の批判を活用し、責任のあるモジュールへの局所的な更新を実現するメカニズム（Blame Attribution と Targeted Mutation）を開発。
3. 多様性保持戦略: 異質なツール使用能力を持つ候補を保持するための「多様性意識型集団選択」を提案し、早期収束を防止。
4. 広範な評価: 4 つのベンチマークでの実験により、SOTA ベースラインを凌駕する性能、トークン効率、およびモデル・データセット間での転移性を示した。

4. 実験結果

4 つの主要なツール使用ベンチマーク（ToolBench, RestBench, τ-Bench, BFCL）において、GPT-4.1 およびオープンソースモデル（Qwen3-8B）の 2 つの基盤モデルで評価を行いました。

• 性能: EVOTOOL は、GPT-4.1 および Qwen3-8B の両方において、既存の最優秀ベースライン（DRAFT, EvoPrompt など）を平均 5 ポイント以上上回る性能を達成しました。
  • GPT-4.1: 全体平均 70.6（次点の DRAFT は 64.9 程度）。
  • Qwen3-8B: 全体平均 57.0（次点の ANYTOOL は 49.6 程度）。
• 複雑なタスクへの強さ: 状態依存の長距離タスク（τ-Bench）やマルチターンタスク（BFCL）において、単一側面最適化手法が性能を落とする中、EVOTOOL は高い性能を維持しました。これは、モジュール間の依存関係を適切に扱えていることを示しています。
• 効率性: 最適化に必要なトークンコストが低く、効率的な学習曲線を示しました。
• 転移性: 一つのデータセットやモデルで進化させたポリシーが、別のデータセットやモデル（例：Qwen3-8B で進化させたものを GPT-4.1 で評価）でも有効に機能することが確認されました。

5. 意義と結論

EVOTOOL は、LLM エージェントのツール使用ポリシー最適化における「クレジット割当の難しさ」と「モジュール間の干渉」という根本的な課題を解決しました。

• 技術的意義: 全体最適化と局所最適化のトレードオフを解消し、責任の所在を特定して局所的に修正する「 blame-aware（責任意識的）」なアプローチの有効性を示しました。
• 実用性: 手動でのプロンプト設計に依存せず、自律的に進化するエージェントを実現する道筋を示しました。また、トークン効率が高く、実用的なコストで高性能なエージェントを構築可能です。
• 将来展望: 本手法はテキストベースの API 呼び出しに限定されていますが、マルチモーダルツールや具象化エージェント（Embodied Agents）への拡張も有望な研究方向です。

総じて、EVOTOOL は、複雑な環境下で LLM エージェントが自律的に能力を向上させるための強力なパラダイムを提供する画期的な研究です。