To Call or Not to Call: A Framework to Assess and Optimize LLM Tool Calling

「呼び出すか否か：LLM ツール呼び出しの評価と最適化のためのフレームワーク」という論文の詳細な技術的サマリーを以下に示す。

1. 問題定義

アジェンティック AI アーキテクチャは、大規模言語モデル（LLM）が外部ツール（例：ウェブ検索、電卓）を呼び出すことでその能力を拡張することを可能にする。しかし、現在の LLM エージェントは、いつツールを呼び出すべきかを決定するための原理的なメカニズムを欠いている。

• 核心的な課題: ツールの使用は普遍的に有益とは限らない。モデルが既に答えを知っている場合、呼び出しは冗長になるか、あるいはツールがノイズや遅延をもたらす場合、有害になる可能性がある。
• ギャップ: 既存の評価は集計されたタスク精度に焦点を当てており、個々のツール呼び出しの決定の質を見落としている。ツールの真の必要性/有用性と、モデルの知覚された必要性/有用性を区別するフレームワークは存在しない。
• 課題: 具体的にはウェブ検索において、モデルは呼び出す前にツールの「有用性向上（utility gain）」を見積もるのに苦労しており、コスト制約に違反したり性能向上に失敗したりする、最適ではない決定に至ることが多い。

2. 手法：原理的なフレームワーク

著者らは、ツール呼び出しの評価と最適化のために意思決定理論と合理的選択理論に触発されたフレームワークを提案する。このフレームワークは意思決定を 3 つの次元に分解し、3 つの異なるレンズを通じて分析する。

A. 3 つの主要な次元

1. 必要性: モデルはタスク $T$ を解決するために外部の助けを必要とするか？（パラメトリック知識のみを使用して満足に解決できるか？）
2. 有用性: 関数 $F$ を呼び出すことは、タスク $T$ における性能を向上させるか？（ツールなしと比較してプラスの利益をもたらすか？）
3. 負担可能性: 有用性の向上はコスト（遅延、API 料金）に見合うか？（モデルは予算内で高利益のインスタンスを優先できるか？）

B. 3 つの分析レンズ

1. 規範的レンズ（「神託」）: 理想的な行動を定義する。
   • 真の必要性: NO TOOL設定におけるモデルの性能を品質閾値と比較することで決定される。
   • 真の有用性: ALWAYS TOOLの性能をNO TOOLと比較することで決定される。
   • 真の負担可能性: 予算の下で、最も高い限界有用性向上（$\Delta = s_{AT} - s_{NT}$）を持つ上位 $K$ 個のインスタンスを選択する。
2. *記述的レンズ（「自己決定」）: 実際のモデルの行動を観察する。
   • 知覚された必要性: ツールへのアクセスなしに（プロンプトを通じて）モデルが自己報告する必要性。
   • 知覚された有用性: オプションが与えられたとき、モデルが実際にツールを呼び出す決定。
3. *処方的レンズ（「コントローラー」）: 潜在表現を用いて、記述的行動と規範的理想の間のギャップを埋めるメカニズムを提案する。

C. コントローラーフレームワーク（潜在推定器）

知覚された信号と真の信号の間の不一致に対処するため、著者らは自然言語出力に依存するのではなく、LLM の隠れ状態（特に最終トークンの表現）に基づいて軽量な**多層パーセプトロン（MLP）**分類器を訓練することを提案する。

• 潜在必要性推定器（LNE）: NO TOOL 設定からの隠れ状態を使用して、真の必要性（$N^\star$）を予測する。
• 潜在有用性推定器（LUE）: NO TOOL または ALWAYS TOOL 設定からの隠れ状態を使用して、真の有用性（$U^\star$）を予測する。
• メカニズム: これらの推定器は外部コントローラーとして機能し、予測された有用性/必要性に基づいてインスタンスをランク付けし、固定予算を上位 $K$ 個のインスタンスに割り当てることで、モデルの欠陥のある自己決定プロセスを迂回する。

3. 実験設定

• モデル: 3B から 120B パラメータまでの 6 つのオープンソース LLM（GPT-OSS、Qwen3、Gemma3、Mistral、Llama3.2 を含む）。指示チューニング版と推論版の両方をカバー。
• タスク:
  1. Entity Task: 実体に関する記述的段落を生成する（長文の事実性を評価）。
  2. InVivoQuery Task: 実世界のユーザー要求から導き出された事実的な質問に回答する。
  3. BFCL Task: バー클리関数呼び出しリーダーボード（原子部分質問）。
• ツール: Google（SerpAPI）、Perplexity、Brave、Tavily を通じたウェブ検索。
• 指標: 事実性スコア（LLM をジャッジとした検証および人間によるアノテーションで確認）、ツール呼び出し数、および変化する予算制約下での有用性向上。

4. 主要な結果と知見

A. 知覚と現実の不一致

• 最適ではない自己決定: モデルは、ツール呼び出しの決定を真の有用性と一貫して整合させることに失敗する。
  • 過剰呼び出し: モデルは内部で解決できるタスクに対して頻繁にツールを呼び出す（負の有用性）。
  • 過少呼び出し: モデルは真に知識を欠いている場合にツールを呼び出さない（見逃された正の有用性）。
• 自己整合性と真実: モデルの知覚された必要性と知覚された有用性はしばしば相関している（モデルは内部的に整合している）が、これらの知覚は真実（ground truth）と整合していない。モデルの知識に関する内部的な「信念」は信頼できない。
• コスト感受性: モデルは予算制約を遵守するのに苦労する。呼び出しあたりのコストと残りの予算を明示的に伝えられたとしても、モデルは頻繁に制限を超えたり、高有用性のクエリを効果的に優先できなかったりする（予算制約シナリオでの低い NDCG スコア）。

B. 潜在推定器の性能

• 優れた予測: 潜在必要性推定器（LNE）と潜在有用性推定器（LUE）は、真の必要性と有用性を予測する際、モデルの明示的な自己決定を大幅に上回る。
• 向上したタスク性能: 推定器を使用してツール呼び出しをガイドする（「最適化」設定）ことにより、以下の結果が得られる。
  • 「自己決定」に比べて高い事実性スコア。
  • 不要なツール呼び出しの減少。
  • 厳格な予算制約下での性能向上。しばしばはるかに大規模なモデルの性能に匹敵、あるいは上回る。
• 小規模モデルの利益: 改善は小規模モデル（例：Llama3.2-3B）で最も顕著であり、これらは潜在信号による外部ガイダンスから最も恩恵を受ける。

C. 「神託」ギャップ

推定器を用いても、性能は完全に「神託」（最適）レベルには達しない。著者らは、完璧なツール呼び出しにはツールの行動そのものをモデル化する必要があると指摘しており、これはウェブ検索結果の確率的な性質により本質的に困難である。

5. 意義と貢献

1. 理論的フレームワーク: 必要性、有用性、負担可能性に基づいてツール呼び出しを評価する最初の原理的フレームワークを導入し、単純な集計精度指標を超えて前進させる。
2. 実証的洞察: 現代の LLM は自身の知識と外部ツールの価値の信頼できない判断者であることを実証し、体系的な非効率性をもたらしていることを示す。
3. 実践的解決策: ベース LLM の微調整なしにエージェントの意思決定を改善する非侵襲的で軽量な制御メカニズム（潜在推定器）を提案する。これは、効果的なアジェンティック行動にはモデルのネイティブな推論に依存するのではなく、明示的な外部コントローラーが必要であることを示唆する。
4. コスト意識: 現在のモデルにおける費用対効果分析に関する決定的なギャップを浮き彫りにし、明示的な予算プロンプトがあってもモデルがツール使用を最適化できないことを示し、外部介入が必要であることを明らかにする。

結論

この論文は、「呼び出すか否か」という決定がアジェンティック AI における根本的なボトルネックであると主張する。現在のモデルは、冗長または有害なツール使用につながる欠陥のある自己認識に依存している。潜在表現を活用して真の必要性と有用性を推定することで、研究者はタスク性能とコスト効率を大幅に向上させるコントローラーを構築でき、より合理的で信頼性の高い AI エージェントへの道を開くことができる。