Model-Adaptive Tool Necessity Reveals the Knowing-Doing Gap in LLM Tool Use

技術概要：モデル適応型ツール必要性の発見が、LLM ツール使用における「知覚と実行のギャップ」を明らかにする

問題定義

大規模言語モデル（LLM）は、クエリに直接回答するか、外部ツール（例：電卓、検索 API）を呼び出すかを決定する自律エージェントとして、ますます展開されています。適応型ツール使用に関する先行研究の多くは、「ツールの必要性」を静的でモデルに依存しない性質として扱っており、通常は人間の判定者や強力な LLM によって注釈付けられてきました。このアプローチは、特定のモデルの能力に関係なく、クエリが本質的にツール依存かツール非依存であるという前提に立っています。

しかし、実世界での展開において、ツールの必要性は、異なるモデル間の能力境界の乖離に起因して、本質的に微妙なニュアンスを持ちます。最先端のモデルが内部重みのみを使用して解決可能な問題も、より小規模または能力の低いモデルにとっては能力を超えており、前者にとっては冗長なツール使用が、後者にとっては厳密に必要となります。その結果、静的な注釈は、特定の LLM が本当に外部支援を必要とするタイミングを正確に特徴付けることができません。さらに、既存の研究は、モデルが内部知識を有している可能性にもかかわらず、なぜ必要な時にツールを呼び出さないのか、あるいは不必要に呼び出してしまうのかを十分に診断していません。

手法

著者は、モデル適応型ツール必要性と、ツール使用プロセスの2 段階分解に根ざしたフレームワークを提案します。

1. モデル適応型ツール必要性の定義:
   静的なラベルの代わりに、ツールの必要性 $n_f(x)$ は、特定のモデル $f$ の性能に基づいて経験的に定義されます。著者は、ツールアクセスなしで温度 $T$ で $N$ 回の独立した推論実行を行います。

   • モデルが $N$ 回のすべての実行で一貫して正しく回答した場合、そのクエリはツール不要 ($n_f(x) = 0$) とみなされます。
   • モデルが少なくとも 1 回失敗した場合、そのクエリはツール必要 ($n_f(x) = 1$) とみなされます。
     この定義は不確実性下での信頼性を捉え、ツールなしで時折しか成功しないモデルであっても、外部支援の恩恵を受けることを認識しています。

2. 2 段階分解（認知 vs 実行）:
   ツール使用プロセスは $x \to z_f(x) \to a_f(z_f(x))$ としてモデル化されます。ここで:

   • 認知 ($z_f$): ツールが必要かどうかに関するモデルの内部表現。
   • 実行 ($a_f$): ツール発動トークンを出力する実際の決定。
     エンドツーエンドのエラーは、実際の必要性と認知の間のミスマッチ、および認知と実行の間のミスマッチに分解されます。

3. プローブによる機械的解釈可能性:
   著者は、LLM の隠れ状態に対する線形プローブを用いて、両段階を分析します。

   • 認知プローブ: 隠れ状態からモデル適応型の必要性ラベルを予測するように線形分類器 ($w_c$) を訓練します。
   • アクションプローブ: 実際のツール呼び出し行動を予測するように線形分類器 ($w_a$) を訓練します。
   • 幾何学的分析: $w_c$ と $w_a$ のコサイン類似度を層とトークン位置全体で計算し、内部信念と実行意図が整合しているかどうかを判断します。

4. 軌跡追跡:
   サンプルは 2 段階のプロセスを通じて追跡され、エラーが帰属付けられます。サンプルは、エラーが認知段階で発生するか、実行段階で発生するか、あるいはその両方で発生するかに基づいて分類されます。

実験設定

• モデル: 4 つの異なる LLM が評価されました。Qwen3-8B、Qwen3-4B、Llama-3.1-8B-Instruct、および Llama-3.2-3B-Instruct。
• データセット:
  • 算数: 単純な加算から、剰余演算や演算子の優先順位を含む複雑な多段階演算までを含む 4,000 件のインスタンス。
  • 事実 QA: 事実の信頼性をテストするように設計された TruthfulQA（817 件）。
• 評価: モデルはツール（算数には電卓、QA には検索 API）へのアクセスを有してテストされました。ツール呼び出し行動は、貪欲デコードを使用して収集されました。

主要な結果

1. 顕著な必要性 - アクションのミスマッチ:
   モデル適応型の定義を用いると、ツールが実際に必要とされるタイミングと、モデルがそれを呼び出すタイミングの間に大きな不一致があることがわかりました。

   • 算数: ミスマッチ率は 26.5% から 54.0% の範囲でした。
   • 事実 QA: ミスマッチ率は 30.8% から 41.8% の範囲でした。
     主要な失敗モードはモデルとドメインによって異なり、一部のモデルはツールを過剰使用（直接回答可能な場合に呼び出す）し、他のモデルはツールを過少使用（内部知識が不足している場合に呼び出さない）していました。

2. 認知とアクションの線形解読可能性:

   • 認知: ツール必要性の内部表現は、特に中盤から後半の層において、隠れ状態から線形に解読可能です。ただし、分離性はタスクに依存し、表面構造と難易度が相関する算数の方が、事実 QA よりも強いです。
   • アクション: ツールを呼び出すという決定も、非常に高い線形解読可能性を示し、多くの場合、層とトークン位置の広範な領域にまたがっています。

3. 直交性のギャップ:
   認知プローブとアクションプローブは個別に効果的ですが、それらの方向ベクトル ($w_c$ と $w_a$) は、最終クエリトークンの後半の層（次のトークン生成を駆動する領域）においてほぼ直交します。これは、ツールの必要性を認識する内部シグナルが、意思決定の決定的瞬間にツール呼び出しをトリガーするシグナルから幾何学的に切り離されていることを示しています。

4. 失敗の局在化（「知覚と実行のギャップ」）:
   軌跡追跡により、エンドツーエンドのミスマッチの大部分は認知段階ではなく、実行段階（認知 $\to$ アクションの遷移）に起因することが明らかになりました。

   • ほとんどのエラーは、モデルが内部的にツールの必要性を正しく特定（正しい認知）しているにもかかわらず、これをツールを呼び出す構文的なアクションに変換できない場合に発生します。
   • このミスマッチは、モデルの必要性評価に対する内部自信が高い場合（0 または 1 に近い）でも持続しており、問題は不確実性ではなく、認識を行動へ変換する失敗であることを示唆しています。

意義と貢献

本論文は、以下の貢献を主張しています。

• ツール必要性の再定義: 経験的業績に基づいたモデル適応型のツール必要性の定義を導入し、静的でモデルに依存しない注釈への依存に挑戦します。
• 行動ミスマッチの定量化: 複数のモデルとドメインにわたって、実際のツール必要性と観測されたツール呼び出し行動の間に（最大 54% の）顕著なミスマッチがあることを経験的に実証します。
• 機械的洞察: 表現プローブを通じて、ツール必要性と実行意図の両方が線形に解読可能ですが、それらの表現は後半の層の最終トークン領域においてほぼ直交することを示します。
• 「知覚と実行のギャップ」の診断: LLM のツール使用における主要なボトルネックは、ツールの必要性を認識することではなく、その認識を行動へ変換することであることを特定します。

著者は、自律型 LLM エージェントの改善には、内部メタ認知の強化だけでなく、特に自己認識が確実に正しい実行へ変換されるよう、「知覚と実行のギャップ」を埋めることが必要であると結論付けています。