技術要約: ToolGate: ツール拡張型視覚言語エージェントのためのトークン効率的な事前呼び出し制御

1. 問題提起

ツール拡張型の視覚言語モデル（VLM）は、外部の知覚ツール（OCR、物体検出、セグメンテーションなど）を呼び出すことで推論能力を強化します。しかし、現在のReActスタイルのエージェントは、多くの場合**局所的なツール呼び出しの選択性（local tool-call selectivity）**を欠いています。これらはツール呼び出しを無差別に提案・実行するため、以下のような非効率性を招きます：

• 冗長性（Redundancy）: 提案された呼び出しの大部分が、エージェントの直近の強制回答予測を変更しません。
• 害（Harm）: 一部の呼び出しは、誤った視覚的信念を汚染する誤解を招く知覚情報を導入し、エージェントが正解から不正解へと転落する原因となります。
• コスト（Cost）: すべての提案された呼び出しを盲目的に実行することは、確実な有用性が保証されていないにもかかわらず、多大なトークンコスト（相互作用トークン ＋ ツールの出力トークン）とレイテンシを発生させます。

核心となる問題は、推論時の制御です。すなわち、ツールが実行される前に、提案された呼び出しが現在の推論軌跡に対して正の限界価値を提供する可能性が高いかどうかを判断することです。

2. 手法: ToolGate

著者らは、VLMエージェントによるツールの提案と、実際のツールの実行との間に機能する、軽量で外部的かつブラックボックスなコントローラーであるToolGateを提案しています。

2.1 アーキテクチャと入力

ToolGateは、VLMのバックボーン、プロンプト、またはツールスタックを修正しません。これは、提案された呼び出しを実行するかスキップするかを決定するバイナリ分類器（$g \in \{0, 1\}$）として機能します。

• 入力表現: コントローラーは、現在の軌跡の接頭辞（質問、推論履歴、過去のツール呼び出し／出力）のテキスト要約と、保留中の呼び出しの詳細（ツール名、引数）を受け取ります。
• 特徴量: テキスト埋め込み（凍結された文章埋め込みモデルから取得）と、単純な構造的特徴を組み合わせます：
  • 正規化されたステップインデックス。
  • ブールフラグ（例：これは最初の呼び出しか？ このツールは以前に使用されたことがあるか？）。
  • ツールタイプのワンホットエンコーディング。
• 制約: ToolGateは、画像ピクセル、隠れ状態、デコーディングの対数確率、または将来のツール出力にはアクセスしません。意思決定時点において利用可能な、相互作用の履歴のみに依存します。

2.2 学習と教師あり学習

理想的な決定指標は、情報の価値（Value of Information, VoI）、すなわち、呼び出しを実行した場合とスキップした場合の最終回答精度の差です。ログに記録された軌跡では反事実的な結果は観測できないため、著者らは**代理教師あり学習（proxy supervision）**戦略を使用しています。

• データ収集: 制約のないReActエージェントによってオフラインの軌跡を生成します。
• 強制回答プローブ: 各ツール呼び出しにおいて、ツール出力が組み込まれる直前と直後の両方で、エージェントに対して最適な回答をプローブします。
• ラベル付け: 以下の条件を満たす場合にのみ、呼び出しを**実行ポジティブ（execute-positive）**とラベル付けします：
  1. プローブされた回答が「誤り」から「正解」に変化した（$c_b=0, c_a=1$）。
  2. エピソードの最終回答が正解である（$e=1$）。
  • その他のすべての呼び出し（変化なし、有害、または遅延した有用性を持つもの）は、ネガティブとして扱われます。
• モデル: Gateは、連結されたテキストおよび構造的特徴を用いた、$\ell_2$正則化ロジスティック回帰分類器として学習されます。

2.3 デプロイメント

オンライン推論中、ToolGateは提案されるすべてのツール呼び出しをインターセプトします。予測確率 $\hat{p}_t \geq \tau$ （デフォルト $\tau=0.5$）の場合、その呼び出しを実行し、そうでない場合はスキップして、固定の「no-op（何もしない）」メッセージをエージェントのコンテキストに返します。

3. 主な貢献

1. 局所的選択性の失敗の診断: 5つのベンチマークにおける15,782件のツール呼び出しの分析を通じて、著者らはベースラインのエージェントが低い選択性を示すことを実証しました。有用な呼び出し（誤りから正解への反転）が発生する割合は、有害な呼び出し（正解から誤りへの反転、約11.8% vs 約9.9%）と同程度であり、約78.3%の呼び出しは直近の予測に変化を与えません。
2. ToolGateコントローラー: 下位のVLMを修正することなく、軌跡のテキストと構造的特徴に基づいて実行／スキップの決定を予測する、軽量な外部事前呼び出しコントラーの導入。
3. 実証的検証: 事前呼び出しゲーティングが、最終回答の精度を維持（あるいは場合によっては向上）させつつ、トークンコストと実行されるツール呼び出しを大幅に削減できることを実証。

4. 実験結果

実験は、Qwen3-VL-30BおよびQwen3-VL-235B-FP8のバックボーンを用い、5つのベンチマーク（V*Bench, CV-Bench, HR-Bench-4k/8k, MME-RealWorld-Lite）に対して行われました。

4.1 効率性と精度のトレードオフ

• クロスドメイン学習: ゲートがアウトオブドメインのデータ（例：30Bに対してGQA、235Bに対して6つのVQAソース）で学習され、5つのターゲットベンチマークで評価された場合：
  • トークンコスト: 制約のないベースラインの**64–69%**に減少。
  • ツール呼び出し: エピソードあたり約2.73回から約1.00回（30B）、および1.34回から0.20回（235B）へ減少。
  • 精度: 平均精度は概ね維持された（例：30Bで70.83% $\to$ 71.15%、235Bで75.22% $\to$ 75.30%）。
• マッチドドメイン学習: ゲートが評価に使用されたものと同じベンチマークファミリーの軌跡から学習された場合（30Bのみ）：
  • 精度: 1.65ポイント向上（70.83% $\to$ 72.48%）。
  • コスト: トークンコストはベースラインの**67%**に減少。
  • 呼び出し: エピソードあたり1.02回に減少。

4.2 アブレーション研究

• プロンプティング vs ゲーティング: エージェントにツールの必要性を自己報告させる、あるいは「疎な使用（sparse-use）」を促すプロンプトを使用する方法は、ToolGateの効率性に達せず、多くの場合トークンコストの増加や精度の低下を招きました。
• 特徴量の重要性: ツール識別自体が非効率性の強力な予測因子ですが、フルモデル（テキスト ＋ 構造）が最高の精度とコストのトレードオフを実現します。
• 信号源: ゲートの決定は、単なるエージェントの呼び出し前の確信度の反映（弱い相関）ではなく、軌跡の履歴から明確に異なる有用性の信号を学習していることを示しています。

5. 意義と主張

本論文は、ツール拡張型VLMエージェントが、より優れた知覚ツールだけでなく、いつツールの出力を支払う価値があるかについての明示的な推論時の制御からも恩恵を受けることを主張しています。

• 主要な貢献: ToolGateは主に、精度を維持しながらコストを制御するメカニズムとして機能します。その最も堅牢な効果は、性能を維持しながらトークン使用量とレイテンシを大幅に削減することです。
• 二次的な貢献: 十分な訓練データを持つマッチドドメインの設定では、正しい信念を損なう呼び出しをフィルタリングすることで、最終的な回答精度を向上させることも可能です。
• メカニズム: 本研究は、ベースラインのReActポリシーが、有用な呼び出しが希薄であり、冗長または有害な呼び出しが混在しているという「局所的選択性」の問題に苦しんでいることを浮き彫りにしています。事前呼び出しゲーティングは、事後的に誤った情報から回復することに頼るのではなく、低価値な出力をコンテキストに流入させないことで、この問題に対処します。

6. 限界

著者らは以下の限界を明記しています：

• 範囲: 特定の知覚ツールセットと同一モデルファミリーの2つのバックボーンを持つReActスタイルのエージェントに限定されています。他のプランナーやモダリティへの汎用性は証明されていません。
• 代理教師あり学習: 学習ラベルは、真の因果的推定値ではなく、反事実的な価値のプロキシ（代理指標）です。そのため、システムは、遅延した有用性を持つ呼び出しや、直近のargmaxを反転させることはなくても確信度を高めるような呼び出しを見逃す可能性があります。
• アノテーションのノイズ: ツール正誤の診断的アノテーションは自動的であり、ノイズを含みます。
• リスク: 強力すぎるゲーティングは、複雑なシナリオ（例：OCRが重要なタスク）において必要な証拠を抑制する可能性があり、本システムはハイステークスなアプリケーションにおける人間による監視の代わりにはなりません。