🤖 machine learning

To Call or Not to Call: Diagnosing Intrinsic Over-Calling Bias in LLM Agents

本論文は、LLM エージェントにおける本質的な過剰呼び出しバイアスを特定し、モデルが不要な場合でもツール呼び出しを好むメカニズムを説明するとともに、このバイアスがスパースオートエンコーダを用いて因果的に修正可能であり、呼び出し性能を犠牲にすることなく全体的な意思決定精度を向上させることを実証する。

原著者： Wei Shi, Ziheng Peng, Sihang Li, Xiting Wang, Xiang Wang, Mengnan Du, Na Zou

公開日 2026-05-20

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Wei Shi, Ziheng Peng, Sihang Li, Xiting Wang, Xiang Wang, Mengnan Du, Na Zou

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢く、意欲的で、ツールを使うことを好むアシスタントがいると想像してください。あなたがあることを頼むと、彼らはすぐに工具箱に手を伸ばします。問題は、ツールが不要な場合や、正しく使うために不可欠な情報が不足している場合でも、彼らがしばしばツールを手に取ってしまうことです。

この論文は、なぜこのようなことが起こるのか、そしてそれをどう修正するかを調査しています。以下に、簡単な言葉で解説します。

問題：「過度に意欲的」なアシスタント

研究者たちは、Qwen、Gemma、Ministral などの複数の高度な AI モデルを調査し、一貫した欠陥を発見しました。それは「過剰な呼び出し」です。

良い知らせ: AI がツールを使うべき場合（例えば天気を確認する場合など）には、非常にうまく機能します。「呼び出し精度」はほぼ 100% の確率で正確です。
悪い知らせ: AI がツールを使うべきでない場合（例えば、ユーザーの要求が曖昧で、まず明確化が必要である場合など）には、AI はしばしばそれでもツールを呼び出してしまいます。「非呼び出し精度」は非常に低いです。

比喩: これは、注文があれば非常に素早く料理を持って来るウェイターのようなものです。しかし、メニューを頼んだだけでステーキを持って来たり、喉が渇いたと言っていないのに飲み物を持って来たりします。「何かをやる」ということにあまりにも熱心なあまり、実際にその行為が必要かどうかを確認することを忘れてしまいます。

診断：目に見えない「バイアス重み」

研究者たちは、なぜ AI がこれほどまでに意欲的なのかを知りたがりました。彼らは AI の答えだけでなく、AI の「脳」（内部の数学的処理）の中を、スパース・オートエンコーダ（SAE） というツールを使って観察しました。SAE は、AI が意思決定に使用する特定の「スイッチ」や「特徴」を見ることを可能にする、高性能な顕微鏡のようなものと考えることができます。

彼らは驚くべき発見をしました。

「活性化」理論: 通常、AI がツールを呼び出すかどうかは、「呼び出し」信号が「呼び出さない」信号よりも大きければ決まると考えられます。
現実（内在的バイアス仮説）: 研究者たちは、「呼び出し」信号と「呼び出さない」信号が完全に等しい（同点）場合でも、AI は依然として呼び出すことを選択することを発見しました。

比喩: 一方に「呼び出し」の重み、もう一方に「呼び出さない」の重みを乗せた天秤を想像してください。

重みが等しければ、通常の天秤はバランスを保ちます。
しかし、この AI の天秤には、「呼び出し」側に貼り付けられた隠れた、目に見えない重みがあります。見える重みが等しくても、天秤は「呼び出し」側に傾きます。
天秤をバランスさせる（あるいは「呼び出さない」側に傾ける）ためには、実際にはその隠れたバイアスを打ち消すために、「呼び出さない」側により多くの重みを入れる必要があります。

解決策：「バイアス相殺」調整

彼らがこの目に見えない重みを見つけた後、AMCS（Adaptive Margin-Calibrated Steering：適応マージン較正ステアリング） と呼ばれる修正策を作成しました。

比喩: 彼らは目に見えない「呼び出し」バイアスの重さが正確にどれくらいかを知っていたので、それを相殺する「カウンターウェイト」を作成しました。

彼らは AI を再学習させませんでした（それは永遠に時間がかかり、他のものを壊す可能性があります）。
その代わりに、AI が意思決定を行おうとするたびに、AI の内部信号に対して微小で正確な数学的な「ナック（微調整）」を適用しました。
このナックは隠れた重みを取り除き、天秤が正しくバランスを取ることを可能にしました。

結果

彼らがこの修正策をテストしたところ、以下の結果が得られました。

ミスの減少: AI は、ツールを呼び出すべきでない場合に呼び出すことをやめました（「過度に意欲的」な問題を修正しました）。
業務能力の維持: ツールを呼び出すべき場合に呼び出す能力は失われませんでした。「呼び出し精度」は高く保たれました。
全体的な改善: AI のパフォーマンスの総合スコアは大幅に向上しました。

まとめ

この論文は、AI エージェントがツールを使うタイミングについて「混乱」しているだけでなく、ツールを呼び出すことをより多くの情報を求めることよりも好む、組み込み型の機械的なバイアスを持っていると主張しています。「顕微鏡」を使ってこのバイアスを見つけ、「カウンターウェイト」でそれを相殺することで、ゼロから再教育する必要なく、AI をより信頼性の高いものにしました。

この論文が主張していないこと:

これはすべての AI の幻覚や推論エラーを修正するものではなく、ツールを呼び出す「タイミング」に関する特定の課題のみを修正するものではありません。
これは永続的な学習修正ではなく、AI が実行されている間に適用されるリアルタイムの調整です。
医療や臨床用途については議論していません。焦点は厳密にツール使用のベンチマークにあります。

技術的サマリー：LLM エージェントにおける本質的な過剰呼び出しバイアスの診断

問題定義

大規模言語モデル（LLM）エージェントは、検索エンジンや API などの外部ツールを活用するよう進化しましたが、**過剰呼び出し（over-calling）**と呼ばれる体系的な失敗モードを示しています。これは、ユーザーのリクエストに必要な情報が不足している場合や、直接の回答で十分である場合であっても、ツールを呼び出す傾向を指します。

When2Callベンチマークでの評価により、3 つのファミリー（Qwen3.5、Gemma-3、Ministral-3）に属する 6 つのモデル間で一貫した非対称性が明らかになりました。ツール呼び出しが必要な場合の精度（Call Accuracy）は 90%～99% と高い一方で、ツールを呼び出さないことが正解の場合の精度（No-Call Accuracy）は 2%～69% と著しく低下します。その結果、全体の精度は 55%～70% の範囲に留まります。このバイアスは、ユーザー体験の低下（仕様が不十分なリクエストに対するツール呼び出しの幻覚など）や、展開されたシステムにおける API コストの増大を招きます。

手法

著者は、経験的な観察を超えて因果分析へと移行する、LLM エージェントの内部意思決定プロセスに対するメカニズム的な調査を提案します。

1. 本質的バイアス仮説（IBH）

本論文は、過剰呼び出しが単に活性化レベルの関数ではなく、意思決定マッピングにおける活性化に依存しない CALL オフセットに起因すると仮定します。

仮説: 呼び出すか否かの決定は、「CALL」と「NO_CALL」の特徴方向間の符号付き活性化マージン（ $m$ ）によって決定されます。しかし、意思決定境界がシフトしており、活性化が同等（ $m=0$ ）であっても、モデルは呼び出すことを好みます。モデルが意思決定において中立になるのは、NO_CALL の活性化が CALL の活性化を著しく上回った場合のみです。
定式化: 決定確率は $P(\text{CALL} | m) = \sigma(\beta m + \beta_0)$ としてモデル化されます。ここで、 $\beta_0 > 0$ は本質的バイアスオフセットを表します。

2. スパースオートエンコーダー（SAE）による特徴発見

IBH を検証するため、著者はスパースオートエンコーダーを用いて、残差ストリーム活性化を解釈可能な特徴に分解します。

トレーニング: 対象モデルの残差ストリームに対して TopK SAE をトレーニングします。カリキュラムは 2 段階で行われます。まず、OpenWebText2 などの広範なコーパスで一般的な幾何学を学習し、次に When2Call データセットでツール使用の文脈に適応させます。
特徴基底: 2 つの行動整合的な特徴セットが回復されます。
- $\mathcal{C}$ : 観測されたCALL決定と強く関連する特徴。
- $\mathcal{N}$ : 観測されたNO_CALL決定と強く関連する特徴。
検証: これらの特徴の handful（通常 $K \le 5$ ）でトレーニングされた線形プローブは、生残差ストリームの上限に近い精度でゲート決定を予測し、これらの特徴が本質的なゲートシグナルを捉えていることを確認します。

3. 診断と定量化

回復された特徴基底を用いて、活性化幾何学を分析します。

応答条件付きビュー: NO_CALL 応答は NO_CALL 優勢の半平面に集中しますが、CALL 応答は同等またはそれ以上の NO_CALL 証拠が存在する領域へと、対角線を超えて広がります。
入力条件付きビュー: 出力された CALL 応答の中で、「偽の呼び出し（過剰呼び出しエラー）」は「真の呼び出し」よりも対角線に近い位置にあり、バイアスが弱いケースを意思決定境界を超えて押しやっていることを示しています。
オフセット推定: 符号付き活性化マージンに対するロジスティック回帰は、すべてのモデルで負の中立境界（ $m^* < 0$ ）を確認し、本質的バイアス $\beta_0$ を定量化します。

4. 因果的介入：適応的マージン較正ステアリング（AMCS）

IBH を因果的に検証するため、著者はAMCSという閉形式のステアリング手法を導入します。

メカニズム: AMCS は、 $\mathcal{C}$ と $\mathcal{N}$ の SAE デコーダ方向に沿ったステアリングベクトルを計算します。活性化マージンに対して、反バイアスシフト $\delta = -\beta_0 / \beta$ を適用します。
実装: シフトは、活性化ギャップに基づいて上位ランク付けされた特徴に分散されます。この介入は、推論時に残差ストリームへの単一のベクトル加算として適用され、追加のモデル呼び出しや反復的なチューニングを必要としません。

主要な結果

6 つの指示微調整モデル（Qwen3.5-4B/9B、Gemma-3-1B/4B、Ministral-3-3B/8B）で実験が行われました。

過剰呼び出しの軽減: AMCS による診断されたオフセットの相殺により、6 つのモデルのうち 5 つで No-Call 精度が4～17 ポイント大幅に向上しました。
有効な呼び出しの維持: この手法は、5 つのモデルで Call 精度をわずかな低下（5 ポイント以内）で維持し、介入が必要なツール使用を抑制することなくバイアスを修正することを示しています。
全体の精度: AMCS は、いくつかのモデルで全体の精度を最大 5 ポイント向上させました（例：Qwen3.5-9B で +5.10%）。
ベースラインとの比較:
- プロンプトエンジニアリング: No-Call 精度の向上には効果的ですが、Call 精度を劇的に低下させます（例：Ministral-3-8B で -56%）、その結果、全体の性能は純減します。
- 片側ステアリング: CALL 特徴のみを抑制するか、NO_CALL 特徴のみを促進する手法は、AMCS が提供するバランスを達成できず、全体の精度向上は小さくなります。
Gemma-3 の限界: Gemma-3 モデルは、SAE 軸に沿って真の呼び出しと偽の呼び出しの間にほとんど分離が見られず、マージンベースの介入に対するレバレッジが最小限でした。これらは主要な証拠ではなく、参照ケースとして扱われました。

意義と主張

本論文は、過剰呼び出しを経験的な現象から、測定・モデル化・因果的に調整可能なメカニズム的対象へと再定義することを主張します。

メカニズム的洞察: この研究は、ツール使用のゲート制御が、単なる特徴活性化の相対的な強さではなく、本質的かつ活性化に依存しないバイアスによって支配されていることを示しています。
因果的修正: SAE ベースのステアリングを通じて特定のオフセット項（ $\beta_0$ ）を特定し相殺することで、著者は本質的バイアス仮説の因果的検証を提供します。
制御可能性: 診断されたオフセットは、呼び出し努力を調整する「ノブ」として機能します。AMCS は「呼び出し努力」インターフェースへの第一歩であり、モデルの再トレーニングなしに、熱心なツール呼び出しとユーザー検証のバランスをシステムが調整できるようにします。
範囲: この研究は、展開済みモデルに対する推論時の修正に焦点を当てています。バイアスのトレーニング時の起源を追跡するものではなく、特定の呼び出し対検証の決定ユニットを超えた長期的なエージェント計画の問題を解決するものでもありません。

コードとデータは https://github.com/SKURA502/agent-sae/ で利用可能です。