技術要約：表現ステアリングによるLLMエージェントのツール呼び出し率の調整可能制御

問題提起

大規模言語モデル（LLM）エージェントは、外部ツールの呼び出しを行うかどうかの決定において、極めて重要なトレードオフに直面しています。誤った決定はコストに直結します：

• 過少使用（Under-use）： エージェントが必要な時にツールを呼び出せず、外部知識を必要とする質問（例：ロングテールな事実）に対して、自信満々だが不正確な回答を生成してしまう。
• 過剰使用（Over-use）： 単純な算術などのために不要なツールを呼び出し、レイテンシ、金銭的コスト、および潜在的な不可逆的副作用（例：メールの送信）を引き起こす。

ファインチューニングやプロンプトエンジニアリングといった既存の緩和策は、計算コストが高く、推論時に動的に変更することが困難です。さらに、先行研究では「どの」ツールを選択するかは線形に表現できることが示されていますが、「ツールを呼び出すか否か」という二値の決定が、同様に読み取り可能で制御可能な内部表現を持っているかどうかは明らかになっていませんでした。

手法

著者らは、**表現ステアリング（representation steering）**に基づく、トレーニング不要の推論時介入手法を提案しています。このパイプラインは、以下の3つのコンポーネントで構成されています。

1. 傾向プロキシ（Propensity Proxy）

完全な生成に頼る代わりに、本手法は単一のフォワードパスから「ツール使用の傾向」信号を抽出します。マルチツール・ハーネスにおいて、モデルのツール呼び出しフォーマットは、利用可能なすべてのツールで共有される特殊なトークン（$t^\star$、例：<tool_call>）から始まります。クエリ $q$ に対する傾向スコア $s(q)$ は、最初の生成位置におけるこのトークンの出現確率の対数として定義されます：
$$s(q) = \log p_\theta(t^\star | x(q))$$
この指標は、実際の生成を必要とせずに、実際のツール使用を忠実にランク付けする信号として機能します。

2. 方向抽出（差分平均法：Difference-of-Means）

マルチツール環境（中立的なシステムプロンプト、利用可能なツールのリスト）を用いて、著者らは以下の手順を行います：

1. クエリを $s(q)$ によってランク付けする。
2. 高傾向セット（$H$）と低傾向セット（$L$）を形成する。
3. 各残差ストリーム層 $\ell$ におけるステアリングベクトル $v_\ell$ を、2つのセット間の平均の差として計算する：
   $$v_\ell = \frac{1}{|H|} \sum_{q \in H} h_\ell(q) - \frac{1}{|L|} \sum_{q \in L} h_\ell(q)$$
   このベクトルは、高傾向セットには様々な種類の質問が含まれているため、特定のツールに依存しない一般的な「呼び出し傾向」の信号を捉えます。

3. 推論時ステアリング

推論中、抽出されたベクトルは特定のデコーダー層 $\ell$ の残差ストリームに加算されます：
$$h'_\ell = h_\ell + \alpha v_\ell$$
ここで、$\alpha$ はスカラーのステアリング係数です。

• $\alpha > 0$： ツール呼び出しを促進する。
• $\alpha < 0$： ツール呼び出しを抑制する。
• $\alpha = 0$： 未修正のモデル挙動を復元する。

また、著者らは投影介入（クランプおよびアブレーション）を行い、この方向への投影が決定を因果的に制御することを確認しています。

主な貢献

1. 線形制御方向の特定： 本論文は、ツールを呼び出すかどうかの二値決定を制御する、残差ストリーム内の単一の線形方向を特定しました。これにより、再学習やプロンプトの変更なしに、連続的な推論時の制御が可能になります。
2. 知識選択性とツールの汎用性：
   • 知識選択的（Knowledge-Selective）： 誘導された呼び出しは、モデルがパラメトリックな知識から答えられない質問（例：知名度の低いエンティティ）に集中し、モデルが既に知っている質問には集中しません。
   • ツールの汎用性（Tool-Generality）： マルチツール・ハーネスから抽出された方向は、抽出セットに含まれていないツール（例：翻訳、天気、SQL）に対しても、それらのツール専用に抽出されたベクトルと同等の強さで効果的にステアリングできます。
3. 決定の切り離し（Disentanglement of Decisions）： ステアリング方向は、どのツールを選択するかを大幅に変えることなく、「ツールを呼び出すか否か」を制御します。ツール間のルーティング分布はモデルに依存しており、概ね保持されます。
4. コスト・精度パレート最適解： ライブでのツール実行を用いると、ステアリング強度を変化させることで、コスト（呼び出し回数）と精度のトレードオフを調整できる滑らかなパレート境界が得られます。

実験結果

本手法は、デンス（dense）、混合エキスパート（MoE）、およびマルチモーダル・アーキテクチャにわたる5つのモデル（Qwen3バリアント、Gemma-4、gpt-oss）を用いて評価されました。データセットには、PopQA（オープンドメインQA）、GSM8K（数学）、BIG-Bench Hard（文字列/日付操作）などが使用されました。

• 単調な制御： $\alpha$ を $-2$から$+3$ まで変化させると、異なるツール環境（検索、計算機、Python）において、ツール呼び出し率がほぼ0%から90%以上（一部のモデルでは100%）まで単調に移動します。
• 精度の向上： ライブWeb検索を用いたPopQAデータセットにおいて、ステアリングはオープンドメインQAの精度を、質問あたり約1.1回の検索で、ベースラインの 0.29 から 0.56 へと向上させました。
• モデル間の汎用性： 同様の抽出およびステアリング手順は、ベースラインのツール使用の傾向（過少使用または過剰使用）に関わらず、テストされたすべてのモデルで機能しました。
• 層の特異性： ステアリングの効果は、デコーダーの中盤から後半の層（例：Qwen3-4Bにおけるレイヤー21〜24）で最も強く、かつ単調になります。初期層は無反応であり、非常に後半の層では不安定な挙動を示します。
• 投影介入： 残差ストリームのステアリングベクトルへの投影をクランプすることも、ツール使用を単調に増加させ、因果関係を裏付けましたが、加算的なステアリングの方がより広い制御範囲を提供しました。

意義と主張

本論文は、エージェントの振る舞いを制御するための、軽量でトレーニング不要のメカニズムを提供することを主張しています。ツール使用の決定という「ブラックボックス」的な性質に対処することで、以下のことを示しています：

• エージェントを調整して、コストのかかる不要な呼び出しを回避したり、不足している情報を取得したりすることが、再学習なしで可能であること。
• この制御は、多様なモデルアーキテクチャやツールセットに対して堅牢であること。
• 本手法により、実世界のデプロイメントにおいて、コストと精度のトレードオフを動的に最適化できること。

著者らは限界事項についても述べています。本手法は「呼び出しの決定」を制御するものであり、「実行の質」を制御するものではありません。また、推論優先型のモデルの場合、決定レイヤーにアクセスするために推論スパンをバイパスする必要があります。さらに、過度な正のステアリングはツール呼び出しのフォーマットを破損させる可能性があります。それにもかかわらず、本研究は、エージェント的振る舞いの推論時制御に関する新しいパラダイムを確立しています。