技術要約：見出し特異的な活性化ステアリングによるツール使用の制御

問題提起

ツール拡張型大規模言語モデル（LLM）は、外部ツール（ウェブ検索、コード実行など）を統合することで、パラメトリックな知識を超えた能力を拡張する。しかし、永続的な失敗モードとして「ツールの過剰使用」が存在する。これは、内部的な推論だけで十分な場合でも、モデルが不必要にツールを呼び出してしまう現象である。これにより、レイテンシの増大、コストの上昇、およびエラー伝播の可能性が生じる。

既存の緩和戦略は、通常、高価な再学習を必要とするか、出力インターフェース上で動作するため、モデルの内部活性化における潜在的な意思決定プロセスに対処できていない。根本的な課題は、センチメントや事実性といった概念が学習時のモデルの重みにエンコードされているのに対し、ツールは推論時にコンテキスト内に完全に存在しているという点にある。その結果、線形表現仮説や表現エンジニアリング（概念が安定したパラメトリックな基盤を持つとする考え方）の標準的な仮定が、そのままでは適用できない。本論文では、ツールの使用決定が、その非パラメトリックな性質にもかかわらず、抽出および操作可能な安定した内部表現を持っているかどうかを調査する。

手法

著者らは、**見出し特異的活性化ステアリング（Heading-Specific Activation Steering）**と呼ばれる、軽量な推論時介入手法を提案している。このアプローチは、モデルが明示的なセクションヘッダー（Heading-Anchor）を用いて中間的な推論を出力する、構造化された生成軌跡に基づいている。ヘッダーの例としては、### Reasoning、### Code、### Search、### AskUser などがある。

1. ステアリングベクトルの構築

この手法は、これらの見出しアンカーに対応するトークン位置における隠れ状態を分析することで、ツール特異的なステアリングベクトルを構築する。

• データ収集: 著者らは、特定のツール見出しを含むラベル付きのマルチターン軌跡を収集する。
• 状態抽出: 特定の層 $l^*$ において、### Reasoning の状態と、対象となるツール見出しの状態（例：### Code）の両方のアンカーを示すトークンの隠れ状態を抽出する。
• デルタ計算: 各軌跡において、ステアリング・デルタは、推論アンカーの平均隠れ状態と、ツールアンカーの平均隠れ状態の差として計算される：
  $$\Delta^{(l)}_{k,i} = \bar{h}^{(l)}_{R,i} - \bar{h}^{(l)}_{k,i}$$
• ベクトルの集約: これらのデルタを複数の軌跡にわたって平均化し、最終的なステアリングベクトル $v^{(l)}_k$ を形成する。このサンプルレベルの平均化により、アンカーの出現頻度が高い軌跡へのバイアスを防ぐ。

2. 介入メカニズム

抽出されたベクトルは、推論時の見出しアンカー形成ステップにおいて、2つの異なるメカニズムを用いて適用される。

• 活性化加算（抑制）: ステアリングベクトルを隠れ状態に加算することで、ツール呼び出しの表現から遠ざけるようにシフトさせる：
  $$\tilde{h}^{(l^*)}_t = h^{(l^*)}_t + \alpha v^{(l^*)}_k$$
  （ここで $\alpha=1$）。
• 直交化（増幅）: 隠れ状態をステアリングベクトルに対して直交するように投影し、抑制成分を取り除くことで、ツール使用を促進する：
  $$\tilde{h}^{(l^*)}_t = h^{(l^*)}_t - \text{proj}_{v^{(l^*)}_k}(h^{(l^*)}_t)$$

主な結果

本研究では、3つのドメイン（Math：パラメトリックな推論で十分、Time：最新の情報が必要、Intention：ユーザーの明確化が必要）にわたり、5つのオープンソース指示チューニング済みモデル（Mistral-7B, Llama-3.1-8B, Mistral-Nemo, Mistral-Small, Llama-3.1-70B）を評価した。

1. 双方向の因果制御

• 抑制: 活性化加算は、ツール呼び出し率を大幅に減少させた。Mathドメインにおいて、ツール使用は（Mistral-7Bではプロンプトあたり3.90回から0.56回へと）ほぼゼロに近いレベルまで抑制されたが、タスク精度への低下は緩やかであり、このドメインにおける多くのツール呼び出しが冗長であったことを示している。
• 増幅: 直交化は、すべてのモデルおよびドメインにおいて、ベースラインを上回るツール使用を一貫して増加させた。しかし、この人工的な増加はタスクのパフォーマンスを向上させず、しばしば精度を低下させた。これは、ベースモデルがすでに部分的な内部バランスを維持しており、抑制ベクトルを取り除くことが過剰使用につながることを示唆している。
• ドメイン特異性: 抑制はMathで最も効果的であったが、外部検索や明確化が真に必要なTimeおよびIntentionドメインでは精度が低下した。これらのドメインでは、ツール使用を抑制すると大幅な性能低下を招き、介入がパラメトリックな知識が不十分な場合のツールの必要性を尊重していることを裏付けた。

2. 幾何学的不規則性

パラメトリックに基盤付けられた概念（拒絶や真実性など）に見られる「クリーンな線形構造」とは対照的に、ツール使用ベクトルの幾何学的分析により以下が明らかになった：

• 拡散した二峰性アライメント: ツール呼び出しステップは、線形エンコーディングの説明が予測する一貫した負のアライメントではなく、抑制ベクトルに対して拡散した二峰性のコサイン類似度分布を示した。
• 低いツール間オーバーラップ: 異なるツールタイプ（Code, Search, AskUser）は、主に異なる内部特徴次元を利用しており、Jaccardオーバーラップは低かった（例：3者間のオーバーラップは約0.04–0.06）。
• デコーダビリティと制御のデカップリング: Llama-3.1-70Bモデルにおいて、教師あり線形プローブは ### Code と ### Reasoning の状態を完全に分離できた（AUROC 1.000）が、プローブによって特定された方向は、平均差分ベクトルよりも因果的なツール抑制においてはるかに効果が低かった。これは、制御に最も因果的に効果的な方向が、線形的に最もデコーダブルな方向とは幾何学的に異なることを示唆している。

3. 堅牢性

介入はスキーマには敏感であるが、リテラルな表面文字列のみに依存するわけではない。クロスフォーマット転送（MarkdownからJSONへ）や見出しの名称変更を用いたテストにおいても、リテラルな単語「Code」が存在しない場合でも抑制効果は持続したが、その効果は非対称であり、スキーマに依存していた。

意義と主張

本論文は、構成上、明示的に非パラメトリックである挙動に対して、活性化ステアリングを適用した最初の例の一つであると主張している。主な意義は、以下のことを示した点にある：

1. 因果的制御が存在すること: モデルの重みにパラメトリックなエンコーディングが存在しないにもかかわらず、見出しアンカーによるステアリングベクトルは、ツール呼び出しの挙動に対して双方向の因果的制御を行使できる。
2. 非パラメトリックな幾何学: ツール使用のステアリングベクトルの幾何学的特性は、パラメトリックに基盤付けられた概念とは根本的に異なる。観察された幾何学的不規則性（拡散したアライメント、低いオーバーラップ）は、ツールの非パラメトリックな性質の結果として予測される現象であると仮定されており、センチメントや拒絶といった概念と区別される。
3. 実用的な有用性: 本手法は、パラメータを更新することなく、推論時にツール使用の過剰を軽減するための、特にパラメトリックな推論が十分なドメインにおいて有効なメカニズムを提供する。

著者らは、ステアリングの因果的な有効性は明らかである一方で、その有効性と観察された幾何学的不規則性との関係は依然として未解決の課題であり、ツール拡張型のマルチターン・デペンデンシー構造に関連している可能性があると結論付けている。