技術的概要：固定された残差ストリーム線形 steering によって解読可能だが修正不可能

問題定義

本論文は、大規模言語モデル（LLM）の解釈可能性と制御における重要なギャップ、すなわち分類 - 修正ギャップを検証する。先行研究は、特定の行動状態（拒絶や感情など）が隠れ状態から線形的に解読可能であり、活性化 steering によって修正可能であることを示してきたが、複雑な多段階推論の失敗に対してこれが成り立つかどうかは不明なままだった。著者らは、医療質問応答（MedQA）における特定の失敗領域、すなわち**過剰思考（Overthinking: OT）**に焦点を当てた。この領域では、モデルはリサンプリング下では正解を生成する頻度が高いものの、拡張された思考の連鎖（Chain-of-Thought: CoT）トレースを生成する際には失敗する。中心的な問いは、「失敗モードが隠れ状態で線形的に解読可能であれば、固定された線形 steering ベクトルを用いてそれを修正できるか？」というものである。

手法

1. 行動領域の特定（過剰思考）

著者らは、**過剰思考（OT）**を以下の行動構成として定義する：

• モデルはサンプリングされたトレースの $\ge$60% で正解する（知識が存在することを示唆）。
• モデルは長い推論トレース（200 トークン超）において誤った回答を生成する。
• この領域は、知識欠如（Knowledge Deficit: KD）（事実的誤り）や推論連鎖の断裂（Reasoning Chain Break: RCB）（有効な事実、無効な論理）とは区別される。
• OT は高い安定性で特定される（閾値摂動下での Jaccard 係数 $\ge$0.81、相互アノテーター合意率 94%）。

2. 幾何学的分析

Llama-3.1-8B-InstructおよびQwen2.5-7B-Instructを用い、12,000 のトレース（失敗モードあたり 2,000、マッチングされた正解トレース 6,000）から隠れ状態を抽出した。

• 対比ベクトル： 正解トレースの平均隠れ状態と特定の失敗モードの平均隠れ状態の正規化された差として計算（$v = \bar{h}_{correct} - \bar{h}_{mode}$）。
• 分類： 正解トレースと OT トレースを区別するために線形プローブを訓練。
• 特異性分解： 対比ベクトルのどの部分が失敗モードに固有で、どの部分が一般的な「誤り対正解」の方向と共有されているかを決定するため、特異性比率を計算。
• アーキテクチャ間・ドメイン間： 一般化性をテストするため、Qwen2.5-7B および MMLU-STEM ドメインで検証を実施。

3. 活性化 steering 実験

著者らは、Llama-3.1-8B テストセット（$n=1,273$）および Qwen2.5-7B（$n=1,273$）において、5 つの固定線形 steering介入ファミリーをテストした：

1. 対比 steering： ピーク層で $\alpha \cdot v$ を追加。
2. プローブ誘導 steering： 対比ベクトルではなくプローブ重みベクトルを使用。
3. 多層 steering： 1、3、または 5 層でベクトルを適用。
4. ランク k 部分空間 steering： 上位特異ベクトルが張る部分空間内で steering。
5. プロンプト末尾 steering： 応答汚染を避けるため、プロンプト（生成前）から導出されたベクトルを使用。

• 概念消去： 因果的絡み合いをテストするため、失敗方向を投影して除去する補完的介入。
• 対照実験： 拒絶 steering 対照実験でインフラを検証；温度スキャンおよび同温度評価により、失敗の主要因が分布のシフトではないことを排除。

4. 生成後の信頼性

著者らは、解読可能な構造が修正の代替として選択的棄権（プローブが低信頼性を予測する際に回答を拒否する）を支援できるかどうかを評価した。

主要な結果

1. 分類 - 修正ギャップ

• 解読可能性： OT は Llama-3.1-8B において71.6% のバランス精度（$p \approx 10^{-16}$）で線形的に解読可能。このシグナルは長さ回帰および閾値摂動に対して頑健。
• steering の失敗： 高い解読可能性にもかかわらず、5 つの手法ファミリーにわたる固定線形 steering の29 設定すべてが $\Delta \approx 0$（精度の有意な改善なし）をもたらした。
  • モード固有 steering：$\Delta = -0.2$ pp。
  • 多層 steering：$\Delta \approx 0$。
  • プロンプト末尾 steering：$\Delta \approx 0$。
• アーキテクチャ間の一貫性： 同様の無結果が Qwen2.5-7B（9 設定）および MMLU-STEM（4 設定）でも確認された。

2. 表現的絡み合いの証拠

steering の失敗は、失敗シグナルとタスク重要な計算との間の表現的絡み合いに起因すると考えられる：

• 低い特異性： OT 固有の特異性比率は、Llama で0.119、Qwen で0.152に過ぎない。これは、対比シグナルの約 88% が共有される「誤り対正解」の方向と整合していることを意味する。
• 因果的損傷：
  • 共有方向 steering（共有された誤った方向を適用）は精度を著しく損なった（$\Delta = -12.1$ pp）。
  • 概念消去： 平均差投影により OT 方向を除去すると精度が損なわれた（$\Delta = -3.6$ pp、$p=0.01$）のに対し、10 のランダムな方向では損傷はなかった（$\Delta = +0.3$ pp）。これは、OT 方向が単なる相関ではなく、正しい推論と因果的に絡み合っていることを確認する。
• インスタンスごとの非相関： プローブの信頼性と steering 効果との相関は $r = -0.002$（$p=0.97$）であり、モデルがいつ過剰思考しているかを知っても、それをどのように steering するかを予測できないことを示している。

3. 肯定的な発見：選択的棄権

steering は失敗したが、解読可能な構造は生成後の信頼性推定を可能にした：

• 正解プローブは、保持されたテストセットでAUROC 0.610を達成し、5 つの単一フォワードパス不確実性ベースラインを有意に上回った（最良のベースライン AUROC = 0.569、$\Delta = 0.041$、$p=0.009$）。
• 選択的棄権： 低信頼性の予測を棄否することで、モデルは 60% カバレッジで**+5.5 pp**の精度向上を達成した。
• 自己整合性との比較： 多数決（自己整合性）は OT 誤りの 100% を修正するが、10 倍の生成コストを要する。プローブは、修正が不可能な場合の信頼性推定のためのコスト効率の高い単一パス代替案を提供する。

4. 非線形介入

学習された非線形 MLP（残差アダプター）を用いた予備実験は、 modest だが有意な改善（$\Delta = +2.8$ pp、$p=0.025$）を達成した。これは、ギャップが絶対的なものではなく、固定線形介入に特有のものであることを示唆しており、非線形変換は共有部分空間を部分的に解きほぐす可能性がある。

意義と主張

本論文は、単なる現象の記録を超えて、多段階推論領域において活性化 steering が失敗する理由についての機械的証拠を提供すると主張する。

1. 幾何学的説明： 著者らは、分類 - 修正ギャップが生じるのは、推論タスクにおける失敗シグナルがタスク関連計算と絡み合っているためであると論じる。拒絶（特異性比率 0.999 で steering 可能）とは異なり、OT シグナルは正しい推論経路と約 88% の方向を共有している。
2. 観測 - 介入の非対称性： 本研究は、解読可能性が steering 可能性を意味しないことを実証する。シグナルはプローブによって統計的に読み取り可能（観測）であっても、加法的摂動による因果的な実行可能性（介入）を持たない。なぜなら、摂動は必然的に共有されたタスク計算を破壊するからである。
3. プロービングの実用的価値： steering が失敗しても、解読可能な構造は信頼性推定（選択的棄権）に有用であり、修正が不可能な場合の展開における実用的なツールを提供する。
4. 診断フレームワーク： 著者らは、介入前の診断として**線形アクセス性プロファイル（Linear Accessibility Profile: LAP）**および特異性比率を提案する。ある方向が低い特異性（<0.21）を持ち、タスク計算と高い重なりを持つ場合、固定線形 steering は成功しない可能性が高いと示唆する。

本論文は、医療推論における「分類 - 修正ギャップ」が頑健な経験的現象である一方で、共有された方向を解きほぐすことのできる学習された非線形介入によって部分的に解消可能であり、これが今後の研究の方向性であると結論づける。