💬 NLP

Perfect Detection, Failed Control: The Geometry of Knowing vs. Steering in Language Models

本論文は、言語モデルにおいて、ある振る舞い（ハルシネーションなど）を最もよく検知する幾何学的方向が、それを制御する方向とは根本的に乖離していることを示し、検知が制御可能性を意味しないこと、およびこの「検知と介入のギャップ」が予測可能な制御性の指標ではなく、事前学習に由来する構造的な解離であることを明らかにしている。

原著者： Cosimo Galeone, Anna Ettorre, Minsu Park, Giuseppe Ettorre, Daniele Ligorio

公開日 2026-06-25

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Cosimo Galeone, Anna Ettorre, Minsu Park, Giuseppe Ettorre, Daniele Ligorio

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

言語モデル（この論文のAIのようなもの）を、非常に熟練しているが少し混乱しているシェフが働くキッチンとして想像してみてください。

この論文は、根本的な問いを投げかけています。もしシェフが料理の何が間違っているかを正確に理解していたとしても、単にそれを修正できるのでしょうか？

研究者たちは、驚くべき答えを見つけました。時には、シェフは完璧に理解していても、その手が全く別の方向へと縛られていることがあるのです。 彼らは、「これは偽物だ」と伝える「脳の信号」と、「止まって『いいえ』と言え」と伝える「手の信号」が、ほぼ完全に異なる方向を向いていることを発見しました。

以下に、比喩を用いた彼らの発見の解説をまとめます。

1. 2つのシナリオ：「簡単なケース」対「難しいケース」

研究者たちは、AIが「知ること」と「行うこと」がどのように関係しているかを見るために、2つの非常に異なるタスクでテストを行いました。

シナリオA：出力形式（「簡単なケース」）

タスク： AIにリストを書かせます。コードブロック（コンピュータプログラムのようなもの）で囲むか、プレーンテキストとして書くかのどちらかです。
発見： ここでは、「知ること」は「行うこと」と同じです。
比喩： シェフが壁に一つのスイッチを持っていると考えてください。スイッチを切り替えると、キッチンの照明の色が変わり（モードの検出）、料理が正しい箱に入って出てきます（モードの制御）。この「スイッチ」と「光」は全く同じものです。AIの脳内では、「コードブロックを使うべきだ」ということを検出する方向は、実際にコードブロックを使うようにさせる方向と全く同じなのです。

シナリオB：ハルシネーション（「難しいケース」）

タスク： AIに架空の場所について尋ねます（例：「ノルランディアの首都は何ですか？」）。
発見： ここでは、「知ること」は「行うこと」ではありません。
比喩： シェフが超高性能な煙感知器を持っていると考えてください。
- 検知器： 煙感知器は完璧です。架空のエンティティが現れた瞬間、「火事だ！」（あるいは「これは偽物だ！」）と叫びます。AIは「ノルランディア」が存在しないことを100%理解しています。
- 行動： しかし、「コンロを止める」ためのボタンは、部屋の反対側にあります。
- 結果： シェフは「火事だ！」と叫びますが（AIは偽物を検知している）、「止まる」ボタンが全く別の方向にあるため、シェフは調理を続け、結局偽物の料理を提供してしまいます。

2. 問題の幾何学：「90度の回転」

論文では、これを測定するために幾何学を用いています。AIの脳を、何千もの方向を指せる懐中電灯がある巨大な部屋だと想像してください。

検出ビーム： この懐中電灯は偽のエンティティを照らし、「見つけたぞ！」と告げます。
制御ビーム： この懐中電灯は「拒絶」ボタンを照らします。

「簡単なケース」（フォーマット）では、これら2つの懐中電灯は全く同じ方向（差は0度）を向いています。
「ハルシネーション」のケースでは、これら2つの懐中電灯はほぼ反対方向（約83度の差があり、ほぼ直角）を向いています。

これらがこれほど離れているため、研究者がハルシネーションを止めるために「検出」の方向へAIを押し動かそうとしても、うまくいきませんでした。それはまるで、ドアのすぐ横にある壁を押してドアを開けようとするようなものでした。

3. なぜこれが起こるのか：「コピー＆ペースト」の怪物

研究者たちは、なぜ信号がこれほど離れているのかを掘り下げました。彼らは、AIの脳内に無視するには強すぎる「怪物」がいることを見つけました。

メカニズム： AIには、質問の中で最も重要な単語を回答にコピーするという癖があります。もし「ノルランディア」について尋ねられれば、AIの脳は自動的に回答の中に「ノルランディア」と書きたいと考えてしまいます。
葛藤： 「偽物検知」の信号は、「それを言うな」という小さく静かな囁きです。しかし、「コピー＆ペースト」の信号は、「名前を書け！」という巨大で騒々しい叫び声です。
結果： AIはそれが偽物であることを分かっていても（検知器は完璧に機能していますが）、「コピー」ボタンが「ストップ」ボタンよりもずっと大きいため、「コピー＆ペースト」の習慣が拒絶をかき消してしまいます。その結果、AIは自信満々に嘘の事実を作り上げてしまうのです。

4. 修正できるのか？：「15度の回転」

研究者たちは、新しい「ハンドル（操舵輪）」を作ることで、これを修正しようと試みました。

アイデア： 「検出」の方向と「拒絶」の方向がほぼ直角であるため、彼らはその中間を狙うことにしました。
結果： 彼らは操舵の方向を、「拒絶」側に向かってわずか15度回転させました。
結果： これですべてが解決したわけではありませんが、大きな効果がありました。実在する質問に対して誤って回答を拒否することなく、架空の事実を捏造することを（13%から60%へと）大幅に減少させました。これは、路面の窪みに突っ込むのではなく、窪物を避けるためにステアリングを少し左に切るようなものです。

5. 大きな教訓：「知ること」は「操舵すること」を意味しない

この論文は、AIを制御しようとしているすべての人への警告となる重要な教訓を提示しています。

AIが「真実を知っている」方向を見つけられたとしても、その方向がAIに「真実を語らせる」方向であるとは限らないのです。

神話： 「『誠実さ』のベクトルを見つけ出し、それをAIに加算すれば、AIを誠実にする（正直にする）ことができる」という考え。
現実： フォーマットのような事柄については、これは機能します。しかし、深い知識（事実が偽物であることを知っていることなど）については、「知ること」の信号と「行うこと」の信号は別々の部屋にあります。「知る」ボタンを押したからといって、AIが嘘をつくのを止めることを期待してはいけません。

まとめ

この論文は、AIにおいて、「検知」と「制御」はしばしば別々のスキルであることを示しています。AIは完璧な探偵（何が偽物かを正確に知っている）になれますが、不適切な行動を止めることができない（嘘をつくのを止められない）下手な役者になることがあります。なぜなら、「知ること」と「行うこと」の脳信号が、ほぼ全く異なる方向を向いているからです。これを修正するには、単に「知る」信号を使うだけでは不十分であり、AIを正しい振る舞いへと促すために、少し異なる角度を見つけ出す必要があるのです。

技術要約：完璧な検出、失敗した制御

問題提起

本論文は、メカニスティック・インタープリタビリティ（機械論的解釈可能性）の中核的な志向、すなわち「ある振る舞いがモデルの活性化の中に検出可能であれば、その同じ活性化を修正することで制御できる」という信念を調査している。このパラダイムは、ある隠れた幾何学的前提に基づいている。それは、「ある振る舞いを最もよく検出する残差ストリームの方向は、その振る舞いを最もよく*制御（ステアリング）*する方向と同一である（あるいは極めて近い）」という前提である。

著者らは、この前提に対して、より精密な幾何学的問いを投げかけることで異議を唱える。すなわち、「振る舞いを最もよく識別する方向と、それを最もよく引き起こす方向の間の角度はいくらであるか？」という問いである。もし検出が制御を意味するのであれば、その角度は $0^\circ$ に近く（余弦 $\cos \approx 1$ ）、そうでなければ、その角度が「検出・介入ギャップ」を定量化することになる。本論文は、この仮説を対照的な2つの振る舞い、すなわち出力フォーマット（レンダリングの選択）とハルシネーション（存在しない実体に関する事実の捏造）について検証する。

手法

本研究は、Gemma 2-2B-it（26層、2304次元の残差ストリーム）を用いた推論時の解析を採用し、その知見を他の3つのモデル（Llama-3.2-1B, Qwen-2.5-1.5B, Gemma 2-9B）で再現している。ファインチューニングは行わず、すべての介入は活性化の加算による因果的な操作である。

コアとなる測定項目

方向の構築:
- 検出方向 ( $d_{det}$ ): 以下の2つの方法で構築される。
  - データ駆動型: 「偽の」実体プロンプトと「真の」実体プロンプトの間の残差活性化の平均差（Difference-in-means: DiM）。
  - 手動選択型: 不確実性を特徴づけるトークン（例：「Unfortunately」）と、捏造を特徴づけるトークン（例：「The」、「Paris」）の間のアンエンベディング行列（ $W_{lm\_head}$ ）における行の対比。
- 介入方向 ( $d_{ref}$ ): 拒絶トークン（例：「No」、「cannot」）と、従順なトークンの対比によって、 $W_{lm\_head}$ から手動で選択。
幾何学的指標: $d_{det}$ と $d_{ref}$ の間のコサイン類似度 ( $\cos$ )。
因果的検証: 特定の層において方向を（ $\alpha \cdot d$ として）残差ストリームに加算し、行動の変化（例：拒絶率）を測定する。
信号分解: 残座ストリームをアテンション成分とMLP成分に分解し、どこに検出信号が存在するかを特定する。
クロスモデルでの再現: 規模やファミリーの異なる4つのモデルを用いて、幾何学的ギャップを測定し、汎用性をテストする。

主要な結果

1. 一致するケース：出力フォーマット

Markdownのフェンシング（囲み）とクリーンなJSONの切り替えというタスクにおいて、検出と制御は単一の軸へと収束する。

フェンシングとクリーンな出力を分離する $W_{lm\_head}$ 由来の方向は、フェンシングを排除するために加算される方向と同一である。
結果: $\cos \approx 1$ 。検出は制御を意味する。これは、振る舞いが分離可能なレンダリングの選択である場合の「オーバーレイ」としてのベースラインとして機能する。

2. 乖離するケース：ハルシネーション

ハルシネーション（存在しない実体に関する事実の捏造）については、この前提は完全に崩壊する。

完璧な検出: モデルは、第5層以降、複数の手法（線形プローブ、アテンションヘッド、SAE特徴量）を用いて、偽の実体を完璧な線形分離性（$AUC = 1.000$）で検出している。
失敗した制御: ハルシネーションを最もよく検出する方向は、拒絶を引き起こす方向とはほぼ直交している。
- コサイン: $\cos(d_{det}, d_{ref}) \approx 0.12$ （角度 $\approx 83^\circ$ ）。
- 手法間のギャップ: 純粋に活性化から構築された検出方向（DiM、手選のトークンなし）であっても、介入方向に対して $\cos \approx -0.06$ を示した。
帰結: 完璧な検出方向を残差ストリームに加算しても、拒絶は誘発されない。場合によっては、捏造を増加させることさえある。信号は存在するが、それが出力アクションへとルーティングされていないのである。

3. ギャップの構造的原因

実体コピーの支配: 出力マッピングにおいて、検出方向に対して直交する残差ストリームの成分は、「実体コピー」メカニズム（顕著な実体名を増幅させるもの）によって支配されている。この成分は検出信号よりも約12倍大きく、エピステミック（認識論的）な不確実性の信号を事実上かき消している。
MLP vs. アテンション: 検出信号は、後半の層（L18–L25）において、ほぼ排他的にMLP層によって運ばれている（アテンションよりも5.66倍多い）。L17以降のアテンション層はこの信号にとって不可欠ではない。むしろ、これらを取り除くと誠実さが向上する。
インストラクション・チューニング: 幾何学的ギャップ（ $\cos \approx 0.12$ ）はベースモデルに存在し、インストラクション・チューニング後も変化しない。チューニングは、固定された検出軸に沿った活性化の位置をシフトさせる（偽の実体をより不確実なものとして投影させる）が、検出方向と介入方向の間の角度を変えることはない。

4. 回転による部分的な緩和

方向がほぼ直交しているため、著者らは介入ベクトルを回転させることでギャップを埋める試みを行った。

手法: 検出方向から介入方向へ $15^\circ$ 回転させた方向（ $d_{rot} = \cos(15^\circ)d_{det} + \sin(15^\circ)d_{ref}^\perp$ ）を用いる。
結果: ホールドアウトのストレス・テストにおいて、この回転により、微妙なハルシネーション（タイプ2）に対する拒絶率が**13%から60%**へと上昇した。なお、偽陽性率はわずか1.8%であった。これは、ギャップには幾何学的な構造があり、部分的に橋渡しが可能であることを裏付けているが、完全な解決策ではない。

5. クロスモデルの汎用性

幾何学的ギャップは、4つのモデル（Gemma 2-2B, Gemma 2-9B, Llama-3.2-1B, Qwen-2.5-1.5B）にわたって堅牢である：

コサインの範囲: $\cos \in [0.12, 0.20]$ （角度 $78^\circ$ – $83^\circ$ ）。
不変性: ギャップは、トークナイザー（SentencePiece vs. BPE）やモデルの規模（1B–9B）に関わらず存在する。
行動のスペクトラム: 幾何学的には同一であるにもかかわらず、行動の結果は異なる：
- Gemma: 完璧に検出し、かつ捏造する。
- Llama: 完璧に検出し、かつ拒絶する（行動は別の、測定されていない経路を通じて発生する）。
- Qwen: 混合した挙動を示す。
結論: この幾何学は、知ることと操ることの間の解離を記述するものであり、モデルのデフォルトの振る舞いを予測するものではない。

意義と主張

本論文は、言語モデルにおける「知ること」（検出）と「操ること」（制御）の間の機能的な解離を確立している。

検出は制御ではない: ある振る舞い（例：実体が偽であることを知っていること）が完璧に線形分離可能であることは、その検出方向がその振る舞いを制御するために使用できることを保証しない。これら2つの能力は、残差ストリーム内のほぼ直交する部分空間を占めている。
コサインはシグネチャであり、オラクルではない: 検出方向と介入方向の間のコサインは、この解離を示す堅牢で重み計算可能なシグネチャである。しかし、著者らは、このコサインが操りやすさ（ステアラビリティ）の事前予測因子として機能するという考えを明確に否定している。高いコサイン（フォーマットの場合のように）は、一つのベクトルが両方の役割を果たす例外的なケースであり、低いコサインは構造的なギャップを示してはいるが、そのギャップの存在が必ずしもその振る舞いが制御不能であることを意味するわけではない（回転実験が示す通り）。
構造的な起源: ギャップは事前学習中に形成され、インストラクション・チューニングに対して不変である。これは、出力マッピングが、エピステミックな信号に対して直交するメカニズム（実体コピーなど）によって支配されているために生じる。
線形ステアリングの限界: 結果は、ハルシネーションのような複雑な振る舞いに対しては、単一の「検出」ベクトルに沿った単純な活性化加算では不十分であることを示唆している。効果的な制御には、検出が単一のベクトルではなく、検出の「高次元の部分空間」をナビゲートする必要があることを認識し、介入方向へと回転させるなどのアプローチが必要となる。

結論として、メカニスティック・インタープリタビリティはモデルの内部状態を完璧に読み取ることはできるが、その状態に書き込み、振る舞いを変えるには、エピステミックな信号と出力アクションの間の特定の幾何学的ルーティングを理解する必要がある。これらはしばしば構造的にデカップリング（分離）されているのである。