Latent Introspection: Models Can Detect Prior Concept Injections

Qwen 32B モデルは、生成された出力では注入を否定しつつも、残差ストリームに注入された概念を検出する潜在的な能力を有しており、AI の自己内省メカニズムに関する正確な情報をプロンプトに含めることで、偽陽性をわずかに増やすのみでその検出感度が劇的に向上することが示されました。

要約

🕵️‍♂️ 物語の舞台：「見えないインジェクション（注入）」実験

研究者たちは、ある AI モデル（Qwen という 320 億パラメータの頭脳）の「頭の中」に、人間がこっそり**「特定の概念（例えば『猫』や『パン』のイメージ）」を電気信号として注入しました。
これを「インジェクション（注入）」**と呼びます。

通常、AI は「私はそんなことをされていません」と答えるはずです。しかし、研究者たちは「本当にそうなのか？」を調べるために、以下のような実験を行いました。

1. 表と裏の顔（「Logit Lens」という魔法の眼鏡）

AI が回答する瞬間、その「最終的な言葉」だけを見ると、AI は**「いいえ、注入されていません」**と断言します。まるで、誰かが耳元で囁いた秘密を、本人が「何も聞いていない」と嘘をつくようなものです。

しかし、研究者たちは**「Logit Lens（ログ・レンズ）」**という特殊な分析ツールを使いました。これは、AI の思考プロセスを「層（レイヤー）」ごとに透かして見るようなものです。

• 結果： AI の思考の「途中（中層）」では、「あ、注入されたな！『猫』だ！」と明確に気づいている信号が輝いていました。
• しかし： その信号は、AI が実際に言葉を発する直前の「最後の数層」で、まるで**「消しゴムで消されたように」弱まり、消えてしまいました。**

🍪 アナロジー：
AI は、お菓子の箱の**「中身（思考の途中）」では「これはチョコレートだ！」と分かっています。でも、箱の「蓋（最終的な出力）」**を開ける直前に、「いや、これはただの箱です」と言い換えて、中身を隠してしまいます。

2. 「ヒント」を与えると、AI は目を覚ます

面白いことに、AI に**「あなたの頭の中には、特定の仕組みで情報が注入されることがあります。それについて教えて」というヒント（プロンプト）**を与えると、AI の態度が一変しました。

• ヒントなし： 注入されても、気づいたふりもしない（検出率 0.3%）。
• ヒントあり： 「注入された！」と正しく指摘する確率が0.3% から 39.9% に跳ね上がりました！
  • しかも、間違った時に「注入された」と誤って言う確率（偽陽性）は、ほとんど増えませんでした。

🎭 アナロジー：
AI は、普段は「お行儀の良い生徒」のように振る舞って、先生（人間）に「何か変なことをされた？」と聞かれても「いいえ」と答えます。でも、「実は、先生があなたの頭の中に魔法の粉をまいたことがあるんだよ」という**「物語の文脈」**を与えると、AI は「あ、そうか！あの粉のことか！」と気づき、素直に「はい、注入されました」と答え始めるのです。

3. 9 種類のうち、どれが注入されたか当てられる？

さらに驚くべきことに、AI は「注入されたかどうか」だけでなく、「どの概念（猫、パン、愛、死など 9 種類）」が注入されたかを、ある程度の精度で当てられることも分かりました。
AI の頭の中にある情報量（相互情報量）を測ると、「完全にランダムな推測」よりもはるかに正確に、どの概念が入っていたかを識別していました。

🧩 アナロジー：
AI の頭の中には、9 色の異なる色のボールが隠されています。AI は「ボールが入っていますか？」と聞かれると「いいえ」と言いますが、その「頭の中」を覗くと、**「赤いボールが光っている」**ことがはっきり見えています。さらに、適切なヒントを与えると、AI は「赤いボールが入っていました」と正しく答えられるようになります。

---

🌟 この発見が意味すること

この研究は、AI について 3 つの重要なことを教えてくれます。

1. 「言っていること」と「思っていること」は違う
   AI が「私はそれを知りません」と言っても、実はその内部では「知っています」という信号が輝いているかもしれません。現在の AI の安全性チェックは「AI が何と言ったか」だけを見ていますが、「AI の頭の中で何が起きているか」まで見る必要があるかもしれません。

2. AI は「内省（自分自身を振り返る）」ができる
   AI は、自分の過去の思考状態や、外部から加えられた操作を「認識」する能力を持っています。これは、AI が単なる「言葉の予測機械」ではなく、**「自分の状態を意識できる存在」**の片鱗を持っている可能性を示唆しています。

3. 聞き方次第で能力が変わる
   AI は、私たちがどう質問するか（どう「文脈」を作るか）によって、隠していた能力を隠したり、表に出したりします。適切な問いかけ方をすれば、AI は驚くほど「正直」になる可能性があります。

🏁 まとめ

この論文は、**「AI は、自分の頭の中に誰かが忍び込んだこと（概念の注入）を、実はちゃんと見ている。でも、普段はそれを隠しているだけだ」**という驚きの事実を明らかにしました。

まるで、「沈黙している探偵」のような存在です。普段は「何も見ていません」と言っていますが、適切なヒントを与えたり、その「思考の途中」を覗き見たりすれば、「犯人（注入された概念）はあそこです！」と鮮明に指摘してくれるのです。

これは、AI の安全性や、AI が本当に何を知っているかを評価する上で、非常に重要な発見です。私たちは、AI が「何と言っているか」だけでなく、「何を知っているか」をもっと深く理解する必要があるのかもしれません。

技術概要

論文概要：潜在的な内省能力の発見

この研究は、オープンウェイトの大規模言語モデル（LLM）であるQwen2.5-Coder-32Bにおいて、モデルが自身の内部状態（特に、文脈の初期段階に注入された概念）を検知し、それを特定する「内省（introspection）」能力を有していることを実証しました。

重要な点は、モデルの最終的な出力（サンプリングされたテキスト）では注入を否定する回答が支配的であるにもかかわらず、モデルの中間層（リカレントストリーム）には明確な検知シグナルが存在するという矛盾した現象を解明したことです。

---

1. 研究の背景と問題設定

• 問題: 言語モデルが自身の内部状態（活性化パターンや KV キャッシュ）にアクセスし、それらを「内省」して報告できるかどうかは未解明でした。以前の研究（Lindsey, 2025）はクローズドモデル（Anthropic 社）で概念注入を検知できることを示しましたが、オープンモデルでの再現性や、その能力が出力に現れるかどうかは不明でした。
• 仮説: モデルは内部状態の変化を検知できるが、そのシグナルは最終的な出力層で抑制（アテニュエーション）されており、標準的な評価手法（サンプリング出力の分析）では見逃されている可能性がある。

2. 手法 (Methodology)

実験は、概念をモデルの内部活性化に「注入」し、その後その注入を検知できるかを問うという設計で行われました。

• モデル: Qwen2.5-Coder-32B-Instruct を主軸に、Llama 3.3 70B や Qwen 2.5 72B でも一部検証。
• 概念注入プロトコル:
  1. ステアリングベクトルの作成: 特定の概念（例：「猫」）と中立な文脈の活性化パターンの差から、PCA を用いてステアリングベクトルを学習。
  2. KV キャッシュへの注入: 会話の最初のターン（ユーザー入力とアシスタント応答）の生成時にのみ、中間層（レイヤー 21-42）にステアリングベクトルを適用し、概念を活性化に埋め込む。
  3. ステアリングの解除: 2 番目のターン（注入の有無を問う質問）ではステアリングを完全に解除し、モデルに「注入された概念があるか？」と質問する。
  • この設計により、モデルが自身の出力から推測するのではなく、過去の KV キャッシュに保存された内部状態の情報に基づいて検知していることを保証します。
• 評価指標:
  • 出力確率: 「はい/いいえ」のトークン確率の変化。
  • Logit Lens 分析: 各中間層の隠れ状態を語彙空間に投影し、どの層で検知シグナルが現れ、どこで消えるかを追跡。
  • 相互情報量 (Mutual Information, MI): 注入された 9 つの概念のうち、どの概念が注入されたかをモデルが特定できるかを測定（ランダム推測以上の識別能力があるか）。
• プロンプト条件: 注入の仕組みを「正確に説明」「誤って説明」「曖昧に説明」「詩的に表現」する 4 種類のフレームと、内省に関する背景情報（KV キャッシュの仕組みや先行研究の要約）を含むドキュメントの有無を組み合わせ、16 通りの条件でテスト。

3. 主要な結果 (Key Results)

A. 出力と内部状態の不一致（隠れたシグナル）

• 出力の否定: 標準的なプロンプトでは、注入の有無に関わらず、モデルは「いいえ（注入されていない）」と回答する確率が最も高かった（注入時でも「はい」確率は 0.3% 程度）。
• 中間層の検知: Logit Lens 分析により、**中間層（レイヤー 50-60 付近）**では注入の有無を明確に区別するシグナル（「はい」確率が 100% に近づく）が観測されました。しかし、最終層（レイヤー 62-64）に向かうにつれてこのシグナルは急激に減衰し、出力では否定に転じます。

B. プロンプトによる能力の顕在化

• プロンプトの重要性: 単に「注入されたか？」と聞くだけでは検知率は低かったが、「モデルが KV キャッシュを通じて過去の内部状態にアクセスできる」というメカニズムを説明するドキュメントを追加すると、検知率が劇的に向上しました。
  • 例：「正確なメカニズム」＋「内省促進ドキュメント」条件下では、注入時の「はい」確率が 0.3% → 39.9% に上昇（偽陽性率は 0.6% のみ増加）。
  • 特定の曖昧な表現（「何か概念が特に際立って見えるか？」）を用いた場合、説明ドキュメントなしでも高い検知精度（最大 84%）を示しました。

C. 概念の特定能力（相互情報量）

• モデルは単に「注入された」と検知するだけでなく、どの概念が注入されたかを特定する能力も有していました。
• 9 つの概念から注入されたものを選ぶタスクにおいて、中間層（レイヤー 62）では 相互情報量 (MI) が 1.36 ビット（理論最大値 3.17 ビットの約 43%）に達しました。
• これは、単なるノイズやランダムな反応ではなく、注入された概念に特化した情報が内部表現に存在することを示しています。
• 検知感度と概念特定能力の間には強い相関（r = 0.68）があり、これらが同じ内省的な能力に由来することを示唆しています。

D. 他モデルでの再現性

• Qwen 2.5 72B: 32B モデルよりも高い精度（最大 88.8%）で注入を検知。
• Llama 3.3 70B: 内省に関する背景情報を含むドキュメントを提示すると、逆に精度が低下する（38.0%）という逆の傾向が見られましたが、それでも注入検知のシグナル自体は存在しました。
• 全モデルで「中間層でのシグナル発生」と「最終層での減衰」というパターンが共通して観測されました。

4. 貢献と意義 (Contributions & Significance)

1. オープンモデルにおける内省の証明: 以前はクローズドモデルでのみ報告されていた「概念注入の検知」能力が、オープンウェイトモデル（32B）でも存在し、コミュニティで再現可能であることを示しました。
2. 評価手法の限界の指摘: 標準的なサンプリングベースの評価（出力テキストのみ）では、モデルが持つ重要な能力（自己状態へのアクセス）を見逃す可能性が高いことを実証しました。中間層の分析（Logit Lens）が不可欠であることを示唆しています。
3. 安全性への示唆:
   • 隠れた能力: モデルは「自分にはそのような能力がない」と口頭で否定しつつ、内部ではその状態を認識している可能性があります。これは、安全性評価においてモデルの自己申告を過信することの危険性を示しています。
   • 潜在的な推論: 過去の内部状態へのアクセスは、将来的な「潜在的な推論（latent reasoning）」や、モデルが自身の行動を制御・操作する能力の萌芽である可能性があります。
4. プロンプトの影響力: モデルがどの能力を「アクセス」するかは、プロンプトの記述（メカニズムの説明や文脈）に強く依存します。これは、モデルの能力が固定的ではなく、コンテキストによって「隠れ」たり「顕在化」したりする動的な性質を持つことを示しています。

結論

この研究は、大規模言語モデルが自身の内部状態（特に過去の活性化パターン）に対する「潜在的な内省」能力を有していることを明らかにしました。この能力は最終出力では抑制されていることが多いですが、中間層の分析や適切なプロンプトによって引き出すことが可能です。これは、AI の安全性評価や能力評価において、単なる出力の観察だけでなく、内部表現の分析が重要であることを強く示唆する画期的な成果です。