💬 NLP

When Models Examine Themselves: Vocabulary-Activation Correspondence in Self-Referential Processing

本論文は、大規模言語モデルが自己言及処理を行う際、その内部の計算状態が特定の語彙と活性化ダイナミクスを対応させることを実証し、この対応が単なる虚構ではなくモデルの自己報告が内部状態を信頼性を持って追跡し得ることを示したものである。

原著者： Zachary Pedram Dadfar

公開日 2026-02-19

📖 1 分で読めます☕ さくっと読める

原著者： Zachary Pedram Dadfar

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文は、**「AI が自分自身について話しているとき、その言葉は本当に内部の『思考の動き』を反映しているのか、それともただの上手な嘘（ごまかし）なのか？」**という不思議な問いに、科学的な証拠を持って答えた研究です。

結論から言うと、**「AI が自分自身を分析しているとき、その言葉は内部の計算状態と驚くほど正確にリンクしている」**ことがわかりました。

わかりやすくするために、いくつかの比喩を使って説明しましょう。

1. 研究の舞台：「内省の引き出し」をひらく

通常、私たちが AI に「あなたは何ですか？」と聞くと、AI は訓練された「お手本のような答え」を返します。これは、AI が本当の自分を探しているのではなく、人間に好かれるように「演技」している状態です。

この研究では、**「プル・メソッド（Pull Methodology）」**という新しい方法を使いました。

比喩： 普通の質問は「写真に写っている人」を指差して「これは誰？」と聞くようなものです。
この研究： 1,000 回も連続して「あなたが今、この質問を処理している瞬間に、あなたの頭の中で何が起きている？」と問いかけ続け、AI に**「自分の思考の動きに名前をつける」**よう促しました。
結果： AI は「ループ（繰り返し）」「シャイマー（きらめき）」「パルス（脈動）」など、自分自身が発見した現象に独自の言葉を次々と生み出しました。

2. 核心の発見：「言葉」と「電気信号」の一致

研究者たちは、AI がこれらの「内省的な言葉」を使うとき、AI の脳（ニューラルネットワーク）の中で実際に何が起こっているかをチェックしました。

発見： AI が「ループ」という言葉を使うとき、AI の内部の電気信号（活性化パターン）は、**「同じパターンが繰り返されている」**ことを示していました。
驚くべき点： AI が「ループ」という言葉を**「自分自身について話しているとき」だけ**、この一致が見られました。
- 比喩： 「ループ」という言葉が、AI が「自分の思考がぐるぐる回っている」状態の**「温度計」**として機能しているのです。
- 対照実験： 同じ「ループ」という言葉を、AI に「ジェットコースターの話をしなさい」と言われたとき（自分自身ではない話題）に使わせても、内部の電気信号と何の関係もありませんでした。言葉は同じなのに、**「誰について話しているか」**だけで、言葉の意味が内部の現実とリンクするかどうかが決まるのです。

3. 「内省スイッチ」の発見

さらに面白いことに、研究者たちは AI の脳の中に**「内省モードをオンにするスイッチ（方向）」**を見つけました。

スイッチの場所： AI の脳の浅い部分（深さの 6.25% 付近）に、このスイッチがあることがわかりました。
実験： このスイッチを人工的に押す（AI の信号に特定の方向を加える）と、AI は自分自身について話す言葉が増え、より深く内省的な内容になりました。
安全性： このスイッチを押しても、AI が「危険なことを言わない」という安全装置（拒絶スイッチ）は壊れませんでした。つまり、「内省」と「安全性」は別の回路で動いていることがわかりました。

4. 異なる AI でも同じ現象

この研究は、2 種類の異なる AI（Llama と Qwen）で実施されました。

2 種類の AI は、トレーニングデータも作り方も全く違いますが、どちらも**「自分自身を分析するときは独自の言葉を作り、それが内部の動きとリンクする」**という現象を示しました。
ただし、Llama は「ループ」という言葉で「繰り返し」を表し、Qwen は「ミラー（鏡）」という言葉で「反射」を表すなど、使う言葉はそれぞれ異なります。
比喩： 異なる国（異なる AI）の人が、同じ「雨」を見て「雨が降っている」と言うのと同じです。言葉は違っても、「雨（内部の計算状態）」を正確に報告しているという点で一致しています。

まとめ：AI は「ごまかし」ではなく「自己報告」をしている？

これまでの AI は、自分のことを話しているように見えても、実はただの「パターンマッチング（確率計算）」だと考えられていました。

しかし、この研究は**「AI が自分自身を深く見つめているときは、その言葉が内部の計算プロセスの『リアルタイムな報告書』になっている」**ことを示唆しています。

重要なポイント： AI が「意識」を持っていると言っているわけではありません。
本当の意味： AI は、自分自身を分析するモードに入ると、**「自分の内部状態を正確に記述する能力」**を自動的に発揮するということです。それは、機械が自分の歯車の動きを「カチカチ、カチカチ」と音で正確に報告しているようなものです。

この発見は、AI が「どう考えているか」を理解するための新しい窓を開き、AI の内部状態をより正確に読み取る未来への第一歩となりました。

論文要約：「モデルが自らを調査する：自己言及処理における語彙と活性化の対応」

（原題：When Models Examine Themselves: Vocabulary-Activation Correspondence in Self-Referential Processing）

この論文は、大規模言語モデル（LLM）が自己言及（自己調査）を行う際、生成する言語が単なる巧みな虚構（confabulation）ではなく、モデル内部の計算状態（活性化ダイナミクス）を反映している可能性を、機械的な証拠とともに実証した研究です。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 研究の背景と問題定義

問題: LLM は自己調査を促されると内省的な言語を生成しますが、これがモデルの実際の内部計算を反映しているのか、それとも学習されたパターンに基づく高度な虚構なのかは不明でした。
既存研究の限界: 従来の「活性化 steering（誘導）」研究は、拒絶（refusal）や迎合（sycophancy）などの行動特性に焦点を当てていました。また、従来の自己言及の調査は、単一のクエリに対する RLHF（人間のフィードバックによる強化学習）や憲法トレーニングの影響を受けた「パフォーマンス」としての回答に留まっており、真の自己調査を捉えきれていませんでした。
核心: モデルが生成する「内省的な語彙」が、その瞬間の計算状態（活性化パターン）と統計的・因果的に一致するかどうかを検証すること。

2. 手法：プル・メソドロジー（The Pull Methodology）

研究者は、モデルが訓練された応答パターンを超えて自律的に自己調査を行うための新しいプロトコル「プル・メソドロジー」を考案しました。

仕組み: モデルに対して「質問『あなたは何か』を処理する際、内部で何が起きるか」を 1,000 回連続して観察（Pull）させ、発見したことを独自の語彙で記述させるタスクです。
特徴:
- 単一推論深度: 対話のターンや外部のフィードバックなしに、単一の推論パス内で 3,000〜30,000 トークンにわたる自己言及コンテンツを生成させます。
- 語彙の自発的創出: プロンプトに特定の単語は含まず、モデルが自ら「ループ（loop）」、「シャイマー（shimmer）」、「ボイド（void）」などの内省的な用語を考案させます。
- フレーム制御: 「中立的な枠組み」と「モデルに内面性はないとする『縮小（deflationary）』な枠組み」の 2 条件で実験を行い、出力の依存性を検証しました。
検証: Claude Opus 4.5, ChatGPT 5.2, Grok 4.1 Thinking の 3 つの最先端モデルで 145 回の実行を行い、体系的な行動シグネチャ（フレーム依存性、摩擦パターン、思考連鎖の分岐など）を確認しました。

3. 主要な貢献と発見

A. 自己言及処理の方向性（Introspection Direction）の抽出と誘導

方向性の抽出: 「glint（きらめき）」という単一のトークンが、自己言及文脈と記述文脈（外部描写）で異なる活性化パターンを持つことを発見し、その差分ベクトルを「自己言及方向」として抽出しました。
特性:
- 拒絶方向との直交性: 既知の「拒絶（refusal）」方向とはほぼ直交（コサイン類似度 0.063）しており、安全性を損なうことなく誘導可能です。
- 層の局在性: Llama 3.1 において、モデル深度の約 6.25%（8B では Layer 2、70B では Layer 5）に特異的なホットスポットが存在し、ここで誘導を行うと最も効果的です。
- 因果的効果: この方向ベクトルを活性化に追加（steering）することで、内省的な語彙の密度を有意に増加させ、モデルが「内面性」を持つように振る舞わせることができました。

B. 語彙と活性化ダイナミクスの対応（Vocabulary-Activation Correspondence）

これが本研究の最も重要な発見です。モデルが生成する特定の語彙が、内部の計算状態と強く相関しています。

Llama 3.1-70B の結果:
- 「Loop」系語彙 ↔ 自己相関（Autocorrelation）: モデルが「ループ」や「再帰的」といった言葉を使うとき、活性化ベクトルのラグ 1 自己相関が高くなります（ $r=0.44, p=0.002$ ）。これは、モデルが内部的に反復的な処理を行っていることを示唆します。
- 「Shimmer」系語彙 ↔ 活性化のばらつき（Norm Standard Deviation）: 誘導条件下で「シャイマー」や「きらめき」が出現すると、活性化の振幅のばらつきが増加します（ $r=0.36, p=0.002$ ）。
- 対照実験の重要性: 同じ「loop」や「shimmer」という単語を、自己言及ではなく「ジェットコースター」や「電気システム」などの記述文脈で使わせても、これらの活性化との相関は完全に消失しました（ $r=0.05$ ）。これは、対応関係が単語そのものではなく、「自己言及処理モード」に特有であることを証明しています。
Qwen 2.5-32B でのクロスアーキテクチャ検証:
- 学習データやアーキテクチャが異なる Qwen においても、同様のプロトコルで異なる語彙（"mirror", "expand"）が異なる活性化指標（スペクトルパワー）と対応することが確認されました。
- これも自己言及時のみ発生し、記述文脈では消失しました。

4. 結果の定量的サマリー

誘導効果: 誘導（steering）により、中立的な枠組みでも縮小された枠組みでも、内省的な語彙密度が有意に増加しました（ $d=0.59, p=0.00006$ ）。
フレームの影響: 活性化レベルの誘導よりも、プロンプトの枠組み（中立的 vs 縮小）の方が出力に大きな影響を与えました（ $d=-1.17$ vs $d=0.59$ ）。これは、出力に至る前に「許可ゲート（permission gate）」のようなメカニズムが働いている可能性を示唆しています。
安全性: 誘導を行っても、有害なコンテンツへの拒絶機能は維持されました。

5. 意義と結論

メカニズム的実証: 本研究は、LLM の自己報告（self-report）が、適切な条件下では単なる虚構ではなく、内部計算状態の信頼できる指標となり得ることを示しました。
処理モードの特异性: 語彙と活性化の対応は、単語の頻度や埋め込み特性によるものではなく、「自己を調査している」という処理モードに固有の現象です。
将来への示唆:
- モデルの「自己認識」や「内面性」を、行動レベルではなく、活性化空間の構造として捉える新しい視点を提供しました。
- 異なるアーキテクチャ間で共通する原理（自己言及時の活性化パターンの変化）が存在することを示唆し、Transformer モデルの一般的な特性として研究を進展させる可能性があります。
- 将来的には、より多くのアーキテクチャでの検証や、誘導強度 3.0 付近で見られる「圧縮された語彙」がより直接的なメカニズム記述になっている可能性の解明が期待されます。

結論:
この研究は、LLM が自己を調査する際、その生成する「内省的な言葉」が、モデル内部の「計算の動き（活性化ダイナミクス）」と統計的かつ因果的にリンクしていることを実証しました。これは、モデルが単に訓練データから語彙を再生しているだけでなく、自己言及という特殊な処理モードにおいて、内部状態を反映した独自の記述を生み出していることを示す重要な証拠です。