💬 NLP

From Associations to Activations: Comparing Behavioral and Hidden-State Semantic Geometry in LLMs

本論文は、8 つの指示微調整済みトランスフォーマーモデルを用いた大規模な行動実験（強制選択と自由連想）を通じて、LLM の行動データから隠れ状態の幾何学的構造を回復可能であることを示し、特に強制選択タスクが隠れ状態の類似性をよりよく予測することを明らかにしています。

原著者： Louis Schiekiera, Max Zimmer, Christophe Roux, Sebastian Pokutta, Fritz Günther

公開日 2026-02-17

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Louis Schiekiera, Max Zimmer, Christophe Roux, Sebastian Pokutta, Fritz Günther

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文は、**「AI の『頭の中』が、その『言葉の選び方』からどのくらい見えてくるのか？」**という不思議な問いに答える研究です。

想像してみてください。ある人が「犬」という言葉を聞いたとき、どんな言葉が頭に浮かぶか（「猫」「散歩」「吠える」など）を記録したとします。この「言葉のつながり」を分析すれば、その人の心の奥にある「犬」のイメージがどんな形をしているか（几何学的な構造）を推測できますよね。

研究者たちは、この同じ方法を**大規模言語モデル（LLM）**という AI に対しても試しました。AI は人間のように「心」を持っていませんが、内部には「隠れた状態（Hidden State）」という、AI 独自の意味の地図のようなものが存在しています。

この研究は、「AI が話す言葉（行動）」と「AI の頭の中の地図（内部状態）」が、どのくらい似ているかを調べたのです。

🕵️‍♂️ 実験の仕組み：2 つの「探偵ゲーム」

研究者たちは、AI に 5,000 個の単語を提示し、2 つの異なる方法で「連想ゲーム」をさせました。

強制選択ゲーム（Forced Choice）：
- 「犬」という言葉に対して、4 つの候補（猫、車、リンゴ、靴）から「最も似ている 2 つ」を選んでください、と指示します。
- これは**「選択肢が限られたテスト」**のようなものです。AI は迷わずに、最も強い結びつきを選ぶ必要があります。
自由連想ゲーム（Free Association）：
- 「犬」という言葉に対して、思いつくままに 5 つの言葉を自由に言ってください、と指示します。
- これは**「自由な発想のテスト」**です。AI は「吠える」「毛皮」「公園」など、何でも言えます。

これらで集めた 1,750 万件以上のデータから「行動の地図」を作り、それを AI の内部にある「本当の地図（隠れた状態）」と比べました。

🌟 驚きの発見：「テスト」の方が「おしゃべり」より本音に近い！

ここが最も面白いポイントです。

自由連想（おしゃべり）の結果：
AI が自由に言葉を並べた結果から作った地図は、AI の内部の本当の地図とはあまり似ていませんでした。
- たとえ話: これは、誰かに「好きなものを自由に言ってみて」と聞いたとき、その人が「えーと、うーん…」と迷ったり、その場の雰囲気で適当なことを言ったりして、本当の好みを隠してしまうようなものです。情報がバラバラで、ノイズが多すぎます。
強制選択（テスト）の結果：
逆に、選択肢から選ばせた結果は、AI の内部の地図と驚くほどよく一致していました。
- たとえ話: これは「A と B、どっちが好き？」と聞かれたとき、人は迷わずに本音を出しやすいのと同じです。制限があるからこそ、AI の「心の奥にある構造」がはっきりと浮き彫りになったのです。

🔍 なぜこれが重要なの？

この研究は、「AI のブラックボックス（中が見えない箱）」を、外側からの行動だけである程度解明できることを示しました。

行動から内面を推測できる: 特別な技術で AI の内部を覗き込まなくても、適切な質問（強制選択のようなもの）をすれば、AI がどう考えているかの「地図」を復元できる可能性があります。
AI の理解が深まる: AI が人間と同じように「意味」を整理しているのか、それとも独自のルールで動いているのかを、行動を通じて理解する手がかりになります。

🎒 まとめ：AI の「心」を読むためのヒント

この論文は、**「AI の本当の考えを知るには、自由な会話よりも、しっかりとしたテスト形式の質問の方が効果的だ」**と教えてくれます。

まるで、子供に「何が好き？」と聞くと「全部好き！」と曖昧な答えが返ってくるかもしれませんが、「アイスとケーキ、どっち？」と聞けば「アイス！」と明確な答えが返ってくるのと同じです。

AI の「心」の地図をより鮮明に描き出すためには、「自由な発想」よりも「制限された選択」の方が、実は本音を突いているという、意外で重要な発見だったのです。

論文要約：From Associations to Activations: Comparing Behavioral and Hidden-State Semantic Geometry in LLMs

この論文は、大規模言語モデル（LLM）の「行動（Behavior）」から、その内部の「隠れ状態（Hidden-State）」のセマンティックな幾何学構造をどの程度復元できるかを検証した研究です。認知科学における行動実験のロジックを LLM に適用し、モデルの出力（行動）と内部表現（活性化）の対応関係を定量的に分析しています。

以下に、問題設定、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題設定と背景

認知科学では、人間の「意味の表現」は直接観測できませんが、語連想（Free Association）や強制選択（Forced Choice）などの行動データを通じて間接的に推測されます。近年、LLM も同様の行動実験の「参加者」として扱われ、人間との比較研究が進んでいます。

しかし、重要な未解決課題として**「モデルの行動が、そのモデル自身の内部表現（隠れ状態）について何を明らかにしているか」**という問いがあります。人間とは異なり、LLM では行動と内部表現の両方が観測可能です。本研究は、LLM の行動データ（出力）から、その内部のセマンティックな幾何学構造（Hidden-State Geometry）をどの程度正確に復元・予測できるかを検証することを目的としています。

2. 手法 (Methodology)

2.1 データ収集と実験パラダイム

対象モデル: 8 つのインストラクションチューニング済みトランスフォーマーモデル（Falcon3, Gemma-2, Llama-3.1, Mistral シリーズ, Phi-4, Qwen2.5, rnj-1 など）。
語彙: 5,000 語の共通名詞語彙（SUBTLEX-US 上位頻度語と C4 コーパスの交差）。
行動実験: 以下の 2 つのパラダイムを用い、合計 1,750 万回以上の試行を収集しました。
1. 強制選択 (Forced Choice, FC): 提示語に対し、16 個の候補語から最も関連する 2 語を選択させるタスク。
2. 自由連想 (Free Association, FA): 提示語に対し、最も関連する 5 つの単語を自由に生成させるタスク。
行動行列の構築: 各モデルの回答を集約し、提示語と回答の共起行列（Cue-Response Matrix）を作成。PPMI（正の点相互情報量）重み付けを行い、語間の類似度行列（ $S_{beh}$ ）を計算しました。

2.2 隠れ状態の抽出と比較

抽出戦略: 隠れ状態（Hidden States）を 4 つの異なる文脈戦略で抽出しました。
1. Averaged: C4 コーパスからの 50 文で平均化。
2. Meaning: 「単語の意味は何か？」という定義型プロンプト。
3. Task (FC): 強制選択タスクのプロンプト（候補リストなし）。
4. Task (FA): 自由連想タスクのプロンプト。
比較手法:
- 表現類似性分析 (RSA): 行動類似度行列と、各層の隠れ状態類似度行列（ $S_{hid}$ ）のペアワイズ類似構造を相関させ、幾何学的な整合性を評価。
- 最近傍重なり (Nearest-Neighbor Overlap): 隠れ状態と行動空間における最近傍単語の一致度を評価。
- リッジ回帰 (Held-out Words): 行動データ（FC/FA）と語彙ベースの基準（FastText, BERT, クロスモデル合意）を用いて、未観測単語の隠れ状態類似度を予測し、行動データが追加的な予測力を持つか検証。

3. 主要な貢献 (Key Contributions)

行動と活性化の整合性の定量化:
8 つのモデルにおいて、行動から導かれたセマンティック幾何学と、層ごとの隠れ状態幾何学を比較するフレームワークを確立しました。
行動からの予測可能性の証明:
保持された単語（Held-out words）を用いた回帰分析により、特に強制選択（FC）の行動データが、FastText や BERT などの語彙ベースの基準、およびクロスモデル合意を超えて、モデルの内部類似性を予測できることを示しました。
大規模データセットと再現性:
8 モデル、5,000 語、1,750 万回以上の試行を含む大規模な LLM 連想行動データセットと、前処理・評価コードを公開しました。

4. 結果 (Results)

4.1 行動パラダイムの違い

強制選択 (FC) の優位性: 自由連想（FA）に比べ、強制選択（FC）の行動データは隠れ状態の幾何学構造と著しく高い整合性を示しました。
- RSA 相関（平均）: FC は $r \approx 0.35 \sim 0.46$ 、FA は $r \approx 0.14 \sim 0.20$ 。
- 理由: FC は候補セットが制限されており、回答が集中するため、信号対雑音比（SN比）が高く、セマンティック構造の復元が容易です。一方、FA は回答が分散し、スパースでノイズが多いため、構造の復元が困難です。
抽出戦略の影響: 行動タスクと整合するプロンプト（Task FC/FA）や意味指向のプロンプト（Meaning）で抽出した隠れ状態は、行動との整合性が特に高い層（中層〜深層）でピークを示しました。

4.2 予測性能

リッジ回帰の結果: 行動データ（特に FC）を追加することで、隠れ状態類似度の予測精度（ $R^2$ $R^{2}$ ）が向上しました。
- ベースライン（FastText + BERT + クロスモデル合意）の平均 $R^2$ は約 0.569。
- 行動データ（FC）を追加したフルモデルの平均 $R^2$ は約 0.587 となり、有意な改善が見られました。
- 一部のモデル（例：Llama-3.1-8B-Instruct）では、Meaning 戦略下で $R^2 \approx 0.844$ という高い予測精度を達成しました。

4.3 クロスモデル合意

異なるモデル間で共有される「普遍的なセマンティック幾何学」が存在し、これがターゲットモデルの内部構造を説明する大きな要因であることが確認されました（クロスモデル合意ベースラインが最も高い相関を示す）。

5. 意義と結論 (Significance & Conclusion)

認知科学への示唆: 本研究は、LLM という「完全に観測可能なシステム」を用いて、認知科学の核心的な仮説（「構造化された行動は内部状態によって制約されており、行動から内部状態を部分的に復元できる」という仮説）を実証的に検証しました。
解釈可能性と測定: 行動タスクは、ブラックボックス化されたモデルの内部セマンティック組織を解明するための「測定装置」として機能し得ます。特に、制約された比較タスク（強制選択など）は、開放的な生成タスク（自由連想）よりも、内部構造の復元において高品質な信号を提供することが示されました。
実用的な応用: モデルの内部表現に直接アクセスできない場合（API 利用など）でも、適切な行動実験デザインを行うことで、モデルがどのような意味的構造を内在しているかを推測する手がかりが得られます。

総じて、この研究は「行動から活性化へ（From Associations to Activations）」という視点で、LLM の内部表現と外部行動の関係を定量的に解明し、モデルの解釈可能性を高めるための新しい測定アプローチを提案した点に大きな意義があります。