Do LLMs Really Know What They Don't Know? Internal States Mainly Reflect Knowledge Recall Rather Than Truthfulness

この論文は、LLM の内部状態が出力の真偽ではなく「パラメトリック知識の想起」を反映しており、統計的関連性に駆動された「連想ハルシネーション」は事実と区別がつかないが、知識の欠如に起因する「非連想ハルシネーション」は検出可能であることを示している。

要約

🕵️‍♂️ 結論：AI は「嘘」を見分けるのが苦手です

最近の研究では、「AI の内部の信号（脳内の電気信号のようなもの）を見れば、それが事実か嘘か（ハルシネーション）が分かる」と言われていました。しかし、この論文は**「それは半分しか正しくない」**と指摘しています。

AI の内部信号は、**「事実かどうか」ではなく、「記憶を呼び出しているかどうか」**を反映しているだけなのです。

🧠 3 つの「知識のタイプ」という新しい分類

論文では、AI が回答する時のパターンを、**「3 つの料理」**に例えて分類しました。

1. 事実の関連（Factual Associations）

• 例： 「オバマ元大統領はどの都市で勉強しましたか？」→「シカゴ」
• 状態： 正解です。
• AI の脳内： 「オバマ」と「シカゴ」という記憶が強く結びついています。AI はその記憶を**「本物として」**呼び出しています。

2. 関連する嘘（Associated Hallucinations / AH）

• 例： 「オバマ元大統領はどの都市で生まれたのですか？」→「シカゴ」（実際はホノルル）
• 状態： 嘘ですが、「オバマ」と「シカゴ」の結びつきは本物です。
• AI の脳内： 事実のケースと全く同じ「記憶の呼び出し方」を使っています。
  • 重要ポイント： AI は「オバマ＝シカゴ」という強い記憶を持っているため、質問が「生まれた場所」か「勉強した場所」かを区別できず、同じ記憶を引っ張り出してしまいます。
  • 結果： 内部の信号を見ても、「正解」と「この嘘」は区別がつかないのです。

3. 無関係な嘘（Unassociated Hallucinations / UH）

• 例： 「ブレンダ・ジョンソンという人はどの都市で生まれましたか？」→「ポートランド」（実際は知らない）
• 状態： 嘘です。
• AI の脳内： 「ブレンダ・ジョンソン」という名前自体、AI の記憶（パラメータ）にありません。AI は**「記憶を呼び出していない」**状態で、適当に（あるいは統計的な確率で）「ポートランド」と言っています。
• 結果： 内部の信号は、事実のケースとは全く異なる形をしています。

---

🔍 なぜ「嘘発見器」は失敗するのか？

これまでの研究では、「AI の内部信号を分析すれば嘘を見つけられる」と期待されていました。しかし、この論文は以下のような**「落とし穴」**を指摘しています。

• 関連する嘘（AH）は「本物そっくり」：
  先ほどの「オバマ＝シカゴ」の例のように、AI が**「強い記憶」に基づいて嘘をついている場合**、その脳内の動きは「正解を言っている時」とほぼ同じです。

  • 例え話： 「本物のパスポート」と「精巧に作られた偽造パスポート」は、見た目がそっくりすぎて、普通の検査官（内部信号を調べる方法）では見分けがつかないのと同じです。

• 無関係な嘘（UH）は「バレバレ」：
  記憶がないのに適当に答えた場合は、脳内の動きがバラバラで、すぐに「嘘だ！」と分かります。

  • 例え話： 偽造パスポートを作ろうとして、顔写真も名前も適当に書いたような「粗悪な偽物」は、一見すればすぐに見破れます。

つまり、現在の技術では「記憶がない時にでたらめを言う嘘（UH）」は検知できますが、「記憶を過信して間違ったことを言う嘘（AH）」は、正解と区別できないのです。

---

🛠 今後の課題：AI に「知らない」と言わせるのは難しい

この発見は、AI を安全に使うための「拒否（Refusal）」機能（「分かりません」と言うように教えること）にも大きな影響を与えます。

• 無関係な嘘（UH）の場合：
  「知らないこと」の信号が明確なので、AI に「分からない時は『分かりません』と言いなさい」と教えると、うまく機能します（82% の確率で拒否できました）。

• 関連する嘘（AH）の場合：
  「知っているつもりで間違える」状態なので、内部の信号が「知っている時」と同じです。そのため、AI は**「これは知っていることだ」と思い込んでしまい、「分からない」と言うことを学べません**（拒否率はわずか 33%）。

💡 まとめ：私たちが知るべきこと

1. AI は「自分が嘘をついている」と自覚していない。
   内部の信号は「記憶を呼び出しているか」しか教えてくれないからです。
2. 最も危険なのは「関連する嘘」です。
   人気のある有名人や有名な事柄について、AI が「知っているふりをして」間違った情報を話すパターンは、現在の技術では見分けがつかず、非常に信頼性が高いように見えて実は危険です。
3. 解決策は「内部チェック」だけではない。
   AI 自身の脳内信号に頼るだけでは不十分です。外部の事実確認（検索エンジンや人間によるチェック）を組み合わせる必要があります。

この論文は、**「AI は完璧な嘘発見器ではない」**と警告し、私たちが AI を使う際には、特に「有名な話」や「自信満々に語られる話」に対して、より慎重な目を持つべきだと教えてくれています。

技術概要

1. 問題提起 (Problem)

大規模言語モデル（LLM）は「ハルシネーション（幻覚）」、つまり一見もっともらしいが事実と異なる出力を生成する傾向があります。近年の研究では、LLM の内部状態（隠れ層の表現やアテンション重みなど）に、出力の事実性を示すシグナルが含まれており、これを用いてハルシネーションを検出できるという仮説が提唱されてきました。

しかし、ハルシネーションの発生メカニズムは多面的です。単に知識が欠如している場合だけでなく、学習中の統計的ショートカットや、主体（Subject）と関連する誤った相関関係（スパリアスな関連）をモデルが利用して生成される場合もあります。
本研究の核心的な問いは、「LLM の内部状態が『真実性』そのものを反映しているのか、それとも『パラメトリック知識の想起プロセス』を反映しているのか」を解明することです。もし内部状態が単に「知識を呼び出しているか」のみを示すなら、事実と異なるが知識想起プロセスと類似したハルシネーションは検出が困難になる可能性があります。

2. 手法とアプローチ (Methodology)

2.1 新しいハルシネーションの分類体系

従来の「事実か否か」という二値分類を超え、生成された出力が「学習された主体との関連性」に依存する度合いに基づいて、ハルシネーションを以下の 3 つのカテゴリに分類しました。

1. Factual Associations (FA: 事実的関連): 事実に基づき、モデルが主体に関するパラメトリック知識を正しく想起して生成した出力。
2. Associated Hallucinations (AH: 関連ハルシネーション): 事実は誤っているが、モデルが主体と強く関連する（しかし誤った）統計的相関や学習済みの関連性を利用して生成された出力。
   • 例: 「バラク・オバマはシカゴで生まれた」という誤った出力（オバマとシカゴの強い共起関係を利用）。
3. Unassociated Hallucinations (UH: 非関連ハルシネーション): 主体との強い学習済み関連性を持たず、モデルが知識を欠いているため、主体と無関係な内容で生成された出力。
   • 例: 「Brenda Johnston はポートランドで生まれた」という、主体に関する知識が全くない場合の適当な生成。

2.2 因果的介入によるラベリング

ハルシネーションを AH と UH に分類するために、**因果的介入（Causal Intervention）**を行いました。

• 入力文の「主体トークン」からのアテンション（注意）をブロックし、出力分布の変化（ジェンセン・シャノンダイバージェンス）を測定します。
• 出力分布が大幅に変化する場合（主体への依存度が高い）→ AH と分類。
• 変化が小さい場合（主体への依存度が低い）→ UH と分類。

2.3 機械的解釈性による分析

LLaMA-3-8B と Mistral-7B-v0.3 に対して、以下のメカニズム分析を行いました。

• 情報フローの可視化: 主体表現の強化、アテンションフロー、最終トークンのデコーディングという 3 つの段階における内部状態の挙動を層ごとに追跡。
• 幾何学的分析: 隠れ状態のノルム、コサイン類似度、t-SNE による可視化を行い、FA、AH、UH の表現空間におけるクラスタリング特性を比較。
• 検出性能の評価: 既存のハルシネーション検出手法（内部状態プローブ、確率ベース、黒箱手法）が、AH と FA、UH と FA をどの程度区別できるかを AUROC で評価。
• 拒否チューニング（Refusal Tuning）: 各カテゴリに対して「知らない場合は拒否する」よう微調整を行い、汎化性能を比較。

3. 主要な発見と結果 (Key Findings & Results)

3.1 内部状態は「真実性」ではなく「知識想起」を反映する

• AH と FA の類似性: AH（関連ハルシネーション）と FA（事実的関連）は、内部計算プロセス（主体表現の強化、アテンションフロー、最終トークンの幾何学的構造）が極めて類似していました。両者とも主体に関するパラメトリック知識を強く利用して生成されているため、隠れ状態の空間的重なりが大きいことが確認されました。
• UH の特異性: 一方、UH（非関連ハルシネーション）は主体への依存度が低く、FA や AH とは異なる内部プロセスを経由します。その結果、表現空間において FA/AH と明確に分離されたクラスタを形成しました。

3.2 既存の検出手法の限界

• AH の検出困難: 既存の内部状態ベースの検出手法は、UH と FA の区別には高い性能（AUROC ≈ 0.9）を示しますが、AH と FA の区別には極めて性能が低下しました（AUROC ≈ 0.58–0.69、ほぼランダムに近い）。これは、AH が FA と同じ「知識想起プロセス」を利用しているため、内部シグナルに真実性を区別する手がかりが欠如しているためです。
• 黒箱手法の限界: トークンの確率や主体の知名度（Wikipedia の閲覧数）に基づく手法も同様に AH の検出に失敗しました。

3.3 拒否チューニングの汎化性の制約

• UH への拒否学習: UH に対して「拒否」を学習させると、UH に対して 82% の拒否率を達成し、汎化しました。UH の表現が一貫しているためです。
• AH への拒否学習の失敗: AH に対して「拒否」を学習させても、AH テストデータでの拒否率は 33% にとどまりました。AH と FA の表現空間が重なり合っているため、モデルが一貫した「拒否パターン」を学習できず、事実的な回答（FA）まで誤って拒否する（過剰拒否）か、AH を見過ごすかのトレードオフに陥りました。

4. 論文の貢献と意義 (Contributions & Significance)

1. ハルシネーションのメカニズム的解明: 「LLM は自分が知らないことを知っている（Know what they don't know）」という通説に対し、内部状態は「知識を想起しているか」のみを反映し、「真実かどうか」は反映していないことを実証しました。特に、統計的相関を利用した AH は、事実的な出力と内部メカニズムが同一であることを示しました。
2. 検出手法の再評価: 現在のハルシネーション検出研究は、UH（知識欠如によるハルシネーション）には有効だが、AH（誤った相関によるハルシネーション）には本質的に限界があることを明らかにしました。AH は人気のある話題（高頻出エンティティ）で発生しやすいため、実運用において最も危険かつ検出が困難なケースです。
3. 今後の研究方向性の提示:
   • 検出評価では、AH と UH を区別して報告する必要性を提唱。
   • 内部状態のみでの検出は不十分であり、外部の事実確認モジュールや検索ベースの検証（RAG など）との統合が不可欠であることを示唆。
   • AH の検出・対策が、LLM の信頼性向上において優先すべき課題であることを強調。

結論

この論文は、LLM がハルシネーションを「知っている」というシグナルを内部に持っているという考え方に疑問を投げかけ、内部状態が主にパラメトリック知識の想起プロセスを反映していることを示しました。特に、学習済みの誤った相関関係に基づくハルシネーション（AH）は、事実的な出力と内部構造が類似しているため、従来の内部状態ベースの検出や拒否チューニングでは区別・対策が極めて困難であるという重要な知見を提供しています。