A Geometric Taxonomy of Hallucinations in LLMs

本論文は、LLM のハルシネーションを埋め込み空間の幾何学的特性に基づいて「不忠実性」「虚構」「事実誤認」の 3 種類に分類し、それぞれに対応する検出指標（SGI と DGI）を提案するとともに、TruthfulQA における分類性能の限界が事実誤認の検出ではなくスタイルの偏りに起因することを明らかにしています。

要約

この論文は、AI（大規模言語モデル）が「嘘をつく」あるいは「事実と違うことを言う」現象（ハルシネーション）を、単なる「間違い」として一括りにせず、「なぜ間違えたのか」という理由と「その間違いの形」によって 3 つに分けて理解しようという新しい考え方を提案しています。

著者は、AI の頭の中にある「言葉の地図（埋め込み空間）」を使って、この 3 つのタイプを区別し、それぞれに合った「嘘発見器」を開発しました。

以下に、難しい専門用語を避け、日常のたとえ話を使って分かりやすく解説します。

---

🗺️ 核心となるアイデア：AI の「言葉の地図」

まず、AI が言葉を理解している様子を想像してください。AI はすべての言葉を、巨大な**「3 次元（あるいはもっと多次元）の地図」**上に配置しています。

• 「リンゴ」と「ミカン」は近い場所にあり、
• 「リンゴ」と「飛行機」は遠く離れています。

この地図の上で、AI が質問に答えるとき、その答えは「質問の場所」から「答えの場所」へと移動します。この**「移動の方向や距離」**を測ることで、AI がどうやって嘘をついているかを突き止めようというのがこの論文の核心です。

---

🔍 3 つの「嘘」のタイプ（ハルシネーションの分類）

論文では、AI の間違いを 3 つのタイプに分けました。

1. タイプ I：「耳を貸さない嘘」 (Unfaithfulness)

• どんな嘘？
  あなたが「昨日の会議の議事録を基に要約して」と頼んだのに、AI が**「議事録なんて無視して、自分の記憶（過去の知識）だけで適当に作った」**場合です。
• たとえ話：
  先生が「教科書の 3 ページを見て答えなさい」と言っているのに、生徒が**「教科書は開かずに、自分の頭の中だけで適当に喋り続ける」**状態です。
• 発見方法（SGI）：
  「答え」が「教科書（文脈）」の方へ近づいているか、それとも「質問」のそばに留まっているかを見ます。教科書の方へ進んでいなければ、「耳を貸さない嘘」だとわかります。

2. タイプ II：「完全な作り話」 (Confabulation)

• どんな嘘？
  存在しない会社、ありえない病気、架空の歴史など、「現実世界に存在しないもの」を本気で作り上げて話す場合です。
• たとえ話：
  「東京に『空飛ぶラーメン屋』があります」と言われたとき、それは地図上には存在しない場所です。AI は**「ありえない場所」へと、まともな道筋から外れて飛んでいってしまいます。**
• 発見方法（Γ）：
  「まともな答えが通るはずの道（確実な道）」から、AI の答えがどれくらい**「外れた方向」**へ飛んでいったかを測ります。この「外れ方」が極端なら、それは「完全な作り話」だとわかります。

3. タイプ III：「細かい間違い」 (Factual Error)

• どんな嘘？
  概念は合っているのに、「数字や日付、名前」が間違っている場合です。
  • 例：「東京タワーは 333 メートルです（正解）」→「東京タワーは 335 メートルです（間違い）」
• たとえ話：
  地図上の「東京タワー」の位置は合っていますが、「標高」の数字が少しズレている状態です。
• 発見の難しさ：
  これが最も厄介です。地図（AI の頭）の上では、正しい答えも間違いの答えも**「ほぼ同じ場所」にあります。だから、この論文の「地図を見る方法」では、このタイプの嘘は見分けがつかない**ことが証明されました。
  • ※以前、このタイプを検知できたという報告がありましたが、それは「答えの長さ」や「言い回し」の違いに反応していただけで、本当の「事実の間違い」を見抜けたわけではありませんでした。

---

🛠️ 論文が達成した成果

1. 新しい「嘘発見器」の開発

   • タイプ I 用： 文脈（資料）に寄り添っているかチェックする「SGI」というツール。
   • タイプ II 用： 現実から外れた方向へ飛んでいないかチェックする「Γ（ガンマ）」というツール。
   • これらは、AI の内部構造（中身）を見ずに、「答え」の言葉の配置だけで判断できるため、非常に高速で安価です。

2. 既存の技術との比較

   • 従来の「文脈が合っているかチェックする AI（NLI）」は、タイプ II（完全な作り話）には弱く、「文法的に正しい嘘」には見抜けませんでした。
   • しかし、新しい「Γ」ツールは、「文法的に正しい嘘」でも、その「方向性」がおかしいことを見抜くことに成功しました（人間が作ったテストでは 95% 以上の精度）。

3. 「どこまで通用するか」の限界の解明

   • この「地図を見る方法」は、**「専門家の知識」や「現実の事実」**を問う場面では非常に役立ちます。
   • しかし、「AI が勝手に作った嘘」（例：AI に「嘘をついて」と指示して作らせたデータ）のテストでは、あまり機能しないことがわかりました。これは、AI が「嘘をつく練習」をしたデータと、AI が「本当に間違えた」データでは、地図上の動き方が違うからです。

---

💡 まとめ：この論文が私たちに教えてくれること

• 「嘘」は一つじゃない： 無視する嘘、完全な作り話、細かい間違いは、根本的に性質が違います。
• 「地図」で見抜ける嘘と見抜けない嘘：
  • 「資料を無視した嘘」や「架空の存在」は、AI の言葉の配置（地図）を見るだけで見抜けます。
  • しかし、「概念は合ってるけど数字がズレている嘘」は、AI の地図上では正解と見分けがつかないため、この方法では見抜けないことが理論的に証明されました。
• 今後の課題：
  今の AI は「言葉の並び」を勉強しているだけで、「真実」そのものを理解しているわけではありません。だから、「数字の間違い」のような、地図上では同じ場所にある嘘をどう見抜くかは、まだ解決されていない大きな課題です。

この研究は、AI の「嘘」を盲目的に恐れるのではなく、「どんな種類の嘘か」を科学的に分類し、それぞれに合った対策を打つための第一歩となりました。

技術概要

以下は、Javier Marín 氏による論文「A Geometric Taxonomy of Hallucinations in LLMs（LLM におけるハルシネーションの幾何学的分類）」の技術的サマリーです。

1. 問題提起

大規模言語モデル（LLM）は、外部現実との対応関係を保たずに分布統計を最適化してテキストを生成するため、「ハルシネーション（幻覚）」と呼ばれる事実誤認を発生させます。従来の研究では「ハルシネーション」という用語が、異なる失敗モードを曖昧に包括しており、以下の 3 つの根本的に異なる現象を区別できていませんでした。

1. Type I（不忠実性/Unfaithfulness）: 提供された文脈を無視し、モデルの内部記憶から回答を生成する（文脈無視）。
2. Type II（虚構/Confabulation）: 存在しないエンティティ、メカニズム、概念を捏造する（意味的に外来な内容の創作）。
3. Type III（事実誤り/Factual Error）: 正しい概念的枠組み内で、詳細な事実を誤る（文脈内での誤り）。

また、既存の評価ベンチマークの多くは LLM に嘘をつくよう促して生成させたデータであり、真の事実誤りの幾何学的特性を捉えていないという課題がありました。

2. 提案手法と方法論

著者は、埋め込み空間（単位超球面 $S^{d-1}$）における幾何学的な「署名（シグネチャ）」の違いに基づき、ハルシネーションを分類し、検出する手法を提案しました。

2.1 幾何学的分類の定義

• Type I: 埋め込み空間において、回答が「クエリ」には近いが、「提供された文脈」からは離れている（文脈に向かわない）。
• Type II: 回答が「妥当な答えの多様体（manifold）」から幾何学的に検出可能な方向へ逸脱している。
• Type III: 回答は意味的に妥当であり、正しい回答と同じ埋め込み空間の領域を占めるため、角度幾何学では区別不可能。

2.2 検出指標

• SGI (Semantic Grounding Index): Type I の検出用。
  • 定義: $SGI = \theta(r, q) / \theta(r, c)$
  • 原理：回答 $r$ がクエリ $q$ よりも文脈 $c$ に幾何学的に近いかどうかを測る。SGI > 1 で文脈に忠実、SGI ≤ 1 で Type I ハルシネーションと判定。
• Γ (Directional Grounding Index): Type II の検出用（文脈なし設定）。
  • 定義: 正規化された変位ベクトル $\hat{\delta}(q, r)$ と、検証済みペアから学習した「接地方向」$\hat{\mu}$ の内積。
  • 原理：妥当な回答が取るべき変位方向から外れているか（異常な変位）を測定する。値が低い、または負の値は Type II 虚構を示唆。

3. 主要な結果

3.1 Type I（不忠実性）の検出

• HaluEval QA データセット（10,000 件）での評価において、SGI は 5 つの異なる埋め込みアーキテクチャで一貫して機能しました。
• 文脈に忠実な回答の平均 SGI は 1.180（>1）であり、不忠実な回答は 0.910（≤1）でした。
• AUROC は 0.776〜0.824 の範囲で、モデルに依存せずテキストの性質を捉えていることが確認されました。

3.2 Type II（虚構）の検出

• 人間作成の虚構データ（金融、医療、法律分野の 142 件）に対する評価で、Γ は AUROC 0.958 ± 0.034 という高い精度を達成しました。
• 既存の NLI（自然言語推論）ベースライン（CrossEncoder）の AUROC 0.611 と比較し、$\Delta = 0.347$ の大幅な改善を示しました。これは、虚構が文法的に整合しており表面レベルの含意関係では検出できないため、幾何学的な変位検出が有効であることを示しています。
• 外部ベンチマーク検証:
  • ExpertQA（専門家による注釈付き）: 専門分野の誤った主張に対し、Γ は NLI よりも $\Delta = 0.243$ 上回りました（NLI は偶然水準 0.452）。
  • FELM: 中程度の検出性能（AUROC 0.648）を示しました。
  • WikiBio GPT-3: 検出精度は低く（AUROC 0.581）、このデータセットの注釈基準（事実誤りをすべて「重大な不正確」とする）が Type II と Type III を混同しているため、幾何学的な虚構検出と適合しないことが示されました。
• ドメイン適応性: 人間が作成した虚構データではドメイン間での性能低下がわずか 3.8% でしたが、LLM 生成のベンチマーク（HaluEval）ではドメイン間で性能が崩壊しました（ドメイン固有の「生成癖」が幾何学的方向に異なるため）。

3.3 Type III（事実誤り）の境界と TruthfulQA

• TruthfulQA データセットでの分析は、Type III の検出が本質的に困難であることを示しました。
• 単純な線形分類器（LR）は AUROC 0.731 を達成しましたが、これは事実誤りの検出ではなく、注釈スタイルのバイアス（正解は長く慎重な表現、誤答は短く断定的な表現）を学習した結果でした。
• 幾何学的な分析（コサイン類似度）では、誤答の方がクエリに近接しており（AUROC 0.365）、事実誤りの検出が予測するパターンとは逆でした。
• 注釈スタイルを除去した後の Γ の性能は AUROC 0.535（偶然水準）に留まり、埋め込み幾何学は「共起性」を符号化しているだけで「真偽条件」を符号化していないため、Type III 誤りは幾何学的に不可視であるという結論に至りました。

4. 貢献と意義

1. 幾何学的分類の確立: ハルシネーションを単一の現象ではなく、埋め込み空間における 3 つの異なる幾何学的署名を持つ失敗モードとして体系化しました。
2. 検出手法の提案: 文脈依存型（SGI）と文脈非依存型（Γ）の 2 つの検出指標を提案し、特に Type II（虚構）に対して、従来の NLI ベースラインを凌駕する高精度な検出を可能にしました。
3. 理論的限界の解明: Type III（事実誤り）が分布仮説（埋め込みは真実ではなく共起を学習する）により、幾何学的な変位検出では原理的に検出不可能であることを実証しました。これは「手法の限界」ではなく「理論的制約」であることを示しています。
4. ベンチマーク評価の再考: 既存のベンチマーク（WikiBio など）が Type II と Type III を混同している可能性を指摘し、評価基準の幾何学的整合性の重要性を強調しました。

5. 結論

この論文は、LLM のハルシネーション検出において、単に「事実かどうか」を判定するのではなく、失敗モードの幾何学的特性を理解することが重要であることを示しました。SGI と Γ は、それぞれ文脈無視と虚構に対して有効なツールですが、真の事実誤り（Type III）の検出には、埋め込み幾何学を超えた新たなアプローチが必要であるという重要な知見を提供しています。