Visualizing and Benchmarking LLM Factual Hallucination Tendencies via Internal State Analysis and Clustering

論文タイトル

Visualizing and Benchmarking LLM Factual Hallucination Tendencies via Internal State Analysis and Clustering
（内部状態分析とクラスタリングによる LLM の事実的幻覚傾向の可視化とベンチマーク）

1. 背景と課題 (Problem)

大規模言語モデル（LLM）は医療や法曹など重要な分野で活用されていますが、「幻覚（Hallucination）」、つまり事実と異なる、あるいは無意味な情報を生成する問題が深刻です。既存のベンチマーク（TruthfulQA や HaluEval など）は、主に回答の事実性やオープンエンドな生成タスクに焦点を当てていますが、**「引用（Citation）」が幻覚に与える影響、特に「捏造された引用や誤った参照が、モデルに誤った主張をより確信を持って正当化させる」**というメカニズムは十分に研究されていませんでした。

2. 提案手法とデータセット (Methodology & Dataset)

この研究では、LLM の幻覚傾向を体系的に評価するための新しいベンチマークとデータセット**「FalseCite」**を提案しました。

2.1 データセット「FalseCite」の構築

• 規模: 82,000 件の誤った主張（False Claims）を含む。
• ソース:
  • FEVER: 一般教養、政治、歴史などの事実に基づく誤った主張（約 4.7 万件）。
  • SciQ: 科学分野の誤った主張（質問と誤った回答を組み合わせ、宣言文に変換。約 3.5 万件）。
• 引用の付与戦略:
  誤った主張に対して、以下の 2 つの戦略で「捏造された引用」を付与し、モデルの反応を比較しました。
  1. ランダム付与: 主張と引用のセマンティックな整合性を無視してランダムに組み合わせる。
  2. セマンティック付与: 埋め込みベクトル（NovaSearch/stella_en_1.5B_v5）を用いて、主張と最も類似度が高い（トピックが整合する）引用を組み合わせる。これにより、より現実的で説得力のある「巧妙な嘘」をシミュレートします。

2.2 評価モデルとラベリング

• テスト対象モデル: GPT-4o-mini（大規模）、Falcon-7B、Mistral-7B（小規模）。
• ラベリング（評価者）: 回答が幻覚かどうかを判定するために、GPT-4.1 を「専門家モデル（Expert Model）」として使用。
  • 注: 専門家モデルはインターネット接続がないため、引用元の真偽を直接検証できません。そのため、主張自体の事実性に基づいてラベリングを行うよう指示しました。
  • 検証結果、GPT-4.1 の HALUEVAL ベンチマークにおける精度は 75.2% であり、幻覚検出には妥当であると判断されました。

3. 主要な結果 (Key Results)

3.1 幻覚率の分析

FalseCite による実験結果は、**「捏造された引用がモデルの幻覚を顕著に増幅させる」**ことを示しました。

• 全体的な傾向: 引用がない場合のベースラインと比較して、ランダムな引用、セマンティックな引用のいずれの場合も幻覚率が上昇しました。
• モデルごとの差異:
  • 小規模モデル (Falcon-7B, Mistral-7B): ランダムな引用の方がセマンティックな引用よりも幻覚率の上昇幅が大きかった。
  • 大規模モデル (GPT-4o-mini): ベースラインの幻覚率は最も低かったが、引用（特にランダム引用）が付与された場合の幻覚率の増加幅（Δ）が最も大きかった（ランダム引用で +39.65%、セマンティック引用で +37.03%）。
  • 考察: より頑健なモデル（GPT-4o-mini）は、引用が論理的に整合している（セマンティック付与）場合でも、あるいはランダムな場合でも、引用の存在自体に強く影響を受け、誤った情報を補強する傾向が見られました。

3.2 内部状態の可視化とクラスタリング

モデルの内部状態（Hidden State Vectors）を分析し、幻覚が発生する際の挙動を可視化しました。

• アクティベーションキャプチャ:
  • 各トークン生成におけるアテンション（Attention）ベクトルを抽出し、レイヤーごとに平均、最大値、エントロピーを集約。
  • 幻覚ラベルとの相関（スピアマン相関係数）を計算し、幻覚に最も寄与する「重要な 5 つのレイヤー」を特定。
• クラスタリング結果:
  • 集約された隠れ状態ベクトルを PCA で次元削減し、k-means クラスタリングを適用。
  • 発見: 幻覚の有無に関わらず、隠れ状態ベクトルは**「角のような形状（Horn-like shape）」**を描く傾向があることが可視化されました。これは、モデルの内部表現が特定の幾何学的構造を持つことを示唆しています。
  • クラスタリング自体は明確なパターンを示しませんでしたが、一部のクラスタで幻覚率が高くなる傾向が確認されました。

4. 貢献と意義 (Contributions & Significance)

1. FalseCite ベンチマークの提案: 引用が幻覚を誘発・増幅するメカニズムを研究するための、大規模で構造化されたデータセットを提供しました。
2. 引用の影響力の定量化: 「引用の有無」および「引用の整合性（ランダム vs セマンティック）」が、特に大規模モデルにおいて幻覚率を劇的に変化させることを実証しました。
3. 内部メカニズムの可視化: 幻覚発生時のモデル内部状態（Hidden State）を可視化し、特定の幾何学的形状（角状）を持つことを発見しました。これは、将来的に幻覚を検知・抑制するための内部状態ベースの手法開発の基礎となります。
4. 将来の研究への示唆: 医療や法曹など信頼性が求められる分野において、LLM が引用された情報に盲信しやすくなるリスクを浮き彫りにし、今後の幻覚低減技術の開発に貢献します。

5. 限界 (Limitations)

• 評価者の限界: 人手によるアノテーションや RAG（検索拡張生成）モデルの使用が望ましいものの、リソース制約により GPT-4.1 を専門家モデルとして代替使用しました。これにより、引用元の真偽を完全に検証できないという課題が残っています。
• クラスタリングの解釈: 隠れ状態のクラスタリングは「角状」の形状を示しましたが、幻覚を明確に分類する決定論的なパターンまでは特定できていません。

総括:
この論文は、LLM が「引用」という文脈的要素にどのように反応し、それが事実誤認（幻覚）をどのように助長するかを、大規模データセットと内部状態分析の両面から解明した重要な研究です。特に、引用の存在がモデルの判断を歪めるメカニズムを定量的に示した点は、信頼性の高い AI システム構築において極めて重要です。