💬 NLP

Hallucination Detection in LLMs with Topological Divergence on Attention Graphs

本論文は、プロンプトと応答の注意グラフ間のトポロジカルな発散を測定することで事実的に誤った出力を特定し、最小限のデータと計算資源で最先端のパフォーマンスを達成する、検索拡張生成システム向けのトポロジベースの幻覚検出器であるTOHAを導入する。

原著者： Alexandra Bazarova, Aleksandr Yugay, Andrey Shulga, Alina Ermilova, Andrei Volodichev, Konstantin Polev, Julia Belikova, Rauf Parchiev, Dmitry Simakov, Maxim Savchenko, Andrey Savchenko, Serguei Baran

公開日 2026-05-06

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Alexandra Bazarova, Aleksandr Yugay, Andrey Shulga, Alina Ermilova, Andrei Volodichev, Konstantin Polev, Julia Belikova, Rauf Parchiev, Dmitry Simakov, Maxim Savchenko, Andrey Savchenko, Serguei Barannikov, Alexey Zaytsev

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大規模言語モデル（LLM）を、非常に才能があるが時として過剰に自信に満ちた物語語り手だと想像してみてください。質問を投げかけると、それは単に「言葉」で考えるのではなく、これまで見たすべての単語とこれから言うすべての単語の間に存在する、巨大で目に見えないつながりの網を覗き込みます。この網はアテンションマップと呼ばれます。

本論文は、この物語語り手が作り話（ハルシネーション）を始めようとしたときにそれを捉えるための新しいツール、TOHA（TOpology-based HAllucination detector、トポロジーに基づくハルシネーション検出器）を紹介しています。その仕組みを簡単に説明しましょう。

1. 物語語り手の網（アテンショングラフ）

LLM のアテンションマップを都市の地図だと考えてください。

プロンプト（あなたの質問）: 地図の左側にある建物群です。
レスポンス（回答）: 右側で建設されている新しい建物群です。
線: 建物同士をつなぐ線は、ある単語を書いているときにモデルがどの程度強く「注目」しているかを示します。モデルが真実を語っている場合、新しい建物（回答）は古い建物（質問に含まれる事実）と密接につながっているはずです。

2. 「ハルシネーション」の問題

モデルがハルシネーションを起こすと、元の都市とはうまくつながっていない新しい構造物を作り始めます。まるで、質問の中に存在しない建物へ橋を架けようとしているかのようです。

真実の回答: 新しい建物は、古い建物へと強く、短い橋でつながっています。
ハルシネーションした回答: 新しい建物は空中に浮いているか、非常に長く、弱く、あるいは存在しない橋でつながっています。

3. TOHA 探偵（トポロジカル・ダイバージェンス）

TOHA は、これらのつながりの形状を測定する探偵です。これは「トポロジカル・ダイバージェンス」と呼ばれる数学的概念を用います。

比喩: あなたが質問に含まれる単語の石の山を持ち、その横に新しい石の山（回答）を作ろうとしていると想像してください。
- 忠実なコピーを作っている場合、新しい石を古い石に結びつけるために短いロープを使います。必要なロープの総長は短くなります。
- 作り話をしている場合、新しい石は遠く離れたり、浮いたりしています。それらを古い山につなぐには、非常に長く、高価なロープが必要になります。
スコア: TOHA はこれらの「ロープ」の総長（数学的には最小全域森の長さ）を計算します。
- ロープの総長が短い = 回答は事実に根ざしている（ハルシネーションスコアが低い）。
- ロープの総長が長い = 回答は事実から乖離している（ハルシネーションスコアが高い）。

4. 「特別な目」（ハルシネーション認識ヘッド）

LLM には多くの「ヘッド」（テキストを見る脳の異なる部分）があります。本論文では、すべてのヘッドが同じように嘘を見抜くわけではないことが発見されました。

一部のヘッドはコピー機のように働きます。混乱すると、文の最初の単語を注視する傾向があります。
研究者たちは、特定の「ヘッド」が、トピックに関係なくモデルが嘘をつくたびに、一貫して長いロープの長さ（高いダイバージェンス）を示すことを発見しました。
TOHA は脳全体をチェックするのではなく、これらの少数の「特別な目」に意見を求めます。もし彼らが「おい、これらのつながりは長すぎるぞ」と言えば、TOHA はそれをハルシネーションとしてフラグを立てます。

5. これが重要である理由

追加学習不要: 「嘘」の例を数千個必要として学習する他の方法とは異なり、TOHA は「トレーニングフリー」です。リアルタイムでつながりの数学的性質を眺めるだけで済みます。
超高速: 他の方法は、回答が一致するか確認するためにモデルに 10 回や 20 回物語を語らせることが多いです（証人に話を繰り返させるようなもの）。TOHA は物語を一度だけ見るだけで済みます。これらは遅い方法に比べて最大 70 倍高速です。
どこでも機能する: 研究者たちは、異なるモデル（Llama や Mistral など）や異なるタスク（質問応答、ニュース要約など）でこれをテストしました。モデルが全く異なるトピックについて話していたとしても、一貫して良好に機能しました。

まとめ

TOHA は、AI の物語に対する品質管理検査員のようなものです。物語を読んで事実を確認するのではなく、設計図（アテンションマップ）を眺めます。もし設計図が、物語の新しい部分が元の事実から遠く離れて浮いていることを示していれば、TOHA は赤旗を上げます。これは、嘘の辞書を暗記する必要もなく、迅速かつ安価に行われます。

技術的概要：TOHA – 注意グラフに基づくトポロジーベースのハルシネーション検出

問題定義

大規模言語モデル（LLM）は、特に検索拡張生成（RAG）シナリオで展開される場合、「ハルシネーション」、すなわち事実的または文脈的に誤ったコンテンツの生成に対して依然として脆弱です。既存の検出手法が存在するものの、それらは実用的な制約に直面しています。教師ありアプローチは希少な注釈付きデータセットを必要とし、一貫性ベースの手法（複数のサンプルを生成する手法など）は高い計算コストを伴い、不確実性ベースの指標（パープレキシティなど）は、モデルの真の不確実性や内部状態の微妙なニュアンスを捉えることがしばしば失敗します。大規模な再トレーニングを必要とせず、LLM の内部構造的特性を活用できる、データ効率が高く、計算軽量な検出メカニズムが必要です。

手法

本論文は、LLM 内の注意マップのトポロジカル構造を分析することでハルシネーションを検出するように設計された、トレーニング不要なフレームワークであるTOHA（TOpology-based HAllucination detector）を導入します。

1. トポロジカルオブジェクトとしての注意グラフ

この手法は、デコーダ専用 LLM の自己注意メカニズムを、完全重み付きグラフ $G$ として再定義します。このグラフにおいて：

ノードはトークンを表し、プロンプトトークン（ $P$ ）とレスポンストークン（ $R$ ）に分割されます。
エッジは、トークン $i$ からトークン $j$ への注意スコア $w_{ij}$ を用いて $1 - w_{ij}$ で重み付けられ、疑似距離を表します。
プロンプト部分グラフは参照構造として扱われ、レスポンス部分グラフは生成されたコンテンツを表します。

2. MTop-DivG(R, P) 指標

TOHA の核心は、グラフ設定向けにマンホールドトポロジーダイバージェンス（MTop-Div）を適応させた**MTop-DivG(R, P)**です。

計算: この手法は、プロンプトトークン（ $P$ ）間のエッジ重みをゼロに設定して、プロンプトとレスポンス間の構造的関係を孤立させます。その後、生成された修正グラフの 0 次ホモロジーバーコードを計算します。
定義: ダイバージェンススコアは、0 次バーコード（ $B_0$ ）内の区間の長さの総和です。
幾何学的解釈: このスコアは、レスポンストークン（ $R$ ）をプロンプトトークン（ $P$ ）に接続する**最小全域森（MSF）**の長さに等しくなります。
情報理論的解釈: このスコアは、プロンプトに対するレスポンスの「新規性」の代理指標として機能します。高いダイバージェンスは、レスポンストークンがプロンプト構造と密に接続されていないことを意味し、新しい、潜在的にハルシネーションされた情報の導入を示唆します。

3. ハルシネーション認識ヘッド

本論文の重要な発見は、すべての注意ヘッドがハルシネーション検出に均等に寄与するわけではないということです。

異なる層とヘッドにおけるダイバージェンス値を分析することで、著者は「ハルシネーション認識」ヘッドの特定のサブセットを特定しました。
これらのヘッドは、MS MARCO、CoQA、SQuAD などの多様なデータセットにおいて、ハルシネーションサンプルに対して、基盤となるサンプルと比較して一貫して高いダイバージェンススコアを生成します。
興味深いことに、これらの特定のヘッドは、以前の出現が欠落している場合に最初のトークンに強く注意を向ける「コピー行動」を示す傾向があり、以前の機械的解釈可能性の発見と一致しています。

4. TOHA アルゴリズム

アルゴリズムは 2 つのフェーズで動作します：

ヘッド選択（プローブフェーズ）: ハルシネーション対基盤となるという注釈付きプローブデータの小さなセットを使用して、2 つのクラスを分離する能力（ $\Delta_{ij}$ で測定）に基づいて注意ヘッドをランク付けします。受信者動作特性曲線下面積（AUROC）を最大化するトップ $N_{opt}$ 個のヘッド（最大 10 個に制限）を選択します。
予測: テストサンプルについて、最終的なハルシネーションスコアは、選択された $N_{opt}$ 個のヘッドのみで計算された MTop-DivG(R, P) 値の平均です。

主要な貢献

TOHA フレームワーク: 注意グラフの構造的性質を活用する、トレーニング不要なトポロジーベースのハルシネーション検出器。同等の品質の手法に比べて著しく高速に動作し、最小限の注釈付きデータしか必要としません。
MTop-DivG(R, P): 注意グラフにマンホールドトポロジーダイバージェンスを適応させた新規指標。プロンプトとレスポンス間のトポロジカルな非類似性を定量化し、RAG シナリオにおけるレスポンスの新規性を効果的に捉えます。
ハルシネーション認識ヘッドの発見: データセット全体でハルシネーションを確実に識別する、小さく一貫した注意ヘッドのサブセットの特定。この発見により、約 10 個のヘッドのみを使用して堅牢な検出が可能となり、ドメイン間での転移性を保証します。
効率性と性能: 複数のベンチマークにおいて最先端または競争力のある結果を達成しながら、計算効率が優れています（実際には、SelfCheckGPT などの一貫性ベースの手法と比較して約 70 倍高速）。

実験結果

著者は、5 つのオープンソース LLM（LLaMA-2-7B/13B、LLaMA-3.1-8B、Mistral-7B、Qwen2.5-7B）を使用して、5 つのデータセット（MS MARCO、CNN/DM、CoQA、SQuAD、XSum）で TOHA を評価しました。

性能: TOHA は、不確実性ベースのベースライン（パープレキシティ、最大エントロピー）を常に上回り、一貫性ベースの手法（SelfCheckGPT、セマンティックエントロピー）および内部状態ベースの手法（ReDEEP、HaloScope）と同等かそれ以上の性能を発揮しました。
- 顕著な改善として、強力なベースラインと比較して MS MARCO（Mistral-7B）で +11.7%、CoQA（LLaMA-2-7B）で +21.6% 向上しました。
- マルチホップの HotpotQA データセットにおいて、TOHA は優れた性能を示し、複雑な実世界のクエリシナリオにおけるその有効性を検証しました。
効率性: TOHA は、単一生成の SelfCheckGPT よりも約 7 倍高速であり、SelfCheckGPT が複数の生成（10〜20 回）を必要とする場合は 70 倍以上高速です。その実行時間は軽量なエントロピーベースラインと同等です。
堅牢性: この手法は強い転移性を示しました。転移データセット（例：MS MARCO でトレーニングし、XSum でテスト）における性能は、分布内データにおける手法の性能の標準偏差の範囲内に留まりました。
データ効率: この手法は、最適なヘッドを選択するために小さなプローブセット（50 サンプル程度）のみを必要とし、その後、追加のトレーニングなしで動作します。

意義と主張

本論文は、注意行列のトポロジカル構造を分析することが、LLM における事実的信頼性の堅牢かつ効率的な指標を提供すると主張しています。TOHA の意義は、以下の点にあります：

理論的なトポロジカルデータ分析（TDA）と実用的なハルシネーション検出の間のギャップを埋めること。
教師あり分類器とは異なり、較正に必要な注釈付きデータを最小限に抑えることで、データ不足を克服すること。
複数のサンプルの生成を回避することで計算オーバーヘッドを削減し、リアルタイムまたはリソース制約のあるアプリケーションに適すること。
ハルシネーション信号を特定の「ハルシネーション認識」注意ヘッドと関連付けることで解釈可能性を提供し、ハルシネーションの機械的起源（特にコピー行動との関連）に関する洞察を提供すること。

著者は、TOHA が、事実の正確性が最優先される RAG システム内において、特に敏感な分野での LLM の安全性と信頼性を確保するための、実用的でスケーラブルな解決策を提供すると結論付けています。また、モデル固有の依存関係（特定のヘッドはアーキテクチャによって異なる可能性がある）と、現在テキストのみのモダリティに限定されていることに関する限界を認めています。