技術要約: LUCID - LLMベースの知識グラフ推論におけるハルシネーション検出

1. 問題提起

知識グラフ（KG）を統合した大規模言語モデル（LLM）は、質問応答（QA）や意思決定支援などの推論タスクを進化させてきたが、依然として**ハルシネーション（幻覚）**に対して脆弱である。関連するKGトリプルが検索されプロンプトに組み込まれたとしても、LLMは検索されたエビデンスと矛盾する事実的に不正確な回答を生成する場合がある。

既存のハルシネンス検出手法は、この特定の領域において重大な限界に直面している：

• 汎用的な手法（例：EigenScore、Perplexity）は、LLMの内部状態に焦点を当てているが、外部のKGコンテキストを無視している。
• RAG特化型の手法（例：RAGAs、Trulens）は、回答と検索されたテキスト間の整合性を検証するが、KGに固有の構造的情報を見落としている。
• ギャップ： LLMの内部アテンション、KGのセマンティクス（意味論）、およびKGの構造的トポロジーを結合して、LLM-KG推論フレームワークにおけるハルシネーションを検出する手法は、現時点で存在しない。

著者らは、3つのデータセット（GrailQA, WebQSP, QALD-10）にわたる3つのフレームワーク（Readi, ToG, StructGPT）からの回答を手動でアノテーションすることでこの問題を定量化し、平均ハルシネーション率が**29.65%**であることを明らかにした。

2. 手法: LUCID

本論文では、このシナリオのために特別に設計された初のメソッドであるLUCID（halLUcination deteCtIon method for LLM-based knowleDge graph reasoning）を提案する。LUCIDは、3つの異なる情報源をグラフニューラルネットワーク（GNN）に融合させることで、ハルシネーションの確率を予測する。

2.1 特徴量抽出

本手法は、LLMと検索されたKGサブグラフ（$G = (V, E)$）の相互作用を、以下の3つのステージを通じて処理する：

1. LLM内部状態情報（アテンション・スコア）：

   • モデルは、回答生成中のLLMのマルチレイヤー・マルチヘッド・アーキテクチャからアテンション・スコアを抽出する。
   • 各回答トークンについて、KGのノード（エンティティ）およびエッジ（リレーション）に対応するすべてのトークンにわたる平均アテンション・スコアを計算する。
   • これらは、全レイヤーおよび全ヘッドにわたって、2つの平均アテンション行列 $M_e$（ノード用）および $M_r$（エッジ用）へと集約される。

2. KGセマンティック情報：

   • タスクに関連するエッジと関連のないエッジを区別するために、クエリとKG内のリレーション（エッジ）の間のセマンティックな類似度を計算する。
   • 事前学習済み言語モデル（all-MiniLM-L6-v2）を使用し、クエリとリレーションの埋め込みを生成する。
   • コサイン類似度スコア $s(r, Q)$ を算出する。注：エンティティの表層形式は曖昧であることが多いため、セマンティックな関連性はエンティティではなくリレーションに対して計算される。

3. 特徴量の構築：

   • ノード特徴量 ($x_e$): ノード・アテンション行列 $M_e$ をフラット化することで形成される。
   • エッジ特徴量 ($x_r$): フラット化されたエッジ・アテンション行列 $M_r$ とセマンティック類似度スコア $s(r, Q)$ を結合することで形成される。

2.2 検出モデル (GNN)

• 構築されたノードおよびエッジ特徴量を備えた強化されたサブグラフは、Graph Isomorphism Network with Edge features (GINE) に入力される。
• 標準的なGINではなくGINEが選択された理由は、メッセージパッシング・メカニズムにエッジ特徴を明示的に組み込むことで、KGの豊かな構造的および意味的な属性を活用できるためである。
• GNNは、$K$ レイヤーのメッセージパッシングを通じてグラフ情報を集約する。グラフレベルの表現はノード特徴の総和によって得られ、その後、分類器（MLP + Sigmoid）を通過してハルシネーションの確率を出力する。
• 検出閾値は、ROC曲線における感度（Sensitivity）と特異度（Specificity）の幾何平均を最大化するように決定される。

3. 主な貢献

1. 問題の特定とベンチマーク作成： 著者らは、LLMベースのKG推論フレームワークにおけるハルシネーションを体系的に特定し、定量化した最初の研究者である。3つのフレームワークと3つのQAデータセットにわたる手動アノテーション済みベンチマーク・データセットを構築し、29.65%のベースライン・ハルシネーション率を確立した。
2. 新規手法 (LUCID)： 以下の要素を独自に統合した検出フレームワークであるLUCIDを提案した：
   • LLM内部状態（アテンション・メカニズム）。
   • KGセマンティック情報（リレーションとクエリの類似性）。
   • KG構造情報（グラフ・トポロジー）。
3. 最先端の性能 (SOTA)： 広範な実験により、LUCIDがテストされたすべてのフレームワークおよびデータセットにおいて、15のベースライン（汎用的な検出手法およびRAG特化型ツールを含む）を上回る性能を示すことを実証した。
4. 実用的な有用性： LUCIDのハルシネーション確率は、QA戦略を洗練させるために使用でき、精度を高く維持しながら推論コストを大幅に削減できることを示した。

4. 実験結果

実験は、Readi、ToG、StructGPT の3つの推論フレームワークを用い、GrailQA、WebQSP、QALD-10 に対して行われた。

• パフォーマンス： LUCIDはすべてのデータセットでSOTAの性能を達成した。
  • 平均的な指標（ACC、AUC、PCCの平均）において、LUCIDは最高のベースラインであるSelfCheckGPTを6.76%、REDEEP (chunk) を**5.48%**上回った。
  • 最も顕著な改善は Readi フレームワークで見られ（平均+2.81%）、これはReadiのより密なKGサブグラフがLUCIDのメッセージパッシング・メカニズムに適しているためである。
  • WebQSP において、LUCIDは平均+2.57%の利得を得ており、ハルシネーションがリレーションの誤選択に起因することが多いリレーション中心の質問を効果的に処理した。
• コスト効率的な応用： Qwen2.5-7Bが初期回答を生成し、LUCIDが高確率のハルシネーションをフラグ立てして、より大きなモデル（Qwen3-235B）による再生成を行う「混合（Mixed）」戦略をテストした。
  • このアプローチは、すべてのクエリに対して大規模モデルを使用する場合と比較して、精度において極めて近い結果（差は1.18%以内）を得た。
  • 金銭的コストを、大規模モデルのみを使用した場合と比較して平均**55.4%**削減した。
• アブレーション研究：
  • 特徴量： セマンティック類似性を削除するか、アテンション行列をランダムまたは隠れ層のスコアに置き換えると、性能が著しく低下した。これにより、アテンションとセマンティックの両方の信号の必要性が確認された。
  • モデル・アーキテクチャ： GINEはGCN、GAT、およびMLPよりも優れた性能を示し、エッジ特徴とグラフ・トポロジーを明示的にモデリングすることの重要性を裏付けた。
  • ハイパーパラメータ： 2層のGINE、512の隠れチャンネル、および学習率 $1 \times 10^{-3}$ で最適な性能が得られた。

5. 意義と主張

本論文は、LUCIDがLLMベースのKG推論における信頼性の決定的なギャップに対処することを主張している。LLMのアテンションとKGの間の構造的および意味的な整合性を分析することで、表面的な一貫性チェックを超え、LUCIDは誤情報の検出のためのより堅牢なメカニズムを提供する。

著者らは、LUCIDを単なる検出ツールとしてではなく、ダウンストリームのアプリケーションを向上させるための基礎となるコンポーネントとして位置づけている。ハルシネーションをフィルタリングする能力により、以下が可能になる：

• より信頼性の高い意思決定支援と自動化された知識発見。
• コスト効率の高い展開戦略（選択的なリファインメントを伴う小型モデルの使用）。
• LLM-KG統合の将来的な改善に向けた必要な基盤。

結論として、LUCIDは効果的であるが、今後の課題として、より優れた解釈可能性のための細粒度なハルシネーション属性特定や、多言語およびクロスドメイン環境への拡張に焦点を当てることを述べている。