KGHaluBench: 大規模言語モデル（LLM）の知識の「広さ」と「深さ」を評価するための知識グラフベースの幻覚ベンチマーク

本論文は、大規模言語モデル（LLM）の回答における「幻覚（Hallucination）」、すなわち事実と異なる情報を生成する現象を評価するための新しいベンチマーク「KGHaluBench」を提案するものです。既存のベンチマークが抱える限界を克服し、LLM の知識の網羅性（広さ）と詳細さ（深さ）の両面から、より公平かつ包括的な真実性の評価を実現します。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 背景と問題定義

LLM は説得力のある言語を生成する能力に優れていますが、一貫性があるからといって真実であるとは限りません。既存の幻覚評価ベンチマークには以下の重大な限界がありました。

• 静的で狭い質問範囲: 既存の QA ベンチマークは事前に構築された静的な質問セットを使用しており、新しい事実や多様なトピックを網羅できていません。また、知識グラフ（KG）を利用するものでも、静的なデータセットに依存しているものが多く、動的な生成が十分ではありません。
• 知識の「深さ」の不足: 多くのベンチマークは多肢選択式や単純な質問形式を採用しており、LLM が内部表現から深い知識を統合して回答する能力を十分に評価できていません。
• 人気バイアス: 知識グラフからランダムにエンティティを抽出する場合、有名なエンティティに偏り、評価の公平性が損なわれる可能性があります。
• 評価指標の限界: 単純な正解率や BLEU スコアなどの一次元的な指標では、幻覚が発生した原因（知識の欠如か、事実の誤記か）を解釈することが困難です。

2. 手法：KGHaluBench のフレームワーク

KGHaluBench は、知識グラフ（Wikidata）を活用した動的な質問生成と、多層的な回答検証パイプラインで構成されています。

A. 質問生成モジュール (Question Generation)

• 動的エンティティ抽出: KG からランダムに焦点となるエンティティ（例：Denzel Washington）を抽出します。エンティティのタイプ（人間、企業、絵画など）をバランスよく分布させるため、希少なエンティティを優先的にサンプリングします。
• 複合質問の生成: 焦点エンティティの 1 ホップ近傍（KG トリプル）を抽出し、3 つの異なる関係（事実）を含む「複合的なオープンエンド質問」を生成します。これにより、LLM に単一の事実だけでなく、複数の知識要素を統合することを要求します。
• 難易度の統計的推定: 質問の難易度を統計的に推定します。エンティティの知名度（ページビュー、リンク数など）と、関係の複雑さを組み合わせた「エンティティ人気度」と「質問複雑度」を算出します。これに基づき、質問難易度スコア $Q_d$ を計算し、人気バイアスを補正します。

B. 回答検証モジュール (Response Verification)

LLM の回答は、以下の 3 段階のフィルタリングを通じて検証されます。

1. エンティティレベルフィルタ:
   • 棄権検出: モデルが「知らない」と答えるか、質問を回避するかどうかを検出します。
   • 意味的整合性: 回答が焦点エンティティについて言及しているか、意味的に一致するかを、Wikipedia の記述と比較して判定します（意味類似度とトークンレベルの重なりを組み合わせ）。
   • 一致しない場合、それは「エンティティレベルの幻覚」として分類され、検証は終了します。
2. 事実レベルチェック:
   • エンティティレベルを通過した回答に対し、質問に含まれる 3 つの事実が正確に記述されているかを確認します。
   • NLI 推論フィルタ: 高速な NLI モデルで事実の包含関係を確認。
   • LLM 推論フィルタ: 複雑なニュアンスに対応するため、LLM をファクトチェックアシスタントとして使用。
   • エキスパート決定フィルタ: 上記で不一致が生じた場合の最終判断として、LLM に専門家間の判断を委ねます。
3. 自動化パイプライン: このプロセス全体が自動化されており、人間の判断との一致率が高いことが確認されています。

C. 新規評価指標

• 重み付き正解率 ($W_a$): 質問の難易度に基づいて正解率をスケーリングした指標。人気バイアスを排除し、公平な性能評価を可能にします。
• 知識の広さの幻覚率 (HaluBOK): エンティティレベルで幻覚と判定された割合。LLM が対象エンティティそのものを認識できていない（知識の広さが不足している）ことを示します。
• 知識の深さの幻覚率 (HaluDOK): エンティティは認識しているが、具体的な事実（関係）を誤っている割合。知識の深さや詳細さの欠如を示します。

3. 主要な貢献

1. KG 構造を活用した質問生成: 動的に選択されたエンティティに基づき、KG の関係構造を利用して複合的な質問を生成するアプローチを提案。
2. 自動化された検証フレームワーク: 粗粒度のエンティティレベルフィルタと微細粒度の事実レベルフィルタを組み合わせた検証パイプラインを構築。人間による判断との一致率をそれぞれ 79.19%、87.74% まで達成。
3. 統計的難易度評価と $W_a$ 指標: 質問の難易度を統計的に推定し、正解率を調整する新しい指標 $W_a$ を開発。
4. 大規模なモデル評価: 25 種類の最先端 LLM（オープンソース 15 社、プロプライエタリ 10 社）を評価し、モデルサイズと幻覚の要因（広さ vs 深さ）の関係を明らかにしました。

4. 実験結果と知見

25 種類のモデル（8B から 1T パラメータ、OpenAI, Google, Anthropic, xAI 等）を対象に評価を行いました。

• 全体性能: 最も高い重み付き正解率 ($W_a$) を記録したのは GPT-5 (65.60%) でした。プロプライエタリモデルはオープンソースモデルよりも全体的に高い事実性を示しましたが、GLM-4.5 (54.35%) のように高性能なオープンソースモデルも存在し、性能差は縮小傾向にあります。
• 幻覚の傾向 (HaluBOK vs HaluDOK):
  • モデルサイズの影響: 小規模モデル（8-32B）では、エンティティ自体を認識できない「広さの幻覚 (HaluBOK)」が非常に高い（54.75%）ことが判明しました。
  • 大規模モデルの課題: 大規模モデルになると HaluBOK は大幅に低下しますが、「深さの幻覚 (HaluDOK)」の低下は緩やかです。つまり、大規模モデルは「何について話すか」は理解できても、「具体的な詳細」を正確に保持する能力に課題が残っていることが示されました。
• 棄権率と信頼性: 棄権率（わからないと答えること）が高いモデルほど幻覚率は低い傾向がありますが、過度な棄権は実用性を損ないます。また、多くの高性能モデルは回答の大部分が事実正確であっても、1 つの事実を誤るケースが約 40% 存在し、これはユーザーの信頼を損なう要因となります。

5. 意義と結論

KGHaluBench は、LLM の幻覚問題を「知識の広さ」と「深さ」の 2 次元で分解して評価する画期的なアプローチです。

• 解釈可能性の向上: 従来の単一のスコアではなく、どの段階で幻覚が発生したかを特定できるため、モデルの弱点を特定し、改善策（例：知識の拡張か、事実の正確性の向上か）を導き出すことが可能になります。
• 公平な評価: 難易度スケーリングにより、評価対象のトピックやエンティティの偏りに左右されない公平なベンチマークを提供します。
• 将来への展望: このベンチマークは、幻覚低減戦略の開発や、より信頼性の高い LLM の構築に向けた重要な基盤となります。

本論文は、LLM の真実性を評価する際の新たな標準となり得る枠組みを提示し、AI の信頼性向上に向けた重要な一歩を踏み出しました。