A Lightweight Retrieval-Grounded Framework for Hallucination Detection and Correction in Large Language Models

技術要約：大規模言語モデルにおけるハルシネーション検出および修正のための軽量な検索に基づくフレームワーク

問題提起
大規模言語モデル（LLM）は、質問回答からエンタープライズ意思決定支援に至るまで、幅広いアプリケーションの中心となっています。しかし、これらは依然として「ハルシネーション（幻覚）」、すなわち、流暢で妥当に見えるものの、事実として不正確であったり、証拠に裏付けられていなかったり、検証済みの知識と矛盾したりする出力に陥る傾向があります。この問題は、ヘルスケア、金融、法的推論などの極めて重要な領域において重大なリスクをもたらします。既存の緩和策には、検索拡張生成（RAG）、自己検証、ツールを用いた事実確認、マルチエージェント討論フレームワークなどが含まれますが、これらは特定の限界を抱えています。具体的には、検出のみに焦点を当てて修正を提供できない、繰り返しの大型モデル推論によって計算コストが増大する、あるいは複雑なオーケストレーションを導入することで再現性を阻害するといった課題があります。

手法
本論文は、ライブなマルチLLM推論の計算オーバーヘッドを伴わずに、ハルシネーションを検出および修正するために設計された、軽量な検索に基づくフレームワークを提案しています。このシステムは、生成、検索、検証、および修正を分離したモジュール型のパイプラインとして構成されています。

1. モジュール型エージェント・シミュレーション： 複数のライブなLLMインスタンスを呼び出す従来のマルチエージェントシステムとは異なり、本フレームワークでは、事前生成されたベンチマーク応答に対して動作するモジュール型の処理ステージとしてエージェントをモデル化しています。この設計により、検証と修正を生成の変動性から分離し、制御可能で再現性のある評価を実現しています。
2. 検索モジュール： システムは、意味的埋め込み（セマンティック・エンベディング）ではなく、証拠の検索に TF-IDF（単語頻度・逆文書頻度）を利用します。この選択は、外部のニューラル検索モデルへの依存を回避し、計算効率、解釈可能性、および再現性を優先するものです。クエリ $q$ が与えられると、システムは上位 $k$ 個の関連文書 ($D$) を抽出します。
3. 検証エージェント： このコンポーネントは、生成された応答 ($r_g$) の事実的一貫性を、抽出された証拠 ($D$) と照らし合わせて評価します。これは、2つの信号を組み合わせた加重検証スコアを採用しています。
   • 回答と証拠の類似性： 生成された応答と抽出された文書間のTF-IDFコサイン類似度。
   • クエリと証拠の関連性： 元のクエリと抽出された文書間のTF-IDFコサイン類似度。
   • スコアは次のように計算されます：$Score = \alpha \cdot Sim(r_g, D) + (1 - \alpha) \cdot Sim(q, D)$。ここで $\alpha$ は、これら2つの信号の相対的な重要性を制御します。
   • 閾値ベースの決定ルール ($\tau$) により、応答をハルシネーションあり（$Score < \tau$）またはハルシネーションなし（$Score \geq \tau$）に分類します。
4. 修正エージェント： 応答がハルシネーションであると判定された場合、修正エージェントが内容を改訂します。このエージェントは、根拠のない主張を除去し、元の応答の関連部分を保持しながら、証拠と一致する情報を組み込みます。決定的なことに、このメカニメントは証拠に基づいた軽量な設計であり、追加のLLM推論ステップを回避するように設計されています。

主な貢献
本論文は、主に4つの貢献を述べています。

1. ライブなマルチLLM推釈を回避しつつ、モジュール化されたエージェント的な推論を維持する、軽量な検出および修正フレームワーク。
2. 単なる検出を超えて、証拠に基づいた修正された応答を生成する統合パイプライン。
3. 回答と証拠の類似性と、クエリと証拠の関連性を明示的に組み合わせた、閾値ベースの加重検証定式化。
4. MedHalluおよびTruthfulQAデータセットを用いた、高い検出性能と測定可能なハルシネーション削減を示す再現可能な実験的評価。

実験結果
フレームワークは、2つのデータセット、MedHallu（医療ドメインのハルシネーションを表す9,000サンプル）および TruthfulQA（敵対的な事実性の課題を表す817サンプル）を用いて評価されました。

• 検出性能： 最適な閾値 ($\tau = 0.55$) を使用することで、フレームワークは約0.93のF1スコア（具体的には統合セットで0.931）および0.891のリコールを達成しました。MedHalluデータセット単体では、F1スコアは0.942に達しました。
• 修正性能： 修正段階により、MedHalluの設定におけるハルシネーション率は1.0000から0.5784へと低下し、42.16%の減少を実現しました。
• ベースライン比較： 実験の結果、検索単体では、回答と証拠の間の整合性を明示的に検証できないため、検出には不十分であることが示されました。加重検証モジュールの追加により、検出指標が大幅に改善されました。
• 観察された限界： TruthfulQAにおいては、修正段階で0.2485の「退行率（regression rate）」が見られました。これは、類似性ベースの修正が、時に事実に基づいた応答を不必要に変更してしまうことを示唆しています。これは、現在の類似性ベースのアプローチが、ドメイン固有のハルシネーションには効果的である一方で、敵対的または誤解に基づいたクエリに対しては慎重なゲーティングが必要であることを示しています。

意義と主張
本論文の主要な意義は、複雑なマルチエージェント検証システムに代わる、再現可能かつ計算効率の高い代替案を提供することにあると主張しています。エージェントをライブなLLM呼び出しではなくモジュール型のステージとしてモデル化することで、本フレームワークは繰り返しの大型モデル推論の必要性を排除しており、リソース制約のある環境にも適しています。

著者らは、明示的な検証が不可欠であると断言しています。検索だけでは文脈は提供されますが、事実的な裏付けを確定させることはできません。彼らの加重スコアリング定式化はこのギャップを埋めるものです。さらに、本研究は、緩和策は検出で終わるべきではないことを強調しています。提案された修正段階は、最終的な出力の事実的な信頼性を積極的に向上させます。ただし、TF-IDFによる検索と語彙的類似性は、推論が重いケースや敵対的なケースにおいては弱くなる可能性があることを謙虚に認め、将来の反復においては意味的埋め込みや含意ベースの検証を組み込むべきであることを示唆しています。