技術要約：HallDetect – 事実性検証のための分解型含意判定

問題提起

プロフェッショナルな現場や意思決定に重要な文脈における大規模言語モデル（LLM）の導入は、「ハルシネーション（幻覚）」、すなわち自信に満せども事実に基づかない記述によって阻害されている。既存の検出手法には、以下のような重大な限界がある：

• 表層的な指標（ROUGEや埋め込み類似度など）は、論理的な不整合を捉えることができない。
• 「LLM-as-a-judge（審判としてのLLM）」パラダイムは、消費者向けハードウェアや独自のブラックボックスAPIを介して展開する場合、計算コスト、レイテンシ、再現性の問題、および自己嗜好バイアスに苦しむ。
• ホワイトボックス・アプローチ（内部信号であるトークン確率に依存するもの）は、クローズドソースのモデルには適用できない。
• 既存のファクトチェッカーは、フル精度モデルを必要としたり、外部知識ベースを必要としたりする場合が多く（内的な忠実性ではなく外的な事実性を測定している）、生成されたテキスト内の特定の誤りを局所化する粒度が不足している。

したがって、厳格な計算予算の下で、内的なハルシネーション（提供されたソースとの不整合）を検出し、エラーの監査証跡を提供できる、軽量で参照不要なブラックボックス・フレームワークが求められている。

手法：HallDetect フレームワーク

HallDetectは、リソース効率が高く、ドメインに依存しないパイプラインであり、生成されたテキストを原子的な主張へと分解し、識別的な自然言語推論（NLI）モデルを用いてソース文書に対してそれらを検証する。このフレームワークは、消費者グレードのハードウェア上で4ビット量子化予算という厳格な条件下で動作する。

パイプライン・アーキテクチャ

プロセスは以下の4つの明確なフェーズで構成される：

1. 原子的主張の抽出（フェーズ I）：

   • ローカルに展開された4ビット量子化LLM（例：Llama 3.1、Gemma 2、またはMistral）が、生成された応答 $R$ を一連の原子的な主張 $\{c_1, \dots, c_n\}$ に分解する。
   • この抽出は「コピー忠実（copy-faithful）」であり、検証対象がモデルの実際の主張であることを保証するために、主張を逐語的に再現する。

2. マルチスケール・コンテキスト・チャンキング（フェーズ II）：

   • ソース文書 $D$ は、5つの粒度（$m \in \{1, 2, 4, 8, 16\}$ チャンク）において階層的なコンテキスト・ライブラリ $\mathcal{K}$ に分割される。
   • この二進的なスケジューリングにより、線形的なコスト増を招くことなく、様々なスケール（文レベルから文書全体まで）でエビデンスを捕捉することを保証する。ライブラリの総サイズは文書あたり31チャンクに制限される。

3. 対照的NLI検証（フェーズ III）：

   • コンパクトなエンコーダーベースのNLIモデル（MNLI、FEVER-NLIなどで微調整されたDeBERTa-v3-Large）が、各主張 $c_i$ をすべてのチャンク $k \in \mathcal{K}$ に対して検証する。
   • 対照的スコアリング（Contrastive Scoring）： 各主張について、システムは最も高い**含意（Entailment）確率（$P(E)$）を持つチャンクと、最も高い矛盾（Contradiction）**確率（$P(C)$）を持つチャンクを独立して特定する。
   • スコアは次のように計算される：$Score(c_i) = \max_k P(E|k, c_i) - \max_k P(C|k, c_i)$。
   • **中立（Neutral）**クラスは暗黙的に処理される。すべてのチャンクが支配的に中立である主張は、含意と矛盾の両方において低いスコアを受け取り、結果としてゼロに近いスコアとなる（これは根拠のない内容であることを示す）。

4. 非対称集計（フェーズ IV）：

   • 最終的な**事実性含意分解スコア（FEDscore）**は、幾何平均を用いて各主張のスコアを集計する。
   • 非対称性： 集計は監査のために設計されている。もし単一の主張でもスコアが $\le 0$（確信を持った矛盾を示す）である場合、応答全体がハルシネーションとしてフラグが立てられる（$FEDscore = 1$）。これは、単一の根拠のない主張がアウトプットを無効化することを保証するため、再現率（Recall）を優先している。

主な貢献

著者らは、主に4つの貢献を提示している：

1. 倹約的な分解・検証パイプライン： HallDetectは、原子的な主張の抽出と、対照的なマルチスケールNLI定式化を組み合わせている。これはソースと生成のペアのみを必要とし、検証フェーズにおいて生成的な「判定器」を必要としないため、任意のブラックボックス生成器と互換性がある。
2. 固定予算下での制御された評価： 本フレームワークは、厳格なリソース・パリティ（すべてのコンポーネントが4ビット量子化され、同一の消費者向けハードウェアで動作する）の下で評価されている。これらの制約下において、HallDetectは、3つの4つのベンチマークにおいて、同等のリソースを持つ生成型（LLM CoT）および埋め込みベースのベースラインを凌駕し、4つ目については競争力のある性能を示した。
3. バックボーンとドメインを越えた安定性： 判定を識別的なエンコーダーに委ねることで、HallDetectは、異なるバックボーン・ファミリー（Mistral、Gemma、Llama）やドメイン（ニュース、対話、敵対的、生物医学）において、生成的な思考連鎖（CoT）判定器よりも著しく低い分散を示す。
4. 主張レベルの監査証跡： スカラー値によるスコアリングとは異なり、HallDetectは原子的な主張とソースのエビデンス・スパン（範囲）との間のマッピングを生成し、矛盾や根拠のない追加の箇所を特定することを可能にする。

定量的結果

4ビット量子化モデルを用いて、4つのベンチマーク（QAGS-CNN/DM、TofuEval、FalseSum、PubMedQA）で評価を行った：

• QAGS-CNN/DM（ニュース要約）： HallDetect（Gemma-2）は0.771のF1スコアを達成し、LLM CoTベースライン（0.589）およびモノリシックNLIベースライン（0.638）を上回った。分解戦略によって局所的なエラーの「希釈」を防いだことにより、ベースラインと比較して優れた再現率（1.000）を示した。
• 安定性： LLM CoTの性能は、異なるバックボーン間で大幅に崩壊したが（例：Llama-3.1ではF1が0.589から0 been 0.321に低下）、HallDetectは安定していた（F1範囲 0.734–0.771）。
• 敵対的ストレス（FalseSum）： HallDetectは強力な性能（F1 0.731）を維持し、LLM CoTベースライン（0.375）およびSelfCheckベースライン（0.649）を上回った。
• ドメイン汎用性（PubMedQA）： HallDetectは競争力を維持したが、SelfCheckベースラインを上回ることはなかった（HallDetect F1 0.632 vs. SelfCheck F1 0.668）。専門的なスコアラーがこのドメインで時折HallDetectと同等またはそれを上回る性能を示すこともあったが、HallDetectは、スカラーベースラインにはない、根拠を欠く特定の医学的主張を局所化するという独自の能力を保持していた。

意義と主張

本論文は、HallDetectを、フル精度やAPIベースのシステムを凌駕する最先端の検出器としてではなく、計算予算が制約されているシナリオ（ローカル展開、消費者向けハードウェアなど）のための堅牢でリソース効率の高いソリューションとして位置づけている。

• 量子化への耐性： 本研究は、主張の抽出と検証を分離すること（識別的エンコーダーを使用すること）で、量子化された生成モデルを悩ませるデコーディングのバイアスや不安定性から判定を保護できることを示している。
• 監査可能性： HallDetectは「主張対スパン」の監査証跡を提供し、単一のスカラー値ではなく、エラーを局所化する。これは、ヒューマン・イン・ザ・ループによる監査において極めて重要である。
• 運用可能性： 1GB未満のVRAM要件を持つ、完全に4ビット量子化されたモデルのみで動作することにより、HallDetectは、高価な「LLM-as-a-judge」パラダイムに対する実用的な代替案を提供する。

著者らは、MiniCheckのような専門的な識別的ファクトチェッカーとの比較の欠如、外部的事実（ソースに含まれない主張）を検証できないこと、および再現率を重視した動作ポイントが低ハルシネーション率のシナリオにおいて適合率を下げる可能性があることなど、限界についても明記している。