💬 NLP

Verify when Uncertain: Beyond Self-Consistency in Black Box Hallucination Detection

本論文は、自己整合性とモデル間整合性のチェックを動的に組み合わせることで、高い検出性能を維持しつつ計算コストを大幅に削減する、低コストな二段階のハルシネーション検出アルゴリズムを提案しており、これは実証的な結果と幾何学的な理論的解釈の両方によって裏付けられている。

原著者： Yihao Xue, Kristjan Greenewald, Youssef Mroueh, Baharan Mirzasoleiman

公開日 2026-07-01

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yihao Xue, Kristjan Greenewald, Youssef Mroueh, Baharan Mirzasoleiman

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

問題点：自信満々な嘘つき

想像してみてください。あなたは非常に雄弁で博識な司書（AI）に、事実について尋ねています。時には、その司書は100%正しい答えを返してくれます。しかしまたある時には、完璧に聞こえるものの、実は全くのデタラメという話を自信満々に作り上げることがあります。これを**ハルシネーション（幻覚）**と呼びます。

現実の世界では、私たちはその司書が「どのように」考えているのかを知ることはできません。見えるのは、彼らが書き出した最終的な回答だけです。これが「ブラックボックス」問題です。私たちは彼らの脳内を覗き見て論理をチェックすることはできず、出力された結果を受け取るだけなのです。

旧来の手法：同じ司書に二度聞く

以前、研究者たちは**自己一貫性（Self-Consistency）**と呼ばれるトリックを使って、これらの嘘を見破ろうと試みてきました。

比喩： 同じ司書に同じ質問を5回繰り返すのですが、その際、毎回少し「ランダム」に、あるいは「クリエイティブ」に答えるよう指示します（例えば、毎回違う声で物語を話すように頼むなど）。
論理： もし司書が正解を知っていれば、5つの物語はすべて非常に似通ったものになります（全員がよく似ている幸せな家族のようなものです）。もし司書が作り話をしているなら、5つの物語はバラバラで、互いに矛盾したものになります（それぞれが異なる種類の不幸を抱えた、不仲な家族のようなものです）。
判明したこと： 著者らはこれをテストし、この手法から得られる「エキス」はすでにほぼ出し切ってしまったことを発見しました。同じ司書に5回聞くという方法は、嘘を見破るためのほぼ限界に近い手法なのです。これ以上同じことを繰り返しても、あまり効果は得られないという「天井」に達しています。

新しいアイデア：二人目の司書を呼ぶ

この天井を突き破るために、著者らは検証者（Verifier）、つまり二人目の司書を連れてくることを提案しています。

比喩： ここには、メインの司書（ターゲット）と、二人目の司書（検証者）がいます。あなたは両者に同じ質問をします。
論理： 二人の司書が同じ物語を話していれば、それはおそらく真実です。もし二人が全く異なる物語を話していれば、少なくともどちらか一方は嘘をついています。
驚きの事実： たとえ二人目の司書が最初の一人目よりも「弱く」、あるいは「賢くない」としても、二人目の意見を取り入れることは、最初の一人に何度も繰り返させるよりも、より多くの嘘を見つけ出すのに役立ちます。

スマートな解決策：「二段階」の予算管理

ここで問題となるのが、二人目の司書を呼ぶにはお金と時間がかかるということです。もし質問が1,000個あるなら、すべての質問に対して二人目の司書を呼べば、請求額は倍になります。著者らは、コストを倍にすることなく、メリットだけを得る方法を模索しました。

彼らは二段階検出システム（セキュリティ・チェックポイントのようなもの）を作り上げました。

ステージ1（クイックスキャン）： メインの司書に、物語を5回繰り返させます（自己一貫性）。
- もし物語が完璧に一致した場合： それは真実であると判断します。終了。 二人目の司書を呼ぶ必要はありません。
- もし物語がめちゃくちゃだった場合： それは嘘であると判断します。終了。 二人目の司書を呼ぶ必要はありません。
- もし物語が「微妙」な場合（多少似ているが、完全ではない場合）： これは**「不確実性ゾーン（Uncertainty Zone）」**です。これが真実か嘘かは、まだ分かりません。
ステージ2（ディープダイブ）： 不確実性ゾーンにある「微妙な」ケースに対してのみ、二人目の司書を呼びます。
- メインの司書の物語と、二人目の司書の物語を比較します。
- 二人が一致していれば、真実としてマークします。一致していなければ、嘘としてマークします。

結果：高いパフォーマンス、低いコスト

この論文は、この「二段階」アプローチが勝者であることを示しています。

安価である： 二人目の高価な司書を呼び出すのは、ごく一部の質問（確信が持てないもの）に対してのみです。
スマートである： 必要な場所にのみ追加の努力を集中させることで、すべての質問を二人でチェックする場合とほぼ同等の高い精度を実現しながら、計算コストを最大28%削減しました。
幾何学的な解釈： 著者らは、この手法が「フィルター」のように機能することを示す数学的な「マップ（幾何学的解釈）」も用いています。これは、明らかな真実や嘘を簡単に捉え、その中間にあるトリッキーなケースに対してのみ「重機」を使用するという仕組みです。

まとめ

この論文は、同じAIに何度も繰り返させるだけでは、これ以上の改善は難しいと主張しています。より良くするためには、作業をチェックする二人目のAIが必要です。しかし、コストを節約するために、すべての質問に対して二人目のAIに頼るべきではありません。代わりに、最初の一人が少し不安そうな声を出したときだけ、二人目のAIに頼るべきなのです。これにより、精度を非常に高く保ったまま、時間とコストを節約することができます。

技術要約：不確実な時に検証せよ：ブラックボックスにおけるハルシネーション検出における自己整合性を超えて

問題提起

大規模言語モデル（LLM）は、しばしばハルシネーション（もっともらしいが事実とは異なる内容）を生成し、これが機密性の高いアプリケーションにおける信頼性を損なう要因となっている。ブラックボックス設定（内部状態やロジットにアクセスできず、モデルの出力のみにアクセスできる状況）において、これらのハルシネーションを検出することは極めて重要な課題である。既存のアプローチは主に**自己整合性（self-consistency）**に依存している。これは、モデルが正しい回答を生成する場合は確率的なサンプリングを行っても互いに含意関係にある応答を生成するが、ハルシネーションが発生する場合は出力が不整合になるという直感に基づいている。しかし、ブラックボックスのシナリオにおける利用可能な情報が限られている中で、自己整合性手法が性能の限界に達しているのか、また、過大な計算コストをかけることなくどのように検出を改善できるのかは、依然として不明である。

手法

1. 自己整合性の天井の分析

著者らはまず、既存の自己整合性手法（Semantic Entropy、Mean Pairwise Distance、固有値ベースの指標など）を、自己含意行列 $P^{self}$ に適用される関数 $f$ として定式化する。このパラダイムの理論的な性能限界を判断するために、彼らは**グラフ畳み込みネットワーク（GCN）**を訓練し、 $P^{self}$ を正解のハルシネーションラベルへと写像する最適な関数 $f$ を近似させた。

知見: Llama-2、Llama-3、Mixtralといった複数のLLMおよびデータセット（SQuAD、TriviaQA）を用いた実証結果は、既存の手法がこの教師ありオラクル（oracle）とほぼ同等の性能を既に達成していることを示している。これは、自己整合性のみのパラダイム内でのさらなる向上は限定的であることを示唆している。

2. クロスモデル整合性の導入

自己整合性の天井を超えるために、本論文ではターゲットモデル（ $M_t$ ）と検証器（ $M_v$ ）の間の整合性をチェックするための検証器モデル（ $M_v$ ）を組み込むことを提案している。

メカニズム: $M_t$ と $M_v$ のサンプルを比較することによって、クロス含意行列 $P^{cross}$ が構築される。
理論的洞察: たとえ検証器がターゲットモデルよりも弱かったとしても、両者の合意または不一致は、自己整合性だけでは捉えることのできない情報を提供する。
線形結合: 著者らは、自己整合性とクロス整合性の指標の単純な加重平均、すなわち $(1-\lambda)MPD(P^{self}) + \lambda MPD(P^{cross})$ を用いることで、GCNオラクルから導出された理論的天井に非常に近い性能を達成できることを示している。

3. 予算を考慮した2段階検出アルゴリズム

すべての質問に対して検証器を呼び出すことは、特に検証器が大規模なモデルである場合、重大な計算オーバーヘッドを導入することを認識し、著者らは2段階適応型アルゴリズムを提案している。

第1段階（自己整合性）: 自己整合性スコア（ $s_{self}$ $s_{se l f}$ ）を計算する。
- $s_{self}$ が下限閾値 $t_1$ を下回る場合、「ハルシネーションなし」と分類する。
- $s_{self}$ が上限閾値 $t^*$ を上回る場合、「ハルシネーションあり」と分類する。
- $s_{self}$ が中間的な「不確実領域」（ $t_1 < s_{self} < t^*$ ）に該当する場合、第2段階へ進む。
第2段階（クロス整合性）: 曖昧なサブセットに対して、検証器からの応答をサンプリングし、クロス整合性スコア（ $s_{cross}$ ）を計算して、閾値 $t_2$ を適用して最終的な分類を行う。

幾何学的解釈: 著者らは、このプロセスを**カーネル平均埋め込み（Kernel Mean Embeddings）**の空間における解釈を行っている。自己整合性はターゲットモデルの平均埋め込みのノルム（ $\|\mu_t\|$ ）に対応し、クロス整合性はターゲットと検証器の埋め込みのドット積（ $\langle \mu_t, \mu_v \rangle$ ）に対応する。この2段階プロセスは、 $\mu_t$ のノルムに基づいてサンプルをフィルタリングし、検証器を使用して不確実な領域を分離する超平面を定義する。

閾値の選択: 閾値 $t_1$ および $t_2$ は、特定の誤報率に対して検出確率を最大化するように検証セットを用いて選択される。論文では、この選択手順がテストデータに対して良好に汎化することを保証する定理（定理 5.1）が提供されている。

主な結果

性能の天井: 既存の自己整合性手法は、検証器を用いないブラックボックス検出における性能の天井に近い。
検証器の有効性: 検証器を導入することで、検証器がターゲットモデルよりも小型または弱い場合であっても、近似された天井性能（AUROCおよびAURACで測定）が大幅に向上する。
コストと性能のトレードオフ: 提案された2段階アルゴリズムは、最小限の計算コストで高い検出性能を達成する。
- 実験により、性能曲線は**凸型（convex）**であり、少数の検証器呼び出しが性能向上の大部分をもたらすことが示された。
- 具体的には、すべての質問に対して検証器を呼び出した場合の最大性能ゲインの**95%を維持しながら、計算コストを13.5%～28%**削減できる。
堅牢性: 本手法は、20組のターゲット・検証器の組み合わせ、およびデータセット（SQuAD、TriviaQA、Natural Questions）にわたって良好に機能する。ある質問セットで学習された閾値は、異なる質問に対しても効果的に転移する。

意義と主張

本論文は、ブラックボックス設定におけるハルシネーション検出の精度と計算予算の間のトレードオフに対する実用的な解決策を提供すると主張している。

自己整合性を超えて: 自己整合性が限界に近い一方で、クロスモデル整合性が不可欠かつ効果的な次のステップであることを確立している。
効率性: 主要な貢献は、自己整合性とクロス整合性の間を動的に切り替える予算を考慮した2段階メカニズムである。これにより、すべてのクエリに対して第2の大型モデルを実行するという過大なコストをかけることなく、高い信頼性を維持できる。
理論的根拠: カーネル平均埋め込みによる幾何学的解釈を提供することで、なぜ整合性に基づく検出が機能するのかについて、より深い理論的洞察を与えている。
範囲: 著者らは、一貫性の信号を研究するための制御された設定として、**質問応答（QA）**ベンチマークに明示的に焦点を当てている。これは、オープンエンドなテキストにおける意味的等価性の曖昧さゆえに、長文生成への拡張が依然として困難であることを指摘している。

本研究は、閾値を調整するために検証セットが必要であるものの、提案されたフレームワークは含意関係の分布に関してタスクに依存せず、意味的等価性を評価できる他の生成設定にも適応できる可能性があると結論付けている。