🤖 AI

Entropy Distribution as a Fingerprint for Hallucinations in Generative Models

本論文は、トークンレベルのエントロピー分布を活用してLLMの幻覚を検出する軽量な単一パスのブラックボックス手法である較正エントロピースコア（CES）を導入するものであり、形式的な誤り保証を備え、計算コストの高い多サンプル手法と同等の性能を有する。

原著者： Mattia J. Villani, Pranav Deshpande, Akshay Seshadri, Romina Yalovetzky, Niraj Kumar

公開日 2026-05-28

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Mattia J. Villani, Pranav Deshpande, Akshay Seshadri, Romina Yalovetzky, Niraj Kumar

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

物語を語る人の話を聞いていると想像してください。時には、完全に真実で自然に流れる物語を語ります。他の時には、「幻覚」を起こし始めます。つまり、事実を捏造したり、混乱したり、意味の通らないことを延々と話し始めたりするのです。

長らく、これらの嘘を見抜こうとするコンピューターは、以下の二つのいずれかを行わざるを得ませんでした。一つは、物語を5回から6回繰り返させて、詳細が一致するか確認すること（これは遅く、高価です）。もう一つは、物語を語る人の脳内を覗き込み、秘密のメモを確認することです（クローズドシステムでは、これがしばしば不可能です）。

本論文は、物語を1回だけ聞くだけで嘘を見抜く、新しく巧妙な手法を紹介しています。これは「較正エントロピースコア（Calibrated Entropy Score: CES）」と呼ばれます。

以下に、簡単な比喩を用いてその仕組みを説明します。

1. 「自信メーター」（エントロピー）

大規模言語モデル（LLM）が単語を書くたびに、次に何が出てくるかに対する「自信メーター」を持っています。

高い自信: モデルは次に何を言うべきか正確に知っています。これはレシピを完璧に知っている料理人のようなものです。この場合、「エントロピー」（不確実性の尺度）は低いです。
低い自信: モデルは推測しています。これは冷蔵庫が空っぽで、何を作ればいいか分からないでいる料理人のようなものです。この場合、「エントロピー」は高いです。

2. 従来の方法 vs 新しい方法

従来の方法（パープレキシティ）:
以前の手法は、物語全体の「平均的な」自信を見ていました。

比喩: 学生がテストを受ける場面を想像してください。従来の方法は、単にその学生の平均点を見ています。平均点が70%なら合格かもしれません。しかし、これは真実を隠しています。すべての問題で70%の正答率だったのでしょうか？それとも、10問は完璧（100%）で、10問は完全に間違っていた（0%）のでしょうか？平均点は同じですが、後者の学生の方がはるかに不安定です。

新しい方法（CES）:
著者らは、自信メーターの平均値よりも、その形状の方が重要だと気づきました。

比喩: モデルが真実を語っているとき、その自信メーターは安定しており予測可能です。しかし、幻覚を起こし始めると、メーターは暴れ出します。しばらくは落ち着いていても、突然混乱して急上昇し、再び急上昇することがあります。
論文は、この「暴れたパターン」が嘘の指紋であると主張しています。たとえ平均的な自信が正常に見えても、急上昇（最大の不確実性）や曲線全体の形状がそれを露呈させます。

3. CES の仕組み（「指紋」チェック）

この手法は2段階で機能します。

「真実」のパターンを学習する: まず、システムは真実であることが知られている多くの物語を聞きます。そして、真実の物語の自信メーターがどのようなものかを示す「参照マップ」（統計的な曲線）を作成します。例えば、「真実の物語は通常、ここには小さな盛り上がりがあるが、あそこに巨大な急上昇が現れることは稀だ」と記録します。
1 回きりのテスト: 新しい物語が入ってきたとき、システムはそれを1 回だけ聞きます。二度目の意見を求めることはありません。その物語の自信メーターを「真実マップ」と照合します。
- もし物語に奇妙な急上昇があったり、マップに合わない形状だったりする場合、システムは警告を発します。「これは幻覚のようです！」

4. これが画期的な理由

速度: テキストを1 回だけ通過させるだけで済みます。物語を5回繰り返させるのではなく、一度話すのを聞くだけで嘘つきを見抜くようなものです。
ブラックボックス対応: モデルの内部コードや隠された思考を見る必要はありません。単語を選ぶ前にモデルが出力する「ロジット（生の自信数値）」だけでよく、これはほとんどの API が提供しています。
統計的証明: 著者らは単にこれが機能すると推測したわけではありません。数学を用いて証明しました。物語が長くなるにつれて、嘘を見逃す確率はほぼゼロに近づき、真実の物語を誤って非難する確率もほぼゼロに近づきます。

まとめ

CESを、ポリグラフ検査機や2回目の面接を必要としない嘘発見器だと考えてください。それは単に、テキスト内の不確実性のリズムを聞くだけです。リズムが安定していれば、それは真実である可能性が高いです。リズムに不規則で激しい跳躍がある場合（平均値が正常に見えても）、それは幻覚である可能性が高いです。

この論文は、10 種類の異なる AI モデルと、数学から雑学まで 8 種類の異なる質問タイプでこの手法をテストしました。その結果、この「1 回通過」方式は、高価で複数回通過が必要な手法と同等に嘘を見抜けることが分かりましたが、はるかに高速で低コストです。

技術的概要：生成モデルにおけるハルシネーションの指紋としてのエントロピー分布

問題定義

大規模言語モデル（LLM）は、事実と異なる出力を頻繁に生成する「ハルシネーション」と呼ばれる現象を引き起こし、これが信頼性を損ない、高リスク分野での展開を制限しています。既存の検出手法には重大な限界があります：

一貫性ベースの手法（例：Semantic Entropy, SelfCheckGPT）は、複数のフォワードパス（ $K \ge 5$ ）を必要とし、高い計算コストを伴います。
内部状態ベースの手法は、隠れ表現やアテンション行列へのアクセスを必要としますが、ブラックボックス API モデルでは不可能です。
単一パスのヒューリスティック（例：Perplexity, Length-Normalized Entropy）は、完全なエントロピー信号を単一のスカラー要約に還元し、検出に不可欠な可能性のある豊富な分布情報を破棄しています。

著者らは、トークンレベルのエントロピーの平均だけでなく、その分布そのものがハルシネーションの固有の「指紋」として機能すると仮説を立てています。

手法：較正済みエントロピースコア（CES）

本論文は、ハルシネーション検出を統計的仮説検定として形式化するフレームワークを提案しており、単一のフォワードパスとトークン対数オッズ（logits）へのブラックボックスアクセスのみを必要とします。

1. 理論的基盤

核心的な仮説は、モデルがハルシネーションを起こす際、トークンエントロピーの分布が忠実な生成時に観測される分布から乖離するというものです。この乖離は単なる平均のシフトではなく、分布の形状や尾部の挙動が独立したシグナルを担っています。

帰無仮説（ $H_0$ ）： 生成されたエントロピー系列は、非ハルシネーションデータから導出された参照累積分布関数（CDF）、 $F_0$ と整合的である。
対立仮説（ $H_1$ ）： 系列は $F_0$ と整合的ではなく、ハルシネーションを示唆する。

2. 較正済みエントロピースコア（CES）

CES は、エントロピー系列の 2 つの要約統計量を組み合わせた軽量アルゴリズムです：

平均エントロピー（ $\bar{h}$ ）： 中心傾向を捉えます。
最大エントロピー（ $h_{max}$ ）： 尾部の異常（高い不確実性のスパイク）を捉えます。

スコアは、これらの点における参照 CDF 値の幾何平均として計算されます：
$\text{CES}(h) = \sqrt{\hat{F}_0(\bar{h}) \cdot \hat{F}_0(h_{max})}$
ここで、 $\hat{F}_0$ は較正セットからオフラインで推定された経験的 CDF です。CES が較正された閾値を超えた場合、生成物はハルシネーションとしてフラグ付けされます。

3. 較正と頑健性

教師あり較正： オーラクル（例：人間の専門家または LLM ジャッジ）を使用して較正データをフィルタリングし、 $\hat{F}_0$ を忠実なインスタンスのみに厳密に構築します。
教師なしバリアント： オーラクルラベルが利用できない場合、本手法はすべての較正サンプルから直接 $F_0$ を推定します。理論的解析（命題 1）は、ハルシネーションサンプルの汚染率が低い場合、推定された CDF が頑健であることを証明しています。
理論的保証： 著者らは、Dvoretzky–Kiefer–Wolfowitz（DKW）不等式をランダム長さのベクトルに一般化し、有限サンプルの較正保証を提供します。さらに、CES 検定の偽陽性率と偽陰性率が生成長とともに指数関数的に減少することを証明しています。

主要な貢献

指紋としてのエントロピー分布： 本論文は、トークンエントロピー分布の「形状」（平均を超えて）が、ハルシネーション生成と忠実な生成を区別するという実証的および理論的証拠を提供します。合成平均シフト実験は、位置シフトを除去した後でも形状の違いが持続することを確認しました。
統計的に原理的なフレームワーク： CES は検出を仮説検定として形式化し、ハルシネーションの定義（オーラクルに委譲）を検出メカニズムから分離します。これにより、特定のモデル、タスク、またはハルシネーション分類体系に依存しない手法となります。
理論的保証： 本研究は、生成長に伴う誤り率の指数関数的収束を確立し、新規のランダム長さ DKW 不等式を通じて有限サンプルの境界を提供します。
広範な実証的検証： CES は、8 つの QA ベンチマークと 10 のモデル（オープンソースの Llama/Falcon/Mistral ファミリーからプロプライエタリな GPT-4 変種まで）にわたって評価されました。

実験結果

性能： 80 のモデル - データセット実験全体において、CES（教師なし）は 17 の手法の中で平均順位 6.29 を記録し、Kernel Language Entropy（KLE）のような複雑なマルチサンプル手法を含む上位統計的クラシックに位置しました。
ベースラインとの比較：
- CES は、Perplexity や Length-Normalized Entropy などの単一パスベースラインを大幅に上回りました。
- CES は、16 のベンチマーク手法に対するペアワイズ比較で 66.8% の勝率を達成しました。
- 驚くべきことに、CES（単一パス、ブラックボックス）は、 $K \ge 5$ のフォワードパスを必要とするマルチサンプル手法と統計的に区別がつかず、軽量手法と高コストな検出手法の間のギャップを実質的に埋めました。
頑健性： 本手法は、較正汚染（参照セット内のハルシネーショントークンが最大 50%）やノイズの多いオーラクルラベルに対して耐性を示し、較正ラベルの 50% が反転しても性能は安定しました。
API 汎化： CES は、トップ k の対数確率のみを使用して API のみのモデル（GPT-4 ファミリー）に成功裏に転移し、オープンウェイトモデルと同等の性能を達成しました。

意義と主張

本論文は、CES が既存のヒューリスティックが欠如している形式的な誤り保証（第 1 種および第 2 種の誤りの境界）を提供しつつ、単一フォワードパスの計算効率を維持することで、重要な進展を表すと主張しています。

実用的展開： ブラックボックス対数オッズへのアクセスと単一パスのみを必要とするため、CES は、マルチパス手法が高コストであり内部状態手法がアクセス不可能な高リスク設定におけるリアルタイムかつ大規模な展開に適しています。
理論的洞察： 本研究は、エントロピーをスカラー不確実性メトリックとして見るパラダイムから、分布の指紋として扱うパラダイムへと転換し、エントロピー分布の「尾部」がハルシネーションの重要なシグナルであることを実証しました。
限界： 著者らは、分布検定のためのサンプル不足により、非常に短い生成（ $m < 10$ トークン）では CES の検出力が低下することを認めています。さらに、モデルが誤ったデータで訓練されている場合（体系的なハルシネーション）、エントロピー分布は乖離しない可能性があり、検定が無効になることがあります。また、本手法は次トークンの確率へのアクセスに依存しており、一部の API プロバイダーはこれを制限する可能性があります。

結論として、本論文は、CES が最小アクセス制約下で達成可能な最強の検出性能を提供し、ヒューリスティックな単一パス手法と計算的に高価なマルチサンプルアプローチの両方に対する厳密で統計的に根拠のある代替手段を提供すると論じています。