💬 NLP

Entropy Alone is Insufficient for Safe Selective Prediction in LLMs

LLM の選択的予測において、エントロピー単独では低誤り率での安全な運用が保証されないため、正解性のプローブ信号と組み合わせることで、リスクとカバレッジのトレードオフや較正性能を向上させる手法を提案し、その有効性を複数のベンチマークで実証した。

原著者： Edward Phillips, Fredrik K. Gustafsson, Sean Wu, Anshul Thakur, David A. Clifton

公開日 2026-03-24

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Edward Phillips, Fredrik K. Gustafsson, Sean Wu, Anshul Thakur, David A. Clifton

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

🎭 物語：「自信満々の嘘つき」と「慎重な審査員」

Imagine you have a very smart but sometimes overconfident student (the AI) who is taking a test.
Imagine you have a very smart but sometimes overconfident student (the AI) who is taking a test.

1. 従来の方法：「自信の度合い」だけで判断する（Entropy Alone）

これまで、AI が「どれくらい自信を持っているか」を測るために、**「答えのバラつき（エントロピー）」**という指標が使われてきました。

仕組み: AI が「A だ、B だ、C だ」と迷って答えがバラバラなら「自信がない（危険）」と判断し、答えを保留します。逆に、「A だ！」と一貫して言っていれば「自信がある（安全）」と判断します。
問題点（論文の発見）:
この方法は**「自信満々の嘘つき」には弱かったのです。
AI が完全に間違っているのに、その間違いに対して「100% 自信」**を持って一貫して答えてしまうケースがあります。
- 例え: 数学のテストで、正解が「5」なのに、AI は「100」と自信満々に答えても、その答えが「100」に固定されているため、従来のシステムは「あ、これは自信があるから安全だ」と勘違いして、間違った答えをそのまま出してしまいます。
- 論文の言葉: この状態を**「自信を持って間違える領域（confidently wrong regime）」**と呼び、これが従来の方法の大きな弱点だと指摘しています。

2. 新しい方法：「正解かどうか」をチェックするプロ（Correctness Probe）

そこで、著者たちは**「正解かどうかを直接チェックする小さな審査員（プロ）」**を AI に付けました。

仕組み: AI が答えを生成する際、その「答えの形」や「内部の思考」を見て、「これは正しそうだ（または間違いそうだ）」と確率で判断する小さな機械学習モデル（プロ）を使います。
効果: 従来の「自信の度合い」だけでなく、「正解の匂いがするか」も同時にチェックするようになります。

3. 最強のチーム：「自信」＋「正解チェック」の組み合わせ

論文の結論は、「自信の度合い（エントロピー）」と「正解チェック（プロ）」の 2 つを組み合わせるのが最も安全だということです。

なぜ組み合わせるのか？
- 「自信の度合い」は、AI が迷っている時（本当にわからない時）に役立ちます。
- 「正解チェック」は、AI が自信満々に間違っている時（嘘をついている時）に役立ちます。
- この 2 つは、**「車のスピードメーター」と「ブレーキの故障検知センサー」**のような関係です。スピードメーターが正常でも、ブレーキが壊れていたら危険です。両方チェックすることで、初めて「本当に安全か」がわかります。

🏥 具体的な成果：医療や法律のような「命に関わる分野」で

この研究は、単に「正解率を上げる」だけでなく、**「どれくらい安全に運用できるか」**に焦点を当てています。

従来の評価: 「全体的に嘘つきをどのくらい見分けられたか（AUROC）」という、広い範囲での成績を見ていました。
新しい評価: **「非常に厳しい安全基準（例：間違えてはいけない確率を 5% 以下に抑える）」**を満たせるかどうかを重視しました。

結果:

従来の「自信の度合い」だけの方法だと、安全基準を厳しく設定すると、AI は「答えられない（保留する）」ことが増えすぎて、実用性が落ちたり、逆に危険な嘘を許してしまったりしました。
新しい「組み合わせ方法」だと、「安全なライン（高い信頼性）」を保ちつつ、より多くの質問に正しく答えることができました。

💡 要約：私たちが何を学べるか？

AI は「自信満々」でも間違えることがある: 自信があるからといって、それが正しいとは限りません。特に、AI が「自信を持って嘘をつく」パターンがあります。
一つの指標だけでは不十分: 「答えのバラつき」だけで安全を判断するのは危険です。
二重チェックが重要: 「自信の度合い」と「正解の匂い」の 2 つを同時にチェックすることで、初めて**「本当に信頼していいか」**を判断できるようになります。

結論として:
AI を医療や重要な判断に使うためには、**「AI がどれくらい自信を持っているか」だけでなく、「その答えが正しい可能性を別の角度からチェックする」**という、より慎重で多角的なアプローチが必要だと、この論文は教えてくれています。

論文要約：Entropy Alone is Insufficient for Safe Selective Prediction in LLMs

（大規模言語モデルにおける安全な選択的予測にはエントロピー単独では不十分である）

1. 背景と課題

大規模言語モデル（LLM）は急速に進化していますが、事実に反する自信満々の回答（ハルシネーション）を生成する問題が依然として残っています。特に医療などの高リスク分野では、これらの誤った情報を拡散しないよう、不確実性が高い場合に回答を控える（棄却する）「選択的予測（Selective Prediction）」システムが重要です。

既存の不確実性定量化（UQ）手法は主に以下の 2 種類に分類されます：

エントロピーベース手法: モデル出力の分布の鋭さや活性化の分散を不確実性の代理指標とする（例：Semantic Entropy）。
正解性ベース手法: モデルの活性化から正解性を学習する教師あり信号（例：Correctness Probe）。

本研究が指摘する課題:

既存の研究では、これらの手法の組み合わせが AUROC（検出性能）で優れていることが示されてきましたが、**実運用（デプロイ）における「安全な閾値での動作」**という観点での評価が不足していました。
特に、エントロピーベースの手法にはモデル依存の失敗モードがあり、**「自信を持って間違っている（Confidently Wrong）」**ケースにおいて、ハルシネーションを低エントロピー（＝高自信）として誤検知してしまう問題が存在します。これにより、厳格な安全基準（低い許容誤り率）下での信頼性が損なわれます。

2. 手法

本研究では、エントロピー信号と正解性プローブ信号を組み合わせることで、上記の失敗モードを克服する手法を提案しました。

2.1 選択的予測のセットアップ

入力 $x$ に対してモデルが生成した回答 $\hat{y}$ に対し、リスクスコア $r(x)$ が閾値 $\tau$ を下回る場合のみ回答を出力し、それ以外は棄却（Abstain）します。閾値は、検証セットにおけるハルシネーション率が目標リスク $\alpha$ 以下になるように調整されます。

2.2 不確実性シグナル（リスクスコア）

以下の 3 つのエントロピーベース手法と 1 つの正解性プローブを評価・組み合わせました：

Sequence NLL: 生成された回答の平均負の対数尤度（追加推論不要）。
Semantic Entropy (SE): 複数のサンプリング回答を意味的エンタイルメントでクラスタリングし、分散を測定（計算コスト高）。
Semantic Entropy Probe (SEP): SE の計算コストを回避するため、プロンプト表現から SE ターゲットを予測する軽量線形プローブ。
Probability of Correctness (PC) Probe: 外部の正解ラベルを用いて、モデルの回答が正しいかどうかを予測するロジスティック回帰モデル。

2.3 組み合わせ手法

エントロピー信号（ $u_{ent}$ ）と PC プローブのリスク信号（ $u_{pc} = 1 - p_{pc}$ ）を入力とし、これらを 2 特徴量のロジスティック回帰で結合した単一のリスクスコアを生成します。これにより、両者の相補的な情報を活用します。

2.4 評価指標

従来の AUROC/AUPRC だけでなく、実運用に直結する以下の指標を重視しました：

E-AURC (Excess Area Under the Risk-Coverage Curve): リスクとカバレッジのトレードオフを評価。
TCE (Target Calibration Error): 設定した目標リスク $\alpha$ に対して、実際に達成されたリスクがどれだけ近いかを測定。これは「指定されたリスクレベルでシステムを信頼できるか」を直接反映します。

3. 実験結果

3 つの QA ベンチマーク（TriviaQA, BioASQ, MedicalQA）と 4 つのモデルファミリー（Llama, Qwen, Gemma, Mistral）で評価を行いました。

3.1 モデル依存の失敗モード

Qwen モデルにおいて、エントロピーベース手法（特に SE）は多くのハルシネーションに対してゼロに近いエントロピー値を出力し、正解と誤答の区別がつかない「崩壊（Degeneracy）」を起こしました。これはモデルが誤った回答に対して高い自信（低エントロピー）を持っているためです。
一方、PC プローブはこの崩壊を起こさず、同じく低エントロピーの回答に対しても、ハルシネーションに対して高いリスクスコアを付与できました。
両者のシグナル間の相関は中程度（Spearman 相関係数 $\approx 0.5$ ）であり、互いに補完的な情報を提供していることが示されました。

3.2 組み合わせ手法の性能向上

検出性能: 組み合わせ手法は、単独のエントロピー手法や PC プローブよりも、AUROC と AUPRC で一貫して高い性能を示しました。
選択的予測性能（E-AURC と TCE）:
- 単独のエントロピー手法は、高信頼領域（低リスク閾値）においてリスクが一定値以下に下がらない「リスクフロア」の問題を抱えていました。
- 組み合わせ手法は、このリスクフロアを下げ、厳格な安全閾値（例：リスク 15% 以下）においても、目標リスクに忠実に追従する（TCE が低い）動作を実現しました。
- 特に MedicalQA（難易度が高い）では PC プローブ単独や組み合わせの恩恵が限定的でしたが、他のタスクでは顕著な改善が見られました。

4. 主な貢献

エントロピー手法の限界の特定: エントロピーベースの UQ 手法がモデル依存の「自信を持って間違っている（Confidently Wrong）」領域で失敗し、安全な選択的予測を阻害することを明らかにしました。
組み合わせ手法の有効性: エントロピー信号に正解性プローブを組み合わせることで、ハルシネーション検出と選択的予測の両方の性能を向上させ、特に厳格な安全要件下での信頼性を高めることを実証しました。
評価基準の転換の提唱: 単なるグローバルな検出指標（AUROC）だけでなく、TCE や E-AURC のようなデプロイ指向の評価指標の重要性を強調しました。これらは「指定されたリスクレベルでシステムを信頼できるか」を直接評価します。

5. 意義と結論

本研究は、LLM のハルシネーション対策において、エントロピー単独の手法が不十分であることを示し、「エントロピー＋正解性プローブ」の組み合わせが実用的な解決策であることを提案しました。

特に重要なのは、**「高い AUROC を持つからといって、厳格な安全閾値下で信頼できるシステムとは限らない」**という点です。医療や法務などの高リスク分野での LLM 導入においては、単なる検出精度ではなく、目標とするリスクレベルでの動作保証（Calibration）が不可欠であり、本研究で提案された評価枠組みと手法が、安全な AI システムの構築に寄与すると考えられます。

限界点:

評価は短形式の QA タスクに限定されており、長文生成や多段階推論への一般化は未確認です。
正解性プローブにはラベル付きデータでの教師あり学習が必要であり、リソース制約のある環境での適用には課題があります。
評価対象モデルは 3B〜8B パラメータ規模に限定されています。