🤖 machine learning

LLMs Uncertainty Quantification via Adaptive Conformal Semantic Entropy

本論文は、多様な応答における意味的分散を適応的に測定し、有限サンプルかつ分布フリーの誤差保証を提供するために共形較正を適用することで、LLM の不確実性を定量化する新しい手法である適応共形意味エントロピー（ACSE）を提案し、これにより安全性が重要な応用分野において既存の語彙的および確率的な基準を上回る性能を発揮する。

原著者： Hamed Karimi, Vaishali Meyappan, Reza Samavi

公開日 2026-05-07

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Hamed Karimi, Vaishali Meyappan, Reza Samavi

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に自信に満ち、教養豊かな司書（AI）に質問を投げかけると想像してください。その司書は、完全に間違っていたとしても、絶対的な確信を持って答えるかもしれません。これがこの論文が扱う「過信」の問題です：大規模言語モデル（LLM）は、100% 確信しているように聞こえながら、しばしば幻覚（でたらめ）を生成します。

この論文は、ACSE（Adaptive Conformal Semantic Entropy：適応的コンフォーマル意味エントロピー）と呼ばれる新しい安全システムを導入します。ACSE は「現実確認」メカニズムのようなもので、司書が「何」を言っているかだけでなく、その答えの意味について実際に「確信」を持っているかどうかを確認します。

以下に、その仕組みを簡単なステップに分解して示します：

1. 問題：「類語の罠」

現在の安全チェックは、AI が選ぶ特定の単語に注目することが多いです。AI が 70% の確率で「首都はシドニーです」と答え、30% の確率で「首都はキャンベラです」と答える場合、単純な単語カウンターは「ああ、シドニーだとかなり確信しているな！」と考え、許可を出してしまうかもしれません。

しかし、ここには落とし穴があります。AI は「間違った答え（シドニー）」には自信を持っていても、「正しい答え（キャンベラ）」については確信が持てない場合があります。あるいは、すべて同じ意味を持つ 5 つの異なる答え（例：「シドニー」、「Syd」、「大きな港町」）を返すかもしれません。単純な単語カウンターはこれらのバリエーションに混乱し、AI が実際にはおしゃべりなだけなのに、不確実だと誤解してしまいます。

2. 解決策：「グループハグ」法（意味的クラスタリング）

ACSE は、AI に「同じ質問」を 10 回答えるよう求めることでゲームのルールを変えます。

ステップ A: その 10 個の答えを「意味マップ」（埋め込み）に変換します。
ステップ B: これらの答えを、綴りではなく意味に基づいて「近隣地域」にグループ化します。
- 例: 9 つの答えが「シドニー」と言い、1 つが「キャンベラ」と言う場合、これらは 2 つの明確な近隣地域を形成します。
- 例: 5 つの答えが「シドニー」と言い、5 つが「首都はシドニーです」と言う場合、それらはすべて同じ意味を持つため、同じ近隣地域に「ハグ」されます。

3. 「脆さ」検出器（適応的インフレーション）

これがこの論文の秘密の調味料です。AI が一つの答え（例えば「シドニー」）で合意しているからといって、その答えが安全であるとは限りません。

アナロジー: 人々が全員同じ方向に同意している状況を想像してください。もし彼らがすべて密に固い円の中に立っているなら、それは強力な合意です。しかし、もし彼らがすべて揺れて不安定な床に立っている状態で同じ方向に同意しているなら、それは脆い合意です。
ACSE はこの「揺れ」を探します。グループが「シドニー」に合意している場合、それが実際には不安定かどうか（答えがわずかに異なる場合や、グループが非常に小さい場合など）を確認します。
グループが「脆い」場合、ACSE は不確実性スコアをインフレさせます。つまり、「たとえあなたがた全員が合意していても、その合意は不安定なので、これを高リスクな状況として扱う」と言っているのです。

4. 「安全網」（コンフォーマル較正）

最後に、システムは「わからない」と言う（棄権する）タイミングと、答えを出すタイミングを正確に知る必要があります。

著者らは、コンフォーマル予測と呼ばれる統計的な「安全網」を使用します。
まず、練習用の質問セットでシステムをテストし、「カットオフライン」を決定します。
ルール: 「揺れスコア」（不確実性）がラインより下であれば、AI は答えます。ラインより上であれば、AI は沈黙します。
保証: これは推測ではありません。数学的に、安全網を 90% のエラーを捕捉するように設定すれば、AI が何をしていようとも、少なくとも 90% のエラーを捕捉することが保証されます。これは、あなたが目にする間違いが稀であることを約束します。

結果：なぜ重要なのか

この論文は、この手法をさまざまな AI モデルとデータセット（雑学クイズなど）でテストしました。

競合: 古い手法（単語の確率を数えるなど）は、不安定なコンパスのようでした。間違った答えに対して高い確信を与えることがよくありました。
勝者: ACSE は賢いナビゲーターのように機能しました。雑学テストにおいて、間違った答えを 88% の確率で正しく特定しました（AUROC 0.88）。これに対し、次に優れた手法は 80% でした。
安全性: 以前の方法よりもはるかに頻繁に、AI が高リスクな状況で間違った答えを出すのを阻止することに成功しました。同時に、何も答えられないほど慎重になることもありませんでした。

まとめ

ACSE は、AI に質問に複数回答えるよう求め、答えを「単語」ではなく「意味」でグループ化し、そのグループが堅固な地面にいるのか不安定な地面にいるのかを確認し、数学的に証明された安全網を使用して、いつ発言し、いつ黙っているべきかを決定するシステムです。これにより、AI が発言するときは、単に自信があるだけでなく、実際に信頼できるものであることが保証されます。

技術概要：適応型コンフォーマル意味エントロピー（ACSE）

問題定義
大規模言語モデル（LLM）は、特にハルシネーション（幻覚）を生成する際に過剰な自信を示す傾向があり、医療、法、科学研究などの安全クリティカルな分野での展開に重大なリスクをもたらしています。既存の不確実性定量化（UQ）手法は、主に次のトークンのエントロピーや系列の対数尤度といったトークンレベルのシグナルに依存しています。これらのアプローチは意味的な分散を捉えきれず、語彙的には多様であっても意味的に一貫性がない、あるいは誤った出力に対して高い自信を割り当ててしまうことがよくあります。さらに、意味エントロピー（SE）のような最近の意味レベルの手法は、ハードクラスタリングに依存しており、重なり合う意味領域を無視することで不安定な推定をもたらす可能性があります。他のコンフォーマルアプローチは統計的保証を提供する一方で、不確実性をスカラーシグナルとして扱うことが多く、語彙的には一貫しているが事実誤認であるクラスタが信頼度閾値を満たす「誤った合意（wrong-consensus）」の罠に陥りやすいという弱点があります。

手法
本論文は、LLM の出力における意味的分散を測定することにより、プロンプトレベルの不確実性を推定するためのモデル非依存フレームワークである**適応型コンフォーマル意味エントロピー（ACSE）**を提案します。この手法は、主に 3 つの段階で動作します。

意味埋め込みとソフトクラスタリング:
与えられたプロンプトに対して、モデルはノイズサンプリング（nucleus sampling）を用いて $n$ 個の多様な応答を生成します。これらの応答は、文エンコーダを用いて連続的な意味ベクトル空間に埋め込まれます。ハードクラスタリングの代わりに、ACSE はコサイン距離を用いた階層的凝集クラスタリング（HAC）を実行して意味グループを形成し、その後にソフトクラスタ割り当てを行います。これにより、応答は確率的に複数のクラスタに属することが可能となり、意味的な曖昧性のシグナルが保持されます。得られたクラスタ分布の正規化エントロピーから、ベースの不確実性スコア $u(x)$ が導出されます。
適応型不確実性の増幅:
クラスタの構造的な脆さ（例えば、支配的なクラスタに対する支持の弱さや、内部の多様性の高さ）に対処するため、ACSE は調整済み不確実性スコア $\hat{u}(x)$ を導入します。このスコアは、以下の 5 つのプロンプトレベルの頑健性特徴に基づいて、ベースの意味エントロピーを増幅します。
- 意味エントロピー: 多峰性を測定します。
- 重心距離: 支配的な応答に対する幾何学的な支持を評価します。
- 支配的クラスタの分散: 内部の整合性を定量化します。
- 支配的クラスタのサイズ: 少数のサンプルによって支えられた脆弱な合意にペナルティを課します。
- 閾値までのマージン: 低不確実性領域での不当な自信を抑制します。
  これらの特徴は「脆性メトリック」 $B(x)$ に集約され、増幅係数 $\lambda(x)$ をスケーリングします。最終的なスコア $\hat{u}(x)$ は、クラスタ構造がリスクを示す場合に不確実性を増加させる、有界かつ単調な変換です。
コンフォーマル較正:
調整済みスコアは、保持されたプロンプトのセットを用いた**コンフォーマル予測（CP）**により較正されます。これにより、有限サンプルかつ分布フリーの保証を持つ意思決定ルールが確立されます。システムは以下の 2 つの機能を実行します。
- プロンプトレベルの意思決定: 受け入れか棄却かを閾値に基づいて決定し、受け入れられた応答中の誤り率がユーザー指定の許容値 $\alpha$ 以下になることを保証します。
- 応答レベルの予測集合: コンフォーマルカバレッジを満たすサンプリングされた応答の集合を構築し、意味的に代表的かつコンフォーマルな出力を特定することで、ユーザーの意思決定を支援します。

主な貢献

ACSE フレームワーク: トークンレベルのシグナルを超えて意味の分散を捉える、意味レベルでのエントロピーベースの不確実性推定のための新規手法。
適応型増幅メカニズム: クラスタの頑健性特徴を活用して意味的不確実性を適応的に増幅し、曖昧な応答の意味を明示的にペナルティ化してハルシネーションを軽減する調整済み不確実性スコア。
コンフォーマル保証: プロンプトレベルの棄却と応答レベルの予測集合の両方のカットオフを学習する事後較正段階により、誤り率に関する形式的保証を提供。
実証的検証: 最先端のベースラインと比較して、優れた識別性能と較正性能を実証する広範な実験。

実験結果
著者は、TriviaQA、CoQA、Natural Questions、TruthfulQA、MMLU の 5 つのベンチマークにおいて、Mistral-7B、LLaMA-2、Falcon、Qwen などの様々な LLM アーキテクチャを用いて ACSE を評価しました。

ハルシネーション検出: ACSE は識別指標においてベースラインを一貫して上回りました。TriviaQA データセットにおいて、ACSE はAUROC 0.88を達成し、トークンエントロピーのベースライン（0.65）やコンフォーマル棄却ポリシー（CAP）（0.80）を大幅に上回りました。
安全性指標: ACSE は、高いリコール閾値において低い偽陽性率（FPR）を示しました。例えば、Falcon-7B において、ACSE は FPR@95 を CAP の 0.48 から 0.31 に削減し、受け入れられたハルシネーションを相対的に 35.4% 減少させました。
コンフォーマル保証: ACSE は、競合手法よりも高い受入率を維持しながら、ユーザー指定のカバレッジレベル（ $\alpha$ ）を厳密に遵守しました。 $\alpha=0.10$ において、ACSE は CAP の 65.4% に対して 75.8% の受入率を達成し、平均予測集合サイズ（1.07 対 1.32）が小さく、較正の安定性（SSCV）も優れていました。
不確実性定量化: 視覚的分析により、ACSE は正解とハルシネーションを効果的に分離し、ベースライン手法（SE やトークンエントロピーなど）が高い自信を示した場合でも、ハルシネーションに対して高い不確実性を割り当てることが確認されました。

意義
本論文は、既存の UQ 手法の特定の失敗モード、すなわち表面的な語彙的変化と真の意味的曖昧さを区別できない点、および誤った合意の罠への脆弱性に対処することで、ACSE が安全クリティカルな分野における LLM の信頼性ある展開のための堅牢な解決策を提供すると主張しています。意味分散分析、適応型増幅、コンフォーマル保証を組み合わせることで、ACSE はモデルの再学習を必要とせずにハルシネーションを検出し誤り率を制御するための統計的に厳密なメカニズムを提供します。著者らは、サンプリングと後処理に計算オーバーヘッドが生じるものの、モデルの信頼性が最優先される高リスクなアプリケーションにおいては、このコストは正当化されると位置づけています。