💬 NLP

Clustered Self-Assessment: A Simple yet Effective Method for Uncertainty Quantification in Large Language Models

本論文は、サンプリングされた生成物を意味的な選択肢へとクラスタリングすることで自己評価を行う「Clustered Self-Assessment」という、シンプルかつ効率的な手法を提案しており、これは最小限の追加サンプリングであっても既存のベースラインを一貫して上回る精度で大規模言語モデルにおける不確実性の定量化を改善するものである。

原著者： Qi Cao, Takeshi Kojima, Andrew Gambardella, Helinyi Peng, Yutaka Matsuo, Yusuke Iwasawa

公開日 2026-06-03

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Qi Cao, Takeshi Kojima, Andrew Gambardella, Helinyi Peng, Yutaka Matsuo, Yusuke Iwasawa

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、非常に賢く、博識な友人（大規模言語モデル、またはLLM）に質問をしているところだと想像してください。彼らは即座に、完璧な文法と絶対的な自信を持って答えてくれます。しかし、ここには落とし穴があります。時として、彼らは自信満々に間違えることがあるのです。まるでエッフェル塔がパリにあると伝える時と同じくらい確信に満ちた口調で、「エッフェル塔はベルリンにある」と言い放つかもしれません。

問題は、彼らが真実を述べているのか、それとも単に「もっともらしく聞こえる嘘」を捏造（ハルシネーション）しているのか、あなたには判断する術がないということです。

この論文は、あなたのAIの友人の答えをどの程度信頼すべきかを判断するための、**クラスター化自己評価（Clustered Self-Assessment）**というシンプルなトリックを紹介しています。

問題点：「自信満々な嘘つき」

現在のAIモデルは、会話は得意ですが、自分が何を知らないかを認めることは苦手です。「どの程度自信がありますか？」と尋ねると、たとえ間違っていたとしても、「100%の自信があります！」と答えることがよくあります。他の手法では、同じ質問を10回投げかけた際にAIがどれほど異なる回答を出すかを見ることで自信度を推測しようとしますが、これらの手法は理解しにくかったり、AI自身の「脳」を効果的に活用できていなかったりします。

解決策：「多肢選択式テスト」

著者らは、AIに自分の仕事をチェックさせるための、巧妙な2ステップのゲームを提案しています。

ステップ1：「ブレインストーミング」セッション
まず、AIに同じ質問を数回（あと数回追加するだけで十分です）投げかけます。

比喩： あなたの友人に、「エッフェル塔はどこにありますか？」と5回連続で尋ねるとします。彼らは「パリ」、「フランスのパリ」、「フランスの首都」、「ベルリン」、「ローマ」と答えるかもしれません。

ステップ 2：「グルーピング」ゲーム
次に、それらの回答を取り上げ、同じ意味を持つものをグループ化します。

比喩： あなたは「パリ」、「フランスのパリ」、「フランスの首都」がすべて同じことを言っていることに気づきます。これらを一つの山に入れます。「ベルリン」と「ローマ」は異なるので、それぞれ独自の山になります。これで、「パリ・グループ」、「ベルリン・グループ」、「ローマ・グループ」という3つの明確なグループができました。

ステップ 3：「クイズショー」
ここで、これをAIに投げ返します。元の質問を提示しますが、今度は、先ほど作ったグループを選択肢とする多肢選択式のクイズとして提示します。

質問： 「エッフェル塔はどこにありますか？」
選択肢：
- A) パリ・グループ
- B) ベルリン・グループ
- C) ローマ・グループ
- D) 上記のいずれでもない

ステップ 4：「自信度スコア」
最後に、AIに答えを選ばせます。ここで魔法が起こります。AIが選んだ選択肢に対して割り当てた数学的な確率を確認するのです。

もしAIが「A（パリ）」を選び、それに95%の確率を与えたなら、それは「私はこのグループが正しいということに非常に自信がある」と言っていることになります。
もしAIが「A」を選んだとしても、それが40%の確率しか与えず、A、B、Cの間で迷っているなら、それは「どのグループが正しいのか、実はよく分からない」と言っているのです。

なぜこれが重要なのか

この論文は、この手法が以下の3つの理由で勝者であると主張しています。

速くて安い： 良い結果を得るために、AIに16回も質問する必要はありません。わずか2つの追加サンプル（質問を2回追加で投げること）だけで、16回質問する他の手法を凌駕する結果が得られます。それは、長いランチ休憩の代わりに、手早いコーヒーブレイクで素晴らしい答えを得るようなものです。
理解しやすい： 「エントロピー：0.84」のような混乱を招く数学的スコアを与える代わりに、単純なパーセンテージ（例：「85%の自信」）を提供します。これは、人間が答えを信頼すべきかどうかを判断するために実際に使えるものです。
より優れている： 研究者たちが異なるAIモデルや異なる種類の質問（トリビアからニュースの要約まで）を用いてテストしたところ、この手法は、他の人気のある手法よりも一貫してAIの自信度を正確に予測しました。

落とし穴（限界）

著者らは、その欠点についても正直に述べています。

「ブラックボックス」問題： これを行うには、AIの内部的な数学（ロジット）を見る必要があります。もし、内部構造が見えないクローズドなAI（有料APIなど）を使用している場合、この手法は使えません。
「レフェリー」のコスト： ステップ2で回答をグループ化するために、別の小さなAIモデルをレフェリーとして使用します。これは、わずかながら追加の作業を伴います。
「キャリブレーション（較正）」ステップの欠如： この手法は、AIが提供する生の数値を使用しています。それらはうまく機能していますが、著者らは、最終的な「チューニング」ステップを加えることで、さらに完璧にできる可能性があると認めています。

まとめ

要約すると、この論文は、AIがどの程度確信しているかを推測するのではなく、AI自身の以前の回答に基づいた多肢選択式テストを受けさせるべきだと提案しています。AIが他の選択肢に対してどれほど強く一つの選択肢を選んでいるかを見ることで、私たちは、いつAIを信頼し、いつ再確認すべきかを教えてくれる、明確でシンプルかつ非常に正確な「自信メーター」を手に入れることができるのです。

技術要約：LLMにおける不確実性定量化のためのクラスタリング自己評価

問題提起

大規模言語モデル（LLM）は多様なタスクにおいて驚異的な性能を示すが、流暢でもっともらしく見える一方で、事実とは異なる回答を生成することが頻繁にある。この「ハルシネーション（幻覚）」問題は、ヘルスケア、法律、科学研究などの極めて重要な領域において特に深刻である。これらのリスクを軽減する上での大きな障壁は、明示的かつ信頼できる不確実性の推定値が欠如していることである。不確実性を定量化するための既存の手法は、サンプリングされた生成結果のエントロピーや意味的偏差指標といった間接的な信号に依存することが多い。これらのアプローチには主に2つの限界がある：

解釈可能性： エントロピーベースの指標などの間接的なスコアは、エンドユーザーにとって解釈が難しく、実用的な有用性が限られる。
内部知識の未活用： 多くの手法は、LLM自身の知識に対する内部的な理解を活用することなく、出力の不一致を測定している。さらに、LLMに不確実性を直接言語化させようとする試みは、モデルの過信というよく知られた問題により失敗することが多い。

手法：クラスタリング自己評価

著者らは、LLMに生成した回答を評価させるプロンプトを用いることで、不確実性を引き出し、定量化するために設計された2段階の手法である**クラスタリング自己評価（Clustered Self-Assessment）**を提案している。このプロセスは、不確実性推定の問題を、構造化された多肢選択式（MCQ）タスクへと変換するものである。

ステージ1：回答のクラスタリング

与えられた入力質問に対し、LLMは複数の回答（サンプル）を生成する。意味的な冗長性を減らしつつ多様性を保持するために、これらのサンプルは意味的に明確なクラスターへとグループ化される：

意味関係の推定： 外部の自然言語推論（NLI）モデル（具体的には deberta-large-mnli）を使用して、サンプリングされた回答間のペアごとの意味関係を推定する。各ペア $(a_i, a_j)$ に対して、NLIモデルは「含意（entailment）」、「中立（neutral）」、「矛盾（contradiction）」といったラベルを予測する。
クラスタリングのロジック： この手法は、双方向のNLIラベルに対してルールベースのフィルタリングを採用している。2つの回答が同じクラスターにグループ化される条件は、その双方向の関係に「矛盾」が含まれず、かつどちらかの方向において少なくとも1つの「含意」が含まれている場合である。
代表的な選択： 各クラスターは、単一の回答（通常はクラスターに最初に割り当てられたもの）によって代表される。このプロセスにより、最終的な選択肢のセットは、回答の些細なバリエーションではなく、意味的に明確に異なる候補回答を表すことが保証される。

ステージ2：MCQによる自己評価

クラスタリングされた回答は、構造化されたMCQの構築に使用される：

問題の定式化： 元の質問が、各クラスターの代表的な回答（例：オプションA、オプションB、オプションC）とともに提示される。
安全策としての選択肢： 生成されたすべてのクラスターが誤っている場合、あるいはモデルが高い不確実性を持っている場合を考慮して、「上記のいずれでもない（None of the above）」という追加の選択肢が含まれる。
信頼度スコアリング： 構築されたMCQは、元のLLMに再度入力される。特定の選択肢（モデルの主要な回答（greedy-decoded）に対応するもの）に対して割り当てられたトークン確率が、信頼度スコアとなる。
- 正式には、 $c_{i^*}$ を正しい選択肢のトークンラベルとすると、信頼度スコア $S$ は $P(c_{i^*})$ である。

主な貢献

自己評価の引き出し： 本手法は、サンプリングされた生成結果をMCQ形式に構造化することで、LLMの内部的な不確実性表現を活用する。これにより、モデルは間接的な統計的プロキシに頼ることなく、自身の回答の正当性を明示的に評価できるようになる。
優れた性能と効率性： このアプローチは、複数のモデルおよびデータセットにおいて、既存のベースライン（Semantic Entropy、EigenScore、SARを含む）を一貫して上回る性能を示す。特筆すべきは、わずか2つの追加サンプルで競争力のある性能を実現しており、一部のベースラインが最大16個のサンプルを必要とするのに対し、計算オーバーヘッドを大幅に削減している点である。
人間による解釈可能性： 特定の選択肢のトークン確率を信頼度スコアとして使用することで、本手法はユーザーにとって直感的であり、回答が正しい確率に直接対応する指標を提供する。

実験結果

本手法は、7つの最先端のオープンソースモデル（Qwen-2.5、Qwen-3、およびGemma-3シリーズ）と3つのデータセット（TriviaQA (TQA)、Natural Questions (NQ)、XSum (要約)）を用いて評価された。

精度 (AUROC)： 本手法は、すべてのモデルとデータセットにおいて最高のAUC-ROC（AUROC）を達成した。例えば、Qwen2.5-32Bを用いたTQAでは、AUROC 0.940 を達成し、次に優れたベースラインであるDeg（0.848）を上回った。
サンプルの効率性： 最小限のサンプリングにおいても性能は堅牢であった。わずか2つの追加サンプルで、8個または16個のサンプルを使用したベースラインを上回る性能を示した。
較正（キャリブレーション）： Brierスコアを用いた検証において、本手法は確率ベースのベースライン（P(True)および生の確率）と比較して優れた較正性を示し、信頼度スコアが経験的な正解性とよく一致していることを証明した。
プローブ訓練： LLMの隠れ状態から不確実性を予測するためのプローブの訓練信号として使用した場合、本手法のスコアを用いることで、推論時に正解ラベルを必要とせずに、アウトオブディストリビューション（分布外）の設定においてベースラインを上回る性能を実現した。

意義と限界

本論文は、クラスタリング自己評価が、不確実性の定量化における実用的、効果的、かつ計算効率の高いソリューションを提供すると主張している。問題を自己評価タスクに変換することで、モデルの内部知識とユーザーが解釈可能な信頼度指標との間の溝を埋めている。

著者らは以下の特定の限界を認めている：

ロジットへのアクセス： 本手法は出力ロジットへのアクセスを必要とするため、クローズドソースのモデルでは利用できない可能性がある。
外部への依存： クラスタリングのために外部のNLIモデルに依存しており、これが計算オーバーヘッドと潜在的な意味的不整合をもたらす。著者らは、将来の研究において、クラスタリングのためにLLM自身の内部表現を活用できる可能性があると示唆している。
較正： 本手法は事後的な較正を行わずに生のソフトマックス確率を使用しているが、すでに強力な性能を示している。

結論として、本論文は、構造化された自己省察を通じてモデルに自身の不確実性を評価させることで、LLMの出力の信頼性を高める、シンプルかつ堅牢なフレームワークを提示している。