💬 NLP

Evaluating and Calibrating LLM Confidence on Questions with Multiple Correct Answers

本論文は、既存の信頼度較正手法は、複数の正解を持つ質問に対しては系統的な過小評価が生じるため、大規模言語モデルにおいては失敗することを特定し、単一回答および複数回答の両方のシナリオにおいて堅牢な較正を実現するための新しいベンチマーク（MACE）と意味的信頼度集約（SCA）手法を提案するものである。

原著者： Yuhan Wang, Shiyu Ni, Zhikai Ding, Zihang Zhan, Yuanzi Li, Keping Bi

公開日 2026-06-03

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yuhan Wang, Shiyu Ni, Zhikai Ding, Zihang Zhan, Yuanzi Li, Keping Bi

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大きな問題：「正しいこと」が「混乱」に見えてしまうとき

あなたがトリビア・クイズを受けている場面を想像してください。

シナリオA： 問題は「『ハムレット』を書いたのは誰か？」です。正解はたった一つ、シェイクスピアです。あなたが「シェイクスピア」と答えれば、それは正解であり、あなたは非常に自信を持っていると感じます。
シナリオB： 問題は「赤い果物を挙げて」です。正解はたくさんあります：リンゴ、イチゴ、チェリー、ラズベリーなど。

この論文は、現在の大型言語モデル（LLM）がこのシナリオBで混乱してしまうと主張しています。

モデルが複数の正解（リンゴ、イチゴ、チェリーなど）があることを知っているとき、モデルは「票を分散」させてしまう傾向があります。例えば20回試行したとき、「リンゴ」と6回、「イチゴ」と6回、「チェリー」と6回答えるといった具合です。毎回たった一つの答えを選び取れたわけではないため、モデルの内部的な「自信メーター」は低下してしまいます。モデルは、「おっと、どれを選べばいいか分からない。だから自分は確信が持てないのだ」と考えてしまうのです。

皮肉なこと： シナリオBの方が（正解の選択肢が多いため）実際には正解する確率が高いのですが、モデルの自信メーターは低く表示されてしまいます。これは、店に行くためのルートを3つ知っているのに、たった一つのルートに絞り込めないために、自分が道に迷っていると思い込んでしまう人のようなものです。

新しいツール：MACE（「マルチアンサー」テスト）

この問題が存在することを証明するために、研究者たちはMACEと呼ばれる新しいテストを構築しました。MACEを、複数の正解を持つ質問を扱う能力をテストするための、専門的な「ジム」だと考えてください。

セットアップ： 彼らは、賞、政治的役職、河川など、6つのトピックにわたる12,000の質問を作成しました。
ひねり： すべてのトピックにおいて、正解がちょうど1つ、2つ、4つ、または6つの質問を作成しました。
目的： 正解の数が増えても、モデルの自信スコアが正確に保たれるかどうかを確認することです。

彼らが発見したこと：「ビッグブレイン」のパラドックス

彼らは、4つの異なるファミリーのAIモデル（小型から超大規模まで）に対して、自信を測定する15通りの方法をテストしました。その結果、以下のことが判明しました。

精度は上がるが、自信は下がる： 正解の数が増えるにつれて（1つから6つへ）、モデルはより頻繁に正解を出せるようになりました。しかし、推定される自信（コンフィデンス）は大幅に低下しました。
大きなモデルほど苦戦する： 最も賢い巨大なモデル（70億パラメータ級のものなど）ほど、最も混乱していました。知識が豊富なため、より多様な正解を生成できてしまうからです。この多様性が、自信チェッカーに対して「優柔不断」に見せてしまい、結果として自信スコアを暴落させてしまいます。
「信頼の危機」： 正解が1つのものと6つのものが混在する現実世界の混合問題において、既存の最良な手法さえも失敗しました。モデルがいくつかの異なる正解のバリエーションを提示しただけで、それらを「信頼できない」と判定してしまったのです。

解決策：SCA（「チーム投票」方式）

研究者たちは、**SCA（Semantic Confidence Aggregation：意味的自信集約）**という新しい手法を提案しました。

従来の方法（「トップ・ドッグ」方式）：
ほとんどの手法は、モデルが出した中で最も人気のある単一の回答に注目します。もしモデルが20個の回答を出し、そのうち10個が「リンゴ」で、別の10個が「イチゴ」だった場合、従来の方法はこう言います。「一致率は50%しかない。君は自信がないのだ。」

新しい方法（SCA — 「チーム投票」方式）：
SCAは、モデルが出したすべての正解の「合計確率」を見ます。

回答を意味ごとにグループ化します（例：「リンゴ」系の回答は一つのグループ、「イチゴ」系の回答は別のグループ）。
すべての正解グループの自信スコアを合算します。
結果： たとえモデルが「リンゴ」と「イチゴ」の間で票を割いていたとしても、SCAは「赤い果物」に対する総投票数が100%であることを認識します。これにより、「ああ、モデルは自信を持っている。ただ、有効な選択肢がいくつかあるだけなのだ」と理解できるのです。

まとめ

問題点： 現在のAI自信測定ツールは、複数の正解があることを「AIが確信を持てていない」と勘違いしてしまいます。
解決策： 新しいSCA手法は、最も人気のある回答だけでなく、すべての有効な回答の自信を合算することで、この問題を解決します。
結果： SCAは、正解が多い質問に対してもうまく機能し、かつ正解が1つしかない質問の精度も損ないません。これにより、AIが多くの方法で正解しているときでも、自信を持って振る舞えるようになります。

要するに、この論文は「AIにとって、多くの方法で正解することは、自信がないことと見なされるべきではない。ただ、投票の数え方を改善する必要があるだけだ」ということを教えてくれています。

技術要約：複数正解を持つ質問におけるLLMの信頼度評価とキャリブレーション

問題提起

信頼度のキャリブレーション（校正）は、大規模言語モデル（LLM）の信頼性において極めて重要であり、モデルが表明する自信が、実際の予測性能と一致することを保証するものである。既存の学習フリーなキャリブレーション手法は、単一回答の質問応答（QA）においては広く研究されてきたが、本論文は、複数の正解が存在する質問に適用した場合に発生する決定的な失敗モードを特定している。

核心となる問題は、確率質量の分散（probability mass split）である。単一回答の設定では、応答の一貫性（サンプリングされた出力間の合意）は信頼性の信頼できるプロキシ（代理指標）となる。つまり、モデルが答えを「知って」いれば、出力は収束する。しかし、複数回答の設定では、モデルは等しく正しいがテキスト的には異なる複数の回答（例：頭痛の薬として「イブプロフェン」と「アセトアミノフェン」）を生成する場合がある。既存の一貫性ベースの手法は、この自然な多様性を不確実性や不一致と解釈してしまい、結果として信頼度を系統的に過小評価してしまう。その結果、モデルは事実としては正しいにもかかわらず、信頼できないと判定され、深刻なミスキャリブレーションを引き起こす。この現象は、より広範な知識範囲を持ち、したがってより多様な正解を生成する可能性が高い大規模モデル（例：70B以上のパラメータを持つモデル）において特に顕著である。

手法

1. MACEベンチマーク

この現象を体系的に研究するために、著者らはMACE (Multi-Answer Confidence Estimation) を導入する。これは、Honorable Award、Political Office、Regional Affiliation、Mathematical Concept、Natural River、Linguistic Cultureの6つのドメインにわたる12,000の事実に基づく質問で構成されている。

構築: Wikidataのトリプレットから制御されたテンプレートを用いて質問を生成している。
カーディナリティ（基数）の制御: 本ベンチマークは、正解の数（1、2、4、または6個の正解。それぞれ1a、2a、4a、6aと表記）によって質問を明示的に分類している。
品質管理: ヒューリスティックなフィルタリング（人気度と妥当性）とドメインエキスパートによる手動検証を含む厳格なパイプラインにより、網羅的な正解セットを確保している。これは、網羅的な正解や制御されたカーディナリティを欠く既存のベンチマークの限界に対処するものである。

2. 実験的評価

著者らは、15の代表的なキャリブレーション手法を、7Bから72Bのパラメータ範囲にわたる4つのLLMファミリー（LLaMA、Qwen、DeepSeek、GPT）にわたって評価した。

テストされた手法:
- シングルターン: トークンレベルの確率（エントロピー、パープレキシティ）、言語化された信頼度（Verb）、および一貫性ベースの手法（Consistency、Semantic Entropy）。
- ダブルターン: 自己評価手法（PTrue、Self-Ask）。これは、モデルが2回目のパスで自身の回答を検証するものである。
指標: 信頼度推定の質を測定するために、精度（Accuracy）とAUROC（受信者動作特性曲線の下辺面積）を使用。

3. 提案手法：Semantic Confidence Aggregation (SCA)

確率質量の分散によって引き起こされるミスキャリブレーションに対処するため、著者らはSemantic Confidence Aggregation (SCA) を提案する。

核心となるアイデア: 単一の最も自信のある応答に依存したり、多様性にペナルティを与えたりするのではなく、SCAはすべての高確率な有効な回答の信頼度を集約する。
メカニズム:
1. 質問に対して複数の応答（ $N$ ）をサンプリングする。
2. 意味的な類似性に基づいて応答をクラスタリングする。
3. 各クラスター内のすべての応答のトークンレベルの生成確率を合計することで、クラスターの信頼度（ $C_m$ ）を計算する： $P(C_m) = \sum_{s \in C_m} p(s)$ 。
4. しきい値 $\tau$ を用いて低確率のクラスター（ノイズ）を除外する（ただし、実験では $\tau=0$ で十分なことが多い）。
5. 最終的な信頼度スコアは、残った有効なクラスターの確率の総和である： $Conf_{SCA} = \sum_{C_m \in C_{valid}} P(C_m)$ 。
利点: このアプローチは、正解の多様性をバグではなく特徴として扱い、モデルが複数の有効な意味的クラスターに確率質量を分散させている場合でも、高い信頼度スコアを維持する。

主な結果

1. 信頼度と精度のパラドックス

実験により、直感に反する傾向が明らかになった。正解の数が増えるにつれて（1aから6aへ）、QAの精度は向上する（質問が経験的に容易になる）一方で、推定される信頼度はほぼすべての手法において一貫して低下する。

大規模モデルへの影響: 大規模モデル（例：LLaMA-70B）は、小規模モデル（例：LLaMA-8B）よりも深刻な信頼度の低下を経験する。これは「知識のカバレッジ」に起因する。大規模モデルはより多くの知識を内面化しているため、より広範な有効な回答を生成し、それがより大きな確率質量の分散と一貫性スコアの低下を引き起こす。

2. 既存手法の失敗

混合回答設定（1、2、4、6個の回答を持つ質問を組み合わせた設定）において、最先端（SOTA）のキャリブレーション手法は崩壊する。

一貫性ベースの手法（例：Semantic Entropy、Consistency）は、回答の多様性を不確実性と誤認するため、AUROCが大幅に低下する。
ダブルターン手法（例：PTrue）は、検証を生成から切り離しているため高い安定性を示すが、依然として全体的なキャリブレーション性能において提案されたSCAを上回ることはできない。

3. SCAの性能

SCAは、単一回答の質問においても強力な性能を維持しつつ、混合回答設定において最先端のキャリブレーション性能を達成する。

LLaMA-3.1-70B-Instructモデルにおいて、SCA（ $\tau=0$ ）は、完全混合設定（[1,2,4,6]）で76.7のAUROCを達成し、次に優れたベースライン（Perplexityの73.8）を上回った。
SCAはしきい値 $\tau$ に対して頑健であり、効果を得るために複雑なクラスタリングやフィルタリングを必要としない。単にサンプリングされたすべての応答にわたってトークンレベルの確率を合計するだけで、最適な結果が得られることが多い。
この手法は、モデルのスケール（7Bから72B）およびファミリー（Qwen、LLaMA）を横断して汎用性を持つ。

意義と主張

本論文は、信頼度キャリブレーションを、制約のある単一回答QAの設定から、正解の数が混在するより一般的で現実的なシナリオへと進化させることを主張している。

ベンチマークの貢献: MACEは、網羅的な正解、複数回答の質問、および制御された回答カーディナリティを備えた最初のベンチマークを提供することで、文献における重要な空白を埋め、確率質量の分散の診断を可能にした。
方法論的洞察: 本研究は、応答の一貫性の欠如が必ずしも低い信頼度を意味するわけではないことを示している。複数回答の文脈においては、それはむしろモデルがより広範な有効な知識にアクセスできる能力を反映している。
実用的な影響: SCAを提案することで、著者らは、正しく多様な応答が信頼できないものとして誤って罰せられる「信頼の危機」を防ぐ、学習フリーで計算効率の高い手法を提供している。これは、質問に複数の正解が存在することが多い実世界のアプリケーションにLLMをデプロイする上で不可欠である。

著者らは、自らのベンチマークが難易度を制御するために定型的なプロンプトテンプレートを使用しており、それが自然な多様性を犠牲にしていること、また現在の評価が英語の短文形式の事実回答に限定されていることを認め、限界事項に対して謙虚な姿勢を保っている。彼らは、多言語コンテキストや長文生成への拡張が必要な今後の課題として挙げている。