Asking Is Not Enough: Protocol Sensitivity in LLM Confidence Calibration

問題
大規模言語モデル（LLM）の信頼度較正は、高リスク分野での安全な展開において不可欠です。現在の評価では通常、トークン確率スコア（モデル内部のログオッズから導出）と、モデルがテキストで明示的に確率を報告する「言語化された信頼度」という 2 つのシグナルを比較します。先行研究では言語化された信頼度がプロンプト誘発方法に敏感であることが示されていますが、本論文は、言語化された信頼度とトークンベースの信頼度の比較が、しばしば暗黙のうちに置かれる「測定選択」にも極めて敏感であると主張します。具体的には、測定される量は以下の要素に依存します：(1) どの回答文字列にトークン確率スコアを割り当てるか（自己生成 vs 提供）、(2) そのスコアを回答トークンからどのように読み取るか（例：最初のトークン vs スパン平均）、(3) 確率が測定される条件付けコンテキスト（素のクエリ vs 言語化に使用されたプロンプト接頭辞）。著者らは、明示的なプロトコル仕様がなければ、観測される較正ギャップは、モデルの内在的特性やアライメントの向上ではなく、測定アーティファクトを反映している可能性があると提唱します。

手法
著者らは、3 つのオープンな 7–8B ベース/インストラクトモデルファミリー（Llama-3-8B、Mistral-7B-v0.3、Qwen2.5-7B）を用いて、4 つの QA ベンチマーク（TriviaQA、SciQ、TruthfulQA、MMLU）において制御された感度分析を実施し、より大規模な Qwen2.5 変種（14B、32B、72B）で堅牢性の確認を行いました。

本研究では、言語化された信頼度の誘発を固定（0.0–1.0 の単一の連続プロンプトテンプレート）しつつ、トークン確率の比較を定義する「プロトコル軸」を体系的に変化させました：

1. 回答の由来：自己生成された回答と提供された回答（正解、説得力のある誤答、タイプ外誤答）に対して誘発された信頼度を比較。
2. スコア対象回答：モデルが生成した回答に割り当てられたトークン確率と、教師強制された正解参照に割り当てられたトークン確率を比較。
3. トークン読み取り：回答スパンの幾何平均（$T_1$）と、最初の回答トークンの確率（$T_2$）を比較。
4. 条件付けコンテキスト：素のクエリ下で測定されたトークン確率と、言語化プロンプト接頭辞下で測定されたトークン確率を比較。
5. 推定量：標準的な 10 バイン期待較正誤差（ECE）と、バインフリー推定量（KDE-ECE、KS-Cal、Smoothed ECE）を比較。

主要な指標は、符号付き較正ギャップ $g = \text{ECE}(c_{\text{verb}}) - \text{ECE}(c_{\text{tok}})$ であり、負の値は言語化された信頼度の方がよく較正されていることを示します。

主な貢献

1. 固定誘発におけるプロトコル感度：著者らは、言語化された信頼度プロンプトを固定しても、言語化シグナルとトークンシグナルの比較が不安定であることを実証しました。条件付けコンテキストとトークン読み取りの選択は、観測される ECE ギャップを実質的に変化させ、しばしばその符号を反転させます。一方、ECE 推定量の変更はほとんど影響を与えません。
2. 回答の由来と妥当性：本研究は、言語化された信頼度が正しさだけでなく、回答の妥当性と由来を追跡することを明らかにしました。表面妥当な誤答が提供された場合、モデルは提供された正解に対して与える信頼度レベルとほぼ同一のレベルを割り当てますが、タイプ外の不整合は明確に拒絶します。
3. 報告チェックリスト：本論文は、測定の再現性と解釈可能性を確保するため、誘発の由来、スコア対象回答、トークン確率の読み取り、条件付けコンテキストを網羅する、信頼度シグナル比較のための報告チェックリストを提案します。

結果

• 較正ギャップの不安定性：デフォルトの「生成回答、素のコンテキスト」プロトコル下では、インストラクトモデルは言語化された信頼度とトークン信頼度の間でほぼ同等（平均ギャップ $g_A \approx -0.029$）を示し、言語化された信頼度の大規模な較正向上を主張する見解と矛盾します。しかし、条件付けコンテキストをシフト（言語化接頭辞下でトークン確率を測定）すると、インストラクトモデルでギャップが $\approx -0.090$ 変化し、頻繁にギャップの符号が反転します。
• プロトコル効果の大きさ：条件付けコンテキストによって引き起こされるシフトの大きさ（平均絶対シフト 0.28）は、モデルファミリーの変更（0.37）やデータセットの変更（0.17）によって引き起こされる変動に匹敵します。トークン読み取りも有意なシフト（0.11）を引き起こしますが、推定量の選択は最小限のシフト（0.01）しか引き起こしません。
• 由来への感度：提供された回答の分析において、提供された正解と説得力のある誤答との間の信頼度の差はわずか（$\approx +0.021$）ですが、タイプ外誤答の場合は大きいです。これは、言語化された信頼度が真の正しさの推定ではなく、提供されたテキストの妥当性を反映していることを示唆しています。
• 堅牢性：これらの知見は、異なるモデルスケール（最大 72B）、異なるプロンプトスケール（整数 0–100）、および様々な較正指標（Brier、NLL、AUROC）にわたって維持されます。

意義と主張
本論文は、言語化された信頼度もトークン確率も、モデルの不確実性の直接的で文脈から独立した読み取りとして扱うべきではないと主張します。むしろ、両者は測定プロトコルと不可分に結びついた行動測定です。著者らは、アライメントが自己報告される不確実性を改善するというスカラーな主張や、トークン確率に対する言語化された信頼度の優位性に関する主張は、特定の測定構成（回答の由来、読み取り方法、条件付けコンテキスト）が明示的に指定された場合にのみ意味を持つと述べています。本研究は注意喚起的な分析として機能し、コミュニティに対し、較正比較をモデル能力の因果分解ではなく、プロトコル依存の感度分析として扱うよう促します。