技術要約：ブラックボックスLLM分類におけるスコア粒度のギャップ

1. 問題提起

大規模言語モデル（LLM）は、選択的予測（selective prediction）に依存する高リスクなパイプライン（例：医療トリアージ、コンテンツモデレーション）において、ブラックボックス分類器としてますます導入が進んでいます。この設定では、オペレーターは信頼度の閾値を設定し、高信頼度の予測を自動化し、不確実なものを人間によるレビューへとルーティングします。

先行研究は、LLMの信頼度が「較正されているか（校正済みか：提示された80%が実際に80%の精度を意味するか？）」、あるいは「正しくランク付けされているか（エラーを正解よりも下に正しく順序付けられているか？）」に焦点を当ててきました。しかし、本論文は、デプロイメントにおける極めて重要かつ見落とされていた次元、すなわち**スコアの粒度（score granularity）**を特定しています。

核心となる問題は、**スコア粒度のギャップ（Score Granularity Gap）**です。信頼度スコアはケースを完璧にランク付けできたとしても、もしそれがわずかな異なる値しか取らないのであれば、きめ細かな制御には役に立ちません。スコアが $V$ 個の異なる値しか提供しない場合、オペレーターは、ランキングがいかに優れていようとも、最大で $V$ 個の非自明な動作点（閾値）しか定義できません。これは、滑らかなダイヤルではなく、「粗い階段状」のリスク・カバレッジ・トレードオフを生み出し、特定の誤差予算に対するシステムの柔軟性を損なわせます。

2. 手法

実験設定

本研究では、25のモデル–データセットのペア（3つのベンチマーク：BoolQ、MNLI、PubMedQAにおける、強弱の異なる9つのLLM）にわたり、7つの信頼度構成法を評価しています。モデルは、強力なもの（例：GPT-4o-mini、Llama-3.1-70B）から弱いもの（例：GPT-5-nano、Llama-3.1-8B）まで多岐にわたります。

信頼度の構成法

著者らは、以下の2つのカテゴリに分類される手法を比較しています。

1. シングルショット（1回のモデルコール）:
   • Verb（言語化）: クラス確率に変換された言語化された信頼度（$\hat{y}=0$ の場合の負のクラス予測については $P(pos) = 1-c$ として処理）。
   • Verb-logprob（言語化＋対数確率）: （APIアクセスが可能な場合における）最初のトークンの対数確率。
   • Verb-logprob+T（言語化＋対数確率＋温度スケーリング）: 事後的な温度スケーリングを適用した対数確率。
2. マルチシグナル（1入力あたり10回のモデルコール）:
   • サブタスク分解（Sub-task Decomposition）: モデルに対し、設計された解釈可能な10個の「はい/いいえ」のサブ質問（例：「語彙的重複」、「意味的含意」）に回答させる。
   • マルチプロンプト・パラフレーズ（Multi-Prompt Paraphrase）: 元のプロンプトのパラフレーズされた10個のバージョンに対してモデルが回答する。
   • 集計（Aggregation）: 10個のスカラー値を以下の方法で結合する：
     • 単純平均（Simple Averaging）: 素朴な平均。
     • 学習済み結合（Learned Combination: LR）: 重みと符号を学習するためのL2正則化を用いたロジスティック回帰。
     • 校正（Calibration）: ロジスティック回帰のロジットに適用される温度スケーリング。

指標

研究では、以下の3つの軸に沿ってスコアを評価しています。

1. ランキングの質: PR-AUC（および正規化PR-AUC$_N$）およびAURC（Area Under Risk-Coverage）によって測定。
2. スコアの解像度: 以下によって測定：
   • 粒度（Granularity: $G$）: 異なるスコア値の数。
   • スコア・エントロピー（Score Entropy: $H$）: 20個のビンへの分布の広がり。
   • 内部質量（Interior Mass: $M$）: 有用な範囲 $(0.1, 0.9)$ 内にあるスコアの割合。
3. コストと解釈可能性: モデルコールの数、および推論過程を監査できる能力（サブタスクはこれを提供し、パラフレーズは提供しない）。

3. 主な結果

粒度のギャップ

• 言語化された信頼度（Verb）: 驚くほど高いランク付け性能を示す（平均正規化PR-AUC$_N$ = 0.80）が、極めて粗い。通常、1〜21個の異なる値しか提供せず（平均 $G=9$）、45%のケースが最も一般的な値を共有している。これにより、オペレーターは概ね9個の閾値しか設定できず、階段状のリスク・カバレッジ曲線が形成される。
• 解像度 vs ランキング: 高いランキング性能は、高い解像度を意味しない。スコアはケースを完璧に順序付けできても、異なる値が不足していれば、閾値設定には使用できない。

集計の効果

• 解像度の拡大: マルチクエリ集計（Sub-cal, MP-LR）は一貫して解像度を拡大し、$G$ を平均138に増加させ、内部質量（$M \approx 45\%$）を埋める。
• ランキングへの影響は選択的:
  • 弱いモデル: 集計は、精度 $\lesssim 85\%$ のモデルにおいてランキングを改善する。
  • 強いモデル: 集計は、強いモデル（精度 $\gtrsim 90\%$）においてランキングを低下させる可能性がある。学習された重みが、既に優れた言語化スコアのランキングを乱し、18組の強力なモデルのペアのうち13組でAURCを悪化させる。
• 学習済み vs 素朴な手法: 単純平均は（例えばMNLIにおいてチャンスレベル近くまで低下するなど）しばしば失敗する。これはサブタスク間の極性が相反するためである。信号を回復するために、正しい符号と重みを割り当てる学習済みロジスティック回帰が不可欠である。

解釈可能性

• サブタスク vs パラフレーズ: パラフレーズ集計（MP-LR）は、ランキングにおいてサブタスク集計（Sub-LR）と同等またはそれを上回る性能を示すことが多い。しかし、サブタスクはデプロイメント特性を提供する：重みの透明性、エラーの帰属、および監査証跡（各サブスコアの根拠）である。
• 失敗モード: 設計されたプローブがラベルを追跡していない場合（例：特定のモデルがBoolQで崩壊する場合）、サブタスクは失敗する可能性があるが、これらの失敗はブラックボックスなパラフレーズ・アンサンブルのようなサイレントな失敗とは異なり、可視化され監査可能である。

トークン確率

• 利用可能な場合、生の対数確率は言語化されたスコアよりも高い解像度を提供する。事後的な温度スケーリングは、1倍のコストで、解像度（$G$ を51〜69に増加）と低エラー率でのカバレッジを大幅に改善する。

4. デプロイメント・ガイダンス

本論文は、モデルの強さと制約に基づいた意思決定手順を提案している：

1. 常に言語化された信頼度をクラス確率に変換すること。
2. 対数確率が利用可能な場合: それを使用し、温度スケーリングを適用すること（コストと解像度の最適なトレードオフ）。
3. モデルが弱い場合（精度 $\lesssim 85\%$）: ランキングと解像度の両方を改善するために、マルチクエリ集計（10倍のコスト）を使用すること。
4. モデルが強い場合（精度 $\gtrsim 90\%$）: リスク・カバレッジ（のために）言語化された信頼度を維持すること（劣化を避けるため）。集計は、きめ細かな閾値制御が厳格に求められる場合にのみ使用すること。
5. 解釈可能性が必要な場合: パラフレーズよりもサブタスク分解を優先すること。これにより、ランキングを犠牲にすることなく（MP-LRに対して）、透明性が得られる。

5. 意義と主張

本論文は、LLMの信頼性の評価パラダイムを、バイナリな「それは信頼できるか？」から、デプロイメント指向の「どの程度の解像度で実行可能か？」へと転換することを主張している。

• 「信頼性の低さ」の再定義: 「LLMの信頼度は信頼できない」というナラティブは、信頼度をクラス確率と混同し、解像度を無視していることによるアーティファクト（人工物）である部分がある。一度変換すれば、言語化された信頼度はよくランク付けされるが、粒度が低いのである。
• トレードオフの明確化: 本研究は、ランキング、グローバルなリスク・カバレッジ、および閾値の制御可能性を明示的に分離している。集計は、動作点（より細かな制御）を確実に購入できる一方で、ランキングを普遍的に改善するわけではなく、むしろ強いモデルには害を与える可能性があることを示している。
• 特性としての解釈可能性: 著者らは、解釈可能性はランキング上の利点ではなく、サブタスクのスコアを通じて達成される、規制された領域に必要なデプロイメント特性であると主張している。

著者らは、将来の評価においては、ランキング指標とともに、解像度指標（粒度、エントロピー、内部質量）を報告しなければならないと結論付けている。なぜなら、完璧にランク付けされていても、わずかな数の閾値しか提供できないスコアは、デプロイメントの準備ができているとは言えないからである。