技術的サマリー：ECUASn – 不確実性拡張システムの原理的な評価のためのメトリクスファミリー

問題定義

高リスクの自動意思決定において、ユーザー（人間または下流システム）は、アプリケーション固有のコストトレードオフに基づいてシステムの出力を受け入れるか拒絶するかを決定するために、予測の不確実性へのアクセスを必要とする。これらのシステムは不確実性拡張（UA）システムと呼ばれ、候補予測と不確実性スコアの両方を出力する。

現在の文献では、UA システムを断片的なメトリクスを用いて評価している：

1. 予測品質： 精度または誤り率で測定される。
2. 不確実性の品質： 不確実性を誤った答えの予測子として扱う二値分類メトリクス（例：AUC、ECE、ブライアースコア）で測定される。
3. 統合メトリクス： 拒絶閾値を掃引することにより、これらの側面を統合するアプローチ（例：リスク・カバレッジ曲線下面積 AURC）がある。

著者らは、これらのアプローチが不十分であると主張する。個別のメトリクスは、最終的な意思決定を行うユーザーに提供される価値を反映していない。さらに、AURC とその変種は、不確実性スコアの単調変換に対して不変である。これらはランキングを評価するが、相対的な順序が保たれている限り、不適切に較正された（過大または過小評価された）不確実性に対して罰則を与えない。これは、不確実性が正解の確率として解釈されなければならないシステムにおいて、決定的な欠陥である。加えて、既存の手法は、開発中に特定の拒絶コスト（$\gamma$）を固定することを要求することが多く、これは未知であったり、ユーザーやインスタンス間で変動したりする可能性がある。

手法

本論文は、ベイズ意思決定理論に基づいたメトリクスファミリーであるECUASn（不確実性拡張システムのための期待コスト）を提案する。

1. 意思決定理論的基盤

著者らは、UA システムを、候補応答 $\tilde{d}$ と不確実性スコア $u$ を出力する関数 $f^{UA}: \mathcal{X} \to \tilde{\mathcal{D}} \times \mathbb{R}_{\ge 0}$ として定義する。最終的な意思決定 $d$ は、$\tilde{d}$ または拒絶 $d_r$ のいずれかである。

拒絶コスト $\gamma$ に基づくコスト関数 $C_\gamma(y, d)$ を以下のように定義する：
$$C_\gamma(y, d) = \begin{cases} \tilde{C}(y, d) & \text{if } d \in \tilde{\mathcal{D}} \\ \gamma & \text{if } d = d_r \end{cases}$$
ここで、$\tilde{C}$ は真の値 $y$ が与えられた場合の候補応答のコストである。

2. 適切なスコアリング則（PSR）の導出

$\gamma$ を固定することを避けるため、著者らは確率的に解釈可能な不確実性を生成するシステムを評価するメトリクスを構築する。

• ベイズ意思決定： 与えられたコスト関数とクラスにわたる条件付き分布 $q$ に対して、最適な意思決定は期待コストを最小化する。最適な意思決定の期待コストを $u_{\tilde{C}}(q)$ と表記し、これを理論的な不確実性とする。
• 適切なスコアリング則（PSR）： ベイズ意思決定においてコスト関数を評価することで、新しいコスト関数 $C^*_\gamma(y, q)$ が導出される。この関数は適切なスコアリング則であり、予測分布が真の分布と一致するときに期待値において最小化される。この性質により、AURC と異なり、このメトリクスはよく較正された確率を評価する。

3. ECUASn ファミリー

特定の拒絶コストに依存しないメトリクスを作成するために、著者らは、重み関数 $w(\gamma)$ で重み付けられた、可能な拒絶コスト $\gamma$ の範囲にわたって PSR $C^*_\gamma$ を積分する。
$$C^*_w(y, q) = \int_{0}^{u_M} w(\gamma) C^*_\gamma(y, q) d\gamma$$
著者らは重み関数を $w_n(\gamma) \propto \gamma^{n-1}$ とパラメータ化し、ECUASn メトリクスを導出した。パラメータ $n$ はトレードオフを制御する：

• $n=0$： 高い確信度で行われた誤った予測を厳しく罰する（拒絶には高い不確実性が要求される）。これは高リスクシナリオで推奨される。
• $n \to \infty$： メトリクスは標準的な 0-1 誤り率に退化し、不確実性スコア自体の品質に対する感度が低下する。

4. 生成システムへの適用

生成モデルにおいて、「正しさ」の概念は、厳密な文字列一致ではなく、意味的等価クラスにわたって定義される。著者らは、最適な意思決定のためには、不確実性は個々のトークン系列ではなく、これらの等価クラスの分布にわたって計算されるべきであると主張する。これは、意味的エントロピーがより良い不確実性スコアをもたらすという経験的知見に対する理論的根拠を提供する。実際には、生成タスクにおいて、クラスの数 $K$ は無限大に近づくものとして扱われる。

主要な貢献

1. 原理的なメトリクスの代替： 意思決定理論に基づき、AURC を代替するメトリクスファミリー ECUASn の導入。AURC と異なり、ECUASn は確率的に解釈可能な不確実性（適切なスコアリング則）を評価しつつ、特定の拒絶コストに依存しない。
2. 生成不確実性に関する理論的洞察： 個々の予測ではなく、意味的等価クラスから導出された不確実性スコアが生成システムにおいて優れている理由の理論的説明。これはベイズ意思決定コストの構築から直接導かれる。
3. パラメータ化されたトレードオフ： パラメータ $n$ の導入により、実務家はアプリケーション固有のリスクプロファイルに基づいてメトリクスを調整できる（例：高リスクの拒絶シナリオでは $n=0$）。

実証結果

著者らは、多様な分類および生成データセット上で ECUASn を評価した：

• 分類： 言語（AGNews, SST-2）、音声（SITW, FVCAUS）、画像（CIFAR-10/100）データセットを用いた実験。
  • 較正の影響： ECUASn メトリクス（特に低い $n$ の場合）は、事後較正によるシステム品質の向上を成功裏に検出した。一方、AURC はランキングを保存する単調変換に対して不変であるため、多くの場合変化しなかった。
  • 単純なベースライン： ECUASn は、分布 $q$ 上の較正スコア（CE やブライアースコアなど）が良好であっても、予測と不確実性の組み合わせを考慮すると、単純な事前確率ベースのシステムよりも性能が劣るシステムを正しく識別した。
• 生成（TriviaQA & MMLU）： 各種 LLM（Qwen, Ministral, Gemini）と 3 つの信頼性誘発手法（Sequence Posterior, Is True, Verbalized）を用いた実験。
  • メトリクス間の不一致： 信頼性誘発手法のランキングは、使用されるメトリクスによって大きく異なった。例えば、「Verbalized」手法はしばしば最良の誤り率（ER）を持っていたが、較正が不十分だったため、「Sequence Posterior」と比較して高い ECUASn スコア（より悪い性能）を示した。
  • 真の値への感度： 著者らは、自動的な意味的等価ラベリングの誤りを修正するために、TriviaQA のサブセット（455 サンプル）を手動でキュレーションした。自動評価がシステムのランキングを劇的に変化させる可能性があることを示し、慎重な評価プロトコルの必要性を浮き彫りにした。

意義と主張

本論文は、ECUASn が、誤った予測と不完全な不確実性の両方の影響を単一の値に統合することで、UA システムの包括的な評価を提供すると主張する。

• 意思決定理論との整合性： このメトリクスは、出力の統計的性質を測定するだけでなく、不確実性下で意思決定を行うユーザーにとってのシステムの実際の有用性を反映するように設計されている。
• 較正への感度： 確率的解釈可能性を評価することで、AURC の主要な欠陥（ランキングが保存されていれば、よく較正された不確実性と poorly 較正された不確実性を区別できない）に対処する。
• 実用性： このフレームワークにより、ユーザーはリスク許容度に適切な $n$ 値を選択でき、誤って正解を受け入れるコストが甚大な高リスク環境におけるシステム評価のための柔軟なツールとなる。

著者らは、ECUASn はユーザーが意思決定理論的フレームワーク（期待コストの最小化）の下で動作することを前提としているが、不確実性拡張システムの現在の評価慣行に対する、より堅牢で原理的な代替案を提供すると結論づけている。