技術要約：意思決定に整合した不確実性定量化の評価

問題提起

機械学習における不確実性定量化（UQ）は、安全性が極めて重要な領域において信頼できる意思決定を行うために不可欠である。しかし、現在のUQ手法の評価は、負の対数尤度（NLL）、ブライア・スコア（BS）、期待較正誤差（ECE）といった一般的なサロゲート指標に依存している。ここには根本的な乖離が存在する。すなわち、標準的なこれらの指標において高いパフォーマンスを示すことが、必ずしもダウンストリームの意思決定問題における高い有用性に直結するわけではないということである。著者らは、現在の評価プロトコルは、特定の（しばしば病理的な）コストに関する事前知識を暗黙的にエンコードしているか、あるいは意思決定ユーティリティと全く整合していないため、「誤った」ダウンストリームの世界に対して最適化してしまうリスクがあると主張している。

手法

本論文では、評価指標とダウンストリームの意思決定ユーティリティとの関係を分析するための、**意思決定整合（decision-alignment）**と呼ばれる形式的なフレームワークを導入する。

1. 意思決定整合基準

指標 $M$ が、意思決定ユーティリティの族 $\{U_\theta\}_{\theta \in \Theta}$ に対して意思決定整合的であるとは、ユーティリティ・パラメータ $\theta$ に関する事前分布 $\pi$ が存在し、その指標の値が、その事前分布の下での期待ユーティリティの厳密に単調増加な変換である場合を指す。形式的には以下の通りである：
$$h_y(M_y(f)) = \int_{\Theta} -U_{\theta, y}(f) \pi(\theta) d\theta$$
ここで、$h_y$ は厳密に単調増加な関数である。これは、整合的な指標が、暗黙の事前分布 $\pi$ の下での期待ユーティリティと全く同じようにモデルをランク付けすることを意味する。

2. 一般的な指標の分析

著者らは、分類および回帰タスクにおける標準的なUQ指標に対してこのフレームワークを適用し、以下のような意思決定ファミリーを検討した：

• 二値決定： コストに敏感な分類（例：医療診断）。
• Top-k 選択： 高い信頼度を持つ予測のサブセットを選択すること（例：レコメンダーシステム）。
• 選択的予測： 不確実性に基づいて予測を行うか、あるいは棄却するかを決定すること（例：人間の専門家に委ねる）。

分析の結果、以下のことが明らかになった：

• 座標依存型指標： ECE、MCE、R-AUC、E-Det などの指標は、ポイントワイズに分離可能な（pointwise-separable）ユーティリティ・ファミリーに対して意思決定整合的ではない。なぜなら、これらは予測をデータセット間で結合してしまい、標準的な意思決定ユーティリティとの整合に必要な分離性を損なうからである。
• 固有スコアリング則（PSR）： NLL や BS は固有スコアリング則であるが、これらは特定の、しばしば病理的な事前分布の下でしか意思決定整合的ではない。例えば：
  • NLL は、$\pi(c) \propto 1/(c(1-c))$ という事前分布を暗示しており、一方の誤差タイプが実質的に無料であるような極端なコスト比に無制限の質量を置いている。
  • 正解率（Accuracy）は、完全に対称なコストを仮定する退化した事前分布を暗示している。
  • BS は一様分布を暗示しており、これは現実世界のコストの非対称性を反映していない可能性がある。
• 病理的な事前分布： 標準的な指標が持つ暗黙の事前分布は、不確実性定量化が最も必要とされない領域（例：自明な決定境界）に質量を置いたり、非現実的なコスト構造を想定したりすることが多い。

3. 提案される解決策：事前分布加重ユーティリティ（PWU）指標

これらの不整合に対処するため、著者らは事前分布加重ユーティリティ（PWU）指標を提案する。これらは、現実的な意思決定コンテキストを反映する妥当な事前分布 $\pi$ に対してダウンストリームのユーティリティ関数を明示的に積分することによって構築される、固有スコアリング則の一種である：
$$M_\pi(f, y) = \int_{\Theta} -U_\theta(f, y) \pi(\theta) d\theta$$
標準的な指標とは異なり、PWU 指標は、研究者が意思決定コンテキスト（ユーティリティ・ファミリーを通じて）と、意思決定パラメータに関する信念（事前分布を通じて）を明示的に定義することを可能にし、これにより指標が本質的に意思決定整合的であることを保証する。

主な貢献

1. 意思決定整合フレームワーク： UQ 指標がダウンストリームのユーティリティと整合しているかどうかを判断するための形式的な基準を提供し、一般的な指標が病理的な事前分布をエンコードしているか、あるいは一貫した意思決定の信念を持たないかのいずれかであることを明らかにした。
2. 理論的診断： 座標依存型の指標（ECE、R-AUC など）が、ポイントワイズに分離可能な意思決定問題に対して根本的に整合していないことを示す体系的な分析を行った。また、座標独立な PSR（NLL、BS など）であっても、多くの場合、不合理な暗黙の事前分布に依存していることを示した。
3. 事前分布加重ユーティリティ指標： 定義上、意思決定整合的である新しいクラスの指標を導入した。これらの指標は、特定のダウンストリームの意思決定シナリオに基づいて UQ 手法を評価するための、原理に基づいた方法を提供する。
4. 実証的検証： ベンチマークデータセットおよび実世界のケーススタディを用いた広範な実験により、PWU 指標が実現された意思決定ユーティリティと一貫して高い整合性を示す一方で、従来の指標はしばしばそれに失敗することを示した。

結果

著者らは、10 個の二値分類モデルと 10 個の回帰モデルを 5 つのデータセットにわたって評価し、指標のランキングとユーティリティのランキングの間のケンドールの $\tau$ を用いて整合性を評価した。

• ベンチマークデータセット： 制御された実験において、PWU 指標は対応するユーティリティ・ファミリーに対して一貫して最高の整合性を達成した。対照的に、従来の指標（NLL、BS、ECE など）は、特に Top-k 選択や選択的予測のタスクにおいて、弱い、あるいは負の整合性を示した。
• 実世界のケーススタディ：
  • 電力市場入札： 風力発電の入札シナリオにおいて、従来の指標は入札ユーティリティとの安定した正の整合性を示さなかったが、PWU 指標（特に選択的予測のためのもの）は強い整合性を示した。
  • 与信承認および P2P レンディング： 顧客依存のコストを伴う金融意思決定タスクにおいて、PWU 指標は、ケーススタディで使用された事前分布と PWU 指標の構築に使用された事前分布が異なっていても、意思決定ユーティリティと強固に整合した。
• ロバスト性： 感度分析により、PWU 指標は事前分布の誤設定に対してロバストであることが示された。事前分布が大幅に摂動を与えられた場合でも、PWU 指標は、固定された病理的な暗黙の事前分布に依存する従来の指標を上回り、強い正のユーティリティ整合性を維持した。

意義と主張

本論文は、汎用的な指標を用いて UQ を評価するという支配的な慣行が、ダウンストリームの意思決定を支援することを目的とする場合に、体系的に誤解を招く可能性があると主張している。著者らは次のように述べている：

1. 現在のベンチマークは欠陥がある： 標準的な指標は、病理的な意思決定の世界に対して密かに最適化しており、NLL や ECE においては高いパフォーマンスを示すが、実用的でコストに敏感なアプリケーションでは失敗する可能性のあるモデルを促進してしまう恐れがある。
2. 明示的な事前分布が必要である： 確率的機械学習における有意義な進歩には、暗黙の仮定からの脱却が必要である。研究者が事前分布 $\pi$ とユーティリティ・ファミリーを明示的に記述することで、UQ ベンチマークが信頼できる意思決定を可能にする手法を評価することを保証できる。
3. 原理的な拡張： PWU 指標は、既存の評価プロトコルの原理に基づいた拡張を提供する。これらは固有スコアリング則に取って代わるものではなく、それらをより意思決定に関連したものへと洗練させるものである。

著者らは、将来の UQ ベンチマークにおいて、一連の妥当な意思決定コンテキストをカバーするために、従来の指標と並行して多様な PWU 指標を報告すべきであり、それによって真にダウンストリームのアプリケーションに有用な手法を浮き彫りにできると結論付けている。