技術的概要：ECE の限界を超えて：較正済みサイズ比、リスク評価、および信頼度重み付け指標

1. 問題提起

本論文は、特に高リスク領域における機械学習モデルの信頼度較正の評価において、決定的な限界が存在することを扱っている。現在の標準である期待較正誤差（ECE）は、リスク評価に対して根本的に欠陥があると特定されている。ECE は線形指標であり、どの信頼度レベルで生じようとも較正ギャップを等しく扱う。その結果、モデルが任意に大きな過信リスク（例えば、誤った予測に高い信頼度を割り当てること）を示している場合でも、ECE は小さく留まり得る。

著者らは、ECE が最も重要な較正情報を抽出できないと主張する。それは、高信頼度レベルにおけるギャップが示唆する失敗の規模である。ECE は人口が最も多い低信頼度ビンによって支配されるため、較正不備が最も危険となる分布の「尾部」に対して体系的に盲目である。さらに、本論文は、ECE を最小化するように設計された標準的な較正手法が、意図せずともリスクの高い信頼度プロファイルを生み出す可能性があることを指摘している。

2. 手法と提案指標

著者らは、較正評価をリスク評価（過信の検出）と識別価値（信頼度プロファイルの実用性の測定）という、2 つの独立した相補的な側面に分ける枠組みを提案する。

2.1 較正済みサイズ比（CSR）とリスク確率（$P_{risk}$）

過信のリスクに対処するため、著者らは**較正済みサイズ比（CSR）**を導入する。ECE と異なり、CSR は較正ギャップを$(1-c)$に対して評価し、示唆される失敗の真の規模を反映する。

• 定義: $N$個のサンプル、予測クラス$\hat{y}_i$、真のラベル$y_i$、および信頼度スコア$conf_i < 1$を持つデータセット$D$に対して：
  $$CSR = \frac{1}{N} \sum_{i: \hat{y}_i \neq y_i} \frac{1}{1 - conf_i}$$
• 解釈: 完全な点ごとの較正の下では、$CSR = 1$となる。
  • $CSR > 1$は過信（リスクあり）を示す。
  • $CSR < 1$は過小信頼を示す。
  • $CSR = 10$という値は、完全な較正モデルの下では、割り当てられた信頼度レベルにおける観測された誤りが、10 倍の大きさのデータセットから期待されることを意味する。
• リスク確率（$P_{risk}$）: 過信の統計的証拠を定量化するため、著者らは完全な限界較正の仮定の下で CSR の標準偏差（$\sigma_{CSR}$）を導出する。正規分布を用いて偏差をモデル化し、z スコアを計算する：
  $$z = \frac{CSR - 1}{\sigma_{CSR}}$$
  リスク確率は$P_{risk} = \Phi(z)$となり、ここで$\Phi$は標準正規累積分布関数である。これにより、モンテカルロ再サンプリングを必要とせずに、信頼度プロファイルがリスクを伴うかどうかを原理的に評価できる。

2.2 信頼度重み付け指標と$cwAUC$

著者らは、安全なプロファイル（低リスク）が必ずしも有用であるわけではないと主張する。彼らは、正しい予測に割り当てられた総信頼度質量の割合を測定する**信頼度重み付け精度（cwA）**を、CSR の自然な補完として提案する。

• 定義:
  $$cwA = \frac{\sum_{i} conf_i \cdot \mathbb{1}[\hat{y}_i = y_i]}{\sum_{i} conf_i}$$
• 他の指標への拡張: 本論文は、混同行列の各要素を信頼度で重み付けることで、信頼度重み付けが精度、再現率、F1 スコアなどのすべての標準的な分類指標に自然に拡張できることを示している。
• 信頼度重み付け AUC（$cwAUC$）: 著者らは、古典的な AUC が、信頼度スコアの任意の狭義単調なスケーリング（事後較正を含む）に対して不変であることを証明している。これは、AUC が順位付けのみに依存するためである。対照的に、$cwAUC$は、予測クラスに割り当てられた信頼度の積によってペアワイズ比較を重み付ける。
  • 意義: 差$cwAUC - AUC$は、較正によって追加された識別価値を捉える。正の差は、モデルが誤って順位付けされたペアよりも、正しく順位付けされたペアに対してより高い信頼度を持っていることを示す。

2.3 ECE からの独立性

本論文は、CSR と$cwA$が ECE と独立であることを示す理論的証明と反例を提供する。任意に低い ECE を持つが、無制限の CSR（極端なリスク）を持つ信頼度プロファイルを構築することが可能であり、逆に、$ECE=0$だが完全に無情報（フラットな信頼度）なプロファイルも構築可能である。

3. 実験結果

提案された指標は、合成データセットと実世界データセットの両方で検証された。

3.1 合成データセット

著者らは、8 つの制御された較正レジーム（完全、過信、過小信頼、ランダムを含む）の下で、10 の合成信頼度分布を生成した。

• リスク検出: CSR は、リスクのある割り当てとリスクのない割り当てを成功裏に分離した。完全な較正の下では、$P_{risk}$の経験的偽陽性率は理論的予測に近い値を維持した（例：$>1\sigma$で約 9.77% 対理論値 15.87%、および大きな$N$において$>3\sigma$で約 0.30%）。
• 感度: 過信レジーム（例：$Overconf \ 1-\sqrt{1-c}$）において、CSR 値は著しく上昇し、多くの場合$P_{risk}$が 100% に達し、リスクを正しく検知した。

3.2 実データセット

実験は、XGBoost を用いて 15 のデータセット（UCI、CIFAR-10、MNIST）で実施され、3 つのレジーム（生出力、アイソトニック回帰、プラットスケーリング）が使用された。

• アイソトニック回帰のリスク: アイソトニック回帰はしばしば$cwA$を改善したが、頻繁に**リスクの高い信頼度プロファイル**を生み出した。15 のデータセットのうち 11 で、アイソトニック較正は$CSR > 1$（$1\sigma$超過）となり、いくつかのデータセットでは壊滅的な CSR 値（$>10^5$）を示した。これは、較正セットに正または負のサンプルのみのプラトーが含まれている場合、アイソトニック回帰が誤った予測に極端な信頼度（1 または 0）を割り当て得るためである。
• プラットスケーリング: この手法は一般的に安全なプロファイルをもたらした（15 のデータセットのうち 3 つのみがリスクありと判定された）一方、競争力のある$cwA$を維持した。
• ECE の限界: ECE を最適化する標準的な手法（アイソトニック回帰など）はリスクの高いプロファイルをもたらすことが示され、ECE を最小化することが安全性を保証しないことが確認された。

3.3 AUC と$cwAUC$

• 合成データ: 良好に較正された合成分布は、正の$\Delta AUC$（$cwAUC - AUC$）を示し、較正が識別価値を追加したことを示した。
• 実データ: 結果は様々であった。$cwA$は生精度に対して一貫して改善されたが、$\Delta AUC$はしばしば小さかったり負であったりする。著者らは、実世界のモデル（XGBoost など）が既に信頼度スコアを順位付け信号として利用しており、事後較正手法（周辺分布を整合させるもの）が顕著な新しい順位付け情報を追加しない可能性があることをその理由として挙げている。

4. 主要な貢献

1. 較正済みサイズ比（CSR）: $CSR=1$が完全な較正を意味する、新しい解釈可能な指標。これは過信リスクの直接的な測定を提供する。
2. リスク確率（$P_{risk}$）: CSR から導出された統計的検定であり、完全な較正という帰無仮説の下でデータを観測する確率を定量化し、計算コストの高い再サンプリングを不要にする。
3. 信頼度重み付け指標: 精度、AUC などの標準的な指標を信頼度重み付け可能にする形式化された枠組み。
4. $cwAUC$と較正の価値: 古典的な AUC が較正に対して不変であることを証明し、較正から得られる特定の識別価値を測定するための$cwAUC$を導入。
5. 実証的証拠: 標準的な較正手法（特にアイソトニック回帰）が他の指標を改善しながらもリスク（CSR）を増加させ得ることを実証し、リスクを考慮した評価の必要性を浮き彫りにした。

5. 意義と限界

本論文は、提案された指標が、機械学習の信頼度を評価するより頑健で安全性志向のアプローチを提供すると主張している。リスク評価（CSR）と識別有用性（$cwA$）を分離することで、実践者は、高精度であるだけでなく、高リスクシナリオでの展開が安全なモデルを特定できる。

著者らはいくつかの限界を認めている：

• 数値的安定性: CSR は 1 に近い信頼度スコアに敏感であり、クリッピングや慎重な処理を必要とする。
• 分布シフト: リスク評価は、評価セットが限界分布からの i.i.d. サンプルであると仮定している。展開時のシフトは、$P_{risk}$を誤解を招くものにする可能性がある。
• 小サンプルサイズ: $P_{risk}$のガウス近似は、非常に小さな$N$に対しては精度が低下する可能性があるが、標準的な補正（例：Student-t 分布）が適用可能である。
• 最適化: 本論文は信頼度プロファイルの評価に焦点を当てており、CSR や$cwA$を用いて事後較正を導くことについては扱っていない。これは将来の課題として提案されている。

結論として、著者らは、信頼できる AI にとって ECE のみに依存することは不十分であると論じている。リスク検出のための CSR と、有用性評価のための$cwA$/$cwAUC$の組み合わせは、モデルの信頼度の信頼性に関するより包括的な図を提供する。