技術的サマリー：積分不確実性確率メトリック（IIPM）

1. 問題定義

確率分布間の差異を定量化することは、統計学および機械学習において、主に統計的（アレトリア）不確実性を比較するために不可欠である。しかし、単一の加法測度に依存する古典的確率論は、不完全な知識、曖昧さ、あるいは「未知の未知」に起因する**認識的不確実性（EU）**を表現することに苦慮している。古典的モデルは、真の無知と無関心を区別できず、機械学習システムにおける過信や汎化性能の低下といった問題を引き起こすことが多い。

**不確実性確率機械学習（IPML）**は、EU をモデル化するためにクレダル集合、信念関数、下限/上限確率などのより豊かな表現を提供するが、これらのモデルを比較するための堅牢な統計的メトリックが不足している。既存の発散測度は、統合された理論的枠組みを欠いているか、あるいは不確実性モデルの空間における収束を計量化（metrize）することに失敗している。さらに、単一の不確実性モデル内で EU を定量化することは依然として困難であり、多くの既存の測度は厳密な公理的支援や計算スケーラビリティを欠いている。

2. 手法

2.1 理論的枠組み：IIPM

著者らは、積分不確実性確率メトリック（IIPM）を導入した。これは、古典的な積分確率メトリック（IPM）を容量（非加法集合関数）の設定へ一般化したものである。

• 数学的基盤: この枠組みは、標準的な IPM で用いられるルベーグ積分を一般化するために、容量上の期待値を定義するショケ積分を利用する。
• 定義: 関数クラス $\mathcal{F} \subseteq C_b(X)$ と 2 つの容量 $\nu, \mu$ に対して、IIPM は以下のように定義される：
  $$\text{IIPM}_{\mathcal{F}}(\nu, \mu) := \sup_{f \in \mathcal{F}} \left| \int f d\nu - \int f d\mu \right|$$
  ここで、積分はショケ積分である。
• 性質: 著者らは、IIPM が容量の空間上の擬距離であることを示した。特定の条件下（例えば、$\mathcal{F}$ が $\|\cdot\|_\infty$ ノルムに関して $C_b(X)$ において稠密である場合など）、IIPM はショケ弱収束を計量化する有効なメトリックとして機能する。これにより、IIPM における収束が、基礎となる容量の「真の」収束を意味することが保証される。
• 一般性: この枠組みは、下限確率、信念関数、確率区間など、容量の特殊ケースとして、さまざまな不確実性確率モデルを含んでいる。

2.2 認識的不確実性の定量化：MMI

単一モデル内での EU の定量化に対処するため、著者らは**最大平均不確実性（MMI）**を提案する。この測度は、容量（例えば下限確率 $\underline{P}$）とその共役（上限確率 $\overline{P}$）との間の不一致を定量化する。

• 定義:
  $$\text{MMI}_{\mathcal{F}}(\underline{P}) := \text{IIPM}_{\mathcal{F}}(\underline{P}, \overline{P}) = \sup_{f \in \mathcal{F}} \left( \int f d\overline{P} - \int f d\underline{P} \right)$$
  （注：$\overline{P}$ が集合的に $\underline{P}$ を支配し、非負性を保証するため、絶対値は省略されている。）
• 公理的性質: 著者らは、MMI が文献で提案されたクレダル不確実性測度に関する主要な公理（A1–A6）を満たすことを証明した。これには、非負性、連続性、単調性、および確率の一貫性（正確な確率の場合の EU がゼロであること）が含まれる。
• 計算効率: 全変動（TV）距離の特定の場合において、MMI を正確に計算するには $2^K$ 個の部分集合を評価する必要があり、$K$ が大きい場合には扱いが困難である。著者らは、下限確率を最も近い $\epsilon$-汚染モデルで近似することにより、**線形時間の上限値（MMI-Lin）**を導出した。この上限値は計算効率が良く（$O(K)$）、単調性の公理を通じて理論的に正当化されている。

3. 主要な貢献

1. 統合されたメトリック枠組み: ショケ積分を用いて不確実性確率のために設計された最初の統計的距離のファミリーである IIPM の導入。この枠組みは、ワッサーシュタイン距離や MMD などの古典的 IPM を不確実性の設定へ一般化する。
2. 理論的保証: IIPM がショケ弱収束を計量化することを証明し、不確実性モデルを比較するための厳密な基盤を提供した。また、IIPM が $\epsilon$-汚染下での最適輸送に関する既存の結果を回復できることを示した。
3. 新しい EU 測度（MMI）: 確立された公理的性質を満たす、原理的な認識的不確実性の測度としての MMI の提案。
4. スケーラブルな近似: MMI の線形時間上限値（MMI-Lin）の導出により、正確な計算が不可能な高次元分類タスクにおけるその応用を可能にした。

4. 実証結果

著者らは、UCI データセット（Obesity, Digits）および画像データセット（CIFAR-10, CIFAR-100）を含む、クラス数が異なる（$K=7, 10, 100$）データセットにおける選択的分類実験を通じて、MMI および MMI-Lin を検証した。

• 性能指標: 本研究では、モデルが不確実な入力に対して予測を保留する精度 - 棄却（AR）曲線を使用した。有益な EU 測度は、左上隅に近づく単調な AR 曲線をもたらすべきである。
• 比較: MMI および MMI-Lin は、**エントロピー差（E-Diff）および一般化ハートリー（GH）**測度と比較された。
• 知見:
  • MMI および MMI-Lin は、すべてのデータセットにおいて E-Diff を一貫して上回った。
  • MMI および MMI-Lin は、クレダル UQ のゴールドスタンダードとみなされることが多い GH と同等の性能を示した。
  • スケーラビリティ: MMI および GH の正確な計算が扱いが困難（$O(2^K)$）となる大規模問題（$K=100$）において、線形時間上限値MMI-Lin は効率的なままであり、E-Diff を上回り続けた。これは、高次元設定における実用的な有用性を示している。

5. 意義と主張

本論文は、IPML の理論と実践の両方を進展させることを主張している。

• 理論的進展: 容量を比較するための原理的かつショケ積分に基づく枠組みを提供し、不確実性モデルに対する統計的距離に関する文献のギャップを埋めた。これらのメトリックが有効であり、収束を計量化する条件を確立した。
• 実用的有用性: MMI を導入することで、公理的に妥当な認識的不確実性の定量化のための新しいツールを提供した。線形時間上限値は、大規模な機械学習におけるクレダル UQ 測度の応用を制限してきた計算上のボトルネックに対処する。
• 広範な影響: この枠組みは、信念関数やランダム集合など、多様な不確実性確率モデルを統合されたメトリックの下で比較可能にし、安全性が重要なアプリケーションや堅牢な統計学における曖昧さ下での意思決定を促進する可能性がある。

著者らは、不確実性モデルの主観的な性質により、古典的 IPM とは異なり、一般的な IIPM に対するサンプリングベースの推定方法が現状存在しないという限界を認め、非パラメトリック推定量の開発を今後の重要な研究方向として特定している。