技術要約：最高密度領域による不確実性定量化（QUEST）

1. 問題提起

不確実性定量化（UQ）は、安全性が重視される確率的機械学習において、信頼できる意思決定を行うために極めて重要である。分類問題ではエントロピーに基づく指標が標準的であるが、回帰のUQにおいては、主に**適切なスコアリング・ルール（Proper Scoring Rules; PSR）**に依存してきた。これは、真の分布に対するモデルの点別予測リスクとして不確実性を操作化するものである。

著者らは、ターゲットとなる統計量が条件付き期待値（平均）ではない場合、PSRに基づくアプローチ（分散や微分エントロピーなど）には根本的な欠陥があることを指摘している。強化学習やベイズモデリングなどの多くの実用的な設定では、ターゲットは**条件付きモード（最大事後確率、またはMAP）**である。歪度（スキュー）や多峰性、あるいは外れ値が存在する場合、平均とモードは大きく乖離することがある。標準的な分散などの指標は、モード付近の確率の集中度よりも裾の質量（テイル・マス）に敏感であるため、このようなケースでは不確実性を過大評価してしまうことが多い。さらに、既存の回帰UQのための公理的フレームワークは、非ガウス分布や非対称分布に適用した場合、分布の広がりに対する単調性や位置シフトに対する不変性といった直感的な性質を満たさないことが多い。

2. 手法：QUESTフレームワーク

本論文では、QUEST（Quantifying Uncertainty via highest dEnSiTy regions）というフレームワークを導入する。これは、点別のリスクではなく、分布のサポート（支持集合）における最も確率の高い部分集合の体積によって不確実性を特徴付けるものである。

コア概念

• 最高密度領域（Highest Density Regions; HDRs）： 確率密度関数 $p$ とロバストネス・パラメータ $\alpha \in (0,1)$ に対して、$(1-\alpha)$-HDR ($C_\alpha$) は、確率質量 $1-\alpha$ を含む最小の集合である。これは $C_\alpha = \{x : p(x) \ge t_\alpha(p)\}$ と定義される。ここで $t_\alpha$ は質量制約を保証する閾値である。
• $\alpha$-体積（局所的尺度）： $V_\alpha(p) := \lambda(C_\alpha)$ として定義される（$\lambda$ はルベーグ測度）。これは、確率質量の大部分を含む領域の「サイズ」を測定する。小さな体積は高い集中（低い不確実性）を示し、大きな体積は分散（高い不確実性）を示す。
• 積分体積（Global Measure）： $IV(p) = \int_0^1 V_\alpha(p) d\alpha$ として定義される。これはカバレッジ・カーブ全体を要約し、集中度のグローバルな評価を提供する。著者らは、カバレッジ・カーブと経済学におけるローレンツ曲線との間、および積分体積とジニ係数との間に幾何学的な等価性を確立している。

QUESTにおける不確実性の類型化

本フレームワークは、第2次分布 $q$（パラメータ $\theta$ に関する信念を表す）と真のグラウンドトゥルース分布 $p_{\theta^*}$ に基づき、3種類の不確ニティを定義する：

1. 偶然的不確実性（Aleatoric Uncertainty; AU）： 真の分布 $p_{\theta^*}$ のHDRの体積によって定量化される。これは、データ生成プロセスに内在する不可避な不確実性を捉える。
   • 局所的：$V_\alpha(p_{\theta^*})$
   • グローバル：$IV(p_{\theta^*})$
2. 認識的不確実性（Epistemic Uncertainty; EU）： 第2次分布 $q$ のHDRの体積によって定量化される。EUを「全不確実性から偶然的不確実性を引いた残差」として扱う標準的な手法とは異なり、QUESTはEUを、真の分布とは独立した、エージェントの信念の集中度に関する純粋に主観的な尺度として扱う。
   • 局所的：$V_\alpha(q)$
   • グローバル：$IV(q)$
3. 全不確実性（Total Uncertainty; TU）： AUとEUの相互作用を通じて定義される。AUとEUは異なる空間に存在するため、単純に加算することはできない。代わりに、TUは、それぞれのHDR内における真の条件付き密度と予測条件付き密度の間のダイバージェンスから導出されるペナルティ因子によって、AUの体積をスケーリングしたものとしてモデル化される。
   • 数式：$TU = V_\alpha(p_{\theta^*}) \cdot g_f(D_f(p^*_\alpha || \hat{p}_\alpha))$
   • ここで、$D_f$ は許容可能な $f$-ダイバージェンス（全変動距離など）であり、$g_f$ はエージェントの信念と真の分布の間の不一致を罰する厳密に単調増加する関数である。

3. 主な貢献

本論文の主な貢献は以下の4点である：

1. 概念的貢献： 密度集中度とユーザー指定のロバストネス・パラメータ $\alpha$ に基づく、体積中心の不確実性解釈を提案し、リスクベースのPSR指標に代わる選択肢を提示した。
2. 手法論的貢献： AUおよびEUのための新しい局所的（$\alpha$-体積）およびグローバル的（積分体積）な尺度を導入した。また、これらの尺度と情報理論（微分エントロピー）および経済学（ローレンツ曲線、ジニ係数）の古典的な統計量との間の理論的なつながりを確立した。
3. 理論的貢献： QUESTのAUおよびEUの尺度が、UQ文献から適応された一連の公理（A0–A5）を満たすことを示した。これらには、非負性、ディラック質量における最小化、 「レベリング（平準化）」による単調性（分布の広がり）、および位置シフトに対する不変性が含まれる。特筆すべき点として、著者らは、較正の改善（TUの減少）が認識的不確実性の増加を伴って起こり得るため、全不確実性（TU）は必ずしもすべてのケースで単調性の公理（A4）を満たすべきではないと主張している。
4. 実証的貢献： 選択的予測のベンチマークを通じて、本フレームワークを検証した。結果として、QUEST（特にグローバル尺度）は、歪んだ設定や多峰性の設定において、標準的な分散や微分エントロピーよりも優れた性能を示し、予測の信頼性のより正確なランキングを実現した。

4. 実験結果

著者らは、3つの合成データ生成プロセス（DGP）を用いたディープ混合エキスパート・アンサンブルを用いて、QUESTを分散、微分エントロピー、およびランダムなベースラインと比較評価した：

• 単峰ガウス分布： 予想通り、すべての手法が同様の性能を示した。
• 単峰歪み分布： 分散とエントロピーは、裾の質量への敏感さにより苦戦した。QUESTは、より信頼性の高い不確実性のランキングを提供した。
• 二峰混合分布： 標準的な尺度は、多峰性の設定において不確実性の順位付けを誤ることが多い。QUESTは、分散やエントロピーを大幅に上回り、高密度な集中領域を正しく特定した。

選択的予測タスク（最も確信度の高いサンプルに対してのみ予測を行うタスク）において、QUEST（グローバル）は、競合手法と比較してすべての試行においてより低い損失を達成した。補足的な能動学習実験では、QUESTは分散やエントロピーと同等の性能を示したが、著者らは、QUESTの性能は非オラクル設定におけるモデルの真の密度推定の質に敏感であると注記している。

5. 意義と主張

本論文は、特にターゲットが平均ではなくモードである場合に、QUESTがPSRベースのUQが抱える特有の病理に対処できると主張している。点別のリスクから測度の集中へと焦点を移すことで、QUESTは、非ガウス、歪んだ、あるいは多峰性の分布に対して、より直感的で堅牢な特性化を提供する。

著者らは、以下のような本アプローチの利点を強調している：

• 外れ値や歪みの存在下における、分散ベースの尺度の直感に反する結果を回避する。
• 確率密度の幾何学を尊重する、AUおよびEUのための健全な公理的基礎を提供する。
• ロバストネス・パラメータ $\alpha$ によって、ユーザーが裾の変動に対する感度を制御できる柔軟なフレームワークを提供する。

結論として、著者らは、ルベーグ測度に対する絶対連続性の仮定や、高次元におけるHDR推定の計算コストといった限界を認めつつも、控えめに締めくくっている。今後の課題として、このフレームワークを統計的推論へ拡張することや、原子（アトム）を持つ分布や低次元のサポートを持つ分布への対応が挙げられている。