技術要約：較正されたエビデンシャル深層学習のための密度情報に基づく擬似カウント

問題提起

エビデンシャル深層学習（EDL）は、ニューラルネットワークによってパラメータ化されたディリクレ分布を通じて予測不確実性をモデル化する、不確実性を考慮した分類のための広く用いられているフレームワークである。その経験的な成功にもかかわらず、EDLの理論的基礎、特に分布シフト下での挙動に関する理解は極めて不十分である。本論文は、標準的なEDLにおける決定的な欠陥を特定している。それは、エピステミック（モデル）不確実性とアレオリック（データ）不確実性を混同している点である。この混同は、分布外（OOD）入力に対する系統的な過剰適合（過信）を引き起こす。理論的分析によれば、標準的なEDLは、データ適合と事前分布の正則化をバランスさせるためにハイパーパラメータ（温度 $\nu$）に依存しており、その結果、不確実性の定量化はデータ生成プロセスではなく、ユーザー定義のチューニングに依存した恣意的なものとなっている。したがって、EDLは、限られたデータに起因する不純度（エピステミック）と、固有のノイズ（アレオリック）を区別できず、その不確実性推定値はサンプルサイズが増加しても漸近的に消失しない。

手法

EDLの統計的解釈

著者らはまず、EDLの原理的な統計的解釈を提供し、その学習目的関数が、テンパリングされた擬似尤度を持つ階層ベイズモデルにおける**アモータイズド変分推論（VI）**に対応することを証明している。

• テンパリングされたICDモデル: 著者らは、尤度が $\nu$ 乗（温度パラメータ）される「テンパリングされた独立カテゴリカル・ディリクレ（ICD）」モデルを導入している。
• 等価性: 標準的なEDLの損失最小化が、このテンパリングされたモデルにおけるアモータイズドVIを実行することと数学的に等価であることを示している。
• 理論的限界: この枠組みの下で、著者らは、最適なニューラルネットワークと無限のデータが存在する場合でも、学習された分布の「空虚さ（vacuity）」（不確実性の尺度）は一定であり、ハイパーパラメータ $\nu$ と事前分布 $\alpha$ のみによって決定されることを証明している。これは、標準的なEDLがエピステミック不確実性とアレオリック不確実性を学習して区別できないことを裏付けている。すなわち、不確実性はデータから学習されるのではなく、外部から課されているのである。

提案手法：DIP-EDL

これらの制限に対処するため、著者らは**密度情報に基づく擬似カウントEDL（DIP-EDL）**を提案する。この手法は、以下の2つのコンポーネントを個別に推定することで、クラス予測と不確実性定量化をデカップル（分離）する。

1. 条件付きラベル分布 ($P^*_{Y|X}$): 判別器（ニューラルネットワークまたはその他の手法）によって推定される。
2. 周辺共変量密度 ($P^*_X$): 密度推定器によって推定される。

パラメータ化:
固定されたグローバルな擬似カウントを使用する代わりに、DIP-EDLは入力密度に基づいて局所的に擬似カウントをスケールさせる。変分事後分布は以下のように定義される：
$$q^{\psi, \phi}_{X_i} = \text{Dir}\left(\alpha + n \cdot DE^\psi_{X_i} \cdot NN^\phi_{X_i}\right)$$
ここで：

• $n$ は訓練セットのサイズである。
• $DE^\psi_{X_i}$ は、$X_i$ の推定された周辺密度である。
• $NN^\phi_{X_i}$ は、推定された条件付きラベル分布（各クラスの擬似カウント）である。

主要なメカニズム:

• 分布への意識: 高密度領域（イン分布）では、密度項が大きくなり、モデルは学習された条件付き分布に集中できるようになる。低密度領域（OOD）では、密度項が減少するため、事後分布は一様事前分布へと崩壊し、不確実性が増大する。
• 漸近的一貫性: 著者らは、密度と条件付き分布の両方の整合的な推定が、サンプルサイズ $n \to \infty$ において事後分布が真の条件付き分布に集中することを証明している。
• モジュール性: エンドツーエンドのEDLとは異なり、DIP-EDLは密度推定器と分類器を独立して訓練できる。これにより、非微分的な分類器（ランダムフォレストなど）や既成の密度推定器の使用が可能になる。

主な貢献

1. 理論的明確化: 本論文は、標準的なEDLの学習がテンパリングされたモデルにおけるアモータイズドVIに相当することを確立し、その不確実性定量化が根本的にハイパーパラメータ（$\nu$）によって駆動されており、データ駆動型の証拠によるものではないことを明らかにした。これにより、なぜEDLがエピステミック不確実性とアレオリック不確実性を区別できないのかを説明している。
2. 新しいパラメータ化（DIP-EDL）: 予測と不確実性を自然にデカップルする、密度情報に基づく擬似カウントメカニズムの導入。このアプローチにより、不確実性が共変量空間における訓練データの希少性と連動してスケールすることが保証される。
3. 理論的保証: DIP-EDLの漸近的集中に関する証明を行い、本手法が真の条件付き分布を正しく復元し、サンプルサイズが増えるにつれて不確器性を減少させることを示している（標準的なEDLとは対照的である）。
4. モジュール型フレームワーク: 任意の分類器と密度推定器をサポートする柔軟なアーキテクチャを提供し、微分可能なエンドツーエンドの訓練の必要性を排除している。

実験結果

著者らは、MNIST、CIFAR-10、およびLAMOST（恒星スペクトル）の3つのデータセットを用いてDIP-EDLを評価している。これらを標準的なEDL、R-EDL、Re-EDL、DAEDL、PostNet、MC-Dropout、およびDeep Ensemblesと比較している。

• イン分布（ID）性能: DIP-EDLは、MNISTおよびCIFAR-10において、標準的なEDLを凌駕し、Deep Ensemblesに匹敵または上回る精度と較正性能（最低のブライア・スコア）を達成した。これは単一のフォワードパスのみで実現されている。
• 分布外（OOD）検出:
  • MNIST: DIP-EDLは、K-MNIST（近傍OOD）およびOmniglot（遠方OOD）の両方において、ほぼ完璧なAUROC（0.9997）を達成し、OODブライア・スコアも最小となった。これは、OODデータに対して高い確信度を示してしまうベースラインと比較して、優れた較正性能を示している。
  • CIFAR-10: DIP-EDLは、遠方OOD（SVHN）の検出において、AUROCおよびAUPRの両面でDeep Ensemblesを含むすべてのベースラインを上回った。また、OODブライア・スコアにおいても2番目に優れた結果を出し、堅牢な不確実性の較正を実証した。
  • LAMOST: 深刻なクラス不均衡を伴うこの困難な実世界の科学データセットにおいて、DIP-EDLはDeep Ensemblesと並んで最高のID精度（0.8929）を記録し、単一モデルのアプローチの中で最高のOOD検出性能を達成した。
• アブレーション研究: 実験により、密度推定器を取り除くとランダムなOOD検出になり、分類器を取り除くとランダムなID精度になることが確認された。また、スケーリング係数 $n$ が較正において極めて重要であることが示された。

意義と主張

本論文のより広い意義は、以下の3つの方向に集約されると著者らは主張している。

1. 理論的基礎: EDLの厳密な統計的解釈を提供し、正則化の役割を明確にするとともに、現在の手法における根本的な限界（不確実性の種類を区別できない点）を露呈させた。
2. 汎用性とモジュール性: 分類と不確実性定量化をデカップルすることで、DIP-EDLは（非微分的なモデルを含む）任意の分類器クラスへとEDLの枠組みを一般化し、各コンポーネントの独立した訓練を可能にする。
3. 実用的な効率性: 本手法は、推論時における標準的なEDLと同様の計算効率（単一のフォワードパス）を維持しながら、分布シフト下での堅牢性と較正性能を大幅に向上させており、安全性が重視されるアプリケーションにおける信頼性の高い不確実性認識予測のためのスケーラブルなフレームワークとなっている。

著者らは、密度推定の精緻化や有限サンプルにおける保証の確立が今後の課題であると述べ、将来の研究に対して謙虚な姿勢を示している。