技術的サマリー：GEM-FI：Fisher 変調を備えたゲーテッド証拠的混合モデル

問題定義

信頼性の高い予測不確実性の推定は、モデルが訓練分布外で動作する安全クリティカルなアプリケーションにおいて不可欠である。ベイズニューラルネットワーク（BNN）やディープアンサンブルは原理的な不確実性定量化を提供するが、複数のフォワードパスの必要性により、しばしば過大な訓練または推論コストを伴う。証拠的深層学習（EDL）は、ディリクレパラメータを予測して「証拠」を表すことで、単一パスの代替手段を提供する。しかし、標準的な EDL モデルは分布シフト下で過剰に自信を持つ傾向があり、複雑な決定境界付近の多モーダルな認識的不確実性を表現できず、頑健な較正が欠如している。

既存の密度感知型バリエーション、例えば密度感知証拠的深層学習（DAEDL）は、オフライン特徴空間尤度（例えば、ガウス判別分析）を用いて証拠出力を再スケーリングしようとする。これは較正を改善するが、密度手がかりが静的であり、証拠メカニズムと共同最適化されていないという脱結合を生み出す。その結果、特徴表現がドリフトした際の脆さにつながり、認識的多モーダリティに対処できず、複雑な境界付近でモデルが過剰に自信を持った割り当てに収束してしまう。さらに、しばしば Out-of-Distribution（OOD）の分離性を向上させるエネルギーベースの手法は、通常、事後適用され、証拠的自信の生成中に介入しない。

手法

著者は、データ依存型の表現「サポート」の概念を証拠メカニズムに直接統合する、単一パスモデルのファミリーである**GEM（ゲーテッド証拠的混合）**を導入する。このフレームワークは、3 つの漸進的コンポーネントで構成される。

1. GEM-CORE：エネルギーからゲートへの証拠的学習

GEM-CORE は、静的な密度代理変数を、学習可能なモデル内エネルギー信号に置き換える。

• 特徴レベルのエネルギー: 軽量な多層パーセプトロン（MLP）$E_\psi$ が、バックボーン特徴 $z$ からスカラーエネルギー $E(x)$ を学習する。高いエネルギーは、低い表現レベルのサポート（特徴密度との負の相関）に対応する。
• 有界統合ゲート: エネルギーはシグモイド関数を介して中間スカラー $\hat{s}(x)$ にマッピングされる。これは特徴 $z$ と連結され、「統合ゲート」ネットワーク $G_\eta$ に投入される。このネットワークは、クラスごとのゲート $s(x) \in [s_{min}, s_{max}]^C$ を出力する。
• 確率空間ゲーティング: ゲート $s(x)$ は、確率空間における予測平均 $p(x)$ に乗法的に適用され、その後再正規化される。重要なのは、ネットワークが逆写像を学習することである。つまり、高いエネルギー（低いサポート）は小さなゲートを生成し、OOD または典型的でない入力に対する証拠を抑制する。
• 密度スケーリング: 事前適合されたガウス混合モデル（GMM）から導出された、軽量な密度スケーラー $\rho(z)$ が、極めて低い密度領域での証拠を抑制する「ハード」な安全ガードレールとして機能し、学習されたゲートは微細な変調を処理する。

2. GEM-MIX：信念の混合（単一パス）

マルチパスアンサンブルなしに多モーダルな認識構造を捉えるため、GEM-MIX は共通のバックボーンを共有する $K$ 個の証拠的ヘッドを備えて GEM-CORE を拡張する。

• 学習されたルーティング: ルーターネットワーク $h_\omega$ は、特徴とエネルギー信号を入力として受け取り、混合重み $\pi(x) = \text{softmax}(h_\omega([z, \hat{s}(x)]))$ を生成する。
• 混合予測平均: 最終的な予測は、$K$ 個のヘッドからの予測平均の加重平均である。これにより、モデルは複雑な決定境界付近の複数のモードにわたる不確実性を表現できる。

3. GEM-FI：フィッシャー情報に基づく正則化

GEM-FI は、混合割り当てを安定させ、「ヘッドの収束」（ルーターがすべての重みを単一のヘッドに割り当てる現象）を防ぎ、より滑らかな境界不確実性を確保する。

• フィッシャー代理変数: 各ヘッドのログ尤度に対するロジットの勾配の $L_2$ ノルムの二乗として、フィッシャー感度の軽量な代理変数 $\tilde{FI}_k(x)$ を計算する。
• FI 正則化: 頻繁に選択されるヘッドが非常に感度が高い（不安定である）場合の割り当てにペナルティを与える損失項 $L_{FI}$ を導入する。
• FI ベースの変調: 訓練中、混合重みは、より低いフィッシャー感度（より安定した予測）を持つヘッドをアップウェイトするように再重み付けされる。この変調は訓練時のみ適用され、推論ではルーターの生出力を使用する。
• 補助損失: フレームワークには、仮想外れ値合成（VOS）を介して合成負サンプルに対して高いエネルギーを促すエネルギーベースの項と、ID に対するエントロピーを最小化し OOD に対して最大化するためのコントラスティブ損失による不確実性分解項が含まれる。

主要な貢献

1. 学習可能なモデル内ゲーティング: 著者は、特徴レベルのエネルギーを学習し、それを直接ディリクレ証拠を変調する有界ゲートにマッピングすることを提案する。これにより、典型的でない特徴に対する過剰な自信が軽減され、自信のある ID 予測は維持される。これにより、静的で脱結合した密度代理変数が置き換えられる。
2. 単一パス多モーダル認識論: 計算コストや複数のフォワードパスを伴うことなく、多モーダルな認識構造を捉えるために、学習されたルーティング重みを備えた軽量な証拠的ヘッドの混合を導入する。
3. フィッシャー情報に基づく安定化: 混合割り当てを安定させ、ヘッドの収束を防ぎ、より滑らかな境界不確実性をもたらすための、新規の FI 情報に基づく正則化器と変調スキームを追加する。
4. 実証的検証: 本論文は、標準的な画像分類および OOD 検出ベンチマークにおける較正と ID/OOD 分離の改善を実証し、エネルギーゲート、混合サイズ、FI 正則化の役割を分離するアブレーション研究を提供する。

実験結果

著者は、MNIST、CIFAR-10、および各種 OOD ペア（SVHN、CIFAR-100、KMNIST、FMNIST）において GEM を評価した。

• 較正と精度: CIFAR-10 において、GEM-FI はテスト精度を DAEDL の 91.11% から93.75%に向上させた。ブライアースコアは 14.27 から6.81へ、誤分類検出 AUPR は 99.08 から99.94へと大幅に改善された。
• OOD 検出: GEM-FI はいくつかの設定で最先端のパフォーマンスを達成した。
  • CIFAR-10 $\to$ SVHN: 認識 AUPR は DAEDL の 85.54% から**92.59%**に向上した。
  • CIFAR-10 $\to$ CIFAR-100: 認識 AUPR は DAEDL の 88.19% から**90.20%**に向上した。
  • このモデルは、偶然的不確実性と認識的不確実性の両方のスコアリングにおいて、EDL、DAEDL、および他の最近のベースライン（例：Re-EDL、I-EDL）を一貫して上回った。
• アブレーション研究: 著者は、スペクトル正規化（SN）、エネルギーゲート型モジュール（CORE）、混合（MIX）、および FI 正則化/変調（FI-Reg、FI-Mod）の組み合わせが、最適なパフォーマンスに必要であることを確認した。具体的には、FI ベースのコンポーネントは、単独のモジュールとして機能するのではなく、エネルギーベースのメカニズムおよび不確実性分解と組み合わされたときに最も効果的であることが判明した。

意義と主張

本論文は、GEM-FI が学習可能なサポート信号を直接証拠メカニズムに統合し、静的な密度感知手法の限界とアンサンブルの計算コストに対処することに成功したと主張する。距離情報に基づく自信信号を学習し、フィッシャー情報を通じてマルチヘッド混合を安定化させることで、モデルは以下の成果を達成する。

• 改善された較正: モデルは、十分にサポートされた領域でのみ自信を持ち、それ以外の場所では適切に保留する。
• 頑健な OOD 分離: この手法は、特に意味的重なりが存在する困難なニア OOD シナリオにおいて、ID と OOD 入力を効果的に区別する。
• 効率性: このアプローチは単一パス推論を維持し、アンサンブルのような多様性を提供しながら、遅延制約のある環境に適している。

著者は限界を認め、学習されたエネルギーとサポート代理変数間の整合性は保証されるものではなく経験的であること、およびこの手法は混合関連のハイパーパラメータの慎重なチューニングを必要とすることを指摘している。彼らは、自らの主張が標準ベンチマーク（MNIST/CIFAR）に限定され、さらなる検証なしに ImageNet スケールの評価には拡張されないことを強調している。この研究は、改善された較正と信頼性の高い OOD 検出が、入力サポートされていない場合にシステムが予測を保留できるようにすることで、安全クリティカルな展開に肯定的な影響を与え得ることを示唆している。