技術的概要：可能性変分推論のための最大化ドンスカー・ヴァラダン定式化

1. 問題定義

変分推論（VI）は現代のベイズ学習の要であり、エビデンス下限（ELBO）を最大化することで複雑なモデルにおける近似推論を可能にする。しかし、標準的な VI は、高次元積分を通じて定義される期待値や発散（例えばカルバック・ライブラー発散）に依存しており、これは加法性の確率測度を前提としている。この依存関係により、解析的な扱いが困難となり、重厚な近似が必要とされる。

一方、可能性理論は、加法性を必要としない認識的不確実性のモデリングのための不確実な確率枠組みを提供する。和の代わりに、最大・最小演算子を利用することで、希薄または不確実な情報下での不確実性を直接モデル化できる。可能性理論は頑健性と解釈可能性を提供するが、この設定に VI を適応させることは容易ではない。ELBO のような標準的な目的関数や KL のような発散は、本質的に加法測度に依存しているため、可能性設定における直接的な analogue を持たない。Cella と Martin（2025）による既存の試みは、モンテカルロ戦略を用いて可能性推論モデルを近似してきたが、可能性 VI に対する原理的かつ一般的な変分枠組みは欠如していた。

2. 手法

最大化ドンスカー・ヴァラダン analogue

この研究の中核的な理論的貢献は、古典的なドンスカー・ヴァラダン（DV）変分公式の最大化 analogueの確立である。

標準的な確率的 VI において、DV 公式は、KL 発散を含む目的関数の上限として対数エビデンスを特徴づける。著者らは、可能性設定に対する双対変分特徴付けを導出した。$\pi$ を事前可能性関数、$\ell$ を損失関数とする。最大化事後分布 $g^*_{\max}$ は以下のように定義される：
$$g^*_{\max}(\theta) = \frac{\exp(-\ell(\theta))\pi(\theta)}{\sup_{\theta'} \exp(-\ell(\theta'))\pi(\theta')}$$

著者らは、対数整合性（最大化周辺尤度の対数）が、2 つの双対変分問題を通じて表現できることを証明した：

1. 下限（最大化）: $\log Z_{\max} = \sup_{g \in \mathcal{F}(\Theta)} \inf_{\theta} \{ -\ell(\theta) - \log(g(\theta)/\pi(\theta)) \}$
2. 上限（最小化）: $\log Z_{\max} = \inf_{g \in \mathcal{F}(\Theta)} \sup_{\theta} \{ -\ell(\theta) - \log(g(\theta)/\pi(\theta)) \}$

ここで、$\mathcal{F}(\Theta)$ は可能性関数の集合である。右辺で最適化される量を**整合性下限（CBO）**と呼ぶ。

• 下限 CBO を最大化することは、真の事後分布を下限付ける可能性関数（$g \preceq g^*_{\max}$）をもたらす。
• 上限 CBO を最小化することは、真の事後分布を上限付ける可能性関数（$g^*_{\max} \preceq g$）をもたらす。

標準的な可能性事後分布 $g^*_{\max}$ は、両方の下限を同時に満たす一意の要素であり、解集合の規範的な代表として機能する。最適化には、標準 VI における KL 発散に analogue 的な役割を果たす最大相対エントロピー（$D_{\max}$）が関与し、これは $D_{\max}(g \| f) = \sup_{\theta} \log(g(\theta)/f(\theta))$ と定義される。

指数分布族の扱いと学習則

この枠組みをニューラルネットワークに実用的にするため、著者らは指数分布族の可能性関数に対する扱いを開発した。彼らは $g_\lambda(\theta) = \exp(\lambda^\top T(\theta) - A^\dagger(\lambda) - A(\theta))$ という候補のクラスを定義する。ここで $A^\dagger$ は対数分配関数 $A$ のルジャンドル変換である。

導出された主要な性質には以下が含まれる：

• 共役性: 無情報事前分布の下で、事後分布は同じ指数分布族内に留まり、ハイパーパラメータは十分統計量の移動平均として更新される。
• ニュートン型更新: ダンスキンの定理と 2 次テイラー近似を適用することで、CBO を最適化するための学習則を導出した。これはニュートンステップに類似する自然勾配更新をもたらす：
  $$\eta_{t+1} = \eta_t - \rho_t H_s(\eta_t)^{-1} \nabla \hat{\ell}(\eta_t)$$
  ここで、$H_s$ は損失のヘッセ行列と候補の精度に依存する符号付き曲率行列である。

CBOpt オプティマイザ

これらの理論的導出に基づき、著者らはCBOptと呼ばれるオプティマイザのファミリーを提案した。

• uCBOpt: 上限 CBO を最適化する（上限を最小化する）。
• lCBOpt: 下限 CBO を最適化する（下限を最大化する）。
• 適応型バリアント（uCBOpt-adapt, lCBOpt-adapt）: これらのバリアントは、内部最適化問題に必要な凸性/凹性条件を満たすために、トレーニング中に曲率パラメータ $\vartheta$ を動的に調整する。

実用的な実装では、ヘッセ行列の対角近似（Adam や Vprop に類似）と、勾配および二乗勾配推定値のための指数移動平均（EMA）が用いられ、計算効率が高く大規模なニューラルネットワークにスケーラブルである。

3. 主要な貢献

1. 理論的定式化: 本論文は、ドンスカー・ヴァラダン定式化の最初の原理的な最大化 analogue を確立し、可能性推論に対する厳密な変分的基盤を提供する。
2. 双対特徴付け: 対となる下限および上限定式化を持つ整合性下限（CBO）を導入し、真の可能性事後分布がこれらの下限の一意な交点であることを実証する。
3. 指数分布族枠組み: 著者らは可能性指数分布族に対する共役事前分布枠組みを開発し、理論の最大化的性質を考慮しつつ、確率的ケースとの構造的類似性を明らかにした。
4. CBOpt オプティマイザ: 新しいオプティマイザのファミリーが導出・実装され、可能性変分推論を用いたニューラルネットワークのトレーニングに対する実用的な手法を提供する。
5. 実証的検証: 手法はドメイン内およびドメイン外（OOD）の画像分類タスクで評価され、競争力のある予測性能と信頼性の高い不確実性推定を実証した。

4. 実験結果

著者らは、CBOpt バリアント（uCBOpt, uCBOpt-adapt, lCBOpt-adapt）を、SGD、AdamW、IVON、MC ドロップアウト、ラプラス近似、SWAG などのベースラインと比較し、Fashion-MNIST、CIFAR-10、CIFAR-100 の 3 つのデータセットで評価した。

• ドメイン内性能: Fashion-MNIST において、CBOpt バリアントは最も強力な全体的な性能を達成し、lCBOpt-adapt が最高の精度（0.913）と負対数尤度（NLL）を記録した。CIFAR-100 においても、すべての CBOpt バリアントがほとんどのドメイン内指標においてベースラインを上回り、大規模モデルへのスケーラビリティを示唆した。
• ドメイン外（OOD）検出: 手法は競争力のある OOD 検出能力を実証した。uCBOpt はデータセット間で一貫した挙動を示し、FPR@95 および AUROC の観点から MC ドロップアウトや SWAG の性能と同等かそれに迫る結果を示した。
• 効率性: CBOpt バリアントは、SGD や Adam などの 1 次オプティマイザと同等の計算効率を維持し、推論時に複数の確率的フォワードパスを必要としない（MC ドロップアウトとは異なり）、パラメータごとの勾配とスカラー曲率推定値のみを必要とする。
• MC ドロップアウトとの組み合わせ: 追加の実験により、CBOpt と MC ドロップアウトを組み合わせることで、MC ドロップアウトの強力なドメイン内性能を維持しつつ、OOD 検出指標をさらに改善できることが示された。

5. 意義と主張

本論文は、可能性変分推論が既存手法の単なる再定式化ではなく、不確実性表現に対する独自の視点を提供し、実用的に有用なアルゴリズムへと導くことを主張する。

• 概念的転換: 加法確率から最大化可能性へ移行することで、この枠組みは認識的不確実性を自然に処理し、確率論で一般的である不適切な積分の問題なしに、完全に無情報な事前分布を可能にする。
• 実用性: CBOpt の開発は、理論的枠組みが、テスト時のサンプリングの計算オーバーヘッドを回避しつつ、IVON や MC ドロップアウトなどの最先端の不確実性認識学習法と競争するスケーラブルなオプティマイザとして具体化できることを示している。
• 将来の作業の基盤: 著者らは、この仕事が可能性理論への変分的推論の拡張の基盤を提供すると述べている。彼らは、この枠組みの構成要素（特に無情報事前分布下での最大化疑似発散と事後分布）が、すでに Ni ら（2026）によって 2 次予測子の導出に利用されており、基礎理論の実用性が検証されていると指摘している。

著者らは限界に関して謙虚であり、彼らのニュートン型更新が 2 次近似と特定の曲率条件に依存していること、および現在の実証的検証が対角フィッシャー近似を持つ等方性ガウス候補に限定されていることを認めている。しかし、彼らはこの枠組みが、理論的な可能性推論とスケーラブルな深層学習応用の間のギャップを成功裏に埋めたと主張している。