技術的サマリー：深層ガウス過程のための Onsager–Machlup 事後輸送

1. 問題定義

深層ガウス過程（DGP）は、ガウス過程（GP）層を積み重ねることで、較正された不確実性を持つベイズ的深層学習フレームワークを提供する。しかし、推論は依然として中心的な計算ボトルネックである。層ごとの誘導変数 $U = \{U^{(\ell)}\}_{\ell=1}^L$ に関する事後分布は非ガウス的であり、層間で強く相関しているため、正確な推論は扱いにくい。

既存の近似推論手法はトレードオフに直面している：

• 明示的密度適合（ELBO ベース）： Doubly-Stochastic Variational Inference（DSVI）などの手法は、ガウス因子分解を強制するが、これは多峰性や相関のある事後分布に対して制限的である。
• スコアベース SDE： DDVI や DBVI などの手法は、事後分布を、ノイズ除去スコアマッチング（DSM）と Girsanov 型の Evidence Lower Bound（ELBO）を用いて訓練された、逆時間確率微分方程式（SDE）の終端として定義する。これらは柔軟であるが、補助的なスコアネットワークの訓練が必要であり、確率積分の分散に悩まされる。
• サンプリング： 確率勾配ハミルトニアンモンテカルロ（SGHMC）は計算コストが高く、大規模データセットへのスケーリングが困難である。

核心的な課題は、DSVI の制限的なガウス仮定なしに DGP 誘導変数に対する推論を行うこと、かつスコアベース SDE 手法の高い分散を持つ補助的損失と確率積分コストを回避することである。

2. 手法：FBVI-bridge-Path（OM-Path）

著者は、代替的な定式化として事後輸送を提案する。ELBO 最大化を通じて密度 $q_\phi(U)$ を適合させる代わりに、扱いやすい参照測度を事後分布に関連する誘導変数に写す決定論的サンプリャー $T_\phi$ を学習する。

2.1 SDE から決定論的 ODE へ

この手法は、DBVI で使用されるDoob 橋付き前方 SDEに基づいている。これは、アモルタイザー $\mu_\theta(x)$ を通じて拡散過程をデータ依存の初期分布に固定する。

• 参照過程： 著者は、DBVI 橋 SDE に対して Song ら（2021）の確率流 ODE 還元を適用する。これにより、橋の周辺係数（平均と分散）から直接導出される閉形式の参照ドリフト $v_{ref}^{Bri}(U, s)$ が得られ、スコアマッチングの必要性を排除する。
• 決定論的輸送： 変分対象は、橋のノイズ側周辺から事後分布へサンプルを輸送する決定論的 ODE $\dot{U}_\tau = v_\phi(U_\tau, 1-\tau, \text{ctx})$ である。

2.2 Onsager–Machlup 目的関数

重要な理論的洞察として、SDE ベースの変分推論で用いられる標準的な Girsanov KL 発散は、拡散係数 $g \to 0$（決定論的極限）において発散する。決定論的極限に対する正しい目的関数は、Freidlin–Wentzell 大偏差レート汎関数に対応するOnsager–Machlup（OM）作用である。

訓練目的関数 $L_{OM}$ は以下のように定義される：
$$L_{OM}(\phi) = -\mathbb{E}_{q_\phi}[\log p(y | F(L))] + \frac{\alpha}{2} \int_0^1 \mathbb{E} \left[ \| v_\phi(U_\tau, 1-\tau, \text{ctx}) - v_{ref}^{Bri}(U_\tau, 1-\tau) \|^2 \right] d\tau$$

• データ項： 終点の負対数尤度。
• 経路事前分布： 学習された速度場と閉形式の参照ドリフトとの偏差を測定するトレースフリー正則化項。
• 主要な特性：
  • トレースフリー： Hutchinson トレース推定を必要としない（FFJORD/CNF とは異なり）。
  • 補助的損失フリー： ノイズ除去スコアマッチングを必要としない（DDVI/DBVI とは異なり）。
  • 分配関数フリー： $\partial_t \log Z_t$ の推定を必要としない（NFS2 とは異なり）。

2.3 理論的ステータス

定理 1 は、$L_{OM}$ が $\epsilon \to 0$ における Freidlin–Wentzell 大偏差原理（LDP）を介して、温度付けされた Doob 橋経路事後分布の小ノイズ最大事後確率（MAP）経路と同一視されることを確立する。

• 有限の訓練値（$\alpha=1, \epsilon=1$）において、この目的関数は、終点尤度で傾いたガウス参照経路測度に対する経路空間正則化項として機能する。
• この手法は ELBO ではなく、経路空間 MAP 推定量である。著者はこの区別を明示的に指摘し、厳密な下限手法と比較している。

2.4 厳密 ELBO アブレーション

本論文は、同一の橋バックボーン上で 2 つの厳密な経路空間 ELBO 変種を導出する：

1. FBVI-bridge-CNF： KL 項に対して FFJORD の瞬間的変数変換公式（Hutchinson トレース）を使用する。
2. FBVI-bridge-CNFOM： CNF 目的関数に OM 正則化項を追加する。
   実験的には、Hutchinson トレース推定量によって導入される高い分散のため、これらの厳密 ELBO 変種は、トレースフリー MAP 推定量よりも性能が劣る。

3. 主要な貢献

1. DGP に対する事後輸送： ELBO ベースのスコア SDE 推論に代わる、DGP 誘導変数向けの決定論的 ODE ベースの事後輸送フレームワークを導入する。参照ドリフトは閉形式であり、スコアマッチングの必要性を排除する。
2. 有限-$\epsilon$ 経路事後同一視： 訓練目的関数を、温度付けされた経路事後分布の正規化されていない負対数密度（有限 $\alpha$）として厳密に同一視し、Freidlin–Wentzell LDP（定理 1）を介して小ノイズ MAP 経路と結びつける。
3. バイアス - 分散トレードオフ分析： DGP 事後輸送領域において、経路目的関数の分散を減らすこと（Hutchinson トレースの除去）が、正確な密度の追跡の利点を凌駕することを示す。トレースフリー MAP 推定量は厳密 ELBO よりも優れている。
4. 実験的検証： 大規模 UCI 回帰データセット（$N > 9,000$）において最先端の DBVI に対して統計的に有意な改善を示し、二値分類では競争力のある性能を維持しながら、小規模データセットでも安定性を保つことを示す。

4. 実験結果

この手法（FBVI-bridge-Path または OM-Path）は、7 つの UCI 回帰データセット、大規模回帰（Airline, Year）、および二値分類（SUSY, HIGGS）において、DSVI、SGHMC、IPVI、DDVI、DBVI と比較評価された。

• 小・中規模回帰（UCI）：
  • 顕著な勝利： OM-Path は、2 つの最大データセットであるPower（$p=0.014$）とProtein（$p=0.002$）において、DBVI に対して統計的に有意な勝利（ペアウィルコクソン検定）を達成した。
  • 同点： YachtとQSARでは統計的に同点。
  • 敗北： OM-Path は、DBVI のスコアパラメータ化による SDE ノイズ正則化が利益をもたらす小 $N$ のノイズデータセット（Boston, Energy, Concrete）において DBVI に譲った。
• 大規模回帰： Year（515k 行）とAirlineデータセットにおいて、OM-Path は RMSE と NLL において平均最良性能を達成したが、シード数の制限により統計的有意性は主張されていない。
• 二値分類： OM-Path は SUSY と HIGGS において DBVI と同率最良の性能を達成し、以前に暗黙的 q 代理変数で見られたギャップを埋めた。
• 少ステップ推論： ODE の決定論的性質により、OM-Path は Energy や Concrete などのデータセットで最小限の精度低下で積極的な少ステップ推論（1–4 ステップ）をサポートし、この領域において確率的ベースラインを上回る。
• ベイズ最適化： OM-Path は低～中次元の合成ベンチマーク（Hartmann-6, Levy-20）において優れた不確実性定量化を提供し、DSVI を上回る。

5. 意義と主張

本論文は、FBVI-bridge-Pathが DGP に対するスコアベース変分推論に対する厳密でトレースフリーな代替案であると主張する。その意義は以下の点にある：

• 理論的厳密性： 訓練目的関数を Freidlin–Wentzell LDP と Onsager–Machlup 作用に根ざさせ、決定論的事後輸送に対する数学的に健全な正当性を提供する。
• 実用的効率性： スコアマッチングと Hutchinson トレース推定の計算オーバーヘッドを排除し、より高速な訓練とより安定した勾配をもたらす。
• 性能： 厳密な ELBO 境界を低い分散と引き換えにする経路空間 MAP 推定量が、勾配分散が制限要因となる大規模データセットにおいて優れた実験結果をもたらすことを示す。

著者は主張について謙虚であり、以下の点を認めている：

• この手法はELBO ではなく、周辺尤度の下限を提供しない。
• 厳密 ELBO 変種は存在するが、分散のためこの特定の領域では実験的に劣る。
• 小規模でノイズの多いデータセットの性能は、現時点ではスコアベース手法（DBVI）の確率的正則化によって最もよく支えられている。
• MAP 経路との理論的同一視は漸近的な結果（$\epsilon \to 0$）であり、実用的な訓練は有限 $\epsilon$ で行われる。