技術的概要：正規化フローによる確率的多スケールモデルの学習

1. 問題定式化

本論文は、部分的に観測される多スケール確率系における効果的ダイナミクスの学習という課題に取り組む。物理学、工学、生物学において一般的であるこれらの系は、高次元で急速に変動する速い成分 ($Y^{(n)}$) の影響を受けて進化する低次元の遅い成分 ($X^{(n)}$) から構成される。

主要な制約と課題:

• 部分的観測性: 遅い変数 $X^{(n)}$ の単一の軌道のみが観測され、速い変数 $Y^{(n)}$ は観測されず潜在変数のまま残る。
• スケール分離: 速いダイナミクスは $O(1/n)$ の時間スケールで進化するため、固定された時間範囲内で $O(n)$ の事象を追跡する必要があるなど、潜在軌道の直接再構成は計算的に困難である。
• 扱いにくい不変測度: 遅い変数の効果的ダイナミクスは、速い過程の不変分布 ($\pi_0$) に依存する。$\pi_0$ は速い変数の平衡状態における効果を特徴づけるが、通常は未知であり、高次元で扱いにくい偏微分方程式（PDE）（例えば、定常フォッカー・プランク方程式）によって暗黙的に定義される。
• 既存手法の限界: 従来の PDE ベースのアプローチ（フォッカー・プランク）は、高密度な時空間データまたはグリッドベースのソルバーを必要とし、単一軌道データには不適切である。主成分分析（PCA）などの標準的なモデル縮小技術は、基礎となるダイナミクス構造を尊重しない。

目標は、速いダイナミクスや $\pi_0$ を明示的に知らずに、観測された遅いダイナミクスを模倣する低次元的な確率微分方程式（SDE）のためのデータ駆動型の効果的ドリフト ($\bar{b}_{\pi_0}$) と拡散関数を推論することである。

2. 手法

提案される枠組みは、モデル縮小のための確率的平均化、潜在密度モデリングのための正規化フロー、および不確実性定量化のための変分推論を組み合わせる。

2.1 確率的平均化によるモデル縮小

著者はまず、原理的なモデル縮小を確立する。仮定 3.1（リャプノフ関数の存在と一様楕円性）の下で、時間スケール分離パラメータ $n \to \infty$ となるにつれ、遅い過程 $X^{(n)}$ は、以下の式で支配される縮小過程 $X^{\pi_0}$ に弱収束する。
$$dX^{\pi_0}(t) = \bar{b}_{\pi_0}(X^{\pi_0}(t)) dt + \bar{\sigma}_{\pi_0}(X^{\pi_0}(t)) dW(t)$$
ここで、効果的ドリフトは不変測度に関する元のドリフトの期待値である。
$$\bar{b}_{\pi_0}(x) = \int_{\mathbb{R}^{d'}} b(x, y) \pi_0(dy)$$
したがって、推論問題は、観測された $X$ の軌道から、未知の不変測度 $\pi_0$（または直接関数 $\bar{b}_{\pi_0}$）を学習することとして再定式化される。

2.2 正規化フローによるパラメータ化

$\pi_0$ は無限次元の対象であるため、著者はこれを正規化フローを用いてパラメータ化する。

• 潜在密度: 不変測度は、単純な参照分布 $\nu_{ref}$（例えば標準ガウス分布）をニューラルネットワーク変換 $f_\theta$ によってプッシュフォワードしたものとモデル化される。
  $$q_\theta = (f_\theta)_\# \nu_{ref}$$
• 表現力: 万能近似定理を活用し、ニューラルネットワークの複雑さが増すにつれて、フローによって誘発される分布の族が、ワッサーシュタイン距離の下で確率測度の空間において稠密になることを示す。これにより、複雑で非ガウス的かつ多峰性の不変分布の近似が可能となる。
• 推定量の構築: 効果的ドリフトはモンテカルロ積分を通じて近似される。
  $$\bar{b}_{\theta}^{MC}(x) = \frac{1}{L} \sum_{l=1}^L b(x, f_\theta(Z^{(l)}))$$
  ここで、$Z^{(l)} \sim \nu_{ref}$ である。

2.3 最適化と学習

学習目的は**ペナルティ付き最尤推定（MLE）**である。

• 尤度: 観測された軌道の尤度は、オイラー・丸山離散化を用いて近似される。
• ペナルティ化: 安定性を確保し過学習を防ぐため（特に、学習された分布のモーメントを制御するため）、負の対数尤度に分布の $p$ 次モーメントに基づくペナルティ項 $\lambda m_p(\rho)$ が追加される。
• 収束: 本論文は、ニューラルネットワークの複雑さ ($n$) が増加し、ペナルティパラメータ ($\lambda$) が減少するにつれて、フローベースの推定量がグローバル MLE の集合に収束することを証明する。

2.4 ベイズ的不確実性定量化

認識的不確実性に対処するため、著者は変分推論の手順を開発する。

• 事後分布近似: 2 番目の正規化フロー $g_\vartheta$ を用いて、フローパラメータ $\theta$ 上の事後分布を近似する。
• ELBO 最適化: 再パラメータ化トリックを用いてエビデンス下限（ELBO）を最大化し、効率的な勾配ベースの最適化を可能にする。これにより、推論された効果的ダイナミクスにおける不確実性を定量化するスケーラブルな手法が得られる。

3. 主要な貢献

1. 定式化: 多スケール SDE の推論問題を潜在不変測度学習問題として定式化し、効果的ドリフトを未知の不変分布上の条件付き期待値として表現する。
2. フローベースのパラメータ化: 潜在不変測度をパラメータ化するために正規化フローを導入し、縮小ダイナミクスを支配する平均化関数の正確な近似を可能にする。
3. ベイズ的拡張: 推論された効果的ダイナミクスにおける不確実性を定量化するためのフローベースの変分事後分布を開発し、高次元パラメータ空間における MCMC のスケーラブルな代替手段を提供する。
4. 理論的保証: 適切な条件下で、表現力が増すニューラルプッシュフォワード類におけるペナルティ付き最小化器が、グローバル MLE 集合に収束することを証明する。
5. 実証的検証: 合成多スケール系（溶媒中のタグ付き粒子と二重井戸ダイナミクス）における手法の実証により、効果的ドリフトの正確な回復と意味のある不確実性推定量の獲得を示す。

4. 実験結果

本手法は、多スケール SDE から生成された合成データで検証された。

• ドリフト回復: 提案された構造化推定量は、ドリフトの積分表現を無視した非構造化ニューラルネットワークベースラインを大幅に上回った。特定のテストにおいて、構造化フローベース推定量の平均二乗誤差（MSE）は、非構造化 NN よりも約10 倍低い値を達成した。
• 軌道一致: 学習された平均化ドリフトによって駆動される SDE は、観測時間ウィンドウ内および外の両方で、真の遅い軌道を成功裡に模倣し、過学習ではなく真の学習を示した。
• 不確実性: ベイズ的拡張により、推定ドリフトの変動を捉える信頼区間が提供された。
• 有限時間法則: コルモゴロフ・スミルノフ距離およびワッサーシュタイン距離を用いた経験法則の比較により、学習されたモデルが平均化系の有限時間確率構造を正確に再現することが示された。

5. 意義と限界

意義:
本論文は、確率的モデル縮小とフローベース確率推論を架橋する。次元性とデータ不足により従来の PDE ソルバーが失敗する、部分的に観測される多スケール系における効果的ダイナミクスの学習のための、スケーラブルでデータ駆動型の枠組みを提供する。不変測度を学習可能な潜在変数として扱うことで、この手法は現代の深層学習の能力を活用しつつ、系のダイナミクス構造を尊重する。

限界と将来の課題（著者による記載）:

• 強い結合: 現在の手法は、速いダイナミクスが遅い変数に依存しない（または特定の平均化領域で弱く結合している）と仮定している。速いダイナミクスが遅い変数に依存する強く結合した系には直接適用されない。
• データの質: 本手法は、遅い成分の高頻度観測を仮定している。まだ疎でノイズの多い観測を持つ設定では検証されていない。
• アーキテクチャ: より複雑な領域を処理するために、連続時間フロー（ニューラル ODE）などのより表現力のあるアーキテクチャを用いて手法を拡張する将来の作業が提案されている。