技術要約：シミュレーションフリーな潜在SDEにおける近似ギャップの解消

問題定義

ノイズを含み、不規則にサンプリングされた時系列データから動力学系を復元することは、神経科学や物理学などの分野における根本的な課題である。潜在確率微分方程式（Latent SDE）は、学習可能なSDEに従って進化し、離散的な観測値を生成する未観測の連続時間状態を仮定することで、これらのシステムをモデル化する。これらのモデルへの適合には、モデルパラメータの学習と、連続的な潜在軌跡の事後分布の推論という、2つの困難なタスクが必要となる。

変分推論（VI）は、証拠下界（ELBO）を最適化することによってこれに対処する。しかし、ELBOの評価にはパス空間のカルバック・ライブラー（KL）ダイバージェンスが含まれ、通常、時間離散化にわたる数値シミュレーションを必要とする。これは、近似の忠実度と計算コストの間のトレードオフをもたらす。

近年の「シミュレーションフリー」なVIアルゴリズム（例：SDE Matching, SVISE）は、ドリフト関数ではなく、その**一時点の周辺分布（one-time marginal distributions）**を通じて事後分布をパラメータ化することで、このトレードオフを回避しようと試みている。これらの手法は、ランダムな時刻と状態をサンプリングしてELBOを推定し、先行する軌跡をシミュレートすることなく直接サンプリングすることを可能にする。しかし、このアプローチには解決されていない決定的な曖昧さが残されている。すなわち、一時点の周辺分布の集合は、パスの法則（時間の結合分布）を一意には決定しないということである。既存のシミュレーションフリー手法は、単一の互換性のあるドリフト（例：「平方根」または「対称」ゲージ）を任意に選択することで、この問題を解決している。著者らは、この恣意的な選択が、変分家族をシ着可能なパス法則のサブセットに制限しており、特に事後不確実性が高い状況において、事後推論および基礎となる動力学の学習の両方を劣化させていると主張している。

手法：Helmholtz-SDE

著者らは、シミュレーションフリーな手法とシミュレーションベースの手法の間の表現力のギャップを埋めるために設計された、シミュレーションフリーなVIアルゴリズムであるHelmholtz-SDEを提案する。核心となる洞察は、一時点の周辺分布はパスの法則を一意には決定しないものの、互換性のあるすべてのパスの法則の集合を特徴付け、最適化できるという点にある。

理論的基盤

1. フォッカー・プランクの曖昧性： 一時点の周辺分布の進化はフォッカー・プランク方程式によって支配される。著者らは、同じ一時点の周辺分布を誘導するいかなる2つのドリフト関数も、$q$-発散フリーなベクトル場（$\nabla \cdot [q(x,t)v(x,t)] = 0$を満たすベクトル場 $v$）によってのみ異なることを示している。
2. パスの法則の最適化： 単一のドリフトを固定する代わりに、Helmholtz-SDEは、規定された周辺分布と互換性のあるドリフトの全集合にわたってELBOを最適化する。これは、参照ドリフトに対する最適な$q$-発散フリーな摂動を見つけることと同等である。
3. ヘルムホルツ分解： 最適な補正は、$q$重み付きヘルムホルツ分解を用いて導出される。残差ベクトル場 $r = f_{prior} - f_{reference}$ が与えられたとき、この分解は $r$ を勾配成分（周辺分布を変化させるもの）と発散フリー成分（周辺分布を保持するもの）に分離する。アルゴリズムは、参照ドリフトにこの発散フリー成分を加えることで、一時点の周辺分布を厳密に保持しながら、パスのKLダイバージェンスを最小化する。

実践的アルゴリズム

ガウス型の一時点周辺分布 $q(x,t) = \mathcal{N}(m(t), S(t))$ および状態独立な拡散過程の場合：

• 参照ドリフト： 周辺分布を満たすための標準的な参照ドリフト（例：SDE Matchingによるもの）が計算される。
• 多項式近似： ヘルムホルツ補正を計算可能にするため、残差ベクトル場は事後平均の周りの低次テイラー展開（具体的には線形、$\ell=1$）によって近似される。
• 閉形式の補正： この多項式残差の$q$重み付きヘルムホルツ分解は、線形システムを解くことによって正確に計算される。これにより、シミュレーションフリーの枠組みを維持したまま（逐次的なシミュレーションを必要とせず）、より豊かなクラスのパス法則をカバーする補正されたドリフトが得られる。
• 学習： アルゴリズムは、ランダムな時刻と状態をサンプリングしてELBOを推定する確率的VIを使用し、再パラメータ化トリックを用いて勾配を計算する。

主な貢献

1. 近似ギャップの特定： 本論文は、既存のシミュレーションフリーなVIアルゴリズムが、一時点の周辺分布ごとに単一のパス法則に事後分布を制限しており、シミュレーションベースのVIと比較して劣った近似を生じさせていることを正式に特定した。
2. Helmholtz-SDEアルゴリズム： 規定された周辺分布と互換性のあるすべてのパスの法則の空間に対して、ヘルムホルツ分解から導出された閉形式の、発散フリーな補正を加えることで、最適化を行う新しいアルゴリズムを提案した。
3. 理論的最適性： 共役な設定（線形事前分布、線形ガウス観測）において、著者らは、Helmholtz-SDEによって誘導される分布の家族が、KL距離において真の事後分布（ガウス過程）を任意に近く近似できることを証明した。これに対し、既存のシミュレーションフリー手法は、無制限のKLギャップを生じる可能性がある。
4. 実証的検証： 本手法は合成データおよび実世界のデータセットで検証され、動力学の回復および事後推論において、従来のシミュレーションフリー手法よりも優れた性能を示すとともに、シミュレーションベースの手法に匹敵する計算コストを実現している。

結果

著者らは、4つの実験設定においてHelmholtz-SDEを評価している：

1. Ornstein-Uhlenbeck (OU) スパイラル： 強力な回転動力学を持つ共役な設定において、Helmholtz-SDEは、SDE Matchingで使用される「平方根」ゲージよりも、真の事後分布に対する対称KL距離が数桁小さい値に達した。この改善は、観測が疎でノイズが高い場合に最も顕著である。さらに、本手法は正しい事前ドリフトを回復するが、平方根ゲージは事後分布の誤指定により、誤った動力学を学習することが多い。
2. ノイズを含むローレンツ・アトラクタ： プロセスノイズが増加したカオス系において、Helmholtz-SDEは、他のシミュレーションフリーなベースラインよりも約20 nats低いパスKLを達成した。また、アトラクタのローブ内での外向きのスパイラル状の動力学を正確に回復しており、これは他のシミュレーションフリー手法が見逃している特徴である。本手法は、シミュレーションベースの手法（SING, Latent-SDE）と同等の性能を実現しつつ、H100 GPU上で20倍以上の高速動作を実現した。
3. 捕食者・被食者系： 実世界のローティファー（輪虫）と藻類の個体数データを用い、Helmholtz-SDEは生物学的推定値に極めて近い周期と捕食者・被食者のラグを持つ安定なリミットサイクルを学習した。対照的に、SDE Matchingは、周期とラグが膨張し、固定点へと減衰する動力学を学習し、システムの循環的な性質を捉えることに失敗した。
4. 低次化された流体力学： 高次元の流体問題（円柱を通過する流れ）に適用した結果、Helmholtz-SDEは、SDE Matchingよりも渦の移流の移動波構造をより良く回復する低次モデルを学習した。これにより、10ユニットの予測ウィンドウにおける積分平均二乗誤差（MSE）が約20%減少した。

意義と主張

本論文は、Helmholtz-SDEが、シミュレーションフリーな変分推論をシミュレーションベースの対応物と競争可能なものにし、最終的にはそれらよりも好ましいものにするための重要なステップであることを主張している。ドリフト関数の恣意的な制限を取り除くことで、本手法は、シミュレーションフリーなサンプリングの計算効率を損なうことなく、表現力のギャップを埋めている。

著者らは、本手法が特に事後不確実性が高い領域（疎またはノイズの多いデータ）において、ドリフトの選択が推論と学習の質に大きく影響するため、非常に価値が高いことを強調している。現在の実装はガウス型の周辺分布と状態独立な拡散過程に依存しているが、このフレームワークは、スケーラブルで教師なしの動力学発見に向けた道筋を示唆している。また、補正の解析的な形式や、高次の多項式近似の潜在次元へのスケーリングに関する制限についても言及しており、これらを自然な今後の研究方向として提示している。