技術要約：変分フレームワークによる逐次ベイズ・パラメータ・状態推定

問題定義

本論文は、未知のモデルパラメータ（$\theta$）とシステムのシステム状態（$X_k$）を、特にノイズが多く不完全な観測条件下でオンライン同時推定するという課題に取り組んでいる。このタスクは、予測と意思決定をサポートするためにモデル知識の継続的な更新を必要とする**デジタルツイン（DT）**などのアプリケーションにおいて極めて重要である。

核心となる困難は、時刻 $k$ までのすべての観測値 $Y_k$ に基づく同時事後分布 $p(X_k, \theta \mid Y_k)$ を計算することにある。この分布は、状態とパラメータ間の依存関係を捉えることで、正確な不確実性の定量化を提供する。しかし、同時事後分布は一般に計算困難（intractable）である。既存のオンライン手法には以下のような重大な限界がある：

• 結合ガウスフィルタ（例：Joint UKF, Joint EnKF）： 同時事後分布がガウス分布であると仮定している。この仮定は非線形システムに対して過度に制限的であり、大きな近似誤差を招く。
• 結合粒子フィルタ（Joint PF）： ガウス仮定を回避するが、静的なパラメータを状態ベクトルに拡張すると、深刻な**粒子重みの退化（weight degeneracy）**に陥る。高次元の問題では、扱いきれないほど膨大な数の粒子が必要となる。
• SMC2： 有効ではあるが、計算コストが時間とともに増大するため、厳密なオンラインタスクには適さない。
• 既存の変分推論（VI）手法： その多くはオフライン設定向けに設計されているか、あるいは同時事後分布を独立な周辺分布の積（平均場近似）として近似しており、パラメータと状態の間に内在する依存関係を無視している。

さらに、既存手法の多くは近似精度の理論的保証を提供していないが、これは安全性が重視されるアプリケーションにおいて信頼性を確立するために不可欠である。

手法：因子分解に基づくオンライン変分推論（FBOVI）

著者らは、同時事後分布 $p(X_k, \theta \mid Y_k)$ を分布 $q_k(X_k, \theta)$ で近似する、柔軟なオンライン変分推論フレームワークである FBOVI を提案している。

コアフレームワーク

真の同時事後分布を直接近似する代わりに、FBOVIは「オンラインターゲット」を導入し、近似を以下のように因子分解する：
$$q_k(X_k, \theta) = \rho_k(X_k \mid \theta) \nu_k(\theta)$$
ここで：

1. $\nu_k(\theta)$ は、オンライン・パラメータ事後分布（パラメータの周辺分布）を近似する。
2. $\rho_k(X_k \mid \theta)$ は、オンライン条件付きフィルタリング分布（パラメータを条件とした状態分布）を近似する。

このフレームワークは、各時刻 $k$ において2段階の再帰的プロセスで動作する：

ステージ1：パラメータ事後分布の近似 ($\nu_k$)

• 目標は、オンライン・ターゲット・パラメータ事後分布 $\nu^*_k$ とのカルバック・ライブラー（KL）ダイバージェンス $KL(\nu_k \parallel \nu^*_k)$ を最小化することである。
• これは、**証拠下界（ELBO）**を最大化することによって達成される。
• ELBOに必要な積分は、システムの種類に応じて異なる方法で計算される：
  • 線形システム： カルマンフィルタの論理を用いて、閉形式（closed-form）の式が導出される。
  • 非線形システム： 予測分布は（アンサンブル・アンセンテッド変換またはガウス求積法を通じて）ガウス分布によって近似され、これにより積分を評価できる。あるいは、モンテカルロ・サンプリングを使用することも可能である。

ステージ2：条件付き状態分布の近似 ($\rho_k$)

• 計算された $\nu_k(\theta)$ を用いて、期待KLダイバージェンス $E_{\theta \sim \nu_k}[KL(\rho_k(\cdot \mid \theta) \parallel \rho^*_k(\cdot \mid \theta))]$ を最小化する。
• $\rho_k(X_k \mid \theta)$ は条件付きガウス分布 $N(X_k; m_k(\theta), C_k(\theta))$ としてモデル化される。
• ニューラルネットワークによる表現： 計算効率を確保し、時間の経過に伴うコスト増大を防ぐため、平均関数 $m_k(\theta)$ と共分散関数 $C_k(\theta)$ は、固定されたアーキテクチャを持つニューラルネットワークによって表現される。これらのネットワークは、オンライン・ターゲットに適用されたガウスフィルタ（KF, UKF, または EnKF）から導出されたターゲットの平均と共分散を近似するように訓練される。
• EnKFの統合： 高次元システムの場合、フレームワークはアンサンブルカルマンフィルタ（EnKF）を組み込む。状態粒子は前方へ伝播させず（関数的表現である $m_k, C_k$ のみを用いる）、ニューラルネットワークの学習データを生成するために、独自の毎ステップ・リサンプリング手順が用いられる。

理論的保証

本論文では、真の同時事後分布とFBOVIによる近似との間の誤差（全変動距離またはヘリンジャー距離で測定）の上界を与える定理1を確立している。この上界は、近似とそれぞれのオンライン・ターゲットとの間のKLダイバージェンスに依存する。線形システムについては、より具体的で推定可能な誤差上界を与える定理2を提示している。

主な貢献

1. 柔軟な変分フレームワーク： 同時事後分布を因子分解することで、パラメータと状態の間の依存関係を保持し、結合フィルタの制限的なガウス仮定や、結合粒子フィルタの重み退化問題を回避する、新しいオンラインVIフレームワーク。
2. 理論的な誤差上界： 近似精度に関する誤差上界（定理1および定理2）の導出により、手法の有効性に対する理論的基盤を提供し、アルゴリズム設計を導く。
3. スケーラビリティとモジュール性： フレームワークは、ステージ2において様々なガウスフィルタリング手法（KF, UKF, EnKF）をサポートしている。条件付きモーメントを表現するためにニューラルネットワークを使用することで、ステップごとの計算コストを一定に保ち、高次元システムへのスケールを実現している。
4. 包括的な検証： 部分的に未知のモデル、モデルの誤設定、カオス力学、および高次元PDE離散化を含む、多様なシナリオにおける性能を示す広範な数値実験。

実験結果

本手法は、3つの異なる実験において、Joint PF、Joint UKF、および Joint EnKF と比較評価された：

1. 線形単振子（部分的に未知のモデル）：

   • FBOVIは、パラメータ推定および予測性能において、Joint PF および Joint UKF と同等、あるいはそれ以上の性能を達成した。
   • 初期事前分布が不正確な場合でも、Joint UKF が発散したのに対し、FBOVI は真の事後分布を正常に追跡できた。
   • 部分的に未知の動力学モデルおよび観測モデルを効果的に扱った。

2. カオス的 Lorenz '96 システム（10次元）：

   • 正しいモデル： FBOVI は、パラメータおよび未観測状態の推定において Joint UKF を大幅に上回り、Joint UKF が捉えられなかった同時事後分布の非ガウス的特徴を捉えた。
   • モデルの誤設定： 構造的なモデル誤差（Euler 法 vs RK4 法）の下でも、FBOVI は堅牢性を維持し、妥当な状態推定と予測を提供したが、軌道のピークや谷付近では精度がわずかに低下した。
   • 高ノイズ： 高いノイズレベル（$\gamma=10$）においても、FBOVI は堅牢性を維持したが、極値付近での推定精度は低下した。

3. 非線形対流拡散方程式（51次元）：

   • EnKFと統合されたFBOVIは、参照解を正確に追跡し、正確な予測を提供した。
   • 高次元かつ非線形な設定において、Joint EnKF を特に初期段階で上回った。Joint EnKF のガウス仮定が、その予測能力を制限していた。

意義と主張

本論文は、FBOVI がオンラインのパラメータ・状態推定のための信頼性が高く、スケーラブルで、適応可能なソリューションを提供すると主張している。その意義は以下の通りである：

• 粒子法の精度と、ガウスフィルタの効率性の間のギャップを埋め、重みの退化や制限的なガウス仮定に悩まされることなく機能する。
• 近似精度のための理論的保証を提供しており、これはデジタルツインやリスクを考慮した意思決定において信頼を確立するために不可バンである。
• ニューラルネットワークとEnKFを活用することで、高次元推論を可能にし、PDEによって記述される複雑な物理システムへの適用を可能にする。

著者らは、このフレームワークが、不確実性、ノイズ、およびモデルの不一致の下での継続的な更新を必要とするシナリオにおいて、特に強力なツールになると結論付けている。