The Variational Approach in Filtering and Correlated Noise

1. 問題設定 (Problem)

非線形フィルタリングの分野において、Mitter と Newton は、フィルタリング分布（事後分布）を「自由エネルギー汎関数」の最小化問題として特徴づける変分定式化を提案しました。この定式化は、信号過程 $X$ と観測過程 $Y$ が独立なブラウン運動によって駆動される場合に成立します。

• 既存の定式化の前提: 結合経路測度 $P_{XY}$ が、事前分布 $P_X$ と観測の参照測度 $\lambda_Y$ の積測度 $P_X \otimes \lambda_Y$ に対して絶対連続であること（$P_{XY} \ll P_X \otimes \lambda_Y$）が必須条件です。これにより、条件付き分布が Gibbs 測度として表現され、相対エントロピーと期待エネルギーの和を最小化する解となります。
• 本研究の課題: 信号と観測が共通のノイズ源（相関ノイズ）を共有する場合（例：$dX_t = \dots + \sigma_1 dW_t$, $dY_t = \dots + dW_t$）、上記の絶対連続性の条件が破綻するかどうか、そしてその場合どのように変分定式化を再構築できるかが問題となります。既存の文献（Kushner-Stratonovich 方程式など）では相関ノイズは扱われていますが、Mitter-Newton のような変分原理による自由エネルギーの定式化は相関ノイズ下では適用不能とされてきました。

2. 手法と主要な理論的発見 (Methodology & Key Findings)

著者らは、相関ノイズ下における変分定式化の破綻を厳密に証明し、それを克服するための新しい「条件付き変分原理」を提案しました。

A. 絶対連続性の破綻と相互特異性の証明

まず、信号と観測が共通ノイズ $W$ を共有する場合、Mitter-Newton の仮定（$P_{XY} \ll P_X \otimes \lambda_Y$）が満たされないことを証明しました。

1. 離散時間モデルによる直感的説明: 離散時間モデルにおいて、結合測度と積測度のラドン・ニコディム微分の極限を解析し、連続極限においてこの比率が 0 または無限大に発散し、測度が互いに特異（mutually singular）になることを示しました。
2. 一般論（Proposition 4.1）: 任意の $\sigma$-有限測度 $\lambda_Y$ に対して $P_{XY} \ll P_X \otimes \lambda_Y$ が成り立つためには、$P_{XY} \ll P_X \otimes P_Y$ （結合測度が積測度に対して絶対連続）である必要があります。
3. ガウス過程の場合（Theorem 5.4）: Feldman-Hájek 定理を用いて、線形ガウス設定において結合経路測度 $P_{XY}$ と積測度 $P_X \otimes P_Y$ が**相互特異（mutually singular）**であることを示しました。これは、共分散演算子の Cameron-Martin 空間が一致しないことに起因します。
4. 一般非線形の場合（Theorem 5.6）: 非線形拡散過程に対して、二次変分（quadratic variation）の収束挙動を利用し、$P_{XY}$ と $P_X \otimes P_Y$ が相互特異であることを直接構成しました。具体的には、結合測度下では二次変分が $\int \sigma_1 ds$ に収束するのに対し、積測度下では 0 に収束することを利用しています。

結論: 相関ノイズ下では、事後分布 $P_{X|Y}$ は事前分布 $P_X$ に対して特異であり、したがって $dP_{X|Y} \propto e^{-H} dP_X$ という形の Gibbs 表現は存在しません。

B. 新しい変分原理の提案 (Conditional Variational Principle)

既存の定式化が失敗する理由（事前分布との特異性）を解決するため、参照測度を「事前分布」から「ノイズの相関構造を保持する条件付き参照測度」へと変更するアプローチを提案しました。

• 新しい仮定 (Assumption 6.1): 事後分布 $P_{X|Y}(\cdot, y)$ が、ある条件付き参照測度 $Q_{X|Y}(\cdot, y)$ に対して絶対連続であることを要求します。ここで $Q$ は観測の周辺分布 $P_Y$ と整合する結合測度です。
• エネルギー関数: $H(x, y) = -\log \frac{dP_{X|Y}(\cdot, y)}{dQ_{X|Y}(\cdot, y)}(x)$ と定義します。
• 変分特性: 事後分布 $P_{X|Y}(\cdot, y)$ は、相対エントロピー $h(\tilde{P} \| Q_{X|Y}(\cdot, y))$ と期待エネルギー $\langle H, \tilde{P} \rangle$ の和を最小化する一意の解となります（Theorem 6.4）。

3. 具体的な適用：線形拡散過程 (Linear Diffusions)

提案された理論を線形ガウス拡散過程に適用し、明示的な自由エネルギー表現を導出しました。

• モデル:
  $$dX_t = AX_t dt + \sigma_0 dB_t + \sigma_1 dW_t$$
  $$dY_t = CX_t dt + dW_t$$
  （$B$ と $W$ は独立、$\sigma_1$ は共通ノイズの係数）
• 参照測度 $\mu_y$ の構成: 共通ノイズ $W$ を観測経路 $y$ に固定し、ドリフト項を除去した「ドリフトレス・システム」の結合法則を条件付き参照測度 $\mu_y$ として選びます。
  $$dX^0_t = \sigma_0 dB_t + \sigma_1 dy_t$$
  このとき、$\mu_y$ は平均が $x_0 + \sigma_1 y_t$ のガウス測度となります。
• エネルギー関数 $H(x, y)$: 真のシステムと参照システム $\mu_y$ の間のドリフト差 $\beta(X_t) = (A - \sigma_1 C)X_t$ を用いた Girsanov 密度から導出されます。
  $$H(x, y) = -\int_0^T \beta(x_t)^T (\sigma_0 \sigma_0^T)^{-1} (dx_t - \sigma_1 dy_t) + \frac{1}{2} \int_0^T \beta(x_t)^T (\sigma_0 \sigma_0^T)^{-1} \beta(x_t) dt$$
• 結果: この定式化は、$\sigma_1 = 0$（ノイズ独立）の場合に Mitter-Newton の定式化に厳密に帰着します。

4. 主要な貢献と結果 (Key Contributions & Results)

1. 変分定式化の限界の厳密な証明: 信号と観測が共通ノイズを共有する場合、従来の Mitter-Newton の変分アプローチ（事前分布に対する絶対連続性）が本質的に破綻することを証明しました。これは単なる技術的な欠陥ではなく、測度論的な相互特異性に起因する根本的な問題です。
2. 条件付き変分原理の導入: 事前分布を「ノイズの相関構造を保持する条件付き参照測度」に置き換えることで、フィルタリング分布を自由エネルギー最小化問題として再定式化することに成功しました。
3. 明示的な自由エネルギーの導出: 線形ガウス設定において、この新しい変分原理に基づく具体的なエネルギー関数（ドリフト項とノイズ構造に依存する）を導出しました。
4. 一般化: 提案された枠組みは、ノイズが独立な場合の既存理論を特殊ケースとして包含する一般化された定式化となっています。

5. 意義と今後の展望 (Significance & Future Work)

• 理論的意義: 非線形フィルタリングにおける変分アプローチの適用範囲を、相関ノイズという重要なクラスに拡大しました。これにより、共通ノイズを持つシステム（例えば、物理的に結合したセンサーや、共通の環境要因に曝されるシステム）のフィルタリングを、情報幾何や自由エネルギーの観点から統一的に扱える道が開かれました。
• 実用的意義: 相関ノイズ下でのフィルタリングアルゴリズム設計において、従来の Kushner-Stratonovich 方程式に基づく数値解法だけでなく、変分推論（Variational Inference）や最適輸送などの手法を適用するための理論的基盤を提供します。
• 今後の課題: 本論文では線形ガウス設定での明示的な解が示されていますが、一般の非線形拡散過程における条件付き参照測度の具体的な構成や、その数値的実装、および非線形モデルへの拡張は未解決の問題として残されています。

総じて、この論文は相関ノイズ下でのフィルタリング問題に対する測度論的な洞察と、それを克服する新しい変分枠組みを提供する重要な貢献です。