⚡ electrical engineering

The Variational Approach in Filtering and Correlated Noise

本文证明了在信号与观测扩散共享共同噪声源时，Mitter-Newton 变分滤波框架因联合测度与乘积参考测度相互奇异而失效，并据此提出了一种保留噪声相关结构的条件变分原理，从而在广义上恢复了该框架并给出了线性相关噪声情形下的显式自由能刻画。

原作者： Sharan Srinivasan, Vijay Gupta, Harsha Honnappa

发布于 2026-04-06

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Sharan Srinivasan, Vijay Gupta, Harsha Honnappa

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文探讨的是**“如何在充满噪音和不确定性的情况下，猜出系统的真实状态”**，这在数学和工程领域被称为“滤波”（Filtering）。

想象一下，你正在玩一个**“蒙眼猜物”**的游戏：

信号（Signal, X）：是一个在房间里乱跑的人（比如你的孩子），你看不见他。
观测（Observation, Y）：是你通过一扇装有毛玻璃的窗户听到的声音。
噪音（Noise）：房间里除了孩子，还有风声、隔壁的装修声，这些干扰了你听清孩子的声音。

这篇论文的核心故事可以分为三个部分：旧方法的失败、为什么失败、以及新方法的诞生。

1. 旧方法的“完美假设”与它的崩塌

背景：Mitter 和 Newton 的“自由能”公式
以前，数学家 Mitter 和 Newton 发现了一个很棒的公式（就像一张藏宝图），可以告诉你如何根据听到的声音（观测），最准确地猜出孩子的位置（信号）。

原理：他们把“猜对”这个问题，变成了一个**“寻找最小能量”**的问题。
核心假设：这个公式成立有一个大前提——“孩子跑动时的脚步声（信号噪音）”和“你听到的风声（观测噪音）”必须是完全独立的，互不干扰。
- 比喻：就像孩子戴着一副耳机在跑（他的噪音），而你戴着另一副耳机在听（你的噪音），两副耳机之间没有连线。

论文的发现：当噪音“串线”时
这篇论文的作者（Srinivasan, Gupta, Honnappa）指出了一个致命问题：如果信号和观测共享同一个噪音源，旧公式就彻底失效了。

比喻：想象孩子跑动时，不仅自己会发出声音，他还直接拉着你的耳朵跑。
- 这时候，你听到的声音（观测）和孩子跑动的轨迹（信号）是死死绑在一起的。
- 在这种情况下，如果你试图用旧公式（假设两者独立）去计算，就像试图用“独立事件”的数学逻辑去解“连体婴儿”的问题，结果必然是数学上的“死胡同”（数学术语叫：测度互斥，Mutually Singular）。
- 结论：只要噪音是共享的，旧公式里的“参考系”就找不到，整个计算框架就会崩塌，无论你怎么修补参考系都没用。

2. 为什么旧方法会“死”？（直观解释）

作者用两个例子证明了这一点：

离散时间例子（像搭积木）：
如果你把时间切得很细，你会发现，当信号和观测共享噪音时，它们之间的“概率密度比”要么变成 0，要么变成无穷大。
- 比喻：就像你试图比较“两个完全重合的影子”和“两个分开的影子”的区别。在极限情况下，这种比较失去了意义，因为它们在数学上已经“互不相容”了。
连续时间例子（像两条河流）：
作者证明，如果信号和观测共享噪音，那么“真实的联合路径”和“假设它们独立的路径”就像两条永远无法相交的平行线，甚至可以说是两条完全不在同一个宇宙的河流。
- 在旧公式里，我们需要一个“参考地图”（先验分布）来导航。但在共享噪音的情况下，这个参考地图根本不存在，或者说，真实的轨迹在参考地图上是**“隐形”的**（概率为 0）。

3. 新方案： conditional Variational Principle（条件变分原理）

既然旧地图（假设独立）失效了，作者画了一张新地图。

核心思想：不要假设它们独立，要承认它们“纠缠”在一起。

旧方法：试图找一个“完全独立”的参考系（先验），然后计算偏差。
新方法：既然信号和观测被同一个噪音（比如那根绳子）绑在一起，我们就**直接利用这个“绳子”**来建立参考系。

新比喻：

旧方法：我想猜孩子在哪，我先假设他在随机乱跑（独立噪音），然后看看听到的声音能修正多少。
新方法：我知道孩子拉着我的耳朵跑（共享噪音）。所以，我的参考系不再是“随机乱跑的孩子”，而是**“一个被我的耳朵（观测路径）牵引着的孩子”**。
- 在这个新框架下，我们不再试图把信号和观测拆开，而是保留它们的“纠缠结构”。
- 我们定义一个新的“能量函数”，它衡量的是：“在已知观测路径（耳朵被拉着走）的情况下，孩子偏离了‘被牵引状态’多少？”

新公式的妙处：

通用性：如果噪音真的独立（绳子断了），这个新公式会自动退化成旧公式（Mitter-Newton 公式）。
线性情况已解决：作者成功把这个新公式用在了“线性系统”（比如简单的物理运动）中，给出了一个明确的“自由能”公式。
非线性是未来：对于更复杂的非线性系统（比如孩子乱跑还带拐弯），这个新公式的完整形式还在研究中，但这已经是一个巨大的突破。

总结

这篇论文就像是在说：

“以前我们以为所有噪音都是独立的，所以用了一套很漂亮的数学公式。但现实很骨感，很多时候噪音是共享的（比如信号和观测都受同一个随机因素驱动）。这时候，旧公式就像是用‘平面几何’去解‘球体’问题，完全行不通。

我们证明了旧公式在共享噪音下必然失效。然后，我们发明了一种**‘条件变分’的新方法：不再假装它们独立，而是顺着它们共享的噪音结构**，建立一个新的参考系。这样，我们就能在共享噪音的世界里，重新找到那个‘最小能量’的正确答案。”

一句话概括：当信号和观测“同呼吸共命运”（共享噪音）时，必须换一种**“捆绑式”**的数学视角，才能看清真相。

论文技术总结

1. 研究背景与问题 (Problem)

非线性滤波问题旨在从部分、含噪的观测中估计随机系统的状态。

经典框架 (Mitter & Newton, 2004): 在信号过程 ( $X$ ) 和观测过程 ( $Y$ ) 由独立布朗运动驱动的情况下，Mitter 和 Newton 提出了一种变分公式。该公式将滤波分布表征为自由能泛函（Free Energy Functional）的唯一最小化器。该泛函由相对于先验分布的相对熵和期望能量项组成。
核心假设: 这一变分公式的成立依赖于一个关键假设：联合路径测度 $P_{XY}$ 关于某个乘积参考测度 $P_X \otimes \lambda_Y$ 是绝对连续的（Absolute Continuity, $P_{XY} \ll P_X \otimes \lambda_Y$ ）。这通常通过 Cameron-Martin-Girsanov 定理在独立噪声假设下实现。
待解决问题: 当信号和观测过程共享共同噪声源（即存在相关噪声，Correlated Noise）时，上述绝对连续性条件是否依然成立？如果失效，能否构建新的变分原理来描述滤波分布？

2. 方法论 (Methodology)

作者采用测度论和随机分析工具，分步骤证明了经典假设的失效，并提出了新的变分框架：

离散时间直觉构建: 首先通过离散时间高斯模型展示，当信号和观测共享噪声时，联合测度与乘积测度的 Radon-Nikodym 导数在连续时间极限下会退化（趋于 0 或无穷大），暗示了测度的互斥性。
测度绝对连续性的理论证明:
- 证明了如果存在参考测度 $\lambda_Y$ 使得 $P_{XY} \ll P_X \otimes \lambda_Y$ ，则必然有 $P_{XY} \ll P_X \otimes P_Y$ 。
- 利用 Feldman-Hájek 定理（针对高斯测度）和构造性集合方法（针对一般非线性扩散），证明了在相关噪声下，联合测度 $P_{XY}$ 与乘积测度 $P_X \otimes P_Y$ 是互斥（Mutually Singular, $\perp$ ）的。
- 结论: 由于互斥性，不存在任何参考测度 $\lambda_Y$ 能挽救 Mitter-Newton 的原始变分公式。
构建条件变分原理 (Conditional Variational Principle):
- 放弃使用先验分布 $P_X$ 作为参考，转而引入一个条件参考测度 $Q_{X|Y}$ ，该测度保留了噪声的耦合结构。
- 定义基于条件测度的能量泛函，利用 Gibbs 变分原理推导新的滤波表征。
线性高斯情形的显式推导: 在线性扩散模型中，具体构造了无漂移但保留噪声耦合的参考系统，导出了显式的自由能表达式。

3. 关键贡献与结果 (Key Contributions & Results)

证明经典变分公式的失效:
- 定理 4.1 & 推论 4.1.1: 证明了 Mitter-Newton 框架的绝对连续性假设在相关噪声下必然失败。
- 定理 5.4 (高斯情形): 利用 Feldman-Hájek 定理，证明了在线性高斯模型中，由于 Cameron-Martin 空间不同，联合测度与乘积测度互斥。
- 定理 5.6 (一般非线性情形): 通过构造二次变差（Quadratic Variation）集合，证明了在一般非线性扩散模型中，联合测度与乘积测度也是互斥的。这意味着后验分布 $P_{X|Y}$ 关于先验 $P_X$ 是奇异的，无法写成 $dP_{X|Y} \propto e^{-H} dP_X$ 的形式。
提出新的条件变分公式:
- 假设 6.1: 提出用条件绝对连续性 ( $P_{X|Y}(\cdot, y) \ll Q_{X|Y}(\cdot, y)$ ) 替代联合绝对连续性。
- 定理 6.4: 证明了滤波分布是以下泛函的唯一最小化器：
  $\min_{\tilde{P}} \left\{ h(\tilde{P} \| Q_{X|Y}(\cdot, y)) + \langle H(\cdot, y), \tilde{P} \rangle \right\}$
  其中 $Q_{X|Y}$ 是保留了噪声耦合结构的参考条件测度， $H$ 是相应的能量函数。
线性相关噪声下的显式解:
- 对于线性系统 $dX_t = AX_t dt + \sigma_0 dB_t + \sigma_1 dW_t$ 和 $dY_t = CX_t dt + dW_t$ ，作者构造了一个参考测度 $\mu_y$ ，其对应于“冻结”观测路径 $y$ 并移除漂移项的信号过程。
- 导出了具体的能量函数 $H(x, y)$ （公式 23），该函数包含了漂移项 $\beta(X_t)$ 和 Girsanov 变换项。
- 一致性验证: 当噪声独立 ( $\sigma_1 = 0$ ) 时，新公式退化为 Mitter-Newton 的经典结果。

4. 意义与影响 (Significance)

理论界限的厘清: 该论文从根本上指出了 Mitter-Newton 变分滤波方法的适用范围边界。它证明了在处理相关噪声（这在物理和金融建模中非常常见）时，直接应用基于先验的变分方法是行不通的，因为测度结构发生了本质变化（从绝对连续变为互斥）。
方法论的革新: 提出的“条件变分原理”为相关噪声下的非线性滤波提供了新的理论框架。通过将参考测度从静态的先验 $P_X$ 动态地调整为依赖于观测路径的条件参考测度 $Q_{X|Y}$ ，成功恢复了变分表征的可能性。
计算与应用的潜力:
- 在线性高斯情形下，该理论给出了显式的自由能公式，这可能为设计针对相关噪声的数值滤波算法（如基于粒子滤波的变分方法）提供理论指导。
- 揭示了滤波问题的本质：在相关噪声下，滤波分布不仅取决于先验和观测似然，还取决于信号与观测之间的噪声耦合结构。
未来方向: 论文指出将这一框架扩展到一般非线性扩散系统仍是一个开放问题，这为后续研究指明了方向。

5. 总结

这篇论文通过严格的测度论证明，揭示了相关噪声导致经典变分滤波公式失效的根本原因（测度互斥性），并创造性地提出了基于条件参考测度的变分原理。这一工作不仅修正了现有理论的局限性，也为处理更复杂的、具有噪声耦合的随机控制与滤波问题奠定了坚实的理论基础。