📊 statistics

A convergent scheme for the Bayesian filtering problem based on the Fokker--Planck equation and deep splitting

该论文提出了一种结合深度分裂法求解福克 - 普朗克方程预测步与贝叶斯公式更新步的数值方案，用于近似非线性滤波密度，并在理论（抛物型 Hörmander 条件）与实证（10 维非线性算例）层面证明了其收敛性及对维数灾难的缓解能力。

原作者： Kasper Bågmark, Adam Andersson, Stig Larsson, Filip Rydin

发布于 2026-04-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Kasper Bågmark, Adam Andersson, Stig Larsson, Filip Rydin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章介绍了一种全新的“天气预报”式算法，用来解决一个非常棘手的问题：如何在充满噪音和不确定性的环境中，精准地追踪一个看不见的目标。

想象一下，你正在玩一个极其复杂的“捉迷藏”游戏，但这次有以下几个难点：

目标在动：那个“鬼”（隐藏状态）在不停地随机乱跑。
视线模糊：你只能透过毛玻璃（噪音观测）偶尔瞥见他一眼，而且看得并不清楚。
维度爆炸：这个“鬼”不是在一个房间里跑，而是在一个拥有10 个甚至更多维度的超空间里跑（就像同时控制 10 个变量）。

传统的追踪方法（比如卡尔曼滤波）就像是用单筒望远镜，在简单的一维或二维世界里很好用，但一旦进入高维空间，计算量会瞬间爆炸，导致电脑死机。而传统的粒子滤波（Particle Filter）就像是用成千上万只蚂蚁去猜测鬼的位置，虽然能猜对，但在高维空间里，需要的蚂蚁数量是天文数字，根本跑不动。

这篇论文提出了一种**“深度学习 + 物理方程”的混合大招**，既聪明又高效。

核心概念：把“追踪”变成“猜谜游戏”

1. 预测与更新：像侦探一样思考

这个算法遵循经典的“预测 - 更新”循环，就像侦探破案：

预测步（Prediction）：根据鬼刚才的动向，推测他下一秒可能跑哪里。这步需要解一个非常复杂的数学方程（福克 - 普朗克方程），描述概率如何随时间扩散。
更新步（Update）：当你透过毛玻璃看到鬼的一眼（观测数据）后，立刻修正你的推测，把不可能的位置排除掉，把最可能的地方圈出来。

2. 传统方法的困境：维度的诅咒

在低维度（比如 1 维或 2 维），我们可以用网格把空间切得很细，算出鬼在每个格子的概率。但在 10 维空间，网格的数量是 $10^{10}$ 甚至更多，计算机根本存不下，也算不过来。这就是著名的**“维度的诅咒”**。

3. 新方案的绝招：深度分裂（Deep Splitting）

作者没有试图把整个高维空间切得粉碎，而是换了一种思路：“用神经网络来猜概率分布的形状”。

比喻：用 AI 画地图
想象你要画一张高维空间的“概率热力图”。传统方法是一点点描点，慢得要死。
这个新方法则是训练一个超级 AI 画家（神经网络）。
- 训练过程：AI 不看整张图，它只通过“蒙特卡洛采样”（随机扔飞镖）来观察几个点。
- 分裂技巧：算法把复杂的预测过程拆分成很多小步骤（时间分裂）。在每一步，AI 只需要学习“如果鬼在 A 点，下一秒最可能出现在哪里”，而不是直接算出整个宇宙的概率。
- 能量函数：为了让 AI 画出的图符合物理规律（比如概率必须是正的，且总和为 1），作者设计了一种特殊的“能量激活函数”。这就像给 AI 戴上了紧箍咒，强迫它画出的地图既符合物理定律，又不会出现负数概率这种荒谬情况。

4. 为什么它很厉害？

打破维度限制：因为它不依赖网格，而是用神经网络来“拟合”形状，所以即使是在 10 维甚至更高的空间里，它也能跑得飞快，不会像传统方法那样卡死。
在线实时：一旦 AI 训练好了，当新的观测数据（新的毛玻璃照片）进来时，它可以瞬间给出更新后的概率分布，不需要重新训练。这就像训练好一个老司机，遇到新路况能立刻做出反应。
数学保证：作者不仅提出了方法，还从数学上证明了：如果你把时间切得越细，这个 AI 算出来的结果就越接近真相，而且误差是可控的。

实验结果：真的行吗？

作者做了两个实验：

低维测试：在简单的 1 维世界里，他们发现这个方法的误差随着计算步数的增加而稳定下降，证明了数学理论的准确性。
高维挑战：在一个10 维的非线性复杂系统中（就像在一个巨大的、扭曲的迷宫里追踪目标），他们把这个方法和传统的“粒子滤波”以及“卡尔曼滤波”进行了对比。
- 结果令人惊讶：传统的粒子滤波需要一百万个粒子才能勉强跟上，而这个新方法用更少的计算资源，就达到了甚至更好的精度，特别是在捕捉概率分布的“形状”方面（不仅仅是猜中心位置）。

总结

这篇论文就像是在说：“别再用笨办法（网格）去硬算高维空间了，也别用蛮力（海量粒子）去堆了。我们要用 AI 的‘直觉’（神经网络）结合物理定律（福克 - 普朗克方程），通过‘分而治之’的策略，在复杂的迷雾中精准地找到目标。”

这对于自动驾驶（在复杂路况下预测行人轨迹）、金融风控（在海量数据中预测市场波动）以及天气预报（预测大气这种高维系统的变化）等领域，都有着巨大的应用潜力。它让计算机在“看不清、算不完”的高维世界里，也能拥有“火眼金睛”。

这是一份关于论文《基于 Fokker-Planck 方程和深度分裂的贝叶斯滤波收敛方案》（A CONVERGENT SCHEME FOR THE BAYESIAN FILTERING PROBLEM BASED ON THE FOKKER–PLANCK EQUATION AND DEEP SPLITTING）的详细技术总结。

1. 研究背景与问题定义

核心问题：
非线性贝叶斯滤波旨在估计在离散时间观测下，连续时间隐藏状态的概率密度分布。传统的滤波方法（如卡尔曼滤波）通常假设单峰分布，而粒子滤波（Particle Filters）虽然渐近收敛，但在高维状态空间中面临“维数灾难”（Curse of Dimensionality），导致计算成本随状态维度呈指数级增长。

数学模型：
论文考虑了一个连续时间状态 $S_t$ 和离散时间观测 $O_k$ 的模型：

状态方程： $dS_t = \mu(S_t)dt + \sigma(S_t)dB_t$ （随机微分方程，SDE）。
观测方程： $O_k \sim g(O_k | S_{t_k})$ （离散观测）。
目标： 计算滤波密度 $p_k(x | y_{0:k})$ ，即在给定观测序列 $y_{0:k}$ 下状态 $x$ 的条件概率密度。

该密度满足福克 - 普朗克方程（Fokker-Planck Equation, FPE）的演化（预测步骤）和贝叶斯公式的更新（更新步骤）。传统的数值方法（如有限元、有限差分）在维度 $d \ge 4$ 时计算不可行。

2. 方法论：深度分裂方案 (Deep Splitting Scheme)

论文提出了一种结合福克 - 普朗克方程与**深度分裂（Deep Splitting）**技术的数值方案，旨在解决高维非线性滤波问题。

2.1 算法框架

该算法采用经典的“预测 - 更新”循环：

预测步骤（Prediction）： 在两次观测之间，利用深度分裂方法近似求解福克 - 普朗克方程（FPE）。
更新步骤（Update）： 在观测时刻，利用贝叶斯公式对预测密度进行精确更新（乘以似然函数）。

2.2 核心机制

Feynman-Kac 表示与优化问题：
作者利用 Feynman-Kac 公式将 FPE 的解表示为随机过程的期望。通过引入辅助过程 $X$ （具有漂移 $b$ 和扩散 $\sigma$ ），将求解 PDE 的问题转化为一个递归的最小化问题：
$\pi_{k,n+1} = \arg\min_u \mathbb{E}\left[ |u(Z_{N-(n+1)}) - G_b \pi_{k,n}(Z_{N-n})|^2 \right]$
其中 $Z$ 是 $X$ 的欧拉 - 丸山（Euler-Maruyama）离散化近似， $G_b$ 是一阶微分算子。
深度神经网络近似：
利用神经网络（FCNN）作为函数类来近似上述优化问题中的函数 $u$ 。通过随机梯度下降（SGD）训练网络，使得网络能够学习从观测序列到状态密度的映射。
- 能量基激活函数（Energy-based Activation）： 为了处理概率密度的非负性和归一化问题，网络输出经过指数函数处理（ $e^{-f_\theta}$ ），直接学习未归一化的密度，避免了训练过程中计算归一化常数的困难。
在线推理能力：
与仅针对单条观测路径的离线方法不同，该方案在训练阶段考虑了观测分布 $P_Y$ ，使得训练好的网络可以在线处理新的观测序列，无需重新训练。

2.3 数值实现细节

蒙特卡洛采样： 使用蒙特卡洛平均来近似期望。
归一化策略： 在高维情况下，使用扩展卡尔曼滤波（EKF）生成的分布作为重要性采样分布，来近似计算归一化常数，以维持数值稳定性。

3. 主要贡献

理论收敛性证明：
- 在抛物型 Hörmander 条件（parabolic Hörmandander condition）下，证明了该方案对滤波密度的强收敛率为 $O(\tau)$ （一阶收敛），其中 $\tau$ 是时间步长。
- 证明了该收敛率独立于观测数据的分布。
- 作为推论，证明了该方法对纯 Fokker-Planck 方程（无滤波更新）的近似也具有相同的收敛率。
高维适用性：
提出了一种基于采样和深度学习的框架，旨在缓解高维状态空间中的维数灾难，突破了传统 PDE 数值方法在 $d \ge 4$ 时的局限性。
在线滤波架构：
将深度分裂方法从离线（单条路径）扩展到了在线（任意观测序列）设置，使其更适用于工程和科学中的实时应用。

4. 数值实验结果

论文通过数值实验验证了理论结果和算法性能：

低维收敛性测试（1D）：
- Tanh 过程： 满足理论假设（光滑、有界导数）。实验结果显示误差随时间步长 $N$ 的增加以接近 1 阶 的速度下降，验证了理论收敛率。
- 双稳态过程（Bistable Process）： 不满足部分理论假设。实验显示收敛率约为 0.5 阶，表明理论假设对收敛速度至关重要。
高维演示（10D）：
- 构建了一个 10 维的非线性 Tanh 过程。
- 对比基准： 与集合卡尔曼滤波（EnKF）、扩展卡尔曼滤波（EKF）和粒子滤波（PF）进行了对比。
- 指标： 使用平均绝对误差（MAE）和负对数似然（NLL）。
- 结果：
  - 该方法表现出良好的鲁棒性，且随着时间离散化步长的细化，精度显著提高。
  - 在 NLL 指标上，该方法优于粒子滤波（PF），且 PF 需要约 $10^6$ 个粒子才能达到类似性能，而深度分裂方法仅需较少的计算资源。
  - 虽然 EnKF 表现最好（因为该问题后验分布接近高斯），但深度分裂方法在捕捉密度整体形状（NLL）方面优于均值估计（MAE），显示出其作为密度估计器的优势。

5. 意义与结论

理论价值： 为基于深度学习的 PDE 求解器（特别是 FPE）提供了严格的收敛性分析，填补了该领域理论分析的空白。
应用价值： 提供了一种解决高维非线性滤波问题的可行方案。相比于粒子滤波，它在高维下避免了粒子退化问题；相比于传统网格法，它克服了维数灾难。
局限性： 收敛性依赖于系数的光滑性和有界性假设。对于极端的非光滑或重尾分布，可能需要调整辅助漂移函数 $b$ 或网络架构。

总结：
这篇论文成功地将深度分裂方法应用于贝叶斯滤波问题，通过结合 Fokker-Planck 方程的数值近似和神经网络的函数逼近能力，提出了一种具有理论收敛保证且适用于高维场景的在线滤波算法。实验结果表明，该方法在保持计算效率的同时，能够准确估计高维非线性系统的概率密度分布。