🤖 machine learning

Neural Kolmogorov Equations: Parallelizable Learning of Stochastic Dynamics under General Noise

本文引入了神经柯尔莫哥洛夫方程（Neural Kolmogorov Equations, NKEs），这是一种确定性的、无限维的框架，它通过重构神经随机微分方程（Neural SDEs）来对概率密度演化进行建模，从而实现对一般型列维（Lévy-type）噪声的学习，并实现时间并行训练，以相比于现有的自回归方法获得更高的效率和准确度。

原作者： Arthur Bizzi, Olga Fink

发布于 2026-07-22

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Arthur Bizzi, Olga Fink

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图预测一片叶子在河流中漂流的未来路径。在一个完美、平静的世界里，你可以画出一条单一且平滑的线，精确地展示它的去向。但真实的河流是混乱的。有漩涡，有突如其来的阵风，还有撞击岩石的随机颠簸。这就是“随机动力学”（stochastic dynamics）的世界——这些系统在遵循可预测规则的同时，也伴随着混沌且随机的噪声。科学家和工程师使用这些模型来理解从股市崩盘到分子在人体内跳动的一切事物。

长期以来，计算机试图通过逐一模拟成千上万个“叶子”（或粒子）的路径来学习这些混乱的轨迹。这就像是通过追踪每一滴雨滴来预测天气。这种方法速度慢，难以进行并行计算（例如让多台计算机协同工作），并且在遇到奇怪的噪声或突然跳变时经常陷入困境。一个核心问题一直是：我们能否教会计算机去理解混沌本身的“形状”，而不仅仅是追逐单个水滴？

这篇论文介绍了一种巧妙的新方法来实现这一目标，称为神经科尔莫哥洛夫方程（Neural Kolmogorov Equations, NKEs）。NKE 不再试图猜测单个粒子下一步会落在哪里，而是教计算机去观察一整团“粒子云”是如何随时间扩散、拉伸和分裂的。这就像是从追踪赛跑中的单个选手，转变为观察整个运动员群体作为一个不断变化的能量团块。

由 Arthur Bizzi 和 Olga Fink 领导的研究团队发现，通过观察“云团”（概率密度）而非单个点，他们可以更快、更准确地学习游戏规则。该方法在各种混沌系统中进行了测试，结果表明，这种“观察云团”的方法比以往的方法能更好地处理奇特的、突发的跳变以及复杂的、纠缠的噪声。它允许计算机在无需模拟每个粒子每一步的情况下，学习随机性的底层规则，使其成为理解不可预测世界的强大新工具。

旧方法：追逐混沌

为了理解为什么这种新方法意义重大，让我们来看看过去是如何运作的。想象一下，你正在尝试学习一个球在充满隐形、抖动气流的房间里是如何弹跳的。旧方法（即使用“神经随机微分方程”，Neural SDEs）的做法是反复模拟球的旅程。

计算机会说：“好吧，球在这里。现在，让我们猜一下风向，移动球，再猜一下风向，再移动它。”它重复这一过程数千次，以构建出一幅关于球可能最终落点的图像。这就像是通过不断撞墙、重置并再次尝试来学习如何开车。这种方式成本高昂、速度缓慢，而且如果风向突然改变（即发生“跳变”或“冲击”），计算机往往会感到困惑。此外，如果风向在不同方向吹得不一样（耦合噪声），它也会表现挣扎，因为它通常假设混沌是简单且均匀的。

新方法：观察云团

论文作者意识到，虽然单个粒子是混沌的，但这一组粒子往往遵循一种更平滑、更可预测的模式。他们借鉴了物理学中的一个概念：科尔莫哥洛夫前向方程（Kolmogorov Forward Equation）。

以下是类比：不要追踪单片叶子，想象这片叶子是一个巨大的、发光的雾团的一部分。

漂移（Drift）： 如果河中有水流，整个雾团会朝一个方向移动。
扩散（Diffusion）： 如果水流湍急，雾团会向外扩散，变得更宽、更扁平。
跳变（Jumps）： 如果一阵突如其来的阵风袭来，雾团可能会分裂成两个独立的团块，或者被拉伸成奇怪的形状。

“神经科尔莫哥洛夫方程”（NKEs）将“雾团”视为主角。计算机学习的是描述这团雾如何移动、扩散和分裂的一套规则。

魔法是如何发生的

团队将这一过程分解为三个部分，使用了名为**算子分裂（Operator Splitting）**的技术。这就像厨师通过逐一处理食材，最后再完美混合来准备一道复杂的菜肴。

漂移（推力）： 计算机学习雾团平均而言是如何移动的。它观察雾团的中心如何移动，并学习这种“推力”。
扩散（扩散）： 计算机学习雾团如何变宽。它观察雾团边缘如何扩张，并学习这种“扩散力”。
跳变（分裂）： 这是最棘手的部分。有时雾团不仅仅是扩散，它还会突然破碎。计算机学习识别这些突然的破碎，并将它们建模为在某处出现的一个新的、较小的云团。

为了实现这一点，他们使用了名为**高斯混合模型（Gaussian Mixture Models）**的技巧。想象一下，雾团不仅仅是一个大团块，而是由许多较小的、圆形的、发光的球体组成的（就像一群萤火虫）。计算机追踪这些球体如何移动、拉伸和增殖。如果一个球体受到“跳变”的影响，它可能会分裂成两个新的球体。通过追踪这些球体，计算机可以在无需模拟任何单个孤立粒子的情况下，学习混沌的规则。

研究发现

作者在几个具有挑战性的场景中测试了这种新方法，包括：

洛伦兹振子（Lorenz Oscillator）： 一个著名的呈现蝴蝶形状的混沌系统。
布莱克-斯科尔斯模型（Black-Scholes Model）： 用于预测股价的模型，该模型通常具有“耦合”噪声（即一个价格的随机性会影响另一个价格）。
带有跳变的系统： 系统突然跳转到新状态的情景，例如股市崩盘或粒子撞击墙壁。

在这些测试中，NKE 方法成为了明显的赢家。

准确性： 它对雾团未来形状的预测远优于旧方法。例如，在洛伦兹系统测试中，旧的“欧拉-马鲁亚马”（Euler-Maruyama）方法在云团扩散方面的误差得分约为 0.95，而新的 NKE 方法将其降到了 0.075。这是一个巨大的差异。
速度： 由于计算机不需要逐一模拟数千条路径，它的学习速度极快。在某些测试中，旧方法需要训练数千秒，而新方法仅需极短的时间即可完成。
灵活性： 新方法可以处理“耦合”噪声（即事物相互纠缠）和突然的跳变，而旧方法对此很难应对甚至无法处理。

局限性

当然，没有魔术是完美的。作者指出了一些需要注意的地方：

采样率： 该方法在数据以固定间隔（如每秒一次的时钟滴答）进入时效果最好。如果数据很杂乱且在随机时间点出现，特别是在涉及跳变时，该方法会变得有些停滞。
复杂性： 该方法使用“高斯混合”（即那些发光的球体）。如果系统极其复杂或拥有太多维度（例如拥有数百万个变量的雾团），数学计算会变得过于沉重，此时仅靠“球体”可能不足以准确描述其形状。

为什么这很重要

这篇论文不仅仅提供了一种稍快一点的同类方法；它改变了视角。与其通过追逐单个粒子来对抗混沌，不如通过对概率云形状的建模来拥抱混沌。

通过将一个混乱、随机的问题转化为一个关于形状如何移动和变化的确定性（可预测性）问题，作者们为学习那些此前难以建模的复杂现实世界打开了大门。无论是预测病毒传播、金融市场对冲击的反应，还是机器人在崎岖环境中的运动，这种“观察云团”的方法都为我们提供了一个更清晰、更快速、更灵活的透镜，去洞察未来。

技术摘要：神经柯尔莫哥洛夫方程 (Neural Kolmogorov Equations, NKEs)

1. 问题定义

本文旨在解决现有神经随机微分方程 (Neural SDEs) 在从数据中学习随机动力学方面的局限性。尽管神经 SDE 已成为建模连续时间马尔可夫系统的强大工具，但当前的方法面临三个主要约束：

噪声多样性： 现有方法主要假设是解耦的、连续的高斯噪声（例如布朗运动）。它们难以处理非各向同性噪声、耦合噪声以及不连续动力学（如重尾波动或跳跃过程/Lévy 过程）。
可扩展性与训练效率： 大多数神经 SDE 依赖于通过随机积分方案（如 Euler-Maruyama）进行的自回归训练。这需要重复进行轨迹模拟，计算成本高昂，难以在时间维度上并行化，且往往存在数值不准确的问题。
建模假设： 许多方法假设驱动噪声的结构是已知的（固定参数形式），这阻碍了直接从数据中学习通用的跳跃-扩散算子。

作者将该问题构建为一个逆问题：给定在离散时间步观测到的独立 Lévy-Itô SDE 的一系列实现，目标是在不假设特定噪声参数形式的情况下，学习漂移项 $f$ 、扩散系数 $gg^\top$ 以及跳跃分布的条件生成模型 $h$ 。

2. 方法论：神经柯尔莫哥洛夫方程 (NKEs)

核心提案是神经柯尔莫哥洛夫方程 (NKEs)，这是一种神经 SDE 的确定性、无限维重构方法。NKEs 不再对单个随机轨迹进行建模，而是对受柯尔莫哥洛夫前向方程 (KFE)（也称为福克-普朗克方程）支配的概率密度函数 (PDF) 的演化进行建模。

2.1 理论基础

KFE 通过一个线性偏微分方程 (PDE) 描述系统概率质量 $p_t(x)$ 的宏观演化：
$\frac{d}{dt}p_t = \mathcal{L}p_t = (\mathcal{A} + \mathcal{D} + \mathcal{J})p_t$
其中 $\mathcal{L}$ 是柯尔莫哥洛夫生成元，分解为：

平流 ( $\mathcal{A}$ ): 由漂移向量场 $f$ 驱动。
扩散 ( $\mathcal{D}$ ): 由扩散张量 $gg^\top$ 驱动。
跳跃 ( $\mathcal{J}$ ): 由 Lévy 测度 $h$ 驱动。

这种表述将学习问题从随机轨迹模拟转变为确定性 PDE 学习，从而能够使用 PDE 分析工具，并允许进行噪声无关的建模。

2.2 拉格朗日-伽辽金投影 (Lagrangian Galerkin Projection)

由于 KFE 在无限维测度空间中运行，作者提出了一种使用拉格朗日-伽辽金离散化的可行有限维投影方法。

表示： 演化的密度 $p_t$ 被近似为 $K$ 个高斯混合： $p_t(x) \approx \sum \pi_k \mathcal{N}(\mu_k, \Sigma_k)$ 。
投影： 无限维生成元 $\mathcal{L}$ 通过算子 $\Pi$ 和 $\Pi^\dagger$ 被投影到高斯混合空间 ( $\mathcal{G}$ )，得到投影生成元 $\hat{\mathcal{L}} = \Pi \circ \mathcal{L} \circ \Pi^\dagger$ 。
算子作用：
- 平流： 根据漂移 $f$ 传输均值并拉伸/旋转协方差。
- 扩散： 扩散协方差而不影响均值。
- 跳跃： 建模为与跳跃测度的卷积。为了计算可行性，小跳跃被近似为状态相关的平流-扩散，而大跳跃则通过一个条件高斯混合进行建模，该混合会将原始高斯分量进行拆分。

2.3 学习策略与算子分裂

NKEs 采用 Strang 分裂方案（二阶精度），而非标准 Euler-Maruyama (EM) 方法使用的阶一 Lie-Trotter 分裂。训练过程分为四个步骤：

数据预处理： 将轨迹数据聚类为经验高斯包。利用基于中位数绝对偏差 (MAD) 的阈值识别并过滤掉大跳跃，从而将平流-扩散学习与跳跃学习分离。
平流学习： 神经网络 $f_\theta$ 通过最小化观测到的均值演化与预测的均值传输之间的不匹配来学习漂移。使用“在中间相遇”（梯形法则）条件来确保二阶精度。
扩散学习： 参数化为 $gg^\top_\vartheta$ 的神经网络通过追踪高斯协方差的时间变化（在减去漂移贡献后）来学习扩散系数。
跳跃学习： 条件生成模型（混合密度网络）通过将过滤后的跳跃增量建模为源高斯分布与学习到的跳跃混合的卷积，来学习跳跃半群 $H_s$ 。

至关重要的是，这种方法支持时间并行训练，因为漂移和扩散的损失函数可以在不同时间步和粒子之间独立计算，避免了标准神经 SDE 的自回归依赖。

3. 主要贡献

论文声称其贡献如下：

通用形式噪声学习： NKEs 引入了一种噪声无关策略，能够处理高斯噪声中的任意耦合以及通用的跳跃过程（包括状态相关的跳跃分布），且无需预定义的参数假设。
可扩展性与准确性： 通过将问题重构为高斯混合上的确定性 PDE 并利用 Strang 分裂，NKEs 实现了时间并行训练。这避免了自回归模拟的计算成本，同时保持了（并通常提高了）相比于基于 EM 方法的预测准确性。
统一框架： 该方法为连续扩散和不连续跳跃动力学提供了一个统一的处理方式，在单一生成框架内，通过学习密度演化直接学习驱动噪声的结构。

4. 实验结果

作者在多个基准测试上评估了 NKEs，包括具有耦合噪声和跳跃过程的系统：

基准测试： Lorenz 振荡器（几何布朗噪声）、多元 Black-Scholes（耦合几何布朗运动）、多元双阱系统（高斯跳跃）以及稀疏粗粒化分子动力学问题。
基准模型： 与并行 Euler-Maruyama、轨迹流匹配 (TFM) 和自回归 SDE-GAN 进行对比。
性能表现：
- 准确性： NKEs 在均值向量、协方差矩阵以及 Wasserstein 距离方面始终比所有基准模型获得更低的均方误差 (MSE)。例如，在 Lorenz 振荡器上，NKEs 将平均 MSE 从 EM/TFM 的 ~1.8 降低到了 ~0.047。
- 训练时间： NKEs 保持了具有竞争力的训练时间。虽然在某些情况下比最简单的 EM 基准略慢，但明显快于 SDE-GAN（需要数千秒），且与 TFM 相当。
- 鲁棒性： NKEs 成功建模了具有耦合、非对角噪声和跳跃过程的系统，而基准模型在这些系统中要么无法收敛，要么表现出较差的准确性。

5. 意义与局限性

意义：
论文认为 NKEs 为经典的基于模拟的神经 SDE 训练提供了一种原则性的替代方案。通过将焦点从单个噪声轨迹转向概率密度的确定性演化，该方法克服了自回归训练的可扩展性瓶颈以及最大似然估计在噪声多样性方面的局限。它使得直接从数据中学习复杂的、通用的 Lévy 型随机驱动器成为可能。

局限性：
作者明确指出了两个主要局限：

采样率约束： 在存在跳跃的情况下，该方法目前需要恒定的采样率，因为跳跃半群被学习为一个固定的迭代 $e^{\mathcal{J}s}$ 。将此扩展到非均匀采样对于当前的 Lagrangian-GMM 表示仍是一个开放性挑战。
维度与表示： 对高斯混合模型 (GMM) 的依赖限制了其在极高维系统（如复杂生成模型）中的适用性。此外，对于 $K > 1$ ，投影算子可能是不适定的，在学习复杂的、状态相关的跳跃模式时，若没有额外的正则化，会导致非唯一性和收敛问题。