技术摘要：通过归一化流学习随机多尺度模型

1. 问题表述

本文解决了在部分观测的多尺度随机系统中学习有效动力学的挑战。这类系统常见于物理、工程和生物学领域，由一个低维慢分量（$X^{(n)}$）组成，该分量在高维、快速波动的快分量（$Y^{(n)}$）的影响下演化。

关键约束与挑战：

• 部分可观测性： 仅观测到慢变量 $X^{(n)}$ 的单条轨迹；快变量 $Y^{(n)}$ 未被观测且为潜在变量。
• 尺度分离： 快动力学在 $O(1/n)$ 的时间尺度上演化，使得直接重构潜在轨迹在计算上不可行（需要在固定时间范围内追踪 $O(n)$ 个事件）。
• 不可处理的不变测度： 慢变量的有效动力学依赖于快过程的不变分布（$\pi_0$）。虽然 $\pi_0$ 刻画了快变量的平衡效应，但它通常是未知的，并由一个高维、难以处理的偏微分方程（PDE）（例如稳态福克 - 普朗克方程）隐式定义。
• 现有方法的局限性： 传统的基于 PDE 的方法（福克 - 普朗克方程）需要密集的空间 - 时间数据或基于网格的求解器，这不适用于单条轨迹数据。标准的模型约简技术（如主成分分析 PCA）未能尊重底层的动力学结构。

目标是推断一个数据驱动的有效漂移（$\bar{b}_{\pi_0}$）和扩散函数，用于构建一个能够模拟观测到的慢动力学的降阶随机微分方程（SDE），而无需显式地知道快动力学或 $\pi_0$。

2. 方法论

所提出的框架结合了用于模型约简的随机平均法、用于潜在密度建模的归一化流以及用于不确定性量化的变分推断。

2.1 通过随机平均进行模型约简

作者首先建立了一个原则性的模型约简。在假设 3.1（存在李雅普诺夫函数和一致椭圆性）下，当时尺度分离参数 $n \to \infty$ 时，慢过程 $X^{(n)}$ 弱收敛于由以下方程控制的约简过程 $X^{\pi_0}$：
$$dX^{\pi_0}(t) = \bar{b}_{\pi_0}(X^{\pi_0}(t)) dt + \bar{\sigma}_{\pi_0}(X^{\pi_0}(t)) dW(t)$$
其中有效漂移是原始漂移相对于不变测度的期望：
$$\bar{b}_{\pi_0}(x) = \int_{\mathbb{R}^{d'}} b(x, y) \pi_0(dy)$$
因此，推断问题被重构为从观测到的 $X$ 轨迹中学习未知的不变测度 $\pi_0$（或直接学习泛函 $\bar{b}_{\pi_0}$）。

2.2 归一化流参数化

由于 $\pi_0$ 是一个无限维对象，作者使用归一化流对其进行参数化。

• 潜在密度： 不变测度被建模为通过神经网络变换 $f_\theta$ 将简单参考分布 $\nu_{ref}$（例如标准高斯分布）推前（push-forward）的结果：
  $$q_\theta = (f_\theta)_\# \nu_{ref}$$
• 表达能力： 利用通用近似定理，作者表明随着神经网络复杂度的增加，流诱导分布族在水曼距离（Wasserstein metric）下在概率测度空间中变得稠密。这使得能够近似复杂的、非高斯的和多模态的不变分布。
• 估计器构建： 有效漂移通过蒙特卡洛积分进行近似：
  $$\bar{b}_{\theta}^{MC}(x) = \frac{1}{L} \sum_{l=1}^L b(x, f_\theta(Z^{(l)}))$$
  其中 $Z^{(l)} \sim \nu_{ref}$。

2.3 优化与学习

学习目标是一个惩罚最大似然估计（MLE）。

• 似然： 观测轨迹的似然使用欧拉 - 丸山（Euler-Maruyama）离散化进行近似。
• 惩罚： 为了确保稳定性并防止过拟合（特别是为了控制学习分布的矩），在负对数似然中添加了基于分布 $p$ 阶矩的惩罚项 $\lambda m_p(\rho)$。
• 收敛性： 本文证明，随着神经网络复杂度（$n$）的增加和惩罚参数（$\lambda$）的减小，基于流的估计器收敛到全局 MLE 集合。

2.4 贝叶斯不确定性量化

为了处理认知不确定性，作者开发了一种变分推断程序：

• 后验近似： 使用第二个归一化流 $g_\vartheta$ 来近似流参数 $\theta$ 的后验分布。
• ELBO 优化： 利用重参数化技巧最大化证据下界（ELBO），从而实现高效的基于梯度的优化。这提供了一种可扩展的方法来量化推断出的有效动力学中的不确定性。

3. 主要贡献

1. 公式化： 将多尺度 SDE 的推断问题表述为潜在不变测度学习问题，其中有效漂移表示为对未知不变分布的条件期望。
2. 基于流的参数化： 引入归一化流来参数化潜在不变测度，促进对控制约简动力学的平均函数的精确近似。
3. 贝叶斯扩展： 开发基于流的变分后验以量化推断出的有效动力学中的不确定性，提供了一种在高维参数空间中替代 MCMC 的可扩展方案。
4. 理论保证： 证明了在适当条件下，对日益丰富的神经网络推前类进行惩罚最小化所得的解收敛到全局 MLE 集合。
5. 实证验证： 在合成多尺度系统（溶剂中的标记粒子和双势阱动力学）上演示了该方法，展示了对有效漂移的准确恢复以及有意义的不确定性估计。

4. 实验结果

该方法在由多尺度 SDE 生成的合成数据上进行了验证：

• 漂移恢复： 所提出的结构化估计器显著优于忽略漂移积分表示的非结构化神经网络基线。在特定测试中，结构化基于流的估计器的均方误差（MSE）比非结构化神经网络低约10 倍。
• 轨迹匹配： 由学习到的平均漂移驱动的 SDE 成功模拟了真实的慢轨迹，不仅在观测时间窗口内，而且超出该窗口，表明是真正的学习而非过拟合。
• 不确定性： 贝叶斯扩展提供了置信带，捕捉了估计漂移中的变异性。
• 有限时间定律： 经验定律（使用柯尔莫哥洛夫 - 斯米尔诺夫距离和水曼距离）的比较表明，学习到的模型准确地再现了平均系统的有限时间概率结构。

5. 意义与局限性

意义：
本文架起了随机模型约简与基于流的概率推断之间的桥梁。它提供了一个可扩展的数据驱动框架，用于学习部分观测的多尺度系统中的有效动力学，在这些系统中，由于维度和数据稀缺，传统的 PDE 求解器失效。通过将不变测度视为可学习的潜在变量，该方法在利用现代深度学习能力的同时，尊重了系统的动力学结构。

局限性与未来工作（作者所述）：

• 强耦合： 当前方法假设快动力学独立于慢变量（或在特定的平均机制下弱耦合）。它不直接适用于快动力学依赖于慢变量的强耦合系统。
• 数据质量： 该方法假设对慢分量进行高频观测。它尚未在稀疏且含噪的观测设置中得到验证。
• 架构： 建议未来的工作使用更具表达力的架构（如连续时间流/神经 ODE）来扩展该方法，以处理更复杂的机制。