技术摘要：无仿真与有限时间扩散模型

问题陈述

生成式扩散模型在多个领域都取得了最先进的性能，但它们面临着**无仿真训练（simulation-free training）与有限时间生成（finite-time generation）**之间的根本权衡。

• 无仿真训练允许在不模拟参考随机微分方程（SDE）的情况下评估训练目标，从而显著降低计算成本。传统的基于得分的模型（SBMs）通过使用 Ornstein–Uhlenbeck (OU) 过程来实现这一点。然而，OU 过程仅在渐近条件下（$T \to \infty$）才趋向于先验分布，这使得有限时间生成对于高维数据而言效率低下或不够准确。
• 有限时间生成要求参考过程在给定的有限时间范围内连接经验数据分布与先验分布。诸如薛定谔桥（Schrödinger bridge）之类的方法可以实现这一点，但通常需要在训练期间模拟参考 SDE（例如通过隐式得分匹配），因为其对应的福克-普朗克（Fokker–Planck）方程在解析上是难以处理的。

本研究解决的核心挑战在于构建一个同时满足这两个属性的参考过程：既能在无需模拟参考 SDE 的情况下进行训练，又能确保该过程在固定的有限时间内连接先验分布和经验分布。

方法论

作者提出了一个反转传统设计程序的框架。作者并非先指定一个参考 SDE 然后分析其诱导的分布，而是首先规定一族可处理的时间相关条件分布 $\{\rho_t\}_{t \in [0,1]}$，然后构造一个实现这些分布作为其边际分布的参考 SDE。

1. 参考过程的构建

令 $\mu$ 为经验分布，$\pi$ 为先验分布。作者定义了一族满足以下条件的条件分布 $\rho_t(z|x)$：

1. 正则性： $\rho_t$ 关于时间和空间是 $C^{1,2}$ 连续的。
2. 可处理性： 可以直接从 $\rho_t(\cdot|x)$ 中采样。
3. 边界条件： 诱导的边际分布 $p_t(z) = \int \rho_t(z|x)\mu(x)dx$ 满足 $p_0 = \pi$ 且 $p_1 = \mu$。

给定这些条件，作者推导出了系数 $\alpha(t, z, x)$（条件漂移）和 $b(t, z)$（扩散系数），使得 $\rho_t$ 满足福克-普朗克方程：
$$\partial_t \rho_t = -\nabla_z \cdot [\alpha(t, z, x)\rho_t] + \frac{1}{2} \sum_{i,j} \partial_{z_i}\partial_{z_j} [\Gamma_{ij}(t, z)\rho_t]$$
其中 $\Gamma = bb^\top$。参考过程 $P$ 由 SDE 定义：
$$dZ_t = a(t, Z_t)dt + b(t, Z_t)dW_t, \quad Z_0 \sim p_0$$
其中漂移项 $a(t, z)$ 是 $\alpha$ 对 $\rho_t$ 的期望。

2. 无仿真目标函数

通过应用 Girsanov 定理，路径空间 Kullback–Leibler (KL) 散度（即路径空间 KL 散度）在参考过程 $P$ 与生成过程 $Q_\theta$ 之间被重新表述。至关重要的是，由于 $\rho_t$ 是预设且可处理的，目标函数可以在不模拟参考 SDE 的情况下进行评估：
$$L_{SF}(\theta) = \frac{1}{2n} \sum_{i=1}^n \int_0^1 dt \, \mathbb{E}_{Z \sim \rho_t(\cdot|x_i)} \left[ \| \alpha(t, Z, x_i) - s_\theta(t, Z) \|_{\Gamma(t, Z)^{-1}}^2 \right]$$
该目标函数仅依赖于从 $\rho_t$ 直接采样以及条件漂移 $\alpha$，避免了需要计算边际分布 $p_t$ 得分的步骤（这通常需要时间反转，且对于有限时间桥接过程而言是难以处理的）。

3. 实际构建方式

论文为两种情况提供了具体的构建方法：

• 高斯先验： $\rho_t$ 被选择为具有随时间变化的均值和方差的高斯分布。这恢复了一种类似于去噪得分匹配的形式，但具有有限的时间跨度。
• 非高斯先验： 使用了“前推”（push-forward）构建法。一个具有平稳分布 $\pi$ 的基础扩散过程通过一个随时间变化的平滑双射 $\phi^x_t$ 进行变换。这使得该框架能够处理重尾或非高斯先验（例如 Johnson's SU 分布），同时保持无仿真的特性。

核心贡献

1. 统一框架： 本文引入了一个通用的框架，同时实现了无仿真训练和有限时间生成，解决了传统扩散模型中固有的权衡问题。
2. 对得分匹配的重新解释： 作者证明了得分匹配对于扩散模型训练而言并非本质特征。相反，它自然地作为从数据到先验方向定义的参考过程进行时间反转的结果而出现。通过直接从生成方向（先验到数据）构建参考过程，训练目标变得独立于由时间反转导出的得分函数。
3. 与流匹配（Flow Matching）的联系： 论文表明，条件流匹配 (CFM) 是所提随机框架的小噪声极限 ($\epsilon \to 0$)。这提供了随机扩散模型与确定性流模型之间的理论联系，明确了 CFM 可以被视为路径空间 KL 目标的确定性极限。
4. 非高斯先验： 该方法通过前推构建扩展到了非高斯先验，展示了超越标准高斯假设的灵活性。

实验结果

作者在二维玩具数据集（高斯混合、螺旋线、棋盘格和双月形）上，分别使用标准高斯先验和 Johnson's SU（重尾）先验进行了数值实验。

• 性能： 所提方法成功学习了所有数据集在两种先验下的定性结构。
• 效率： 与 SBMs 不同（SBMs 需要调节时间跨度 $T$ 以平衡收敛到先验与离散化误差之间的关系），所提方法在固定的区间 $[0, 1]$ 上运行。实验表明，所提方法无需进行时间跨度调优即可实现高质量生成，而 SBMs 中不恰当的 $T$ 选择会降低样本质量。
• 对比： 结果与具有大时间跨度（$T=10$）的标准方差保持 SBM (VP-SBM) 相当，但没有伴随的长模拟时间计算开销或对 $T$ 选择的敏感性。

重要性与主张

本文声称提供了一种结构性的重新解释。通过将设计范式从“指定 SDE $\to$ 分析分布”转向“指定分布 $\to$ 推导 SDE”，作者揭示了：

• 对 SBMs 中得分匹配的依赖是由于需要将参考过程与生成方向对齐而进行时间反转过程所导致的产物。
• 随机扩散模型与确定性流匹配之间的区别在于噪声水平，CFM 是所提基于 KL 的随机目标的噪声极限。

这项工作表明，设计条件分布 $\{\rho_t\}$ 是扩散建模中一个关键但尚未得到充分探索的方面，它直接影响生成质量。作者总结认为，其构建原则为设计高效的有限时间扩散模型提供了一条稳健的路径，避开了传统方法的计算瓶颈。