🤖 machine learning

Introduction to Stochastic Differential Equations for Generative Machine Learning: A Variational Perspective

本文提供了一个关于生成式机器学习中随机与常微分方程变分框架的非正式且自包含的介绍，展示了扩散模型、分数匹配和流匹配是如何作为从证据下界（ELBO）中导出的特定参数化形式而统一起来的。

原作者： Ole Winther, Paul Jeha, Sander Dieleman, Andriy Mnih, Manfred Opper, Andrea Dittadi

发布于 2026-07-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Ole Winther, Paul Jeha, Sander Dieleman, Andriy Mnih, Manfred Opper, Andrea Dittadi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人如何画一只猫。你不仅仅想让机器人记住一张特定的照片；你希望它能理解“猫性”的本质，这样它就能创造出数百万只全新的、独特的、看起来真实的猫。

这篇论文就像是给那个机器人的大师班手册，只不过它不是关于绘画，而是关于使用一种被称为随机微分方程 (Stochastic Differential Equations, SDEs) 的特定数学方法来生成数据（如图像、视频或分子）。

以下是使用简单类比对该论文思想进行的拆解：

1. 核心理念：时间的河流

作者提出了一种将数据生成视为一场“时间之旅”的方法。

起点 (t=0)： 想象一桶纯粹、混沌的白噪声（就像旧电视上的雪花点）。这是你的“先验”（prior）。它很简单，易于理解。
终点 (t=1)： 这是你的复杂数据，比如一张猫的照片。
旅程： 论文建议我们可以用一条“河流”（一条数学路径）将这两个点连接起来。我们可以：
- 向前流动： 将噪声转化为猫。
- 向后流动： 将猫变回噪声。

论文指出，无论我们使用的是平滑的、确定性的河流（ODE —— 常微分方程），还是带有随机溅跃和波浪的河流（SDE —— 随机微分方程），我们都能到达同一个目的地。

2. 地图：福克-普朗克方程 (Fokker-Planck Equation)

如果河流是路径，那么 福克-普朗克方程 就是告诉你在流动过程中，水的“密度”是如何变化的地图。

类比： 想象一群人在走廊里行走。有些人走得快，有些人走得慢，有些人会互相碰撞（随机性）。福克-普朗克方程就是一套规则书，它能精确预测人群在任何给定时刻是如何扩散或聚集的，而无需追踪每一个个体。
论文从头推导了这套规则书，证明它既适用于平滑的流动，也适用于随机的、多噪的流动。

3. 目标：证据下界 (Evidence Lower Bound, ELBO)

教机器人最难的部分是判断它做得好不好。你很难直接计算出机器人创造出一只完美猫的精确概率。

问题： 这就像是在尝试猜测云朵的精确重量。你无法直接称量它。
解决方案 (ELBO)： 作者使用了一种“变分”方法。与其猜测精确的重量，不如创建一个“最佳猜测”（一个下界），这个值保证是小于或等于真实重量的。
类比： 想象你正试图填满一桶水（完美的模型）。你无法轻易测量这桶水的总容量，但你可以测量到目前为止你已经倒入了多少水。只要你持续倾倒，你就会越来越接近真相。论文展示了如何高效地计算这种“已倒入的水量”，从而让机器人进行学习。

4. 三种著名的方法（同根同源）

这篇论文统一了当今 AI 领域中三种非常流行且高科技的方法：扩散模型 (Diffusion Models)、分数匹配 (Score Matching) 和 流匹配 (Flow Matching)。

论文的观点： 这些并不是三种不同的发明；它们只是驾驶同一辆车的三种不同方式。
- 扩散模型： 可以理解为慢慢向照片中加入噪声，直到它变成静态噪声，然后教机器人逆转这个过程（通过去除噪声来还原照片）。
- 分数匹配： 像是教机器人感受“坡度”。如果数据是一座山丘，机器人会学习哪边是“向上”的（即数据密集的地方），以便爬到顶峰。
- 流匹配： 像是从噪声到数据画出一条直线，并教机器人完美地沿着这条线行驶。
统一性： 作者展示了所有这三种方法都只是他们通用的“ELBO”公式下的特定设置。它们都在试图最小化相同的误差，只是使用了不同的工具。

5. 实验：一个简单的测试

为了证明他们的理论可行，作者运行了一个简单的测试。

任务： 他们要求模型学习一个简单的一维形状（由五个凸起组成的混合体，就像一个有五个山峰的山脉）。
结果： 他们将“平滑河流”方法（ODE）与“多噪河流”方法（SDE）以及“直线”方法（Flow Matching）进行了比较。
结论： 所有方法都产生了非常相似且高质量的结果。 “平滑”方法非常精确，但需要大量的计算（需要求解复杂的方程）。而“多噪”和“直线”方法由于不需要在每一步都求解这些沉重的方程，因此训练速度更快。

总结

这篇论文是现代生成式 AI 背后的数学之“用户手册”。它指出：

我们可以将数据生成建模为从噪声到现实的旅程。
我们拥有一套通用的规则书（福克-普朗克方程），描述了这场旅程如何随时间变化。
我们有一个可靠的计分卡（ELBO），可以在不需要进行不可能的计算时指导 AI 进行学习。
当前最热门的 AI 趋势（扩散、分数、流）都只是这同一个配方的不同风味。

作者在这篇论文中并不是发明了某种治愈疾病或预测股市的新方法；他们只是提供了一张清晰、统一的地图，让我们理解当前这一代 AI 图像和视频生成器在底层是如何运作的。

技术摘要：用于生成式机器学习的随机微分方程导论：一种变分视角

问题陈述

生成式机器学习通过使用常微分方程（ODEs）和随机微分方程（SDEs）取得了实质性进展，从而在图像、视频和生物分子生成领域实现了突破。然而，现有文献呈现出一种两极分化现象：高深的论文通常假设读者具备随机过程和概率方法的深厚专业知识，在没有正式证明的情况下直接推导诸如福克－普朗克方程（Fokker–Planck equation）等结果；而直观的入门指南又往往缺乏与底层概率基础的严密联系。此外，近期的进展以不同的视角呈现了相似的概念（例如扩散、分数匹配、流匹配），这使得在缺乏强大背景知识的情况下难以理解它们之间的联系。

本文旨在解决这一问题，提供一个自包含的、非正式的导论，以统一这些方法论。其目标是提供一把“钥匙”，用以开启机器学习与随机过程交叉领域的文献，通过利用泰勒展开和有限差分进行直观推导，而非过度依赖数学形式化（避免直接依赖 Itô 微积分或 Girsanov 定理）来推导结果。

方法论

本文采用变分视角来统一各种生成模型的训练目标。其核心方法论包括以下步骤：

ODE 与 SDE 的基础： 作者使用 ODEs（确定性漂移）和 SDEs（漂移加扩散噪声）来定义随机变量 $x_t$ 的演化。他们引入了**福克－普朗克方程（FPE）**作为描述边际概率密度 $p_t(x)$ 随时间演化的控制偏微分方程。
动力学等价性： 一个核心理论见解是，不同的动力系统（一个 ODE、一个前向 SDE 和一个反向时间 SDE）可以被构建为共享相同的时刻边际分布 $p_t(x)$ 。具体而言，可以通过调整漂移项将一个 ODE 转换为具有任意扩散系数的 SDE，反之亦然。这种等价性允许定义与 SDE 相对应的“概率流 ODE”（probability flow ODEs）。
变分下界（ELBO）： 本文推导了数据对数似然的证据下界（ELBO）。它将 ELBO 分解为：
- 一个重构项（给定潜变量的数据似然）。
- 一个先验项（ $t=0$ 时变分后验与先验之间的 KL 散度）。
- 一个扩散项（与生成漂移和变分漂移随时间变化的差异相关）。
目标的统一： 作者证明了流行的训练目标是这一通用变分框架下的特定参数化形式：
- 潜在 ODEs（Latent ODEs）： 使用变量代换公式精确计算对数密度，需要基于模拟的训练。
- 潜在 SDEs（Latent SDEs）： 推导出一个可处理的 KL 散度界限，避免了在训练期间求解微分方程（无模拟/simulation-free），从而导致标准的扩散损失。
- 扩散模型、分数匹配和流匹配： 这些被展示为 SDE ELBO 的特例，其中通过选择特定的变分分布和漂移参数化来简化目标（例如匹配分数或流）。

核心贡献

本文声称有三个主要贡献：

概率方法的综合推导： 它提供了关于福克－普朗克方程及其从 ODE/SDE 定义出发推导过程的自包含演示，整合了通常散落在教科书和附录中的内容。它明确展示了如何推导反向时间 SDE 以及具有相同边际分布的 ODE 与 SDE 之间的关系，而无需直接调用高级随机微积分。
统一的变分框架： 它提供了扩散、分数匹配和流匹配目标的统一推导。本文认为这些方法并非截然不同的范式，而是通用变分方法下的特定参数化，它们都源自同一个 ELBO。
解析可处理过程的方法论： 它概述了一种构建非高斯边际过程（例如使用混合正规化流）的方法论，以超越标准的高斯假设，旨在启发研究人员探索更广泛的应用。

结果

本文通过一个一维密度建模实验验证了其理论统一性：

任务： 学习 5 个拉普拉斯分布的混合体。
对比模型：
- Latent ODE： 使用通过变量代换计算的精确对数似然进行训练（基于模拟）。
- Flow Matching： 使用流匹配目标进行训练（无模拟）。
- Latent SDE (VDM)： 使用变分扩散模型参数化进行训练。
- Latent SDE (General)： 使用自由学习的变分分布进行训练。
发现：
- Latent ODE 和 Flow Matching 方法产生了视觉上相似的密度解，其中 ODE 达到了 -3.025 的验证对数似然，而 Flow Matching 产生了相当的结果。
- SDE 方法（VDM 和 General）也学习到了相似的密度。相比于 VDM（-3.256），通用参数化（General）实现了更高的验证 ELBO（-3.052），尽管 VDM 的收敛速度较慢且方差较高。
- 实验证实，变分框架的不同参数化可以实现相似的生成性能，支持了统一性的主张。

意义与主张

作者将本文定位为不仅仅是关于近期进展（如高效采样或特定约束）的全面综述，而是一个教学桥梁。

统一性： 本文声称通过展示扩散模型、分数匹配和流匹配都是通用变分 SDE/ODE 框架下的特例，从而揭开了它们的联系之谜。
易读性： 通过采用直观的极限和泰勒展开，而非沉重的形式化工具（Itô 微积分、Girsanov 定理），本文旨在使这些高级方法对于具有强大微积分和概率背景但缺乏专门随机过程知识的读者变得易于理解。
未来方向： 作者谦虚地指出，虽然目前的生成建模通常关注“单次”潜路径（数据到噪声），但该框架可以扩展到时间序列设置，这是一个在构建合适的变分潜过程方面仍具挑战性的、尚未得到充分探索的领域。

总而言之，本文作为一种方法论入门指南，论证了流行生成目标的“秘密”在于它们是从受福克－普朗克方程控制的统一变分对数似然下界中推导出来的。