💬 NLP

A Tutorial on Diffusion Theory: From Differential Equations to Diffusion Models

本教程通过从微分方程推导扩散模型的前向与反向动力学，展示了标准训练目标与得分匹配之间的等价性，并阐明了包括 DDPM、DDIM 和引导生成在内的各种采样方法之间的理论联系，从而为扩散模型提供了一个统一的框架。

原作者： Jiayi Fu, Yuxia Wang

发布于 2026-05-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiayi Fu, Yuxia Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一张精美的高分辨率猫咪照片。现在，想象慢慢调高老式电视机的噪点，直到那张照片完全淹没在一片白噪声的海洋中。这就是前向过程。

现在，想象你有一位超级聪明的侦探，他能盯着那片噪点说：“如果我从这个特定位置移除一点点噪声，猫咪的耳朵就会开始显露出来。”如果这位侦探能一步步、反复地做到这一点，他就能将噪点还原成一张清晰的猫咪照片。这就是反向过程，也是扩散模型生成图像的方式。

由 Fu Jiayi 和 Wang Yuxia 撰写的这篇论文，本质上是一份用微分方程（描述事物随时间变化的数学）语言编写的“用户手册”。它将科学家们研究这些模型的多种不同思路，统一成了一个连贯宏大的故事。

以下是他们故事的拆解，使用了简单的类比：

1. 描述旅程的两种方式（ODE 与 SDE）

论文开篇指出，将清晰图像转化为噪声（以及反之）的过程，可以用两种不同的数学语言来描述：

随机路径（SDE）： 想象一位徒步者穿过迷雾森林。他有一张地图（指示他应该去的方向），但风（随机噪声）不断将他吹得稍微偏离轨道。每一步都是计划方向与随机阵风的混合。这就是随机微分方程（SDE）。
确定性路径（ODE）： 现在，想象同一位徒步者，但这次风是完全可预测的，或者他正走在一条巨大的、平滑的传送带上，将他精确地运送到目的地，没有任何随机性。这就是常微分方程（ODE）。

核心洞见： 论文证明，尽管这两条路径看起来不同（一条颠簸，一条平滑），但它们都从同一个起点（清晰图像）出发，并到达同一个终点（纯噪声）。更重要的是，在任何给定时刻，它们都遵循完全相同的“密度图”。你可以在颠簸路径和平滑路径之间切换，而不会改变最终结果。

2. “分数”（侦探的直觉）

侦探如何知道该往哪个方向走？他们使用一种称为**分数（Score）**的东西。

在数学中，“分数”只是概率的梯度。用通俗的话说，可以把它想象成坡度。

如果你站在山上，坡度会告诉你哪边是“上”（数据所在的方向），哪边是“下”（噪声所在的方向）。
模型的任务就是学习这个坡度。它学会观察一张噪点图像，并指出：“‘上坡’方向（朝向真实图像）是这个方向。”

论文表明，我们训练这些模型的标准方法（要求它们猜测被添加的噪声），在数学上等同于要求它们学习这个“坡度”或分数。这就像教学生解数学题时，不是直接教公式，而是让他们去寻找答案。论文证明，这两种教学方法实际上是同一回事。

3. 训练：学习去噪

论文解释说，我们不需要直接教模型复杂的“坡度”数学。相反，我们只需给它一张噪点图片，然后问：“我们添加的噪声是什么？”

如果模型能完美预测出噪声，它也就自动学会了坡度。
一旦它知道了坡度，就可以逆转这个过程：从纯噪声开始，沿着“上坡”行走，创造出新的、逼真的图像。

4. 不同的“行走者”（DDPM、DDIM、DPM-Solver）

论文统一了人们用于生成图像的几种著名算法。它解释说，它们都只是沿着那个“坡度”采取步骤的不同方式：

DDPM（谨慎的徒步者）： 这种方法采取小心的小步。它在每一步都添加一点点随机性（就像 SDE 那样）。它很准确，但很慢。
DDIM（平滑的滑行者）： 这种方法忽略随机的风，只沿着平滑的传送带（即 ODE）行进。因为它不浪费时间去应对随机阵风，所以速度快得多，但这需要一张非常精准的地图（一个训练良好的模型）。
DPM-Solver（特快电梯）： 这是一种新颖的方法，利用数学技巧在山坡上迈出巨大而高效的步伐，而不是小步。它能以创纪录的速度到达山顶（最终图像）。

论文表明，DDPM 本质上是颠簸路径（SDE）的离散版本，而 DDIM 是平滑路径（ODE）的离散版本。它们是同一枚硬币的两面。

5. 引导过程（分类器引导）

有时你不仅仅想要一只猫，你想要一只黑猫。如何引导这位侦探？

分类器引导（Classifier Guidance）： 你请来第二位专家（一个分类器），他大喊：“更黑一点！少白一点！”侦探同时听取图像坡度和专家的喊声，调整路径以生成一只黑猫。
无分类器引导（Classifier-Free Guidance）： 与其聘请第二位专家，不如训练这位主要侦探能够说出“我不知道你想要什么”（无条件）和“我知道你想要一只黑猫”（有条件）。在生成过程中，你混合这两个答案来引导结果。论文解释了这种“混合”为何如此有效的数学原理。

6. 大统一：流匹配（Flow Matching）

最后，论文将扩散模型与一个较新的领域**流匹配（Flow Matching）**联系起来。

流匹配就像从噪声云到数据云画一条直线。
扩散则像一条蜿蜒的河流路径。

论文证明，尽管它们看起来不同，但如果以相同的方式训练它们（预测噪声/分数），它们最终描述的是完全相同的旅程。“噪声预测”损失函数实际上是伪装成“流匹配”损失函数。这就像意识到，无论你开车还是骑自行车，只要遵循相同的 GPS 坐标，你最终都会到达同一个目的地。

总结

这篇论文是一座桥梁。它将不同扩散算法（DDPM、DDIM、流匹配）那混乱复杂的领域联系起来，表明它们都只是求解同一个微分方程的不同方式。

前向： 将数据转化为噪声（容易）。
反向： 将噪声转化为数据（困难）。
秘密： 通过猜测噪声来学习“坡度”（分数）。
结果： 无论你是拄着拐杖颠簸行走（SDE），还是在平滑轨道上滑行（ODE），只要遵循坡度，你就能生成美丽的图像。

技术摘要：扩散理论教程：从微分方程到扩散模型

问题陈述

扩散模型已成为生成建模中的主导范式，然而该领域呈现出多种形式的 proliferation：离散马尔可夫链（DDPM）、连续随机微分方程（SDE）、概率流常微分方程（ODE）、分数匹配（score matching）以及流匹配（flow matching）。尽管已知这些方法是相互关联的，但它们之间精确的数学对应关系——特别是关于训练目标、反向时间动力学和采样过程——往往因符号表示的差异以及离散与连续视角的不同而变得模糊。本教程旨在从微分方程的视角严格推导扩散模型，从而统一这些视角，在条件高斯过程、边缘化前向动力学及其对应的反向时间公式之间建立严谨的桥梁。

方法论

本文采用根植于随机微积分和偏微分方程的严谨数学框架，重构扩散模型理论。方法论按以下逻辑阶段展开：

条件前向过程：作者首先定义由参数 $\alpha_t$ 和 $\sigma_t$ 支配的条件高斯前向过程 $X_t | X_0 = x_0$ 。他们证明该特定路径存在两种等价表示：
- 由条件分数导出的速度场驱动的条件常微分方程（Conditional ODE）。
- 由漂移项和布朗运动驱动的条件随机微分方程（Conditional SDE）。
  本文证明了条件密度同时满足连续性方程（针对 ODE）和福克 - 普朗克方程（Fokker–Planck equation，针对 SDE）。
边缘化：通过对数据分布 $p_0$ 对条件过程进行平均，作者推导出了边缘化前向过程。他们表明，边缘密度 $p_t(x)$ 同样满足连续性方程和福克 - 普朗克方程。关键在于，他们利用**费雪恒等式（Fisher's Identity）**将边缘分数 $\nabla \log p_t(x)$ 与条件分数的期望联系起来，确立了边缘速度场是条件速度场的期望。
反向动力学：本文引入反向时间变量 $\tau = 1-t$ 并推导反向时间动力学。
- 反向 SDE：利用前向 SDE 的时间反转，作者推导出了反向 SDE，其由边缘分数 $\nabla \log p_t(x)$ 支配。
- 反向 ODE（概率流）：他们推导出了一个确定性 ODE，该 ODE 与反向 SDE 共享相同的边缘密度路径。这种“概率流 ODE"被证明具有一个分数的仿射变换作为其速度场。
训练目标：本教程将实践中使用的标准噪声预测目标与理论上的分数匹配目标联系起来。利用正交恒等式，作者证明了最小化神经网络噪声预测与真实噪声之间的期望平方误差，等价于（在常数范围内）最小化分数匹配损失。这确立了标准训练目标学习的是反向 SDE 和反向 ODE 所需的边缘分数。
采样与统一：本文详细阐述了针对学习到的反向 SDE（欧拉 - 丸山法，Euler–Maruyama）和反向 ODE（欧拉法、休恩法 Heun 以及 DPM-Solver）的采样算法。最后，它明确地将离散 DDPM 和 DDIM 算法映射到此连续框架中：
- DDPM 被证明对应于反向 SDE 的离散近似，其中随机项利用了离散链的精确后验方差。
- DDIM 被证明对应于反向 ODE（确定性）的离散近似，其中随机性参数 $\eta$ 允许在两者之间进行插值。
引导与流匹配：该框架被扩展以包含分类器引导（classifier guidance）和无分类器引导（classifier-free guidance），展示了这些方法如何修改反向漂移。此外，本文统一了分数匹配和流匹配，证明了标准扩散损失可以被解释为诱导的概率流 ODE 的加权流匹配目标。

主要贡献

统一推导：本文提供了一个单一、连贯的推导过程，表明条件高斯前向路径同时具有 ODE 和 SDE 表示，并且边缘化该路径会产生一致的边缘 ODE 和 SDE 公式。
目标的等价性：它严格证明了标准噪声预测损失等价于分数匹配，并进一步表明该损失同样诱导了确定性反向 ODE 的流匹配目标。
DDPM/DDIM 的统一：这项工作明确地将离散的 DDPM 和 DDIM 算法分别与连续的反向 SDE 和反向 ODE 框架联系起来。它阐明了 DDPM 采样是反向 SDE 的一阶离散化（具有特定的方差处理），而 DDIM 是反向 ODE 的离散化。
噪声项的澄清：附录详细澄清了在前向和反向时间中使用的三个不同噪声符号（ $W_t$ 、 $W^{rev}_\tau$ 、 $\bar{W}_t$ ），解决了关于时间反转设置中布朗运动的常见符号混淆。
引导的泛化：本教程在反向 SDE/ODE 框架内形式化了分类器引导和无分类器引导，展示了它们如何通过条件分数修改漂移项。

结果

本文未呈现新的实证结果或实验基准。相反，其“结果”是理论推导和证明：

定理 1.2 和 1.4：证明条件高斯路径由特定的 ODE 和 SDE 生成。
定理 2.1 和 2.2：证明边缘化过程由边缘 ODE 和 SDE 公式生成。
定理 3.3 和 3.5：推导反向 SDE 和反向概率流 ODE，证明它们共享相同的密度路径。
定理 4.2：证明噪声预测损失与分数匹配损失之间的等价性。
定理 7.6 和 7.7：证明 DDPM 训练和推理对应于离散网格上的反向 SDE 框架。
定理 7.8：证明确定性 DDIM 对应于反向 ODE 框架。
命题 8.1：证明扩散损失是反向 ODE 速度的加权流匹配目标。

意义与主张

本文将自己定位为旨在阐明现代扩散模型理论基础的教程。其意义在于：

连接离散与连续：它解决了离散马尔可夫链公式（DDPM）与连续 SDE/ODE 公式（Song 等人，2020；Lipman 等人，2023）之间看似脱节的问题，表明它们是对同一底层连续动力学的不同离散化。
统一视角：它统一了“基于分数”的视角（学习 $\nabla \log p_t$ ）与“基于流”的视角（学习速度场 $v_t$ ），表明在扩散设置中，这两者通过简单的仿射变换相互关联。
教学严谨性：通过从第一性原理（条件高斯核、福克 - 普朗克方程、伊藤积分）推导每一步，本文提供了一个自包含的参考，避免了生成建模不同子领域中常见的符号不一致问题。

作者声称，该框架为理解扩散模型、流匹配和分数匹配提供了一种“单一语言”，使研究人员能够认识到：反向 SDE 是随机生成模型，而反向 ODE 是确定性流模型，两者均由同一个学习到的分数函数驱动。