💻 computer science

A Plug-in Interpretation of Conditioning in Score-Based Diffusion Models

本文为基于评分的扩散模型提出了一种插件式条件机制，该机制通过多速度联合扩散框架将条件与无条件动力学分离，推导出了显式条件采样器，并引入了对数福克-普朗克残差正则化以增强确定性 ODE 采样的质量。

原作者： Libo Chen, Souvik Ghosh, Teo Deveney, Chris Budd, Vinay P. Namboodiri

发布于 2026-08-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Libo Chen, Souvik Ghosh, Teo Deveney, Chris Budd, Vinay P. Namboodiri

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个这样的世界：计算机可以绘画、作曲或通过学习数据的隐藏模式来重建模糊的照片。多年来，完成这项任务最强大的工具是生成模型，它们的工作原理是从纯粹的混沌——随机的静态噪声——开始，然后一步步地将其细化为清晰、有意义的图像。这个过程就像是在观看一张模糊的照片如何逐渐变得清晰，但过程是反过来的：计算机从模糊开始，并学习如何使其变清晰的规则。然而，现实世界的问题很少仅仅要求生成任何图像。它们要求的是一种特定类型的图像：一张符合特定描述的面孔，一张缺失部分被正确填补的照片，或者一张低分辨率图片变成高清杰作。这被称为条件生成（conditional generation）。挑战一直在于，如何在不丢失图像自然质量，也不必为每个新请求重新训练整个系统的情况下，引导计算机创造出完全符合需求的图像。

来自巴斯大学和海德拉巴国际信息技术研究所的研究团队提出了一种解决这一难题的新方法。他们没有试图为每一个特定条件都教给计算机一套全新的规则，而是开发了一种类似于“通用适配器”的方法。他们的方法允许计算机只需学习一次图像形成的通用规则，然后在创作的瞬间，只需插入一个基于特定请求的修正值。这种“插件式”机制将通用学习与特定指令分离，为计算机如何决定塑造图像的过程提供了一个清晰的窗口。其结果是，该系统可以高精度地填充照片中缺失的部分或锐化模糊的图像，同时使用单一的、预训练好的模型，而无需为每个新任务重新学习。

为了理解为什么这具有重要意义，请考虑这些系统通常是如何工作的。传统方法通常尝试为每种可能的条件学习一条特定的路径。如果你想填补脸部缺失的一只眼睛，模型必须学习脸部的其余部分与那只缺失眼睛之间的特定关系。如果你想锐化另一种类型的模糊，它必须学习另一种关系。这使得系统变得僵化且难以适应。其他方法试图通过不断检查进度是否符合预期结果来引导预训练模型，但这需要沉重的、重复的计算，从而减慢了速度。研究人员的新方法则采取了不同的路径。他们教计算机同时理解两件事之间的关系：它想要创造的最终图像，以及它所接收到的条件（例如脸部的局部视图或低分辨率草图）。他们让图像和条件通过噪声共同演化，但速度不同。条件（通常更稳定或已知）变化得非常缓慢，而目标图像的变化则非常迅速。

一旦计算机学会了这种噪声与结构的“共同舞蹈”，真正的创新就在创作阶段发生了。研究人员并没有强迫计算机重新学习规则，而是在过程结束时应用了一个简单的数学修正。这个修正就像是一个方向盘，轻轻地将生成过程引导向所提供的特定条件。因为这个修正直接根据最初添加噪声的规则进行计算，所以它是透明且易于理解的。计算机清楚地知道条件是如何影响最终结果的。这种方法使得系统可以使用一个在通用数据上训练过的强大模型，并将其应用于特定任务，如图像修复（填充缺失部分）或超分辨率（使小图像变大），而无需从头开始重新训练模型。

研究人员在几个具有挑战性的任务上测试了这个想法。在一项实验中，他们要求系统填充脸部缺失的正方形区域，其中高达25%的图像被隐藏了。在另一项实验中，他们要求系统将一个仅16x16像素的微小图像转变为一张清晰的128x128像素肖像。结果令人印象深刻。新方法生成的图像不仅比以往的方法更清晰、更准确，而且更忠实于原始条件。例如，在填充脸部缺失部分时，系统不仅仅是猜测一张随机的脸；它创造了一张完美匹配可见部分和缺失区域特定形状的脸。在比较生成图像质量的测试中，新方法在真实感和一致性方面的得分始终高于其他领先技术。它成功地平衡了对锐利、细节丰富图像的需求与对输入数据保持忠实的需求，比那些试图从头学习一切或依赖重度重复计算的系统表现得更好。

或许更重要的一点是，研究人员展示了即使使用已经由他人训练好的模型，该方法依然有效。他们采用了一个原本用于生成面部的强大现有模型，并将他们的插件式修正应用于其中。在没有改变模型内部“大脑”的情况下，他们使该模型能够执行复杂的任务，如修复带有噪声和损坏的照片。在这些测试中，他们的表现优于其他需要计算机不断重新计算梯度（一个会减慢生成速度的复杂数学过程）的流行技术。由于避免了这些沉重的计算，他们的方法在图像清晰度和图像与原始受损版本的一致性方面都取得了更好的结果，且运行速度更快。

团队还研究了他们方法的数学稳定性。他们发现，通过添加一种特定类型的正则化项（一种鼓励系统保持符合概率定律的项），他们可以让确定性版本（每次产生相同结果的版本）的表现与更具随机性的版本相匹配。这是一个微妙但重要的发现。这意味着系统可以在不牺牲图像质量的前提下，变得更加可靠和可预测。研究人员通过展示在应用这一额外训练层后，两个版本的过程之间的差距显著缩小，从而证明了这一点，从而实现了更一致、更高质量的输出。

最后，这项工作为如何引导人工智能创建特定内容提供了一种更清晰、更灵活的方式。通过将条件视为一个简单的分析性修正，而非学习过程的基础部分，研究人员创建了一个既强大又透明的框架。这表明我们不需要为每一个新任务都建造一个新引擎；相反，我们可以建造一个鲁棒的引擎，并在需要时只需插入正确的引导即可。这种方法不仅提高了图像的质量，还提供了对计算机如何做出决策的更深层次理解，将复杂的数学“黑箱”转变为一个可以被观察、理解并信任的过程。

技术摘要：评分扩散模型中条件性的插件式解释

问题陈述

基于评分（Score-based）的扩散模型在无条件生成任务中已取得了最先进的性能。然而，许多实际应用需要条件生成，即样本必须与特定的观测值或约束保持一致（例如，图像修复、超分辨率、数据同化）。

现有的条件生成方法大致分为两类，两者均存在局限性：

固定条件估计器（Fixed-condition estimators）： 这些通过在正向扩散过程中保持条件固定，直接从配对数据中学习条件评分网络。虽然有效，但它们将模型与特定的条件接口紧密耦合，使得适配新的逆问题变得困难。此外，它们对于观测值如何显式影响反向时间动力学过程提供的见解非常有限。
联合扩散估计器（Joint-diffusion estimators）： 这些通过共同扩散目标和条件来学习联合评分场。虽然更具灵活性，但现有方法通常依赖于隐式的调度匹配，且缺乏对条件反向时间随机微分方程（SDE）或常微分方程（ODE）的显式表述。因此，观测值引导生成的机制是不透明的。
后验引导采样（例如，DPS, DiffPIR）： 这些方法使用预训练的无条件先验并在采样过程中施加观测约束。虽然避免了重新训练，但像扩散后验采样（DPS）这类方法需要在每一步进行迭代的似然梯度评估，增加了计算成本。

核心挑战在于开发一个统一的框架，该框架能够提供透明的条件性解释，将无条件动力学与观测一致性修正分离，并实现原则性的条件采样器，而无需在每一步进行通过评分网络的反向传播。

方法论

作者提出了一种基于多速度联合扩散与解析插件式修正的统一条件扩散框架。

1. 多速度联合扩散与插件式条件

该方法不是为每个观测值学习单独的条件评分，而是在可能不同的噪声调度下，联合扩散目标 $X_t$ 和条件 $Y_t$ 。

正向过程： 采用独立的布朗运动但具有不同的扩散强度（ $g_X(t)$ 和 $g_Y(t)$ ）来对 $(X_t, Y_t)$ 进行联合扩散。条件通道通常设计为扩散得更慢（多速度设计），以鼓励一种“屏蔽”（screening）效应，即高信噪比的受损观测值 $Y_t$ 会使原始观测值 $Y_0$ 在给定 $Y_t$ 的情况下几乎独立于 $X_t$ 。
评分近似： 训练单个无条件联合评分网络 $s_\theta(X_t, Y_t, t)$ 来近似 $\nabla_{(x,y)} \log p_t(X_t, Y_t)$ 。
插件式修正： 条件性不是隐式学习的，而是在推理阶段通过源自正向破坏过程的解析修正项显式施加。利用贝叶斯法则和屏蔽近似，条件联合评分可以分解为：
$\nabla_{(x,y)} \log p_t(X_t, Y_t | Y_0) \approx \nabla_{(x,y)} \log p_t(X_t, Y_t) + (0, c_y(t; Y_0, Y_t))$
其中 $c_y(t; Y_0, Y_t) \approx \nabla_y \log p_t(Y_0 | Y_t)$ 。在高斯正向破坏下，该项具有闭式表达式： $c_y = (Y_0 - Y_t) / \sigma_Y^2(t)$ 。
预训练先验实例化： 该原理可扩展到预训练的无条件模型（例如用于图像修复）。在此场景下，条件是目标的局部观测（ $Y_0 = M \odot X_0$ ）。插件式修正直接应用于噪声状态 $X_t$ 的观测像素，有效地将观测区域视为条件通道。

2. 显式条件反向动力学

基于插件式修正，作者推导了针对随机和确定性采样的显式公式：

条件反向 SDE： 反向时间 SDE 在条件通道的漂移项中包含了插件项，通过学习到的联合评分对 $Y_t$ 的依赖关系来引导 $X_t$ 的生成。
条件概率流 ODE： 通过将插件修正后的评分代入标准的 ODE 公式，推导出了匹配的近似概率流 ODE。这提供了一个具有可解释条件动力学的确定性采样器。

3. Log-Fokker–Planck 残差正则化

为了解决确定性 ODE 采样器与随机 SDE 采样器之间的差异（这可能会降低 ODE 的样本质量），作者引入了 Log-Fokker–Planck (log-FP) 残差正则化。

他们定义了一个与修正评分动力学相关的 log-FP 算子 $F_{Y_0}[u]$ 。
训练目标通过增加一个最小化该算子 $L_2$ 残差的项来进行增强： $R_{LFP}(\theta, t)$ 。
理论保证： 作者证明了较小的 log-FP 残差可以限制 ODE 和 SDE 分布之间的 Wasserstein-2 距离（ $W_2(p^{ODE}, p^{SDE}) \leq C \delta$ ）。因此，最小化该残差可确保确定性 ODE 采样器能够紧密追踪反向时间 SDE 分布。

核心贡献

插件式条件解释： 本文为条件扩散提供了一种新的解释，即将条件视为添加到学习到的无条件联合评分中的一个解析插件项。这实现了生成动力学与特定观测算子的解耦，提供了透明度。研究表明，该公式对于联合训练的模型和预训练先验（如图像修复）均有效。
显式条件动力学： 作者推导了显式的条件反向时间 SDE 和匹配的近似概率流 ODE。条件的贡献以闭式形式出现，阐明了观测值如何影响随机和确定性轨迹。
ODE–SDE 差异控制： 文中建立了条件 ODE–SDE 差异与可控的 log-Fokker–Planck 残差之间的理论联系。所提出的正则化机制通过减小这一差距，提高了确定性 ODE 采样的质量。

实验结果

该框架在 CelebA、FFHQ 和 ImageNet 上的条件图像生成任务（图像修复和超分辨率）中进行了评估。

条件生成性能：
- 在 CelebA 图像修复上，该方法取得了最佳的 PSNR (25.38)、SSIM (0.876) 和 JFID (15.99)，优于固定条件（CDE）和联合扩散基准（CDiffE, CMDE）。值得注意的是，它在 JFID 上显著优于 CMDE，表明具有更好的联合真实感和与观测的一致性。
- 在 CelebA 超分辨率 (8x) 上，该方法取得了最佳的 PSNR (25.12)、LPIPS (0.098) 和 JFID (14.56)，展示了优于 HCFLOW 和其他扩散基准的条件一致性。
预训练先验应用：
- 在 FFHQ 和 ImageNet256 的噪声随机图像修复任务中，该方法使用相同的预训练先验与 DPS 和 DiffPIR 进行了比较。
- 所提方法在重建保真度（PSNR）和条件一致性（JFID）方面均优于 DPS，且无需 DPS 所需的每步 U-Net 反向传播。
- 它在 ImageNet256 上达到了最佳的 PSNR 和 JFID，并在 FFHQ 上达到了最佳的 LPIPS 和 PSER，与 DiffPIR 保持了竞争优势。
ODE–SDE 差距缩减：
- 在 MNIST 条件图像修复任务中，log-FP 残差正则化（CLOSE）将 ODE 和 SDE 采样器之间的切片 Wasserstein-2 距离（ $W_2(ODE, SDE)$ ）从 0.0329 降低到了 0.0323。
- 至关重要的是，这种差异的减少并未降低样本质量；正则化模型同时也改善了与地面真值的对齐程度（ $W_2(ODE, GT)$ 和 $W_2(SDE, GT)$ ）。

意义与主张

本文声称其主要意义在于提供了一个透明且模块化的条件视角。通过将条件视为对学习到的评分进行的解析修正，该方法：

解耦了生成动力学的学习与特定观测算子的关系。
避免了迭代似然梯度评估带来的计算开销（不同于 DPS）。
为推导确定性和随机性条件采样器提供了一种原则性的方法。
提供了一种理论机制（log-FP 残差）来控制 ODE 与 SDE 采样器之间的差异，从而提高确定性采样的质量。

作者承认存在局限性，指出闭式修正依赖于线性高斯前向核，且在高度多峰后验或高噪声水平下，屏蔽近似可能不够精确。他们还指出，虽然该方法在概念上与分类器自由引导（CFG）互补，但将两者结合的研究仍有待未来开展。