🤖 machine learning

Diverse Sampling in Diffusion Models with Marginal Preserving Particle Guidance

本文介绍了 EDDY，这是一种针对扩散模型和流匹配模型的无需训练的引导机制，它通过无散度动力学增强样本多样性，同时严格保持边缘分布并维持高生成质量。

原作者： Gal Vinograd, Idan Achituve, Ethan Fetaya

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Gal Vinograd, Idan Achituve, Ethan Fetaya

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一位已精通某种特定绘画风格的艺术家。你可以完美写实地画出一把漂亮的椅子、一个舒适的房间，或是一轮落日。然而，每次你尝试画一个“舒适的房间”时，最终画出的都是同一个房间，只是光线略有不同。你希望有所变化——不同的家具布置、不同的色彩、不同的角度——同时又不失去“舒适房间”的感觉。

这正是论文EDDY（通过无散度动力学实现精确边缘多样化）试图为 AI 图像生成器解决的问题。

以下是其工作原理的拆解，辅以简单的类比：

问题：“克隆”效应

现代 AI 图像生成器（如扩散模型）的工作原理是从一堆随机噪点开始，然后逐步“清理”噪点以显现图像。

问题所在：如果你让 AI 生成 10 张“猫”的图片，分 10 次单独生成，你会得到 10 只不同的猫。但如果你为了节省时间，让 AI 同时生成 10 只猫，它们往往看起来惊人地相似。它们是“克隆体”。
旧方案：之前的方法试图通过添加一种“排斥力”来强迫 AI 产生差异，就像告诉 AI：“嘿，别画你邻居正在画的东西！”
缺陷：旧方法就像派对上笨拙的保安。它们用力将图像推开，导致图像失真。猫可能看起来不同了，但也可能长出三条腿或出现奇怪的伪影，因为 AI 被迫打破自身规则以避免与其他图像重复。

解决方案：“鱼群”（EDDY）

作者提出了一种引导 AI 的新方法，就像一群鱼。

目标：你希望鱼（图像）能够散开并探索整片海洋（多样性），但同时希望它们保持在海洋的特定边界内（保持高质量并遵循提示词）。
秘诀（物理技巧）：该论文使用了一个名为Fokker-Planck 方程的数学概念。将其想象为 AI 绘画过程的“守恒定律”。它指出：如果你以非常特定、旋转的方式移动粒子（图像），你可以改变它们彼此之间的相对位置，而不会改变它们所游动的海洋的整体形状。
工作原理：
- 想象 AI 同时绘制 10 张图像。
- EDDY 检查每一对图像。如果两张图像靠得太近（过于相似），EDDY 会给它们一个轻柔的旋转推动，使它们分开。
- 魔法所在：这种推动是“无散度”的。用通俗的话说，就像河流中的漩涡。水在旋转，将物体推开，但任何特定位置的水的总量保持不变。
- 由于这个数学技巧，图像变得多样化（它们探索了不同的“模式”或变体），但每张单独图像的质量依然完美。它们不会失真或损坏。

“感知”挑战

论文指出，对于文本到图像等复杂任务，我们不能仅仅通过查看像素（如并排比较两张照片）来衡量相似性。我们需要衡量它们是否感觉相似。

类比：想象你要判断两幅画是否相似。你不会去数像素，而是观察它们的“氛围”或“风格”。
解决方案：EDDY 使用“特征空间”（如 DINO 或 CLIP 嵌入）来衡量这种氛围。然而，为这种“氛围”进行精确计算对计算机来说极其缓慢且昂贵。
捷径：作者创造了一种巧妙的近似方法（使用“有限差分”和"Hutchinson 迹估计”）。这就像一位技艺精湛的艺术家，只需通过几笔快速、粗略的草图就能猜出完美的笔触，而无需计算每一个像素。它很快，虽然并非 100% 数学完美，但效果几乎与完美版本一样好。

结果

该论文在合成数据和真实的文本到图像模型（如 FLUX 和 Stable Diffusion）上测试了 EDDY。

多样性：与标准方法相比，它成功生成了更多样化的图像（例如，房间内不同的椅子布置）。
质量：与旧方法（像笨拙的保安）产生奇怪伪影不同，EDDY 保持了图像的逼真度，并忠实于提示词。
效率：它为生成过程增加了一小部分额外时间（大约慢 25%），但避免了从头重新训练 AI 模型的需求。

总结

EDDY是 AI 图像生成的新“交警”。它不是通过破坏图像来强迫它们产生差异，而是利用巧妙的数学漩涡将它们轻柔地推开。这使得 AI 能够生成一组多样化的、高质量的图像，所有图像都完美遵循提示词，而不会出现以往方法中看到的奇怪失真。

技术摘要：EDDY——基于无散度动力学的精确边缘多样化

问题陈述

扩散模型和流匹配模型已在图像、分子和文本等多种模态中确立了其作为强大生成工具的地位。一种常见的推理时策略是引导（guidance），即调整漂移项以满足特定条件或约束。然而，当为同一条件生成多个样本时，标准的独立同分布（I.I.D.）采样往往导致多样性不足，输出结果倾向于聚集在相似的模态周围。

现有的解决多样性匮乏的方法通常引入样本间的交互，例如优化初始噪声潜变量或在采样过程中添加排斥势。虽然这些方法能够增加多样性，但本文指出了一个关键缺陷：它们往往会扭曲单个样本的边缘分布。这种扭曲导致了一种权衡：多样性的增加是以样本保真度的损失为代价的，表现为可见的伪影、提示遵循度降低或感知质量下降。核心挑战在于引入基于粒子的多样性，鼓励样本探索条件分布的不同模态，同时不改变任何单个样本的目标边缘分布，且理想情况下无需额外训练。

方法：EDDY

作者提出了EDDY（基于无散度动力学的精确边缘多样化），这是一种利用福克 - 普朗克方程（FPE）对称性的免训练引导机制。

理论基础

该方法的理论基础在于观察到控制概率密度 $p_t$ 演化的福克 - 普朗克方程（FPE）允许存在非平凡对称性。具体而言，某些漂移扰动可以改变粒子轨迹，而不改变演化的边缘密度。

FPE 的对称性：作者利用了矩阵 Stein 算子。他们证明，如果漂移扰动 $\psi_t$ 是通过算子 $A_p(A) = \text{div}(A) + A\nabla \log p$ 由光滑的反对称矩阵场 $A$ 构建的，那么由此产生的 FPE 保持不变。因此，即使多个相互作用粒子的联合分布被修改，边缘分布 $p_t$ 在所有时间 $t$ 下均保持不变。

算法构建

EDDY 通过构建一个诱导粒子间排斥相互作用同时保持边缘分布不变的引导场来实现这一原理：

成对反对称矩阵：对于每一对粒子 $(x_i, x_j)$ ，利用源自相似核 $k$ 的排斥方向 $r^{(ij)} = -\nabla k(x_i, x_j)$ 和向量 $v^{(j)}$ （通常是粒子 $j$ 的漂移或得分），构建一个反对称矩阵 $A^{(ij)}$ 。
$A^{(ij)} = r^{(ij)} \otimes v^{(j)} - v^{(j)} \otimes r^{(ij)}$
无散度漂移：粒子 $i$ 的引导项是对所有邻居应用这些矩阵的 Stein 算子的平均值：
$\psi_i^{\text{EDDY}} = \frac{1}{n-1} \sum_{j \neq i} A_p(A^{(ij)})$
这产生了一个局部无散度的输运场（因此得名"EDDY"），将粒子推开以增加多样性，同时在理论上保证单粒子边缘分布仍为 $p_t$ 。

高维场景下的实用近似

在文本到图像生成等高维场景中，计算核函数的精确二阶导数（散度项所需）在计算上是不可行的。EDDY 采用了两种实用近似：

有限差分：用于近似 Hessian-向量积。
Hutchinson 迹估计：用于近似拉普拉斯项。
这些近似使得该方法能够在感知特征空间（例如 DINO 或 CLIP 嵌入）而非原始像素空间上运行。虽然这些近似意味着边缘分布在理论意义上不再精确保持，但作者认为该方法仍然是可证明的边缘保持场的有限样本估计。

为了进一步降低计算成本，引导仅在采样轨迹的早期高噪声阶段应用（例如前 20% 的步数）。

主要贡献

本文概述了四项主要贡献：

理论识别：识别并证明了 FPE 的对称性，使得能够构建保持底层边缘分布的粒子引导机制。
基于核的构建：引入了一种特定的构建方法，利用反对称成对矩阵诱导与这些对称性兼容的排斥相互作用。
可扩展近似：开发了实用近似（有限差分和 Hutchinson 估计器），使得特征空间核的使用成为可能，从而使该方法适用于文本到图像生成等高维任务。
实证验证：在合成分布和现代文本到图像模型（FLUX.1-dev 和 SDXL）上进行了评估，证明了与基线相比，在保持分布保真度的同时提高了多样性。

实验结果

作者将 EDDY 与独立同分布（I.I.D.）采样、粒子引导（PG）和条件退火扩散采样（CADS）进行了评估。

合成二维高斯混合：在二维高斯混合模型上，EDDY-RBF（使用精确的 RBF 核）成功增加了模态覆盖率（多样性），同时通过了统计检验（Kolmogorov-Smirnov、Mann-Whitney、Welch t 检验），证实边缘分布与 I.I.D.基线无法区分。
文本到图像生成：
- 多样性与保真度：EDDY 始终实现了比 PG 更优的帕累托前沿。在匹配的多样性水平下（通过 DINO 成对相似度衡量），EDDY 产生了更高的提示对齐度（CLIPScore）和更好的美学评分。
- 伪影减少：当追求多样性时，PG 往往会引入严重的视觉伪影（例如结构扭曲），而 EDDY 保持了照片级真实感，任何退化仅表现为轻微模糊而非结构性伪影。
- 与 CADS 的比较：CADS 通过扰动条件信号来提高多样性，但显著降低了提示遵循度。EDDY 在增加多样性的同时保持了强大的提示保真度。
- 测试模型：实验在 FLUX.1-dev（流匹配）和 Stable Diffusion XL（扩散）上进行。

意义与主张

本文主张 EDDY 提供了一条通往多样化条件生成的原则性路径。通过利用福克 - 普朗克方程的对称性，它解耦了现有排斥采样方法中困扰的多样性与保真度之间的权衡。

作者强调，EDDY 是免训练的，不需要额外的模型学习，这与依赖学习势函数或重要性权重的方法不同。虽然该方法会带来计算开销（由于核评估和近似，在 FLUX.1-dev 上运行时间增加约 25%），但作者认为这是在不出现竞争方法中看到的严重伪影的情况下，获得高质量、多样化样本的必要成本。这项工作表明，保持边缘分布是维持生成输出质量的同时探索条件分布模态的关键约束。