💻 computer science

Improved Immiscible Diffusion: Accelerate Diffusion Training by Reducing Its Miscibility

本文介绍了“改进型不混溶扩散”（Improved Immiscible Diffusion），该框架通过诸如 KNN 噪声选择和图像缩放等多样化实现手段来减少轨迹混合（混溶性），从而加速扩散模型训练，进而简化去噪过程，并在保持生成多样性的同时，在多种任务中实现高达 4 倍的训练加速。

原作者： Yiheng Li, Feng Liang, Dan Kondratyuk, Masayoshi Tomizuka, Kurt Keutzer, Chenfeng Xu

发布于 2026-07-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yiheng Li, Feng Liang, Dan Kondratyuk, Masayoshi Tomizuka, Kurt Keutzer, Chenfeng Xu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于论文《改进的不可混溶扩散模型》（Improved Immiscible Diffusion）的通俗易懂的解释，使用了日常生活的类比。

核心问题：混乱的舞池

想象一个巨大的、拥挤的舞池（这就是 AI 用来学习生成图像的“噪声空间”）。在标准的 AI 模型——**扩散模型（Diffusion Model）**中，学习过程是这样的：

AI 获取一张清晰的照片（比如一只猫），然后慢慢加入静态噪声，直到它看起来像纯粹的雪花噪点。
然后，它尝试学习如何逆转这个过程：从雪花噪点开始，通过一步步去除噪声，试图找回那只猫。

问题所在： 在标准方法中，不同照片的路径会变得混乱不堪。想象成千上万的人（图像）同时向舞池走去，彼此穿插、缠绕在一起。当 AI 尝试“解开”它们（去噪）时，它会感到困惑。它看到舞池上的一个点，却不知道这个点属于猫、狗还是汽车，因为它们的路径在这里交织了。这种混乱使得 AI 的训练既缓慢又低效。

旧的解决方案：“不可混溶扩散”（严厉的保安）

之前有一种叫做**“不可混溶扩散”（Immiscible Diffusion）**的想法，试图通过扮演一个严厉的保安来解决问题。它规定：“好，猫 A，你只能在特定的这个角落跳舞。狗 B，你留在另一个角落。”

优点： 这保持了路径的分离，使 AI 更容易学习。
缺点： 为了做到这一点，计算机必须为每一张图像和每一个噪声点计算出完美的配对。这就像是在为一场 1000 人的婚礼安排座位，要确保没有任何人会坐到错误的人旁边。这需要耗费巨大的时间和计算能力（在数学上，对于大型群体来说这非常慢）。此外，人们担心，如果强行把猫和狗分在不同的角落，AI 可能会忘记如何生成“不同种类”的猫，从而损害图像的多样性。

新的解决方案：“改进的不可混溶扩散”

该论文的作者表示：“我们可以做得更好、更快，且不会损害多样性。”他们取得了两个主要的突破：

1. 证明了“秘密相关性”（为什么多样性是安全的）

首先，他们回应了“分离图像会破坏多样性”的担忧。他们进行了一项实验：取一个特定的“噪声种子”（一个随机起点），然后向其中加入一点额外的静态噪声。

结果： 即使加入了额外的静态噪声，AI 仍然能生成同一只猫。需要加入大量的“噪声污染”，猫才会变成狗。
类比： 想象一个广播电台。如果你只是稍微转动一下旋钮（加入一点噪声），你仍然能清晰地听到同一首歌。你必须大幅度转动旋钮，才能听到另一家电台。
结论： AI 本身在特定的噪声模式与它生成的图像之间，天然拥有着一种强大且稳定的联系。我们不需要担心分离路径会破坏多样性；AI 已经通过“硬连线”的方式保持了它们的区别。

2. 新的“快速通道”方法

他们没有使用那种缓慢、复杂的“保安”方法（线性分配），而是提出了两种更快速的方法来保持路径分离：

方法 A：“K-最近邻”（KNN）法
- 原理： AI 不再计算每个人的完美匹配，而只是观察一小组随机的噪声点（例如 8 个），然后选择离图像最近的那一个。
- 类比： 想象你在寻找停车位。旧的方法是检查全城每一个车位，以找到绝对最近的一个。新方法是看你面前的 8 个车位，并选出最好的一个。效果几乎一样好，但只需几秒钟而不是几小时。
- 优点： 这非常快，并且可以轻松扩展到大规模的图像处理。
方法 B：图像缩放法
- 原理： 他们简单地在加入噪声之前，将图像“放大”（将像素值乘以 2 或 4 等数字）。
- 类比： 想象两个人在雾气弥漫的田野里行走。如果他们很小，路径很容易交叉。如果你把他们变成巨人，他们之间的距离就会变得非常远，即使朝同一个方向走，他们的路径也自然不会相交。
- 优点： 这不需要复杂的数学计算或配对，它能自然地将“扩散路径”推开，从而避免混合。

结果：速度与质量

论文在许多不同任务上测试了这些新方法：

生成图像： 从无到有生成猫、狗和汽车。
编辑图像： 填充照片缺失的部分（局部重绘/in-painting）或扩展边缘（外扩绘制/out-painting）。
机器人学： 教会机械臂如何将一个 T 形物体推入特定位置。

最终成果：

速度： 新方法将 AI 的训练速度提升了高达 4 倍。
质量： 生成的图像实际上更好了（FID 分数更低，意味着看起来更真实）。
多样性： 图像保持了多样性；AI 没有陷入反复生成重复内容的困境。

总结

这篇论文解决了 AI 训练中的“交通堵塞”问题。通过意识到 AI 天然地将图像与其“噪声来源”联系在一起，作者找到了更简单、更快速的方法来保持训练路径的分离。他们不再使用缓慢的完美排序系统，而是采用了“挑选最近邻”或“让图像变大”的策略。这使得 AI 模型的训练变得显著更快、更高效，且不会牺牲结果的质量或多样性。

技术摘要：改进的不可混溶扩散 (Improved Immiscible Diffusion)

1. 问题陈述

扩散模型的训练受到巨大的计算成本和时间需求的阻碍，这些需求随模型规模和数据集复杂度的增加而显著增长。本研究中确定的一个基本瓶颈是轨迹混溶性 (trajectory miscibility)。在传统的扩散训练中，随机高斯噪声被添加到图像中，导致不同图像的扩散路径（流）在相同的噪声点处发生混合，尤其是在噪声水平增加时 ( $t \to T$ )。

当多个不同的图像轨迹收敛到同一个噪声点 $x_t$ 时，去噪网络 $\epsilon_\theta(x_t, t)$ 面临着模糊的学习目标。模型不再是预测一个特定的噪声向量以恢复唯一的图像，而是被迫预测冲突噪声向量的平均值。随着噪声水平趋于最大，去噪目标收敛为一个常数（数据集的平均值），使得恢复特定图像的学习过程变得无效。这种“混合”造成了不可逆且令人困惑的轨迹，从而降低了训练效率。

以往旨在解决此问题的尝试，例如应用批次级最优传输 (Optimal Transport, OT) 或线性分配来将图像与更接近的噪声点配对，效果有限。这些方法仅将图像-噪声距离降低了约 2%，并将去噪函数的标准差降低了约 4%。此外，线性分配方法的计算复杂度为 $O(n^3)$ ，这使得在大规模批次下难以实现，并且引发了关于限制图像-噪声配对是否会损害生成图像多样性的担忧。

2. 方法论

作者提出了改进的不可混溶扩散 (Improved Immiscible Diffusion)，这是一个精炼的框架，它不仅将“不可混溶性”重新定义为一种特定的图像-噪声配对策略，而且将其定义为减少不同图像扩散轨迹混合的一种通用方法。

2.1 理论基础：稳定的图像-噪声相关性

这项工作首先确立了生成的图像与其噪声起源之间存在稳定的相关性。通过对原始 DDIM 进行扰动实验，作者证明，对特定的噪声点添加少量的噪声（高达 20% 的扰动）所产生的生成图像在语义上保持一致。只有当扰动达到显著水平（30%）时，才会发生物体层级的变化。这一发现验证了将扩散限制在特定噪声区域（不可混溶性）并不会本质上破坏生成多样性，因为从噪声到图像的映射是鲁棒的。

2.2 作用机制

其核心机制在于明确模型的去噪目标。通过减少扩散轨迹的重叠：

噪声簇分离： 分配给不同图像的噪声点在噪声空间中形成截然不同、互不重叠的簇。
去噪目标明确化： 去噪函数不再需要对冲突的目标进行平均。即使在极高噪声水平 ( $\tau = S$ ) 下，模型也能有效地预测添加到特定图像中的特定噪声。
特征空间改进： t-SNE 分析显示，在不可混溶扩散下，跨去噪步骤的预测图像形成了清晰、不相交的路径，而传统扩散的路径则是混乱缠绕的。

2.3 实现方式

论文引入了一系列实现方式来实现不可混溶性，超越了计算昂贵的线性分配：

批次级线性分配 (基准)： 通过 $L_2$ 最小化将每张图像分配给最近的噪声点。虽然在分离轨迹方面有效，但其复杂度为 $O(n^3)$ 。
K-最近邻 (KNN) 噪声选择： 对于每张图像，采样 $k$ 个随机噪声点，并选择其中 $L_2$ 距离最小的一个。该方法计算效率高 ( $O(n)$ )，且能很好地扩展到大规模批次。分析表明，由此产生的噪声分布仍接近高斯分布（与严格高斯相比，KL 散度可以忽略不计）。
图像缩放 (Image Scaling)： 一种不依赖于图像-噪声配对的新颖方法。通过在扩散前将图像像素值乘以一个大于 1 的常数因子（例如 2 或 4），不同图像扩散区域中心之间的 $L_2$ 距离会增大。这自然地减少了扩散轨迹的交集，而无需改变噪声空间或进行显式配对。

3. 核心贡献

概念精炼： 作者将不可混溶扩散从一种特定的线性分配技术扩展到了一个更广泛的概念，即通过减少扩散轨迹的混合来定义。他们证明，由于图像-噪声相关性的内在稳定性，这种减少并不会损害生成多样性。
高效实现： 论文提出了 KNN 噪声选择 和 图像缩向 作为线性分配的高效替代方案。这些方法以显著更低的计算开销实现了不可混溶性，使其能够用于大规模训练。
全面验证： 该工作在多种模型（一致性模型、流匹配、DDIM、Stable Diffusion）、数据集（CIFAR-10、ImageNet、MSCOCO）以及任务（无条件/有条件生成、微调、图像编辑和机器人规划）上提供了广泛的实证证据。
机制分析： 通过逐步特征分析，论文阐明了不可混溶性是如何加速训练的：即通过激活噪声层中最具挑战性的去噪能力，而这些层在传统扩散中通常是最难训练的。

4. 实验结果

实验证明了训练效率和最终性能的一致且显著的提升：

训练速度： 与传统基准相比，不可混溶扩散系列在达到相同的性能水平 (FID) 时，训练速度提升高达 4 倍。
性能增益：
- 无条件生成： 在 CIFAR-10 上，采用 KNN 实现的不可混溶 DDIM 将 FID 从 6.63（传统型）改善至 4.45。
- 有条件生成： 在 ImageNet 和 MSCOCO 上的 Stable Diffusion 训练中，不可混溶扩散在从头训练和微调场景中均一致优于传统基准。
- 图像编辑： 局部绘制 (In-painting) 和外扩绘制 (Out-painting) 任务显示出更低的 FID 分数（例如，局部绘制 FID 从 18.35 降至 17.32），表明更好地保留了源信息。
- 机器人规划： 应用于 PushT 任务时，不可混溶扩散将机器人的平均成功覆盖面积从 79.56% 提高到了 82.83%。
效率： KNN 方法将噪声选择的执行时间从毫秒级（线性分配）降低到了亚毫秒级（例如，批次大小为 256 时为 0.2ms），使其具备可扩展性。
多样性： CLIPScore 评估确认，不可混溶扩散保持了与传统模型相当的提示词-图像对应关系和生成多样性。

5. 意义与主张

论文指出，轨迹混溶性 是扩散训练中一个被忽视的基本瓶颈，人们此前更多关注流匹配 (Flow Matching) 或正则化流 (Rectified Flow) 等其他效率技术。虽然流匹配使轨迹线性化，但它并未防止轨迹发生混合（即具有混溶性）。

作者声称，通过解决去噪歧义的根源——轨迹混合，他们建立了一个高效扩散训练的新方向。该工作表明，“混溶问题”是一个影响各种扩散架构的普遍问题，而减少这种混合为实现更快的收敛和更好的性能提供了一条稳健且与模型无关的路径。论文总结道，这种方法为未来高效扩散训练的研究提供了一个潜在的新方向，即超越简单的架构变更，转而从根本上改变扩散过程的动力学。