🤖 machine learning

Diffusion Domain Expansion: Learning to Coordinate Pre-trained Diffusion Models

本文提出了扩散域扩展（DDE），这是一种利用紧凑的可训练协调器来高效扩展预训练扩散模型以生成更大物体并处理复杂条件的方法，其在长音频和条件图像生成任务中展现出卓越性能。

原作者： Egor Lifar, Semyon Savkin, Timur Garipov, Shangyuan Tong, Tommi Jaakkola

发布于 2026-05-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Egor Lifar, Semyon Savkin, Timur Garipov, Shangyuan Tong, Tommi Jaakkola

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一位大师级艺术家，他极其擅长绘制完美无瑕的 4x4 英寸小方块。这位艺术家（即预训练扩散模型）花费数年时光学习如何完美绘制这些微小方块。然而，你希望他绘制一幅巨大的全景壁画，或是一幅包含许多具体细节的复杂场景。如果你直接要求他一次性完成整幅作品，他可能会感到困惑，或者方块之间的边缘无法衔接，最终留下一幅杂乱的拼贴画。

本文介绍了一种名为扩散域扩展（Diffusion Domain Expansion, DDE）的新方法。可以将 DDE 想象为聘请一位智能项目经理（即协调器）与这位大师艺术家协同工作。

以下是其工作原理，分解为几个简单概念：

1. 问题所在：“小方块”的局限性

这位大师艺术家只知道如何绘制小方块。

目标：你希望获得一张巨大的图像（如一首长歌或一张宽幅卫星照片），或一张包含许多具体指令的图像（例如“在这里放一棵树，在那里放一辆车，再在那里放一只狗”）。
旧方法：以往的方法试图用僵硬的规则（如固定配方）将小方块拼接在一起。有时这些拼块无法完美契合，或者规则过于严格，难以处理复杂的请求。

2. 解决方案：“智能协调器”

与其重新训练这位大师艺术家（这既昂贵又缓慢），作者训练了一个微小且高效的协调器网络。

工作原理：协调器观察艺术家当前正在绘制的小方块。它就像交响乐团中的指挥家。它倾听艺术家为每个小图块所做的创作，并说道：“嘿，这个图块需要与旁边的图块更好地融合，”或者“确保这个图块里的树与那个图块里的天空相匹配。”
神奇之处：协调器学习将大师艺术家输出的“去噪”（已清理）结果拼接在一起，形成一幅巨大、连贯的杰作。

3. 超能力：泛化能力（“可拉伸”的技能）

本文最令人印象深刻的是，这位协调器具有可拉伸性。

训练：协调器是在中等规模任务的示例上进行训练的（例如，一首 48 秒长的歌曲，或一张包含 2 个特定对象的图像）。
结果：尽管它仅在中等任务上接受过训练，但它能够成功处理大得多的任务（例如，一首 2 分钟长的歌曲，或一张包含 5 个对象的图像），而无需任何额外训练。这就像教一个孩子将两根鞋带系在一起，然后看着他们成功系好一整捆鞋带，因为他们理解了“系”这个概念，而不仅仅是特定的绳结。

4. 现实世界测试（“展示给我看”）

作者在三种不同场景中测试了这种“项目经理”方法：

制作长音乐：他们利用一个只能生成 12 秒短片段模型，并通过协调器将其拼接成连贯的长歌（长达 2 分钟）。其结果比简单拼接片段听起来自然得多。
复杂场景（CLEVR）：他们要求模型生成包含多个特定对象且位于特定位置的图像（例如，“这里放一个红色立方体，那里放一个蓝色球体”）。协调器成功正确放置了 5 个不同对象，而其他方法在 2 或 3 个对象后就显得力不从心。
卫星地图：他们利用它根据简单的地图草图生成大型卫星图像。协调器确保了道路和建筑物在整个图像中流畅衔接，而不是看起来像一块拼布被褥。

5. 为何更优

效率：与大师艺术家相比，协调器非常微小。它的“参数”（神经元）少得多，训练所需时间也短得多。
质量：在每一项测试中，协调器产生的结果质量都优于以往的“拼接”方法。音乐听起来更悦耳，图像更准确，地图看起来更逼真。

总结

简而言之，扩散域扩展是一个巧妙的技巧。与其试图从零开始教一位小艺术家绘制巨型壁画，不如聘请一位聪明、轻量级的经理来协调艺术家的微小笔触。这位经理学习将各个部分如此完美地融合在一起，以至于最终成果看起来就像是由一位巨型艺术家绘制的一样，尽管这位艺术家原本只知道如何绘制小方块。而最棒的是？这位经理能够处理比其训练任务大得多的工作。

技术摘要：扩散域扩展（DDE）

问题陈述

预训练的扩散模型在生成图像、音频及其他数据模态方面已取得最先进成果。然而，从头开始重新训练这些模型以处理更大的输出域（例如全景图像、长音频轨道）或更复杂的条件输入（例如多个物体位置），计算成本高昂。现有的扩展生成域的方法通常依赖于固定的、算法式的协调机制（例如 MultiDiffusion），这些方法无需额外训练，但仅限于特定任务且缺乏灵活性。其他方法，如训练动态扩散模块，往往在训练时需要固定模态，或无法泛化到比训练期间观察到的域更大的范围。

本文解决的核心挑战是：如何在不重新训练基础模型的情况下，高效地扩展预训练扩散模型的生成域，以生成更大的物体并处理更复杂的条件，同时确保该解决方案能够泛化到比协调器训练期间所见实例更大的规模。

方法论：扩散域扩展（DDE）

作者提出了扩散域扩展（DDE），这是一个利用紧凑的、可训练的“协调器”网络来调度预训练扩散模型输出的框架。

一般公式

给定一个带有去噪网络 $D(x, y, t)$ 的预训练条件扩散模型 $p(x|y)$ ，目标是基于扩展输入 $Y^{[L]}$ 生成扩展对象 $X^{[L]}$ ，其中 $L$ 代表尺度（例如补丁数量或条件标签数量）。

分解：使用映射函数 $F$ 将扩展对 $(X^{[L]}, Y^{[L]})$ 分解为 $L$ 个较小的部分 $([x_1, \dots, x_L], [y_1, \dots, y_L])$ 。这些部分落在基础模型的原始域内。
基础生成：每个部分 $x_i$ 由预训练的去噪器 $D(x_i, y_i, t)$ 处理。
协调：可训练的协调器网络 $C[\cdot]$ 接收去噪输出序列 $[D(x_i, y_i, t)]_{i=1}^L$ 和条件信息 $[y_i]_{i=1}^L$ 作为输入。它学习协调这些输出，以生成完整扩展对象 $X^{[L]}(0)$ 的一致估计。
训练目标：通过在大小为 $L_{train}$ 的数据集上最小化复合去噪器 $D^{[L]}$ 的去噪误差来训练协调器。关键在于，该方法旨在泛化到测试尺寸 $L_{test} \ge L_{train}$ 。

协调器架构

作者利用**视觉 Transformer（ViT）**架构作为协调器，该架构改编自 Peebles & Xie (2023)。

输入处理：来自预训练模型的去噪补丁被“分块化”，并添加相对于更大对象的全局位置编码。作者采用旋转位置嵌入（RoPE）以有效处理更大的空间维度。
调和：在前向过程中，Transformer 处理所有补丁。为了处理重叠补丁（用于确保连续性），最终输出通过平均重叠区域的值来构建，这一做法受 MultiDiffusion 采样方法的启发。
效率：协调器显著小于基础模型（例如，在音乐生成中为 66M 对比 405M 参数），且需要的训练轮数更少。

主要贡献

新颖框架：提出 DDE，一种利用小型可训练协调器将预训练扩散模型的生成能力扩展到更大物体和更复杂条件的方法。
泛化能力：证明协调器能够泛化，生成比其训练数据中存在的规模更大的物体，并处理更大规模的条件输入（ $L_{test} \ge L_{train}$ ）。
架构设计：验证了基于 ViT 的架构作为协调器的适用性，该架构在通过重叠平均强制局部一致性的同时，学习长程依赖关系。
效率：与重新训练基础模型或使用更大协调器架构相比，该方法以更少的参数和训练时间实现了高质量生成。

实验结果

作者在三个领域评估了 DDE：

1. 长音频轨道生成（Slakh2100）

任务：使用在长度 $l$ （12 秒）上训练的基础模型，生成长度为 $10l$ （120 秒）的音乐轨道。
基线：拼接（Concatenation）和 MultiDiffusion。
结果：对于 4l 轨道，DDE 的弗雷歇音频距离（FAD）为 2.112；对于 10l 轨道，FAD 为 2.142。在 10l 任务中，这显著优于 MultiDiffusion（4.796）和拼接（4.596）。协调器（66M 参数）远小于基础模型（405M 参数）。

2. 条件图像生成（CLEVR）

任务：基于多个物体位置（ $L$ 个标签）生成图像，而基础模型仅能处理一个位置。
基线：RRR（Reduce, Reuse, Recycle）和 MultiDiffusion。
结果：DDE 在满足多个条件约束方面表现出更高的准确性。对于 5 个条件，DDE 的准确率为 44.5%（Heun 采样器），而 RRR 为 33.6%，MultiDiffusion 为 36.3%。协调器从 $L_{train}=2$ 的训练泛化到了 $L_{test}=5$ 的测试。

3. 卫星图像生成

任务：基于示意图生成大型卫星图像。
基线：MultiDiffusion。
结果：对于分布内（ $N=96$ ，FID 31.75 对比 37.81）和分布外（ $N=128$ ，FID 27.37 对比 35.01）的尺寸，DDE 的 FID 分数均低于 MultiDiffusion。视觉检查显示，DDE 生成的图像更加连贯，没有观察到 MultiDiffusion 样本中可见的接缝。

意义与主张

本文主张，DDE 提供了一种实用且高效的解决方案，用于扩展扩散模型，而无需付出重新训练的高昂成本。通过学习协调预训练过程，该方法实现了：

域扩展：生成更大的物体（更长的音频、更大的图像）并处理比原始模型能力更复杂的条件（多个标签）。
泛化：能够外推到比协调器训练期间所见尺度更大的规模。
质量与一致性：基于 ViT 的协调器有效学习长程依赖关系，解决局部去噪步骤之间的冲突，从而生成全局一致的输出。

作者指出，主要局限性在于需要额外的数据和时间来训练协调器模型，尽管这一成本远低于从头开始训练完整的扩散模型。未来的工作提议将 DDE 应用于蛋白质序列生成和从短片创建视频。