技术摘要：Divide-and-Denoise（划分与去噪）

问题陈述

预训练扩散模型的激增为组合生成提供了重大机遇，允许用户结合多个专业化模型（例如，一个针对狗训练的模型和另一个针对猫训练的模型）的专长，以生成单个模型无法独立产生的复杂数据。然而，天真地组合这些模型会带来两个主要挑战：

1. 支配性（Dominance）： 一个模型可能会压倒其他模型，导致特定概念被忽视。
2. 分歧（Disagreement）： 模型之间可能存在冲突，导致输出不连贯、物体重叠或属性错位（例如，“狗”和“猫”合并成一个不连贯的团块）。

现有的方法，如通过乘积密度定义复合分布或使用用户定义的空间划分（如 MultiDiffusion），在冲突发生时往往无法保留每个模型的独特特征。用户定义的划分方式繁琐，对于复杂领域（如蛋白质结构）通常是不可行的，并且无法根据生成过程中不同阶段模型的特定优势或劣势进行自适应调整。

方法论：Divide-and-Denoise

作者提出了 Divide-and-Denoise，这是一个在采样过程中协调多个预训练扩散模型的博弈论框架。该方法通过两个在每个时间步 $t$ 同步演化的耦合过程进行运作：

1. 划分过程（公平分配）

该方法并非采用固定划分，而是在线推断最优的“分工”。潜在图像被视为一组要在 $n$ 个模型（玩家）之间分配的 $m$ 个特征（商品）。

• 效用（Utilities）： 每个模型 $i$ 被分配一个针对潜在变量 $x$ 的每个特征 $j$ 的效用 $u_{ij}(x, t)$。论文定义了两种类型的效用：
  • 基于评分（Score-based）： 源自条件引导与无条件引导之间的评分差异幅度（适用于任何条件扩散模型）。
  • 基于注意力（Attention-based）： 源自交叉注意力图（特定于具有交叉注意力调节的模型）。
• 公平划分博弈： 在每一步中，该方法通过求解一个公平划分博弈来确定分配矩阵 $Q$。其目标是在满足公平性约束（如比例性、无嫉妒性）的前提下，最大化预期总效用（效率）。
• 优化： 分配 $Q_t$ 通过求解一个受 KL 散度正则化的约束优化问题进行更新，该散度基于前一时间步的分配，以确保时间上的平滑性。解是通过对偶问题导出的，产生了一个可分解的分配，其中每个特征都被分配给每个模型的比例权重。

2. 复合去噪过程

一旦确定了分配 $Q_t$，该方法就会构建一个与此划分相一致的复合去噪核 $p^c_t$。

• 对齐： 复合更新的公式化旨在使分配给模型 $i$ 的特征的去噪步骤保持接近于模型 $i$ 的提议，同时最大化总效用。
• 更新规则： 在简化假设（因子化分布和线性效用）下，最优复合均值 $\mu^c_t$ 被推导为单个模型均值的加权和加上一个引导项：
  $$\mu^c_t = \sum_{i=1}^n \mu^i_t(x_t) \odot Q^i_t + \frac{\sigma^2_t}{\alpha_t} \nabla_{x_t} U_t(x_t, Q)$$
  这里 $\odot$ 表示特征逐元素乘积，第二项作为一个基于总效用梯度的引导更新项。
• 虚拟玩家（Fictitious Player）： 为了处理模型可能存在冲突或缺乏偏好的低效用区域，引入了一个具有均匀效用的“虚拟玩家”。该玩家的提议是所有模型的平均值，从而在不强制执行公平性约束的情况下，鼓励在模糊区域进行协作。

核心贡献

1. 推理时协调算法： 一种协调具有不同专长的多个预训练扩散模型的方法，无需共享权重、架构或训练数据。
2. 耦合过程： 将动态划分过程（求解公平划分博弈）与复合去噪过程（将模型对齐到其分配的区域）相结合。
3. 效用公式化： 适用于任何条件扩散模型（基于评分）的通用定义，以及针对交叉注意力模型（基于注意力）的具体实例化。
4. 实证验证： 证明了通过该方法协调的单概念模型团队，在标准基准测试上优于现有的组合技术，甚至优于多概念模型。

实验结果

该方法在 Stable Diffusion 2.0 和 Diffusion Transformer (DiT) 模型上进行了条件图像生成的评估。

• 基准测试： 评估采用了 GenEval 基准（侧重于物体存在和属性绑定）、CLIP-Score、VQAScore 和 ImageReward。
• 性能表现：
  • 物体生成： 在“概念作为物体”（例如，生成一张包含手提包和运动球的图像）的设置中，Divide-and-Denoise 显著优于 Averaging、Composable Diffusion 和 MultiDiffusion 等基线方法。在 3 物体生成任务中，它在 GenEval 的 "%images" 指标上达到了 59.5%，而 Multi-Concept Diffusion 为 14.75%，MultiDiffusion 为 14.00%。
  • 属性绑定： 在生成具有特定颜色物体的场景中（例如，“橙色马”），该方法成功地将属性绑定到正确的物体上，优于经常出现属性泄露或物体缺失的基线方法。
  • 冲突解决： 在存在冲突概念的场景中（例如，“沙漠”对比“雪山”），该方法比基线方法产生了更多样化的空间布局和更高质量的图像，避免了不兼容概念的混合。
  • 公平性： 加入公平性约束（比例性）进一步提升了指标，特别是在模型数量增加时，防止了任何单一模型主导生成过程。

意义与主张

论文声称 Divide-and-Denoise 提供了一种通用的可控且可复用的生成建模方案。其意义在于：

• 解决冲突： 它有效地解决了模型之间的冲突，而无需人工干预或地面真值（ground-truth）划分。
• 模型无关性： 该公式不依赖于特定的模型架构或调节机制，适用于潜空间扩散模型（Stable Diffusion）和基于 Transformer 的模型（DiT）。
• 协作交互： 它强调了通过博弈论公平性调解的预训练模型间的协作交互，可以产生优于训练单个大型多概念模型的成果。
• 可扩展性： 该方法可扩展到多个模型（测试高达 4 个）和领域，具有扩展到 text-to-graph、text-to-audio 以及 audio-to-image 生成的潜力。

作者指出，虽然该方法引入了计算开销（主要在划分阶段），但可以通过运行时优化（例如，将划分和引导步骤限制在早期时间步）来显著降低成本，同时保持性能增益。