🤖 machine learning

Catastrophic Compositional Generation: Why Vanilla Diffusion Models Fail to Extrapolate

本文认为，在针对分布外分布进行目标设定时，原生条件扩散模型在组合生成方面存在根本性的失败，因为分数估计误差比推理时的近似误差更为致命，使得标准的修正技术难以奏效。

原作者： Duncan Soiffer, Chandler Squires, Yuan Guan, Jason Hartford, Pradeep Ravikumar

发布于 2026-06-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Duncan Soiffer, Chandler Squires, Yuan Guan, Jason Hartford, Pradeep Ravikumar

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位大师级厨师，他精通制作三种特定的菜肴：清汤、仅含胡萝卜的汤，以及仅含芹菜的汤。你请这位厨师创造一种全新的菜肴：一种同时含有胡萝卜和芹菜、且不含其他食材的汤。

你可能会想：“这很简单！厨师了解胡萝卜，厨师了解芹菜，他也了解汤。他只需要把“胡萝卜知识”和“芹菜知识”混合在一起，就能做出这道新菜。”

这篇论文讨论的是一种特定类型的 AI（称为扩散模型），它就像这位厨师一样。研究人员发现，当你试图强迫这些 AI 去组合它们从未见过在一起的概念时，结果往往会变成一场灾难性的混乱。

以下是使用简单类比对他们发现的详细解读：

1. 目标：“组合式生成” (Compositional Generation)

目标是组合式生成。这是指 AI 将它分别学到的事物（比如“沙发”和“画作”）组合成某种新事物（比如“带有画作的房间里的沙发”）的能力，即使它在训练期间从未见过这种确切的组合。

把它想象成一套乐高积木。AI 已经分别造出了城堡和宇宙飞船。现在你想要它造一个“宇宙飞船城堡”。

2. “天真”的方法：混合指令

标准的 AI 模型尝试通过简单地将它们的内部“指令”（称为得分/scores）相加来解决这个问题。

类比： 想象 AI 有一个 GPS。一个 GPS 说“左转去沙发”；另一个 GPS 说“右转去画作”。天真的方法就是直接把这两个 GPS 信号相加：“左转 + 右转”。
问题： 在现实世界中，如果你试图通过平均两个冲突的方向来驾驶，你并不会到达一个新的目的地，而是会原地打转或发生车祸。论文表明，对于这些 AI 模型，仅仅相加指令是行不通的，因为当你尝试组合它们时，数学计算会变得非常混乱。

3. 让情况变得更糟的“修复方案”：费曼-卡茨修正器 (Feynman-Kac Corrector, FKC)

研究人员最近发明了一个高级工具，叫做费曼-卡茨修正器 (FKC)。

类比： 这就像雇佣了一位超级聪明的导航员，实时观察 GPS 信号并纠正驾驶员。导航员会说：“等等，GPS 在误导你，因为你现在处于一个奇怪的地段。让我来调整方向盘。”
论文的发现： 作者发现，虽然这个导航员可以修复“天真”方法的数学错误，但它有一个致命缺陷。这个导航员只在“正常”的地段（即 AI 见过的数据）经过训练。当 AI 试图驶向一个“新”的地方（即沙发 + 画作的组合）时，导航员会感到困惑，因为它从未去过那里。
结果： 这个导航员不仅没有修复汽车，反而根据错误的记忆开始对着驾驶员大喊大叫。你越是尝试使用这个“修复方案”（通过增加更多的“粒子”或导航员），车开得就越糟糕。它会彻底失控。

4. 两种类型的错误

论文识别出了 AI 失败的两个主要原因，它们的表现形式不同：

错误 A：数学故障（推理时近似误差 / Inference-time Approximation Error）
- 本质： AI 正在尝试进行一种它并未被教过的数学技巧。
- 修复： 如果 AI 已经掌握了基础知识，那么“导航员”（FKC）其实非常擅长修复这种错误。
错误 B：糟糕的记忆（得分估计误差 / Score Estimation Error）
- 本质： AI 仅仅是因为不知道这种新组合看起来是什么样子的，因为它从未见过它。它在胡乱猜测。
- 问题： 这是“灾难性”的部分。当 AI 处于“低密度”区域（一个它从未见过的领域）时，它的猜测是非常糟糕的。由于“导航员”（FKC）试图纠正数学问题，它最终反而放大了这些糟糕的猜测。这就像一个 GPS 试图纠正一个已经在森林里迷路的驾驶员；GPS 只会将他们引向更深的树丛。

5. “房间”实验

为了证明这一点，研究人员用房间的图像进行了一项测试。

场景 1（简单）： 他们要求 AI 组合一个沙发和一个画作。由于沙发在地上，而画作在墙上，它们几乎没有重叠。AI 可以做得还可以。
场景 2（困难）： 他们要求 AI 组合一个沙发和一个咖啡桌。两者都位于地面上。它们在争夺同一个空间。
结果： 当 AI 尝试组合沙发和桌子（这是一个“困难”的组合）时，“导航员”（FKC）让图像变成了熔化、扭曲的噩梦。你越是试图“纠正”图像，图像就变得越扭曲。

核心结论

论文得出结论：标准的 AI 模型（原生扩散模型）无法仅仅通过“打补丁”来组合新概念。

如果你想让 AI 可靠地组合它从未见过的概念（比如“一个带有白色沙发和黑色椅子的客厅”），你不能仅仅在推理阶段微调数学。你必须从 AI 构建或训练的最开始阶段就改变它。目前的这些“修复方案”实际上会让问题变得更糟，当 AI 被要求想象一些真正新颖的东西时。

简而言之： 你不能仅仅通过给一只狗一对更好的翅膀来教它飞行；你必须改变这只狗的生物构造。同样，你不能仅仅通过添加一个纠正步骤，就让这些 AI 模型擅长组合新事物；这些模型本身需要一个不同的基础。

技术摘要：灾难性组合生成 (Catastrophic Compositional Generation)

问题陈述

本文探讨了组合生成 (compositional generation) 任务，即使用在有限子集条件（ $A_o$ ）上训练的条件生成模型，来生成由这些源分布的几何组合（加权组合）定义的靶向分布。这在生物学等领域尤为重要，因为实验预算限制了测试所有可能的组合（例如基因敲除或药物剂量）的能力，因此需要能够外推至未见组合的模型。

作者关注的是原生条件扩散模型 (vanilla conditional diffusion models)。虽然理论框架表明，密度层面的分布几何组合对应于其得分函数 (score functions) 的线性组合，但作者指出，这种关系在推理过程中并不能高效实现。具体而言，作者识别了阻碍成功组合的两个不同来源的误差：

推理时近似误差 (Inference-time approximation error)： 在去噪过程中，由于加噪与组合过程并不对易，导致真实的组合分布得分与用于去噪的朴素线性组合得分之间存在差异。
得分估计误差 (Score estimation error)： 源分布上不完美的得分函数学习（即 $S_\theta \neq S^*$ ）所传播的误差。

核心论点是：尽管近期的研究方法（如 Feynman-Kac 校正器）解决了第一种误差，但当第二种误差占据主导地位时——特别是当目标分布相对于源训练数据处于分布外 (OOD) 区域时——这些方法会发生灾难性的失败。

方法论

作者使用几何加权组合将组合生成任务形式化。给定一组源分布 $\{P_a\}_{a \in A_o}$ 和权重 $w$ ，目标分布定义为：
$P_w(x) = \frac{1}{Z_w} \prod_{a \in A_o} P_a(x)^{w_a}$
在得分层面，这意味着仅在 $t=0$ 时（或在特定条件下）满足 $S_w(x) = \sum w_a S_a(x)$ 。

为了调查失效模式，论文采用了一个严谨的实验框架来解耦这两种误差来源：

理论分析： 作者通过分析多元高斯分布，推导出真实组合分布与由朴素去噪生成的分布的闭式解。他们证明了对于高斯分布，朴素去噪会导致协方差的乘性组合，而非正确的加性/逆加性关系，从而导致潜在的无限发散。
Feynman-Kac 校正器 (FKC)： 研究利用了基于粒子的序列蒙特卡洛方法 FKC，该方法通过追踪重要性权重来校正推理时的近似误差。
实验设计： 实验在三种设置下进行：
1. 二维高斯分布： 用于隔离近似误差与估计误差的可解析设置。
2. 高斯混合模型 (GMM)： 更复杂的非因子化分布。
3. 半合成视觉数据： 通过文本生成图像模型生成的真实感房间图像，通过操纵物体放置（例如沙发 vs 画作 vs 茶几）来控制“因子化”（即物体是否占据不相交的空间区域）。

关键在于，实验通过改变训练数据量 ( $N$ ) 来控制得分估计误差，并通过改变粒子数 ( $K$ ) 来控制近似误差的校正。研究对比了“分布内 (ID)”目标（即组合位于训练数据的支撑集内）与“分布外 (OOD)”目标。

核心贡献

识别灾难性失败： 论文提供了证据，表明当组合目标处于 OOD 区域时，原生条件扩散模型无法有效地进行组合外推。作者认为，没有任何推理时技术可以克服这些机制中得分估计误差这一根本限制。
误差解耦： 本工作正式分离了推理时近似误差（可通过 FKC 等方法校正）与得分估计误差（源于模型的训练固有属性）。
理论极限： 通过高斯分析，作者证明了即使在得分估计完美的情况下，朴素去噪也无法恢复正确的分布。相反，在估计不完美时，FKC 可能会通过强化估计噪声来主动恶化性能。
实证验证： 研究表明，在 OOD 设置下，增加 FKC 中的粒子数量（即减少近似误差）往往会导致更差的样本质量，因为该方法会放大底层的得分估计误差。这种效应在合成及半合成视觉数据中均有观察到。

结果

分布内 (ID) 设置： 当目标组合位于源分布的高密度区域时，只要得分函数学习良好，FKC 能够成功校正推理时的近似误差。
分布外 (OOD) 设置：
- 朴素去噪： 由于近似误差表现较差，但不会发生灾难性发散。
- 使用学习得分的 FKC： 随着粒子数 ( $K$ ) 的增加，性能显著下降。旨在修复近似误差的校正机制反而将粒子聚集在得分错误的区域，导致“灾难性”失败。
- 使用解析得分的 FKC： 当提供地面真值 (ground-truth) 得分（消除估计误差）时，FKC 即使在 OOD 设置下也能成功恢复目标分布。这证实了失败是由得分估计误差驱动的，而非组合方法本身。
因子化： 论文指出，如果分布是“因子化条件分布”（例如物体位于不相交的图像区域），则朴素去噪在理论上是精确的，FKC 不提供任何益处。然而，在非因子化或 OOD 设置中，估计误差占主导地位。
模型架构： 对比单个条件模型与多个独立的“专家”模型的实验表明，条件模型中的权重共享提供了隐式正则化，比训练独立的模型能更好地缓解 OOD 估计误差。

意义与主张

本文为使用原生扩散模型的组合生成领域提出了一个关键的负面结论。作者断言：

推理时修复是不充分的： 仅在推理阶段运行的技术（如 FKC）无法补偿原生模型在低密度（OOD）区域得分空间中无法泛化的根本局限性。
“灾难性”的本质： 在 OOD 机制下，试图校正近似误差（通过 FKC）的过程会加剧得分估计误差的影响，导致样本质量的退化，甚至比使用朴素方法效果更差。
未来方向： 作者总结认为，实现鲁棒的组合生成需要对流程更早期的环节进行干预。他们建议未来的工作应聚焦于：
- 训练能够学习显式潜在表示的架构（例如潜在扩散模型 LDM）。
- 开发专门为组合生成设计的模型（例如以物体为中心或因果生成模型）。
- 开发专门的后训练程序，以鼓励从高密度区域向低密度区域的外推。

该论文并非声称组合生成是不可能的，而是指出目前的范式——“训练一个原生扩散模型，然后在推理时进行组合”——在处理外推任务时存在根本性的局限。