🤖 machine learning

The Emergence of Reproducibility and Generalizability in Diffusion Models

本文研究并证实了扩散模型中“一致性模型可复现性”的现象，证明了在给定相同噪声输入时，不同的架构和训练程序会收敛至相似的输出和分布，从而揭示了具有显著训练效率、隐私保护及受控生成意义的独特记忆与泛化机制。

原作者： Huijie Zhang, Jinfan Zhou, Yifu Lu, Minzhe Guo, Peng Wang, Liyue Shen, Qing Qu

发布于 2026-06-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Huijie Zhang, Jinfan Zhou, Yifu Lu, Minzhe Guo, Peng Wang, Liyue Shen, Qing Qu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一群不同的艺术家，每个人都有自己独特的风格、工具和训练方法。你给他们提供了一个完全相同的起点：一张布满静态噪声（就像电视雪花一样）的空白画布，以及一份关于如何去除这些噪声以显现图像的严格、逐步的操作手册。

你可能会预期每位艺术家都会画出不同的作品。然而，这篇论文发现了一个令人惊讶的现象：他们画出的几乎是完全相同的图像。

作者将这种现象称为**“一致的模型可复现性”（Consistent Model Reproducibility）**。无论艺术家使用的是 U-Net（一种特定类型的神经网络架构）、Transformer，还是不同的训练方案，只要他们从相同的“噪声”开始并遵循相同的确定性规则，最终得到的图像几乎是完全一致的。

以下是利用简单类比对该论文核心发现的解读：

1. 学习的两种“模式”

论文发现，这种“复制”行为发生在两种截然不同的情况下，具体取决于模型见过的训练数据量以及模型的“规模”有多大。

“复印机”模式（记忆机制/Memorization Regime）：
想象一个学生，他被给予一本只有 10 页内容的微型教科书，但他拥有一个足以背诵整个图书馆的超级大脑。如果你要求这个学生根据随机的噪声模式画一幅画，他只会简单地回忆起他背下的那 10 页中的某一页。
- 发生了什么： 模型完美地记忆了训练数据。因为每个模型都记住了相同的 10 页内容，所以它们都会产生完全相同的“副本”。它们并没有创造任何新东西，而是在复现训练数据。
- 论文的观点： 在这种模式下，模型学习的是“经验分布”（即展示给它们的特定示例列表）。
“厨师”模式（泛化机制/Generalization Regime）：
现在，想象这个学生被给予了数百万本书组成的庞大图书馆，但他的大脑容量却很普通。他无法记住每一本书。相反，他学习了烹饪（或绘画）的“规则”。
- 发生了什么： 当你给他们同样的噪声时，他们并不会去复制某一个特定的页面。相反，他们利用对“底层规则”的理解来创造一张从未存在过的全新图像。
- 论文的观点： 令人惊讶的是，尽管他们在创造新的图像，不同的模型产生的图像仍然几乎相同。这表明所有这些模型都独立地发现了完全相同的“配方”或“地图”，即如何将噪声转化为真实的图像。它们都在学习数据的真实、隐藏的结构，而不仅仅是模仿示例。

2. 为什么这很特别

作者测试了其他类型的 AI 生成器（如 GANs 和 VAEs），并发现它们并不具备这种特性。如果你给两个不同的 GAN 提供相同的噪声，它们会产生非常不同的图像。

扩散模型之所以独特，是因为它们似乎收敛到了一个单一的、“唯一的编码”。这就像是一个 GPS：如果你给两套不同的汽车导航系统提供完全相同的起始坐标和相同的地图数据，无论汽车的品牌是什么，它们都会规划出完全相同的路线前往目的地。扩散模型似乎找到了从噪声到图像的“完美路径”，而所有人都在遵循这条路。

3. 这种现象在所有场景下都成立吗？

论文检查了这种“魔力”在不同场景下的表现：

条件生成（遵循指令）： 如果你告诉模型“画一架飞机”，不同的模型仍会产生非常相似的飞机。然而，如果你将一个“条件型”模型（被告知画一架飞机）与一个“无条件型”模型（被告知可以画任何东西）混合在一起，只有当无条件模型恰好选择了飞机时，两者才会匹配。
修复损坏的图像（逆问题）： 当用于修复模糊或不完整的图像时，模型仍然表现出可复现性，但仅限于使用相同类型的架构（例如，两个 U-Net 能够匹配，但一个 U-Net 和一个 Transformer 则不能）。
微调（Fine-Tuning）： 如果你拿一个预训练模型并在一个小数据集上对其进行轻微调整，它的可复现性会降低（它开始产生分歧），但在“记忆区域”内，它对新数据的泛化能力会变得更好。

4. 我们为什么要关注这一点？（根据论文所述）

作者提出了三个主要理由，说明这项发现的重要性：

训练效率： 由于我们知道不同的模型学习的是同一张“地图”，因此在某些阶段，我们或许可以训练更快的模型或更小的网络，而不必担心它们无法达到同样的目标。
隐私风险： 由于模型具有如此高的可复现性，如果一家公司拥有一个“黑盒”模型（你无法看到内部，只能通过输入并获取输出），那么黑客有可能通过使用公开的 API，训练出自己的模型来完美模拟该模型。这可能导致模型能力的被窃取，甚至导致训练数据的泄露。
控制力： 由于从噪声到图像存在一条可预测的、唯一的路径，我们或许可以通过以特定方式操纵噪声，来精确控制生成的图像。

总结

简而言之，这篇论文揭示了扩散模型就像一群不同的艺术家，当被给予相同的初始噪声和规则时，他们不可避免地会画出完全相同的杰作。无论是复制一张特定的照片（记忆），还是基于艺术规则创造新作品（泛化），他们似乎对于最终结果都达成了一致。这种一致性是一种强大的新特性，使它们区别于其他 AI 生成器。

技术摘要：扩散模型中可复现性与泛化性的出现

问题陈述

尽管扩散模型在生成任务中表现出了卓越的性能，但驱动其收敛性和一致性的基本机制仍有待深入探索。具体而言，目前尚不清楚不同的扩散模型（采用不同的架构、噪声扰动核和训练程序）是否收敛到相同的底层数据分布或评分函数（score function）。此外，模型的复现性（即从相同噪声生成相同输出的能力）与泛化性（即生成有别于训练集的全新数据的能力）之间的关系尚未得到系统的表征。本文研究了一种被称为“一致性模型复现性”（consistent model-reproducibility）的有趣现象，即在给定相同初始噪声和确定性采样器的情况下，不同的扩散模型会产生极其相似的输出。

研究方法

作者采用全面的实证方法，量化并分析了不同机制和模型变体下的模型复现性。

1. 量化指标

为了衡量复现性和泛化性，本文引入了两个主要评分：

复现性 (RP) 分数： 定义为由不同扩散模型从相同初始噪声生成的两幅图像 ( $x_1, x_2$ ) 具有超过 0.6 的自监督复制检测 (SSCD) 相似度的概率。次要指标平均绝对误差 (MAE) 分数则衡量像素级差异低于 15.0 的概率。
泛化性 (GL) 分数： 定义为 $1 - P(\max_{i} [\mathcal{M}_{SSCD}(x, y_i)] > 0.6)$ ，其中 $x$ 是生成的样本， $y_i$ 是训练样本。该指标衡量生成的样本与训练数据集之间的差异性。

2. 实验机制

研究根据模型容量与训练数据规模之间的关系，将复现性分析分为两个不同的训练机制：

记忆机制 (Memorization Regime)： 当模型容量显著超过训练数据规模时发生。在此情况下，模型预期会发生过拟合。
泛化机制 (Generalization Regime)： 当模型在大型数据集上进行训练，导致完全记忆变得不可能时发生，从而引导模型学习底层的数据分布。

3. 理论与实证分析

评分函数分析： 作者利用 Tweedie 公式，推导了经验多德尔塔分布（记忆）和高斯混合分布（泛化）的最优评分函数。随后，他们将实际训练的模型与这些理论最优值进行了对比。
广泛的评估范围： 实验涵盖了无条件模型（DDPM, EDM, 一致性模型, Transformer）、有条件模型（文本生成图像、类别条件生成）、逆问题求解器（扩散后验采样）以及微调场景。
噪声超平面可视化： 为了探索所学习映射的结构，作者将 2D 噪声超平面映射到图像流形，并在不同架构间进行可视化，以评估局部 Lipschitz 性和结构相似性。

核心贡献

系统性研究复现性： 本研究首次全面调查了这样一个现象：无论架构如何不同（U-Net vs. Transformer）、训练程序如何不同（从头训练 vs. 蒸馏）或扰动核如何不同（VP, VE, sub-VP），不同的扩散模型都会收敛到近乎相同的“噪声到图像”映射。
双机制表征： 本文指出复现性体现在两种具有不同底层分布的机制中：
- 在记忆机制中，复现性源于所有模型都学习了训练数据的相同的经验多德尔塔分布，实际上是在记忆特定的样本。
- 在泛化机制中，复现性源于模型收敛到真实底层数据分布的相同评分函数，从而能够生成新颖的样本。
向变体扩展： 研究表明，这种复现性延伸到了条件生成、逆问题求解（尽管存在架构约束）以及模型微调领域；不过，微调在记忆机制中会引入复现性与泛化性之间的权衡。

关键结果

高复现性分数： 在针对 CIFAR-10 的七种不同无条件扩散模型的实验中，两两之间的 RP 分数始终保持在高水平（例如，对于差异最大的模型也达到了 0.7），且 MAE 分数同样很高（0.68）。
机制转换： 随着训练数据规模的增加，模型从记忆机制（高复现性、零泛化性）向泛化机制（高复现性、高泛化性）转变。这一相变证实了复现性不仅是过拟合的标志，也是成功学习分布的一个特征。
架构无关性： 在无条件设置下，复现性在 U-Net 和 Transformer 架构之间成立。然而，在逆问题（使用扩散后验采样）中，复现性仅在同一架构族内（如 U-Net 与 U-Net 之间）观察到，这可能是由于采样过程中的梯度项破坏了跨架构的一致性。
微调权衡： 在记忆机制中，对预训练模型进行部分微调会降低复现性分数，同时相比于从头开始训练，会提高泛化性分数。在泛化机制中，微调对这两个指标的影响较小。
与其他生成模型的比较： 与扩散模型不同，GANs 和 VAEs 并不表现出一致的模型复现性，这表明它们在捕捉底层数据分布方面不如扩散模型有效。

意义与启示

本文认为，理解一致性模型复现性具有重要的理论和实际意义：

理论洞察： 研究结果表明，扩散模型学习到了一个独特的、可识别的从噪声到图像空间的编码映射，无论初始化或架构如何。这阐明了这些模型是如何克服维度灾难，从有限样本中学习复杂分布的。
训练效率： 观察到参数化程度足够的网络会学习相同的评分函数，这表明可以通过调整不同阶段的参数规模来优化训练，从而提高效率。
隐私与安全： 复现性属性意味着，通过在通过开放 API 获取的原始模型生成的数据上进行训练，有可能复制黑盒商业扩散模型（如 DALL-E, Imagen）。这引发了关于模型隐私、对抗攻击以及训练数据泄露的担忧。
可控生成： 这种独特的映射允许通过改变噪声分布来操纵图像分布，这可以应用于鲁棒防御、版权保护以及更高效的逆问题采样。

作者总结道，虽然复现性是一个表明成功学习的强大属性，但它也带来了关于模型隐私和生成能力被未经授权复制的新挑战。