🤖 machine learning

Understanding diffusion models requires rethinking (again) generalization

本立场论文主张，理解扩散模型中的泛化能力需要一种新的理论框架，该框架应聚焦于预记忆学习阶段，而非解释记忆缺失现象，这一立场得到了基于 CIFAR-10 的实证发现以及一组拟议开放问题的支持。

原作者： Pierre Marion, Yu-Han Wu

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Pierre Marion, Yu-Han Wu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和创造性类比对该论文的解读。

核心理念：为什么 AI 艺术不仅仅是复制粘贴

想象你在教一名学生画画。在传统学校（监督学习）中，如果学生完美地记住了教科书，他们仍然可能回答考试中的新问题。但在扩散模型（DALL-E 或 Stable Diffusion 等工具背后的 AI）的世界里，规则截然不同。

如果这名 AI 学生过于完美地记住了教科书（训练数据），它就会失去创造力。它不再画一只新的猫，而是直接从教科书中复印那只完全一样的猫。

这篇论文认为，长期以来，研究人员一直在问错问题。他们一直在问："为什么 AI 没有记住训练数据？"作者说：“别再问那个问题了！我们已经知道答案了。”

相反，我们应该问："在开始记忆之前，AI 实际上学到了什么？"

三种理论（我们曾以为知道的“原因”）

在这篇论文之前，专家们对 AI 模型为何不会直接复制粘贴训练数据主要有三种猜测：

“小背包”理论（容量）： 模型太小，无法在内存中容纳所有图片，因此它必须泛化。
“颠簸旅程”理论（优化）： AI 的学习方式（幕后的数学机制）意外地阻止了它进行记忆，有点像颠簸的道路阻止汽车到达特定目的地。
“特化大脑”理论（架构）： AI 的内部结构构建方式使其天然倾向于模式而非精确复制。

作者表示，这些理论都部分正确，但它们遗漏了更宏大的图景。

实验：一个受控的艺术课堂

为了验证这些想法，研究人员利用一个小数据集（CIFAR-10，就像一个装有 10 种简单玩具图像的盒子）建立了一个“迷你艺术课堂”。他们在不同数量的数据上训练了不同大小的 AI 模型，并逐步密切观察它们。

他们关注两点：

新颖性： AI 是在制作新图片，还是仅仅在复制旧图片？
保真度： 图片的质量是否良好且逼真？

令人惊讶的发现

以下是他们发现并改变观点的内容：

1. “双重下降”之谜
在传统学习中，随着模型变得更聪明，其误差会先下降，然后上升（如果它开始记忆），接着再次下降。但在这些 AI 模型中，图像的“质量”在模型开始记忆之前，就已经经历了下降、上升、再下降的过程。

类比： 想象一名学生参加考试。通常，随着他们学习，表现会变好。但在这里，学生在学习过程中，答案先变差，然后变好，接着又变差，而这一切都发生在他们仍然在学习概念而非仅仅死记硬背答案的时候。研究人员目前还不完全清楚为什么会发生这种情况。

2. “训练 - 测试差距”是个谎言
在普通 AI 中，我们通过比较模型在“练习考试”（训练数据）和“真实考试”（新数据）上的表现来检查它是否在作弊。

发现： 在扩散模型中，AI 在这两方面的表现几乎完全相同。用于检测作弊（记忆）的标准数学工具在这里不起作用。你无法仅通过查看数字来判断 AI 是在复制还是创造；你必须查看实际图像。

3. “时间”因素
他们证实了记忆确实会发生，但这需要非常长的时间。

发现： 如果你有一个巨大的数据集（比如数百万张照片），AI 需要训练极其漫长的时间才会开始复制。这就是为什么现实世界的 AI 通常不会记忆。它在到达“复制”阶段之前，时间（或资金）就用完了。

4. “调节旋钮”（批量大小与学习率）
他们调整了 AI 学习方式的设置。

小批量： 当 AI 以小批次（小批量）学习时，它在学习过程中能生成更好的图片，尽管这并没有改变它何时开始记忆。
大学习率： 当 AI 以激进的方式学习（高学习率）时，它在学习过程中也能生成更好的图片。
转折： 这些设置帮助 AI 在学习过程中生成更好的图像，但它们并不一定能阻止它日后进行记忆。这就像一个非常努力学习的学生在练习考试中取得优异成绩，但如果他们学习太久，最终还是会死记硬背答案键。

新结论：我们应该研究什么？

这篇论文得出结论，我们已经解开了"为什么它不记忆？"的谜团（答案：这需要太长时间，而我们在发生之前停止了训练）。

新的、艰难的问题是："在‘记忆前’阶段发生了什么？"

类比： 想象一位厨师在学习烹饪。我们过去担心他们何时会开始从书中偷取食谱。我们现在知道，除非他们烹饪 100 年，否则他们不会偷取食谱。
真正的问题： 我们需要理解前 99 年发生了什么。他们如何学会组合风味以制作一道新菜？他们如何学会食物的“灵魂”而不仅仅是食谱？

未解之谜总结

作者给我们留下了三个未来的大谜题：

更好的标尺： 我们需要新的方法来衡量 AI 是在“复制”还是“创造”，因为我们目前的数学工具对这种区别视而不见。
学习旅程： 我们需要理解 AI 的“学习风格”（数学设置）如何在其学习过程中改变其创造力，而不仅仅是在最后。
数据的形状： 我们需要理解数据本身的形状（图像的几何结构）如何帮助 AI 学会变得有创造力。

简而言之：停止担心 AI 偷走教科书。开始研究它如何学会书写自己的故事。

技术摘要：理解扩散模型需要重新思考泛化

问题陈述

本文认为，理解扩散模型中的泛化现象不能依赖经典的统计学习理论（如 VC 维、Rademacher 复杂度）或为监督学习开发的“良性过拟合”范式。在监督学习中，插值（记忆）与泛化可以共存。相比之下，对于通过去噪分数匹配训练的扩散模型，达到经验风险的全局最小值对应于加噪经验测度的分数函数——即以训练点为中心的高斯混合分布。从该最小值采样产生的是训练数据的近乎精确副本，而非新颖样本。

尽管实际的扩散模型能生成多样且新颖的数据，暗示某种形式的正则化阻止了完全记忆，但对此现象的理论解释仍然零散。现有文献将此归因于三个不同因素：(i) 相对于数据集大小的容量限制，(ii) 优化动力学带来的隐式正则化（如早停、学习率），以及 (iii) 架构归纳偏置。本文指出，这些因素之间的相互作用尚不明确，且该领域过于关注模型为何不会记忆，而非它们在记忆发生前学到了什么。

方法论

为填补这些空白，作者利用在 CIFAR-10 数据集上训练的 U-Net 架构进行了实证研究。该研究设计为中等规模调查，旨在弥合高斯数据上的理论分析与大规模实际系统之间的差距。

实验设置：

数据： 使用 CIFAR-10 训练集的前 $N$ 个样本，其中 $N$ 在 $\{2048, 4096, 8192, 16384\}$ 范围内变化。评估使用固定的 5,120 个样本的测试集。
架构： 具有不同参数数量（ $P \in \{3M, 8M, 26M, 93M, 201M\}$ ）的 U-Net。
训练： 采用整流流（Rectified flow）公式，采样步数为 250，无分类器引导强度为 0.0。
超参数扫描： 系统性地变化数据集大小（ $N$ ）、模型大小（ $P$ ）、批量大小（ $B \in \{16, 32, 64, 128\}$ ）以及学习率（ $\eta \in \{10^{-5}, 5\cdot10^{-5}, 10^{-4}, 4\cdot10^{-4}\}$ ）。

指标：
作者在训练集和测试集划分上跟踪四个关键量：

去噪分数匹配损失： 在单个批次（训练）和完整集合（测试）上计算。
记忆分数： 在自监督特征空间（SSCD）中，生成样本与训练数据具有高余弦相似度（>0.6）的比率。
切片 Wasserstein 距离： 在 Inception 特征空间中，计算生成样本与参考划分之间的距离。
FID（Fréchet Inception 距离）： 计算生成样本与参考划分之间的距离。

该研究将记忆时间（ $\tau_{mem}$ ）定义为测试损失开始偏离训练损失的点。它区分了新颖性（无记忆， $\tau < \tau_{mem}$ ）和保真度（质量/分布准确性）。

主要贡献与结果

1. 重新评估“为何”不记忆

作者证实，记忆转变是系统性的且可观测的。他们验证了记忆时间（ $\tau_{mem}$ ）与数据集大小呈线性缩放关系。这支持了以下结论：关于为何大规模实际模型不会记忆的问题在很大程度上已得到解决：达到记忆阶段所需的训练时间 simply 超出了合理的预算。作者认为，该领域应从解释记忆的缺失转向分析记忆前阶段。

2. 标准指标的局限性

一个关键发现是，标准分布指标（切片 Wasserstein、FID）无法将新颖性与保真度解耦。

训练 - 测试差距： 与监督学习不同，分布距离中的训练 - 测试差距缺乏信息量。因为训练集和测试集来自同一分布，即使模型从生成新颖图像过渡到复制训练数据，生成样本到任一集合的距离仍保持几乎相同。
双重下降： 作者观察到，对于训练集和测试集，分布距离（FID 和切片 Wasserstein）均出现了“双重下降”现象。这与训练和测试指标分叉的经典双重下降理论相矛盾。相反，模型达到了一种训练损失低但分布对齐差的中间状态，表明该现象纯粹由优化动力学驱动，而非容量论点。

3. 数据集大小与模型大小的不同作用

该研究揭示，数据集大小和模型大小在训练动力学中起着相反的作用：

数据集大小： 增加 $N$ 会延迟记忆的开始并提高峰值保真度。
模型大小： 增加 $P$ 会加速记忆的开始，但同时也提高峰值保真度。
这表明，扩散模型中的泛化不能仅通过模型容量与样本量的比率来解释；由优化动力学塑造的参数空间轨迹是一个独立的因素。

4. 优化超参数与保真度

作者发现，优化超参数在记忆发生之前显著影响保真度：

批量大小： 较小的批量大小导致更好的峰值保真度（更低的最低分布距离），而不会显著改变记忆速率或开始时间。这与“最小稳定性”文献一致，但表现为沿训练轨迹而非在收敛时。
学习率： 较大的学习率提高了峰值保真度并延迟了归一化记忆的开始。这支持了“稳定性边缘”假设，但同样，这种效应是在轨迹过程中观察到的，而不仅仅是在最终解处。

意义与定位

本文声称，扩散模型泛化的理论框架需要根本性转变。作者认为：

“为何”已解决： 大规模应用中缺乏记忆的现象，由记忆时间随数据集大小线性缩放与早停相结合来解释。
“什么”是开放问题： 主要的理论挑战是理解在记忆前阶段学到了什么，以及新颖性和保真度如何从优化、架构和数据几何的相互作用中共同涌现。
需要新框架： 经典的泛化差距（在损失或分布空间中）不足以解释生成模型。训练损失（分数匹配）是样本质量的间接代理，而标准指标无法区分泛化模型与记忆模型。

作者总结，未来的研究必须专注于开发能够捕捉“复制”与“泛化”区别的新指标，并构建一种隐式正则化理论，描述分数匹配中间迭代器的属性，而不仅仅是最终收敛解。