📊 statistics

Denoising Score Matching with Random Features: Insights on Diffusion Models from Precise Learning Curves

本文通过推导带有随机特征的去噪分数匹配（Denoising Score Matching）的精确学习曲线，从理论上分析了扩散模型中的泛化与记忆问题，揭示了在高度维渐近机制下，噪声样本数量、数据规模以及模型复杂度是如何共同决定性能的。

原作者： Anand Jerry George, Rodrigo Veiga, Nicolas Macris

发布于 2026-06-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Anand Jerry George, Rodrigo Veiga, Nicolas Macris

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在教一个机器人画猫。你给它看了一些照片，它试图学习猫的“本质”，以便能画出新的猫。但有时，机器人会变得过于聪明。它并没有学习什么是猫，而是直接记住了你给它的那些精确的照片。如果你让它画一只猫，它可能会完美地复制你给出的其中一张照片。这被称为记忆（Memorization）。如果它学得足够好，能够画出一只它从未见过的“新”猫，那就是泛化（Generalization）。

这篇论文是对这些机器人（一种“扩散模型”）究竟在何时以及为何决定进行“记忆”而非“泛化”进行的数学研究。作者使用了一个简化版的这类机器人和一些高级数学方法，找到了这两种行为之间的“临界点”。

以下是他们研究结果的简单类比拆解：

1. 配方中的三种原料

作者发现，机器人的行为取决于你可以调节的三个主要旋钮：

机器人的大小（模型复杂度）： 这可以理解为机器人的“脑细胞”或神经元的数量。小机器人只有很少的神经元；而巨型机器人则有数百万个。
相册的大小（数据集大小）： 这是你展示给机器人的猫的照片数量。
每张照片的“练习次数”（噪声样本数， $m$ ）： 这是一个比较复杂的概念。为了教机器人，你不仅仅是展示一张照片，而是展示一张经过模糊或“加噪”处理后的照片，且方式各异。
- 如果你给机器人看一张照片的一个模糊版本，它必须去猜原图是什么。
- 如果你给它看同一张照片的许多种不同的模糊版本，它就能非常清晰地掌握这张特定照片的样子，即便它只是相册中的一张照片。

2. “临界点”（相图）

论文绘制了一张显示当你改变这些旋钮时会发生什么的地图（相图）。

安全区（泛化）： 如果你的机器人比你的相册更小（神经元数量少于照片数量），它就会被迫学习关于猫的“通用规则”。因为它没有足够的脑力，它无法记住每一张照片。它会学会如何画出新的猫。
危险区（记忆）： 如果你的机器人巨大（神经元数量多于照片数量），它就有足够的脑力去记住相册里的每一张照片。它不再学习猫的“本质”，而是开始像一台复印机一样工作。

3. 令人惊讶的发现：“练习次数”旋钮

这篇论文最有趣的发现是关于第三个旋钮：噪声样本的数量（ $m$ ）。

当机器人很小时（安全区）： 给机器人更多的练习次数（更多的噪声样本）实际上有助于它更好地学习。这就像给学生更多的练习题；他们会对概念理解得更深。
当机器人很大时（危险区）： 给机器人更多的练习次数会让记忆行为变得更糟。这就像给一个已经在作弊（靠死记硬背）的学生提供了一千份不同版本的同一份“作弊纸”。他们并没有学习学科知识，只是变得更擅长复制给定的特定答案了。

类比：
想象一个正在参加考试的学生。

如果这个学生很聪明但记忆力较小（小模型），给他很多次练习测试（高 $m$ ）会帮助他理解材料，从而能回答新问题。
如果这个学生拥有巨大的记忆力（大模型）并且已经在尝试死记硬背答案，给他很多次练习测试（高 $m$ ）只会帮助他把练习测试中的特定问题记背得更牢。当他在真正的考试中遇到稍微不同的题目时，他就会失败，因为他只记住了练习版的题目。

4. “交叉”时刻

论文确定了一个行为发生翻转的精确时刻。它发生在机器人的神经元数量等于相册中的照片数量时。

在此线之下： 机器人进行泛化。
在此线之上： 机器人进行记忆。
转折点： 你给机器人的“练习次数”（ $m$ ）越多，一旦它跨过这条线，它进行记忆的行为就会越剧烈。

5. 为什么这很重要（根据论文观点）

作者用真实数据（如 Fashion-MNIST 数据集，这是一个简单的服装图像集合）测试了这一理论。他们发现，他们的数学预测与现实相符：

当他们使用一个非常复杂的神经网络（U-Net）并使用许多噪声样本进行训练时，模型开始重现完全相同的训练图像，而不是创造新的图像。
这证实了在现实世界中，如果你有一个巨大的模型，并且在训练时使用了大量的噪声样本，你更有可能得到一个只会复制训练数据而非创造新事物的模型。

总结

简而言之，这篇论文解释了规模并不总是越大越好对于 AI 的创造力而言。如果你的 AI 模型相对于你的数据过大，并且你在训练时对每个数据点都进行了过多的变形处理，那么它就会停止创造，转而变成一个复读机。为了获得最佳效果，你需要平衡模型的大小、数据的量以及你在训练过程中“扭曲”数据的次数。

技术摘要：基于随机特征的去噪分数匹配

问题陈述

扩散模型在生成任务中取得了显著成功，然而科学界仍缺乏对其泛化与记忆行为的统一理论理解。经验观察表明，这些行为受模型复杂度、数据集大小以及训练过程中所使用的噪声样本数量的影响。特别是一个令人担忧的问题——记忆（memorization），即模型的输出与特定的训练数据点高度相似，这引发了对隐私和创造性的担忧。

虽然先前的理论工作分析了扩散模型，但它们通常依赖于经验最优分数函数（该函数本质上具有记忆性），或者假设数据集规模随维度呈指数级增长。目前在理解比例机制（proportional regime）（即数据量 $n$ 、模型复杂度 $p$ 和维度 $d$ 呈线性比例缩放的情形）以及 Denoising Score Matching (DSM) 损失函数中每个数据点对应的噪声样本数 $m$ 的具体作用方面，仍存在空白。本文旨在探讨：在使用参数化函数类（特别是随机特征神经网络）作为分数函数时，能否在理论上证明记忆现象的存在？

方法论

作者在一个简化但具有解析可解性的理论设定下，分析了扩散模型的学习过程：

目标分布： 目标分布 $P_0$ 是一个 $d$ 维高斯分布，该分布可能支持在一个低维子空间上（受流形假设启发）。
分数函数参数化： 分数函数使用随机特征神经网络 (RFNNs) 进行建模。第一层权重为固定的随机矩阵，而第二层权重是可学习的。
训练目标： 模型最小化 Denoising Score Matching (DSM) 损失。至关重要的是，分析考虑了参数 $m$ $m$ ，它代表了损失函数中每个数据点所平均的噪声样本数。研究关注两个极端情况：
- $m = \infty$ ：对噪声的期望被精确计算。
- $m = 1$ ：每个数据点仅使用单个噪声样本（经验估计）。
渐近机制： 分析在 $d, n, p \to \infty$ 且保持比例 $\psi_n = n/d$ 和 $\psi_p = p/d$ 固定不变的高维极限下进行。
分析工具：
- 高斯等效原理 (GEP)： 用于将非线性激活函数的输出替换为等效的高斯随机变量，从而允许将特征矩阵视为高斯矩阵。
- 线性铅笔理论 (Linear Pencils Theory)： 一种随机矩阵理论技术，用于计算随机矩阵有理函数的迹，从而能够推导出精确的渐近学习曲线（测试误差和训练误差）。

核心贡献

本文提供了对扩散模型中 $m$ 在记忆作用下的首次理论研究。主要贡献包括：

精确的渐近表达式： 作者推导出了在高维极限下，针对 $m=1$ 和 $m=\infty$ 两种情况，DSM 最优解的测试误差和训练误差的闭式表达式。
泛化与记忆的相图： 通过对误差的表征，作者根据 $\psi_n, \psi_p$ $ψ_{n}, ψ_{p}$ 和 $m$ $m$ 识别出了不同的机制：
- 当 $p = n$ （即 $\psi_p = \psi_n$ ）时，发生交叉转变。
- 当模型处于欠参数化状态（ $p < n$ ）时，泛化占主导地位。
- 当模型处于过参数化状态（ $p > n$ ）时，记忆占主导地位。
$m$ （噪声样本）的角色：
- 在过参数化机制（ $p > n$ ）下，增加 $m$ 会加剧记忆现象。随着 $m$ 的增加，学习到的分数函数更接近经验最优分数，导致反向扩散过程坍缩到训练样本上。
- 在欠参数化机制（ $p < n$ ）下，增加 $m$ 会增强泛化能力。模型的有限表达能力使其即使在更多噪声样本的情况下，也不会过度拟合噪声。
双下降现象： 研究证实了 DSM 设定（特别是 $m=1$ 时）中存在双下降曲线，其中测试误差在插值阈值（ $\psi_p = \psi_n$ ）处达到峰值。

结果

理论发现总结在相图中（论文中的图 1），并通过数值实验进行了验证：

理论曲线： 推导出的学习曲线显示，对于 $m=\infty$ 且在小 $t$ （接近反向过程结束）时，随着 $\psi_p$ 增加，训练误差下降，但当 $\psi_p > \psi_n$ 时，测试误差急剧上升，表明发生了记忆。相反，对于 $m=1$ ，即使对于较大的 $\psi_p$ ，测试误差仍保持较低水平，表明模型并未表现出强烈的记忆行为。
数值验证：
- 合成数据： 使用高斯数据和 RFNN 分数的实验证实，在过参数化机制下，随着 $n/p$ 比率减小以及 $m$ 增加，记忆现象会增强。
- 真实数据： 使用 U-Net 架构在 Fashion-MNIST 和 MNIST 数据集上的实验表明，理论预测在实际设置中依然成立。记忆现象（通过生成过程中的训练样本检索来衡量）随着相对于模型参数 $p$ 的训练样本数 $n$ 的减少而增加，并且在过参数化模型中随较大的 $m$ 而增加。

重要性与主张

本文声称提供了对扩散模型记忆中 $m$ 作用的首次理论研究。作者强调，其简化的设定（RFNN、高斯数据、每步独立的估计器）是理解泛化与记忆机制的基础性步骤。

关于论文重要性的关键主张包括：

机制洞察： 本研究阐明了记忆发生的原因：在过参数化机制下，通过高 $m$ 最小化 DSM 损失会迫使学习到的分数函数逼近经验最优分数，从而驱动生成过程趋向于训练数据点。
实际相关性： 理论预测与实际模型（如 U-Net 在真实数据集上的表现）的经验观察一致，表明每个数据点的噪声样本数是控制泛化与记忆权衡的关键超参数。
理论桥梁： 该研究架起了记忆现象的经验观察与严谨统计物理分析之间的桥梁，提供了一个精确的框架，可以根据数据规模、模型复杂度及噪声采样频率的比例来预测模型行为。

作者保持了谦逊的态度，指出其分析依赖于为了可解性而进行的简化，未来的工作需要将这些结果扩展到更复杂的分数模型、非高斯数据以及显式的随时间变化的分数函数。