技术摘要：递归训练扩散模型

问题陈述

本文探讨了生成模型（特别是扩散模型）在对其自身合成输出进行递归训练时出现的**模型崩溃（model collapse）**现象。虽然现有文献已经量化了有限轮次中的误差累积，但关于此类递归的渐近行为仍有两个基本问题悬而未决：(1) 递归收敛于哪种特定分布？(2) 这种收敛的速度如何？

作者认为，模型崩溃不仅仅是由不完美的得分估计（score estimation）或有限样本效应驱动的。相反，他们指出截断（truncation）——即为了确保数值稳定性，必须在 $t_0 > 0$ 时停止反向扩散过程——是导致即使在得分估计完美且采样精确的理想设定下，分布仍会逐渐偏离真实数据分布 $p_{\text{data}}$ 的主要诱因。

方法论与框架

递归设定

作者定义了一个递归训练过程，在每一代生成 $i$ 中，训练分布 $q_i$ 是来自新鲜数据 $p_{\text{data}}$（比例为 $\alpha$）和前一代模型生成的合成样本 $\hat{p}_i$（比例为 $1-\alpha$）的混合：
$$q_i := \alpha p_{\text{data}} + (1-\alpha)\hat{p}_i$$
得分网络在 $q_i$ 上进行训练，由此产生的扩散模型生成下一代分布 $\hat{p}_{i+1}$。

误差来源与理想化

分析区分了三种误差来源：

1. 截断（Truncation）： 反向 SDE 仅在 $[t_0, T]$ 上进行积分，其中 $t_0 > 0$。
2. 得分估计误差（Score Estimation Error）： 源于有限数据和函数逼近。
3. 离散化误差（Discretization Error）： 源于 SDE 的数值解法。

论文首先分析了一个理想化的无误差机制，其中仅存在截断效应。在此机制下，从第 $i$ 代到第 $i+1$ 代的转换被建模为一个涉及 Ornstein-Uhlenbeck (OU) 采样算子 $U_{t_0}$ 的不动点问题：
$$\mu \mapsto U_{t_0}(\alpha p_{\text{data}} + (1-\alpha)\mu)$$

谱分析

为了刻画极限分布，作者采用了埃尔米特谱分解（Hermite spectral decomposition）。他们分析了 OU 算子对相对于标准高斯测度 $\gamma = \mathcal{N}(0, I_d)$ 的密度比的作用。OU 算子在埃尔米特多项式基 $\{H_n\}$ 中是对角作用的，它会对 $|n|$ 阶的模态进行 $e^{-|n|t/2}$ 的衰减。

核心贡献与结果

1. 显式刻画崩溃分布

在无误差机制下，作者证明了该递归以几何速率收敛到一个唯一的极限分布 $p^\star_\infty$。该分布被显式地刻画为真实数据的无限混合，且每一层都经过了递增的高斯平滑：
$$p^\star_\infty = \alpha \sum_{k=0}^{\infty} (1-\alpha)^k U_{(k+1)t_0}(p_{\text{data}})$$
收敛速率为几何级数，收敛常数为 $\kappa = \sqrt{1-\alpha} e^{-t_0/2}$。只要 $\alpha < 1$ 且 $t_0 > 0$，极限分布就不同于 $p_{\text{data}}$，这证实了仅靠截断就会导致非平凡的崩溃。

2. 谱结构：一个低通滤波器

通过谱分解，论文证明了递归训练在数据分布上起到了低通滤波器的作用。

• 崩溃分布 $p^\star_\infty$ 是通过衰减 $p_{\text{data}}$ 的埃尔米特系数获得的。
• 衰减因子 $m_n(\alpha, t_0)$ 随模态阶数 $|n|$ 单调递减。
• 含义： 高阶模态（编码了精细的非高斯结构，如尾部、振荡、多峰性）比低阶模态（均值、协方差）受到更显著的抑制。这为观察到的多样性丧失和尾部退化提供了理论解释。

3. 退火截断调度（Annealed Truncation Schedules）

作者提出了退火截断调度，其中截断时间 $t_0^{(N)}$ 随代数递减。

• 定理： 如果截断序列收敛于零（$t_0^{(N)} \to 0$），则递归复合效应在渐近意义上被消除，分布恢复为 $p_{\text{data}}$。
• 如果序列收敛于一个正极限，则崩溃依然存在，但偏差会减小。
• 形式为 $t_0^{(N)} = t_0 / (1+N)^\beta$ 的调度被证明能使 KL 散度趋于零，且较大的 $\beta$ 会带来更快的收敛。

4. 对不完美训练的鲁棒性

分析扩展到了包含得分估计和离散化误差的情况。

• 学习到的分布 $\hat{p}_N$ 位于理想极限 $p^\star_\infty$ 周围半径为 $\delta/(1-\kappa)$ 的 Wasserstein-2 球内，其中 $\delta$ 限制了单步误差。
• 模态相关误差传播： 高频模态的误差比低频模态收缩得更快。有效误差球是一个椭球体，对于高阶模态会迅速收缩，这表明虽然精细细节可能会丢失，但粗略结构保持稳定。

实验验证

理论发现通过以下方式得到了验证：

1. 二维高斯混合模型（Synthetic 2D Gaussian Mixtures）： 证实了当 $\alpha \to 1, \alpha \to 0, t_0 \to 0$ 时，$p^\star_\infty$ 的闭式解。
2. CIFAR-10：
   • 收敛性： 经验 FID 指标显示出几何收敛至一个稳定的底线，这与理论收敛率 $\kappa$ 一致。
   • 谱特征： 高频能量（通过傅里叶功率测量）随代数增加和 $\alpha$ 减小而单调下降，验证了低通滤波器假设。
   • 截断： 增加 $t_0$ 会放大崩溃（更高的 FID），而退火调度能成功恢复数据分布。

意义与主张

本文声称提供了扩散模型中模型崩溃的首次渐近刻画，并指出截断是一个独立于学习缺陷的根本驱动因素。

• 理论洞察： 它确立了即使在学习完美的条件下，反向扩散中标准的早期停止实践也会不可避免地导致一个以高频数据特征丢失为特征的崩溃状态。
• 缓解策略： 作者提出，如果截断时间固定，仅仅增加新鲜数据的比例 ($\alpha$) 是不足以防止崩溃的。相反，退火截断调度被视为消除渐近复合效应的必要补充干预措施。
• 鲁棒性： 结果表明崩溃机制是一个稳定的吸引子；即使存在实际误差，系统也会收敛到接近理论极限的分布，这使得其谱特征描述对于现实世界的训练场景具有相关性。

作者强调，其分析是针对方差保持型（variance-preserving）OU 扩散及其相关的埃尔米特基底的，并指出将这些谱机制扩展到其他扩散参数化方案仍是一个开放的研究方向。