技术摘要：量化扩散模型中的误差传播与模型崩溃

问题陈述

随着生成式人工智能模型越来越多地利用合成数据进行训练或微调，一种被称为**模型崩溃（model collapse）的现象被观察到。当一个模型递归地在自身输出的数据上进行训练时，就会发生这种情况，导致模型逐渐偏离目标数据分布，出现多样性丧失和性能退化。虽然经验研究已经记录了这种现象在回归模型和极大似然估计器中的存在，且一些经验性工作已经探索了其在扩散模型和流模型中的表现，但目前仍缺乏针对基于评分的扩散模型（score-based diffusion models）**的严谨理论表征。现有的关于递归训练中误差累积的理论界限通常是特定于架构的（例如，局限于两层网络），或者缺乏关于学习分布与目标分布之间散度的下界。

本研究旨在解决以下问题：在每一轮都将新鲜真实数据与当前模型的合成数据进行混合的递归训练设置中，误差是如何随代际累积的，以及生成的分布与真实数据分布之间的散度是如何演变的？

方法论与设置

作者分析了一个如下定义的递归训练流水线：

1. 数据混合： 在每一代 $i$，训练数据 $q_i$ 是来自真实分布 $p_{data}$ 的比例为 $\alpha$ 的新鲜样本与来自当前模型分布 $\hat{p}_i$ 的比例为 $(1-\alpha)$ 的合成样本的混合物。
2. 训练目标： 评分网络在 $q_i$ 上进行训练。至关重要的是，该网络学习的是混合分布 $q_i$ 的评分，而非 $p_{data}$ 的评分。这造成了根本性的不匹配。
3. 生成： 训练好的评分网络通过逆向时间随机微分方程（SDE）生成下一个分布 $\hat{p}_{i+1}$。
4. 指标： 分析基于 $\chi^2$-散度追踪两个量：
   • 累积散度 ($D_i$)： 第 $i$ 代模型与真实数据之间的散度 ($\chi^2(\hat{p}_i \| p_{data})$)。
   • 代内散度 ($I_i$)： 单轮训练中引入的误差 ($\chi^2(\hat{p}_{i+1} \| q_i)$)。

理论分析依赖于 Girsanov 定理，用于联系理想逆过程（由真实评分驱动）与学习到的逆过程（由估计评分驱动）的路径空间测度。作者定义了评分误差能量 ($\varepsilon^2_{\star, i}$) 为真实评分与估计评分之间差异的路径级 $L^2$ 范数。

核心贡献

1. 扩散模型散度的首个下界

本文建立了关于代内散度 $I_i$ 关于评分估计误差能量的下界。

• 结果： $\chi^2(\hat{p}_{i+1} \| q_i) \gtrsim \eta_i \cdot \varepsilon^2_{\star, i}$。
• 可观测系数 ($\eta_i$)： 一个新定义的项，定义为给定终端状态时误差鞅的条件期望的方差。它量化了路径级误差在扩散过程终点处的“可观测性”。
• 意义： 据作者所知，这是扩散模型中学习分布与目标分布之间差异的第一个下界，即使在非递归设置下也是如此。它表明，只要误差不是正交于终端观测值（即 $\eta_i > 0$），非零的路径级误差通常会诱发非零的分布漂移。

2. 散度与评分误差的双向等价性

通过将新的下界与通过数据处理不等式和 Girsanov 定理推导出的标准上界相结合，作者表明在扰动机制（小评分误差）下，代内散度与评分误差能量是等价的：
$$\chi^2(\hat{p}_{i+1} \| q_i) \asymp \varepsilon^2_{\star, i}$$
这种等价性在常数和可观测因子范围内成立，将学习分布的质量直接与评分估计的准确性联系起来。

3. 长程误差累积的特征化

论文分析了误差如何在 $N$ 代中传播，并根据评分误差的可求和性识别了两种不同的机制：

• 持续误差： 如果评分误差是不可求和的（例如，被限制在正数以下），则累积散度 $D_N$ 会趋于无穷大。模型无法从持续误差中恢复。
• 可求和误差： 如果评分误差是可求和的 ($\sum \varepsilon^2_{\star, k} < \infty$)，则累积散度保持一致有界。
• 折扣累积律： 在可求和机制下，累积散度具有一个可解释的分解式：
  $$D_N \approx \sum_{k=0}^{N-1} (1-\alpha)^{2(N-1-k)} \varepsilon^2_{\star, k}$$
  该公式揭示了“遗忘”机制：$m$ 代前的误差会被 $(1-\alpha)^{2m}$ 因子抑制。这量化了“遗忘”机制：更高比例的新鲜数据 ($\alpha$) 会加速过去误差的衰减，从而缓解模型崩溃。

实验结果

作者在以下场景中验证了其理论界限：

1. 10 维高斯混合模型： 一个允许进行解析计算评分和散度的受控环境。结果证实了上界、下界以及可观测系数 $\eta_i$ 的紧致性。
2. 图像数据集 (Fashion-MNIST, CIFAR-10)： 使用神经网络评分估计器的高维设置。
   • 记忆结构： 误差贡献的热图证实了理论预测的几何衰减。低 $\alpha$（如 0.1）导致长记忆，即早期误差会持续存在；高 $\alpha$（如 0.9）导致短记忆，即只有最近的误差才起作用。
   • 可观测性： 系数 $\eta_i$ 在各代之间保持正值且稳定，证实了在现实设置下的评分误差是可观测的，并且会对分布漂移做出贡献。
   • 视觉崩溃： 可视化显示，低 $\alpha$ 会导致渐进式的弥散和结构丢失，而高 $\alpha$ 则能维持分布保真度。

意义与主张

本文声称提供了第一个能够量化评分型扩散模型中模型崩溃机制的理论框架。主要主张包括：

• 下界： 推导出了扩散模型分布散度的第一个下界，证明了在温和的可观测条件下，评分误差必然会导致分布漂移。
• 缓解机制： 从理论上证明了在每一轮训练中加入新鲜数据起到了对过去误差的几何折扣因子的作用。这为“混合真实数据可以防止崩溃”这一经验观察提供了严格的辩护。
• 机制特征化： 识别了误差无限累积与误差保持有界之间的二分法，这取决于评分估计误差的可求和性。

作者指出，其结果在评分估计误差较小（高精度）的机制下最为相关。他们承认，在处理大误差机制或考虑离散化误差方面，仍有待未来的研究方向。本文并非提出新的算法，而是提供了一个理论视角，用以理解和预测现有递归训练流水线的行为。