Diffusion Models Observe Only Gradients: A Geometric Perspective on Score Matching Errors

技术摘要：扩散模型仅观测梯度

问题陈述
基于分数的扩散模型通常通过最小化时间积分的 $L_2$ 分数匹配误差来进行训练。标准的理论分析依赖于这种完整的 $L_2$ 误差来界定学习分布与目标分布之间的采样差异（例如，Kullback-Leibler 散度）。然而，本文指出这种方法存在一个根本性的缺陷：完整的 $L_2$ 分数误差并不是衡量边缘分布质量的本质度量。一个学习到的扩散模型可以在完全匹配目标分布的同时，产生任意大的 $L_2$ 分数误差。作者认为，标准的 $L_2$ 度量无法区分影响生成样本的误差成分与不影响生成样本的误差成分。

方法论：几何分解
其核心方法论涉及使用相对于目标密度 $p^\star_s$ 的 Helmholtz-Hodge 分解，将分数估计误差向量场 $e_s = \hat{s}_s - \nabla \log p^\star_s$ 分解为两个正交分量：

1. 可观测梯度分量 ($\Pi_{G_s} e_s$)： 误差在梯度场空间上的投影。
2. 不可见旋度分量 ($\Pi_{G_s^\perp} e_s$)： 在正交补空间（相对于加权密度的无散场）上的投影。

作者证明了扩散过程的边缘动力学受 Fokker-Planck 方程支配，该方程仅通过一个加权散度项 $\nabla \cdot (p^\star_s e_s)$ 来受分数误差的影响：

• 梯度分量对该散度有贡献，并直接影响边缘分布的演化。
• 旋度分量满足 $\nabla \cdot (p^\star_s e_{inv}) = 0$。因此，它在结构上对边缘 Fokker-Planck 动力学是不可见的；添加一个纯旋度误差场不会改变任何时间步的边缘分布，即使这会增加 $L_2$ 范数。

核心贡献

1. 不可能结果 (定理 3.1)：
   作者证明，没有任何关于完整 $L_2$ 分数误差的单调函数能够一致地作为任何有意义的分布散度（例如 KL 散度）的下界。这是因为纯旋度误差可以具有任意大的 $L_2$ 范数，同时使学习模型与目标模型的边缘分布保持一致（即 $KL=0$）。这确立了完整的$L_2$ 误差并非控制采样质量的本质量。

2. 更紧致的 KL 散度上界 (定理 3.2)：
   通过仅关注可观测的梯度分量，作者推导出了一个新的 KL 散度上界：
   $$KL(p^\star_{t_0} \parallel \hat{p}_{t_0}) \lesssim \frac{1}{2} \int_{t_0}^T \sigma_s^2 \|\Pi_{G_s} e_s\|_{L_2(p^\star_s)}^2 ds$$
   只要旋度分量不为零，该界限就比标准的基于 Girsanov 的界限更紧致。作者将标准界限的松散性归因于在路径空间动力学而非边缘空间动力学上进行分析所付出的“代价”。他们进一步表明，通过对保留了仅有的可观测漂移的边缘等价代表过程应用 Girsanov 论证，可以恢复该界限。

3. 可观测误差的可行估计器 (第 4 节)：
   由于在高维空间中显式地将误差投影到梯度场是计算上不可行的，作者提出了一个对偶 Sobolev 恒等式来估计梯度分量的范数。他们将问题表述为对标量值“评论家”网络 $\phi_\psi$ 的无约束优化：
   $$\|\Pi_{G_s} e_s\|_{L_2(p^\star_s)}^2 = \sup_{\phi} \left\{ 2 \mathbb{E}[\nabla \phi \cdot e_s] - \mathbb{E}[\|\nabla \phi\|^2] \right\}$$
   该估计器避免了显式投影，并且可以通过从加噪数据分布中进行标准采样来计算。

结果
作者在不同模型容量下的 Fashion-MNIST 和 CIFAR-10 数据集上验证了其理论发现：

• 误差分解： 在训练期间，分数误差的梯度分量显著下降（降低了几个数量级），而旋度分量在早期上升并趋于平缓，最终占据了几乎所有的残余误差。
• 界限紧致性： 标准 Girsanov 界限在旋度误差底线处饱和，未能反映进一步的学习改进。相比之下，基于梯度分量的新界限持续下降，追踪了模型的实际改进。
• 与样本质量的相关性： 梯度分量的范数 ($\|\Pi_{G} e\|^2$) 与 Fréchet Inception Distance (FID) 的 Spearman 相关性显著高于完整的 $L_2$ 误差。这种相关性在不同模型容量下均成立，且在较小模型中差异最为明显。

意义与主张
本文声称为分数匹配误差提供了一个几何视角，解释了为什么标准的训练目标在样本质量方面可能是低效或具有误导性的。

• 它阐明了标准的去噪分数匹配 (DSM) 最小化了完整的 $L_2$ 误差，从而在无意中惩罚了不影响生成分布的旋度分量。
• 所提出的可观测误差度量作为一种更好的学习质量诊断工具，提供了更紧致的 KL 散度理论上界，并且是一个与感知指标（如 FID）相关性更强的实用工具。
• 这项工作表明，现有理论界限的“松散性”并非数学上的人工痕迹，而是分析路径空间分布（而生成过程仅取决于边缘动力学）时的结构性后果。

作者将这项工作定位为对扩散模型理论理解的一种精炼，提供了一种更本质的误差度量，该度量与控制样本生成的实际机制（Fokker-Planck 动力学）相一致。他们并非建议取代标准的训练目标，而是建议使用梯度分量估计器作为一种诊断工具，以更好地理解训练动态和容量利用情况。