From Score Approximation to Distribution Approximation in Score-Based Diffusion Models

技术摘要：从分数近似到基于分数的扩散模型中的分布近似

问题陈述
基于分数的扩散模型在生成建模领域取得了经验性的成功，然而其近似理论基础仍不完整。虽然经典的通用近似定理保证了神经网络可以任意好地近似分数函数 ($\nabla_x \log p_t(x)$)，但目前尚不清楚这种函数层面的保证是否能转化为对反向扩散过程所生成的概率分布的保证。具体而言，目前缺乏将学习到的分数函数的 $L^2$ 误差与目标数据分布与反向过程生成的分布之间的 Kullback–Leibler (KL) 散度联系起来的严谨定量关系。

方法论
本文通过结合近似理论、随机分析和信息论的三步分析框架，建立了分数近似与分布近似之间的严谨定量联系：

1. 通过 Girsanov 定理进行路径测度分析： 作者分析了真实的逆向时间随机微分方程 (SDE) 与学习到的逆向时间 SDE（其中真实的分数被神经网络近似值 $s_\theta$ 所取代）之间的关系。通过在路径空间上应用 Girsanov 定理，他们推导出了路径测度 $P$（真实）与 $Q_\theta$（学习到）之间 KL 散度的显式恒等式。该恒等式将路径空间散度分解为两个部分：前向过程的终端分布 ($p_T$) 与用于初始化反向过程的先验分布 ($p_{prior}$) 之间的 KL 散度，以及一个代表由扩散系数 $g(t)$ 加权的、随时间积分的 $L^2$ 分数近似误差的积分项。

2. 通过数据处理不等式投影至数据分布： 为了将路径空间散度连接到最终生成的数据分布，作者应用了相对熵的数据处理不等式。他们证明了在时刻 $t=0$ 的边际分布（目标分布 $\mu$ 与生成的 $\mu_\theta$）之间的 KL 散度，被对应路径测度之间的 KL 散度所上界约束。这一步利用 Radon–Nikodym 导数和 Jensen 不等式，表明将路径测度投影到初始状态不会增加散度。

3. 与通用近似理论相结合： 作者将推导出的界限与 Hornik 的通用近似定理相结合。他们证明了对于任何 $\epsilon > 0$，都存在一个满足特定正则性条件（如全局 Lipschitz 连续性）的神经网络 $s_\theta$，能够在 $L^2(\mu)$ 误差范围内近似真实的分数函数 $\epsilon$。

核心结果
核心结果是定理 1，它提供了一个关于分布近似误差的显式上界。该定理指出，如果神经网络 $s_\theta$ 近似真实分数 $s$ 使得 $\|s_\theta - s\|_{L^2(\mu)}^2 < \epsilon$，那么目标数据分布 $\mu$ 与生成的分布 $\mu_\theta$ 之间的 KL 散度满足：

$$KL(\mu \| \mu_\theta) < \delta + \frac{1}{2}g_{max}^2 \epsilon$$

其中：

• $\delta = KL(p_T \| p_{prior})$ 量化了前向过程的终端分布与反向过程先验之间的不可消除的不匹配。
• $g_{max} = \max_{t \in [0,T]} |g(t)|$ 是最大扩散噪声调度系数。
• $\epsilon$ 是分数函数的平方 $L^2$ 近似误差。

该结果在漂移函数和分数函数满足全局 Lipschitz 连续性（由具有特定激活函数的常见神经网络架构所满足）以及指数鞅满足 Novikov 条件的假设下成立。

意义与主张
本文声称为连接神经网络的表达能力与基于分数的扩散模型的生成能力提供了严谨的理论基础。具体而言：

• 它确立了在 $L^2$ 意义下任意精确地近似分数函数，意味着在生成的分布中可以实现任意小的 KL 散度（直至不可消除的先验不匹配为止）。
• 这项工作补充了近期侧重于有限样本设置和结构化数据假设的统计学习分析（例如 Chen 等人的研究）。相反，本文提供了一个通用的近似理论视角，该视角在欧几里得空间中是独立的，不依赖于特定的数据分布结构。
• 推导出的界限为基于分数的学习提供了一个简单且显式的辩护：提高分数网络的精度可以直接提高生成分布在 KL 意义下的质量。

作者指出，虽然本分析侧重于连续时间 SDE，但该框架暗示了向离散时间模型 (DDPMs)、概率流 ODE 以及非欧几里得数据空间的潜在扩展，尽管这些内容被留作未来工作。