技术摘要：高维环境下扩散模型在流形假设下的收敛性

问题陈述

去噪扩散概率模型（DDPMs）在从高维分布（如图像、音频）生成高质量合成数据方面展现了卓越的经验成功。统计学习中的一个流行假设是流形假设，该假设认为高维数据实际上存在于嵌入空间中的低维流形之上或附近。

尽管最近的理论工作在流形假设下对扩散模型进行了分析，但现有的收敛速率通常对环境维度 $D$ 具有强依赖性。具体而言，先前的研究（例如 [39]）确立了阶数为 $D^{\alpha+d/2} n^{-(\alpha+1)/(2\alpha+d)}$ 的 Wasserstein 收敛速率。这种依赖关系意味着，如果环境维度 $D$ 非常大（可能大于样本量 $n$），误差界限会变得无效或发散，无法解释扩散模型在处理高维设置时的经验鲁棒性。本文解决的核心问题是：扩散模型是否可以实现仅取决于数据内在维度 $d$ 而与环境维度 $D$ 无关的收敛速率。

方法论

作者开发了一种全新的理论框架，将扩散模型与高斯过程极值理论联系起来，以推导无维度的界限。该方法通过以下关键技术步骤进行：

1. 流形逼近与降维：
   作者利用分片多项式曲面 $M^*$ 构建了对未知 $d$ 维流形 $M$ 的高效逼近。不同于以往在全环境空间中搜索的方法，他们利用了一种局部构造，将流形逼近为 $N$ 个多项式补丁。至关重要的是，他们证明了这些补丁可以被限制在维度为 $O(\log n)$ 的子空间内，而非 $D$。这是通过分析流形的局部几何结构实现的：利用一组稠密样本 $G = \{G_1, \dots, G_N\}$，并构造局部线性等距映射 $P_i$，将环境空间映射到低维子空间 $H_i = \text{span}(V_i)$，其中 $V_i$ 是样本的局部邻域。

2. 分数函数正则性与高斯集中性：
   一项核心创新是推导了仅依赖于内在维度 $d$ 的分数函数 $s(t, x) = \nabla \log p(t, x)$ 的高概率界限。通过利用高斯过程最大值的经典集中结果，作者表明在前向扩散过程中添加的高斯噪声 $Z_D$ 在 $D \gg d$ 时，几乎正交于流形的切向量。

   • 关键洞察： 分数函数主要对“去噪前像”（给定观测值时原始数据的条件期望）周围的点敏感。分数方向的精度不会随 $D$ 的增加而退化。
   • 局部化： 他们证明了给定噪声观测值 $X_t$ 时，原始数据 $X_0$ 的后验质量集中在流形上半径为 $r_t \approx (\sigma_t/c_t)\sqrt{d \log n}$ 的球体内。这使得分数估计可以局部化到流形上的小邻域内。

3. 神经网络估计器构建：
   论文构建了一个用于分数函数的神经网络估计器 $\hat{s}(t, x)$。其架构旨在利用降维特性：

   • 对于 $d \le 2$，经验度量足以满足需求。
   • 对于 $d \ge 3$，估计器按时间分块构建。在每个时间块内，分数由局部估计器的加权和来逼近。每个局部估计器在低维子空间 $H_i$（维度为 $O(\log n)$）而非全空间 $\mathbb{R}^D$ 上运行。
   • 该估计器在 ReLU 神经网络类上最小化经验分数匹配损失，其参数（深度、宽度、稀疏度）随 $n$ 呈多项式对数级缩放。

4. 离散化与采样：
   为了将分数估计误差转化为采样误差，作者提出了反向随机微分方程（SDE）的离散化方案。他们引入了一种随机离散网格和去噪器的自一致性修改。这确保了离散轨迹与分数估计保持一致，从而使他们能够在不引入标准界限中存在的 $\sqrt{D}$ 因子的条件下，界定生成样本与真实分布之间的 Wasserstein 距离。

核心贡献

1. 环境维度无关的分数学习：
   论文证明了归一化分数函数 $\sigma_t s(t, x)$ 可以通过神经网络进行学习，其相对于分数匹配损失的收敛速率为 $n^{-(\alpha+1)/(2\alpha+d)} \cdot \text{polylog}(n)$。该速率与环境维度 $D$ 无关，前提是 $\log D = O(\log n)$。这与之前包含因子 $D^{\alpha+d/2}$ 的界限形成了鲜明对比。

2. 最优 Wasserstein 收敛：
   通过结合无维度的分数估计与所提出的离散化方案，作者确立了生成的分布 $\hat{\mu}$ 在 $W_1$ 度量下以速率以下方式收敛到真实分布 $\mu$：
   $$W_1(\mu, \hat{\mu}) \lesssim n^{-(\alpha+1)/(2\alpha+d)} \cdot \text{polylog}(n)$$
   该速率对于 $d$ 维流形上的密度估计而言是极小极大最优的（忽略多项式对数因子），且独立于 $D$。

3. 理论框架：
   这项工作引入了一个将扩散模型与高斯过程极值理论联系起来的新框架。它表明，高维高斯噪声与低维流形之间的相互作用导致噪声在效果上正交于流形，这一特性使得模型能够“适应”内在几何结构，而无需显式的流形知识。

4. 精细化的流形估计：
   作者改进了现有的流形估计技术（基于 [3]）来构建一种降维方案。他们展示了如何利用 $n$ 个样本构建一个 $\beta$-光滑流形的有效逼近，其中每个局部补丁都位于维度为 $O(\log n)$ 的子空间内，从而避免了逼近步骤中的维度灾难。

结果

• 定理 3.1： 确立了存在一个分数估计器 $\hat{s}$，使得对于 $d \ge 3$，期望分数匹配损失被限制在 $n^{-2(\alpha+1)/(2\alpha+d)} \cdot \text{polylog}(n)$ 以内。该界限以高概率成立，且与 $D$ 无关。
• 定理 3.2（推论）： 表明使用所构建的估计器进行 $O(n^{2\alpha+d/(\alpha+1)} \cdot \text{pollog}(n))$ 步模拟，得到的样本分布其 $W_1$ 误差阶数为 $n^{-(\alpha+1)/(2\alpha+d)} \cdot \text{polylog}(n)$。
• 与先前工作的比较： 结果改进了 [39]，后者的界限随 $D^{\alpha+d/2}$ 缩放。新界限显示，环境维度 $D$ 仅通过对数项（$\log D$）影响速率，解释了为什么扩散模型即使在 $D \gg n$ 时也能表现良好。

意义与主张

本文声称为扩散模型在高维环境下（即数据位于低维流形上时）的经验成功提供了严谨的理论解释。通过证明收敛速率与环境维度无关，作者弥合了理论与实践之间的鸿沟。

• 对经验成功的解释： 结果表明，扩散模型本质上适应了流形假设。由于分数函数的行为受限于内在维度 $d$ 和流形的局部几何结构，而非环境维度 $D$，因此缓解了“维度灾难”。
• 最优性： 推导出的速率与流形上非参数密度估计的极小极大最优速率相匹配（如 [15] 所述），表明扩散模型在此类任务中具有统计效率。
• 谦逊性： 作者承认某些技术性假设（例如关于平滑参数 $\alpha$ 与 $\beta$ 关系的假设 D）可能是可以放宽的。他们还指出，其方法依赖于密度下界大于零（$p_{\min} > 0$），这是流形学习文献中常见但较强的假设。他们并未声称解决了没有此假设下的退化分布问题，也未提出新的实验设置，而是专注于纯粹的理论收敛保证。

总而言之，这项工作为扩散模型在高维环境下的有效性提供了基础性的理论证明，证明了其性能是由数据的内在复杂度而非环境空间维度所决定的。