技术摘要：扩散模型的低维自适应性：全变差收敛性

1. 问题陈述

扩散生成模型，特别是去噪扩散概率模型（DDPM）和去噪扩散隐式模型（DDIM），在高维应用（如图像生成）中取得了显著成功。然而，现有的理论收敛保证通常随环境维度 $d$ 线性缩放（例如，实现 $\varepsilon$ 精度的全变差（TV）距离需要 $O(d/\varepsilon)$ 次迭代）。考虑到现实世界的数据（如 ImageNet）通常存在于或接近低维结构（流形、子空间）上，其内在维度 $k \ll d$，这种缩放显得过于保守。

本文旨在解决的核心问题是：严格建立扩散采样器是否以及如何能够自动适应这种未知的低维结构，从而加速采样。具体而言，作者试图证明其收敛速率取决于内在维度 $k$ 而非环境维度 $d$，且无需对标准算法进行显式的低维结构建模或修改。此外，本文旨在将这些保证扩展到分数函数（score functions）是从数据中学习（即带有噪声的估计值）而非精确已知的场景，并为分数估计本身提供也适应低维性的有限样本保证。

2. 方法论与框架

2.1 定义与假设

作者根据目标分布 $p_{data}$ 的覆盖数（covering number）定义了内在维度 $k$。具体而言，如果支持集的对数覆盖数随 $k \log(R_0/\epsilon_0)$ 缩放，则 $k$ 即为内在维度。该定义涵盖了线性子空间、流形以及具有倍增维度（doubling dimension）$k$ 的集合。

分析依赖于两个主要假设：

1. 多项式有界支持集： $p_{data}$ 的支持集是有界的，其半径随迭代次数 $T$ 进行多项式缩放。
2. 内在维度： 支持集满足上述覆盖数条件。

至关重要的是，该理论并不假设目标分布具有平滑性或对数凹性（log-concavity）。

2.2 分析方法

论文分析了两种主流采样器：

• DDIM： 基于概率流 ODE 的确定性采样器。
• DDPM： 基于反向时间 SDE 的随机采样器。

其方法论包括：

1. 精确分数分析： 首先，在假设可以访问真实分数函数 $s^\star_t$ 的情况下建立收敛界限。作者利用前向过程 $X_t$ 与反向过程 $Y_t$ 之间 TV 距离的递归分析，将误差分解为离散化误差和分数估计误差。
2. 噪声分数分析： 将分析扩展到 $s_t$ 是 $s^\star_t$ 近似值的场景。
   • 对于 DDIM，由于确定性采样器不会自然地平滑轨迹误差，分析需要控制高阶误差（Jacobian 和 Hessian）。
   • 对于 DDPM，注入的随机噪声允许进行更简单的分析，主要依赖于 $\ell_2$ 分数匹配误差。
3. 分数估计保证： 作者证明，通过基于核函数的评分估计器（特别是源自高斯核密度估计的插件式估计器），可以实现所需的评分假设。他们推导了这些估计器的有限样本界限，该界限显式地取决于 $k$ 而非 $d$。
4. 系数最优性： 论文研究了原始 DDIM 和 DDPM 公式中所用特定系数选择的必要性。通过推导反向过程单步的下界，作者表明经典的系数选择对于防止 TV 距离随环境维度 $d$ 爆炸几乎是必要的。

3. 核心贡献与结果

3.1 精确分数下的收敛性

定理 1 确立了在精确分数函数下，DDIM 和 DDPM 均能在 $\tilde{O}(k/\varepsilon)$ 的迭代复杂度下达到 $\varepsilon$ 距离的 TV 距离。

• 意义： 这是首个严格证明 DDIM 类采样器能适应未知低维结构的证明。对于 DDPM，它将以往基于 TV 的结果（在 KL 散度转化为 TV 时为 $O(k^4/\varepsilon^2)$ 或 $O(k^3/\varepsilon^2)$）改进到了对 $k$ 的线性依赖。
• 最小假设： 该结果在不需要平滑性或对数凹性的情况下成立。
• 无预热期（No Burn-in）： 与某些先前的 DDIM 理论不同，该结果不需要 $T \gtrsim d^2$ 的“预热”阶段。

3.2 噪声分数下的收敛性

论文将这些保证扩展到从数据中估计分数的现实场景。

• DDIM（定理 2）： 如果分数估计器满足关于分数误差、Jacobian 误差和 Hessian 误差的界限，则保证收敛。TV 距离随这些误差优雅地退化。
• DDPM（定理 4 & 5）： 在仅涉及 $\ell_2$ 分数估计误差的更简单假设下保证收敛。该理论容纳了一类广泛的系数选择，并将原始 DDPM 系数作为特例包含在内。

3.3 有限样本分数估计

作者证明了基于核的分数估计器可以满足必要的假设。

• 定理 3 (DDIM)： 表明插件式核估计器能以随 $k$ 缩放的样本复杂度实现所需的高阶精度（分数、Jacobian、Hessian）。
• 定理 6 (DDPM)： 表明阈值化核估计器可以实现所需的 $\ell_2$ 分数精度。其对环境维度 $d$ 的依赖显著降低（缩放为 $d^{2/(k+2)}$），当 $k \gtrsim \log d$ 时实际上趋于消失。

3.4 系数的最优性

定理 7 提供了反向过程单步的下界。它表明，除非系数 $(\eta_t, \sigma_t)$ 满足特定的关系（这与原始 DDIM 和 DDPM 的设计相匹配），否则生成样本与目标之间的 TV 距离将随环境维度 $d$ 进行多项式缩放，无论内在维度是多少。这表明经典的系数选择不仅是启发式的，而且在结构上是至关重要的。

4. 重要性与主张

本文声称提供了首个关于 DDIM 类采样器对未知低维结构具有自适应性的严格证据。其贡献框架如下：

1. 理论统一： 它通过低维视角统一了 DDIM 和 DDPM 的理解，表明两者在 TV 收敛方面都能实现对内在维度 $k$ 的线性缩放。
2. 超越现有技术： 它显著改善了 DDPM 在 TV 距离下的迭代复杂度界限（从对 $1/\varepsilon$ 的二次方提升到线性），并提供了首个基于 TV 的 DDIM 自适应理论。
3. 实践相关性： 通过证明标准的系数选择（来自 Song et al., 2020; Ho et al., 2020）对于低维自适应在理论上是最优的，本文解释了这些算法在无需针对特定数据结构进行修改的情况下取得实践成功的理由。
4. 统计合理性： 它弥合了采样理论与分数学习之间的鸿沟，证明了标准核估计器可以学习到随内在维度自适应精度的分数，从而验证了低维数据上扩散建模的端到端流程。

作者对研究范围保持谦逊，指出虽然他们的理论涵盖了标准系数，但在 DDIM 分析的特定系数区间与 DDPM 分析的更广泛类别之间仍存在差距，这留作未来的研究方向。他们还承认其下界是单步的，将这些下界扩展到更广泛采样器的多步下界是一个开放的方向。