Score Approximation for Diffusion Models on Arbitrary Low-Dimensional Structures

问题陈述
基于分数的扩散模型（score-based diffusion models）的理论基础在很大程度上依赖于对底层数据分布的限制性假设，特别是要求具有 Lipschitz 连续密度或光滑流形支撑集。然而，现实世界的感知数据（如图像）通常表现出奇异性、尖锐边界以及不连续密度或梯度行为不良的离散簇。现有的分数函数 $\nabla \log p_t(x)$ 近似复杂度界限通常面临对环境维度 $n$ 的指数级依赖问题，或者无法应用于缺乏光滑性的分布。这一差距提出了一个根本性的理论问题：扩散模型是否可以在不假设正则性或光滑性的情况下，在任意紧凑的数据分布上取得理论上的成功？

方法论
作者提出了一种通用的分数近似框架，该框架移除了所有连续性和光滑性假设。其核心方法涉及一种新颖的离散混合公式，并采用了一种侧重于高斯核平滑效应的重度分析策略。

1. 离散混合公式： 作者将初始分布 $p_0$ 分解为有限个子分布 $p_i$ 的混合，每个子分布支撑在小球 $B(y_i, r)$ 上。真实的评分函数通过将每个子分布上的积分替换为在局部均值 $\tilde{y}_i$ 处的点质量评估来进行近似。这使得分数近似问题转化为近似高斯核的加权和。
2. 分而治之的误差分析： 为了限制离散化误差，作者根据查询点 $x$ 相对于支撑集的距离将其划分为“近处”和“远处”两组。
   • 近处组： 对于靠近支撑点的点，通过在高斯核的局部均值附近进行泰勒展开，可以证明近似误差很小。
   • 远处组： 对于远离支撑点的点，高斯权重呈指数级衰减。作者证明，即使在这些区域局部近似误差较大，由于核函数的快速衰减，其对总误差的贡献也是微不足道的。
3. 通用正则性： 一个关键的理论障碍是确保“坏点”（即近似可能失效的点）具有忽略不计的测度。作者引入了一个 $C_1, C_2, r$-正则性条件，并证明了一个“通用正则性”定理：对于任何紧凑支撑的分布，不满足正则性的点集测度是任意小的。这确保了近似在几乎处处成立。
4. 神经网络实现： 该离散混合公式被证明可以由 ReLU 网络实现。作者构建了一个网络来近似必要的运算（平方、指数、除法和 Softmax），并控制误差，确保输出保持在支撑集的凸包内。

核心贡献

• 通用分数近似定理： 本文建立了第一个证明对于任何具有紧凑支撑（由上闵可夫斯基维数 $d$ 表征）的分布，其分数函数都可以由 ReLU 网络近似的定理。这移除了对 Lipschitz、Hölder 或 Sobolev 光滑性假设的需求。
• 复杂度界限： 作者证明了网络的复杂度（参数规模）随环境维度 $n$ 呈多项式增长，且仅随内在维度 $d$ 呈指数级增长。具体而言，规模大约为 $O(n^3 d/4 (1/\epsilon)^{d/2})$。这打破了困扰现有理论的“环境维度诅咒”。
• 放宽的正则性条件： 通过引入通用正则性的概念，这项工作表明，对于任何紧凑分布（包括缺乏概率密度函数的分形类测度，如康托尔测度），近似失效的“坏集”其测度是微不足道的。

结果
主要结果（定理 1）指出，对于一个直径为 $R$、上闵可夫斯基维数为 $d$ 的紧凑支撑分布 $p_0$，真实的评分函数 $\nabla \log p_t(x)$ 可以通过数据预测公式 $\nabla \log p_{t,appr}(x) = s_\theta(x, t) - x/t$ 进行近似，使得对于所有 $t \in [t_0, T]$，均方误差被限制在 $7\epsilon^2$ 以内。

• 近似网络 $s_\theta$ 的深度为 $O(\log \omega \log \log \omega)$，宽度为 $O(C_K r^{-d} (n \log \omega + \log^2 \omega))$，其中 $\omega$ 关于 $n$ 和 $1/\epsilon$ 呈多项式相关。
• 误差界限在全球范围内成立，对于分布外点，近似误差被限制在 $R/t$ 以内，这在小概率区域内是可积的。

意义
本文声称为扩散模型在不规则、非光滑数据结构上的经验成功提供了严谨的理论证明。通过证明对于任意紧凑分布，在不假设光滑性的情况下进行精确的分数估计是可能的，这项工作弥合了理论保证与现实世界数据特征（如像素裁剪和奇异性）之间的鸿沟。作者指出，其分而治之的策略和正则性结果可以被改编用于限制高阶导数（如 Hessian 矩阵），从而有助于目前仍依赖于这些项的有界性假设的扩散模型理论研究。这项工作定位为一个基础性步骤，将分数近似理论的范畴从光滑流形扩展到了更一般的紧凑支撑分布类。