Geometry-Aware Discretization Error of Diffusion Models

技术摘要：扩散模型的几何感知离散化误差

问题陈述
实际的扩散采样本质上是一个数值近似问题。在固定的推理预算下，生成样本需要使用有限数量的去噪步骤来模拟反向时间的常微分方程（ODE）或随机微分方程（SDE）。因此，离散化误差往往成为采样误差的主要来源。虽然现有的非渐近分析提供了收敛性保证，但它们通常过于宽松，无法指导实际设计。这些理论界限通常依赖于粗略的最坏情况量，例如环境维度或漂移的 Lipschitz 常数，并且未能区分不同的扩散调度家族（例如多项式与指数噪声调度），也未能考虑目标分布的具体几何特性。当前的参数调整在很大程度上仍依赖于经验，依靠手工设计的网格或数据驱动的优化，而非预测性理论。

方法论
作者采取了一条虽不那么宏大但更具信息量的路径，即在精确得分（exact-score）设定下推导欧拉 - 丸山（Euler–Maruyama）离散化误差的一阶渐近展开。他们并未寻求对整个采样误差的非渐近控制，而是专注于前两个矩（均值和协方差）误差的小步长展开，以及由此产生的 Fréchet 距离。

1. 一般推导：本文建立了一般平滑反向扩散的一阶弱误差展开。这涉及分析由随机流（流的雅可比矩阵、黑塞矩阵和拉普拉斯算子）传输的局部欧拉缺陷的累积。
2. 高斯特化：分析被特化到高斯数据，其中得分是仿射的，且生成 SDE 具有线性漂移。在这种设定下，离散化误差沿目标分布的协方差特征空间解耦。这使得误差项能够作为扩散参数（扩散项系数 $\alpha$、噪声调度 $\sigma_t$ 和重缩放调度 $\eta_t$）以及协方差谱（$\lambda_i$）的函数，获得完全显式的闭式表达式。
3. 优化：利用这些显式公式推导出几何感知的设计原则。作者通过最小化主导阶的 Fréchet 离散化误差，来确定针对特定谱特性的最优参数选择。

主要贡献

• 一阶误差展开：本文建立了欧拉 - 丸山离散化的一阶小步长弱误差展开。将其特化后，可得到均值和协方差误差的显式一阶表达式，这些表达式组合成了 Fréchet 误差展开。
• 显式高斯公式：对于高斯数据，作者推导出了闭式表达式，展示了离散化误差如何依赖于采样参数和完整的各向异性协方差谱。与以往依赖最小特征值（Lipschitz 常数）或各向同性假设的工作不同，该分析刻画了对整个谱的依赖关系。
• 几何感知设计原则：推导出的公式为参数优化提供了具体的理论预测：
  • 扩散项系数（$\alpha$）：最优的 $\alpha$ 随步长 $\gamma$ 线性减小。这种减小的斜率由协方差谱决定，其中方差较小的方向倾向于更小的 $\alpha$。
  • 重缩放调度（$\eta_t$）：最优重缩放取决于协方差功率谱的尺度和衰减。对于幂律谱，最优重缩放参数 $c_\eta$ 与最大特征值 $\lambda_{max}$ 和谱衰减指数 $p$ 成比例缩放。
  • 噪声调度（$\sigma_t$）：本文解释了为何多项式噪声调度对高度各向异性的数据（如图像）具有鲁棒性。虽然无法为所有特征值同时存在单一的最优调度，但具有中等指数的多项式调度最小化了误差在整个谱上的变化，使其成为有效的替代方案。

结果
作者在跨越不同数据集（CIFAR-10、FFHQ、ImageNet）的图像采样实验以及图像后验采样（去模糊）任务中，验证了其理论预测。

• 最优 $\alpha$：实证结果证实，最小化 Fréchet 初始距离（FID）的 $\alpha$ 值随着离散化步数 $K$ 的减少（即步长 $\gamma$ 的增加）而减小。这一趋势与二阶高斯理论预测的线性演化相一致。
• 最优重缩放：在图像数据集和后验去模糊上的实验表明，最优重缩放参数 $c_\eta$ 随数据集的最大特征值增加而增加。此外，对于谱衰减更陡峭（$p$ 更高）的后验分布，归一化后的最优参数 $c_\eta/\lambda_{max}$ 向更小的值偏移，这与幂律谱目标函数的理论最小化结果一致。
• 多项式调度的鲁棒性：实验表明，多项式噪声调度在具有不同谱特性的数据集上表现良好，证实了理论见解：对于大指数，其误差对特征值比率的敏感性较弱。

意义与主张
本文声称提供了一种“关于扩散采样器设计的简单谱视角”，并为重要的经验启发式方法提供了理论基础。通过使离散化误差对扩散参数和数据几何的依赖关系显式化，该工作为参数优化提供了可处理的优化目标。作者强调，他们的高斯近似捕捉到了有用的全局趋势和定性预测，尽管它们未考虑多模态性或得分估计误差。结果表明，最优采样参数并非通用的，而是随目标分布的协方差谱系统性地变化，这为纯粹的经验调优提供了一种有原则的替代方案。