📊 statistics

Improved denoising diffusion probabilistic models with efficient non-diagonal covariance modeling

本文介绍了 Kronecker-DCT (K-DCT) 模型，这是一种新颖的非对角协方差近似方法，它利用 Kronecker 分解和离散余弦变换来高效地捕捉自然图像的相关性，从而在保持极低计算开销的同时，显著提高去噪扩散概率模型 (DDPMs) 的质量和似然度，并减少采样步数。

原作者： Rui Xia, Ayan Das, Artem Artemev, Andi Zhang, Guillaume Hennequin, Alberto Bernacchia

发布于 2026-08-25

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Rui Xia, Ayan Das, Artem Artemev, Andi Zhang, Guillaume Hennequin, Alberto Bernacchia

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一台通过学习来创作艺术的机器，它不是从零开始绘画，而是从一张布满静态噪声的画布开始，通过缓慢而细致地去除这些噪声，直到一幅清晰的图像显现出来。这就是被称为“去噪扩散模型”（denoising diffusion models）的一类人工智能模型的核心思想。它们已成为生成高质量图像（从逼真的面孔到风景）的标准工具，因为它们生成的图像既清晰又具有多样性。然而，这里有一个问题：去除噪声的过程本质上是缓慢的。为了得到一张好的图片，计算机必须进行数千个微小且谨慎的步骤，一次剥离一点点静态噪声。如果它试图通过采取更大的步长来加速过程，图像往往会变得模糊或扭曲，因为机器失去了对图像各部分之间关系的把握。

长期以来，研究人员一直试图通过一种简化假设来解决这个速度问题：他们假设图像在任何给定时刻的不确定性可以通过观察每个像素的独立情况来描述。这有点像试图仅通过观察一个特定位置的温度来描述天气，而忽略了该处风力如何影响相邻位置的降雨。虽然这种方法在采取微小步长时效果尚可，但当研究人员试图采取实际应用所需的更大、更快的步长时，这种方法就会失效。自然图像的现实情况要复杂得多；一个像素的颜色与其邻近像素有着深刻的联系，而且图像的红、绿、蓝通道之间也以复杂的方式相互影响。发表在《机器学习研究汇刊》（Transactions on Machine-Learning Research）上的一项新研究表明，通过承认这些复杂的联系，我们可以显著提高这些图像生成器的速度，而不牺牲质量。

研究团队来自包括剑桥大学和伦敦国王学院在内的机构，他们致力于构建一张更好的连接图谱。他们的研究重点是“后验协方差”（posterior covariance），这是一个技术术语，本质上描述了一个图像部分的确定性如何取决于另一部分的确定性。在旧的、较简单的模型中，这张图谱被绘制成一个只有对角线有意义的网格，这意味着一个像素的未来与其邻居是相互独立的。新团队认为，这种观点是一种极大的过度简化，忽略了自然图像的真实结构，而自然图像在像素和色彩通道之间表现出强烈的非对角相关性。他们还注意到，这些图像具有特定的频率模式，即细节以一种可预测的方式逐渐消退，类似于一个音乐和弦具有特定的音符结构。

为了在不减慢计算机速度的情况下捕捉这种复杂性，该团队开发了一种名为 K-DCT 的新数学模型。这个名字源于两个核心概念的结合。首先，他们认识到颜色之间的关系（如红、绿、蓝）与空间位置之间的关系（如左、右、上、下）大致是相互独立的。这使得他们能够将这个庞大而复杂的问题分解为两个较小且易于处理的部分。其次，他们意识到图像的空间关系通过直接观察像素并不是最好的方式，而是应该将图像视为一组“波”的集合，并使用一种称为“离散余弦变换”（Discrete Cosine Transform）的技术。这种方法将图像分解为其基本频率，就像棱镜将白光分解成彩虹一样。通过在频率域中进行工作，研究人员可以用一组非常精简的数字来描述像素之间复杂的连接网络。

其结果是一个既具有高表达能力又极其高效的模型。虽然对高分辨率图像进行完整的连接描述需要大量的内存和计算能力，但 K-DCT 模型能够在几乎不比图像本身占用更多空间的情况下完成同样的工作。研究人员在几个著名的图像数据集上测试了这种方法，包括包含日常物品的小图像数据集 CIFAR-10，以及以名人肖像为特征的 CelebA。他们还在像 ImageNet 和 LSUN 这样更大、更复杂的数据集上进行了测试。在每种情况下，他们都将自己的新方法与现有的最佳技术（这些技术依赖于较简单的对角假设）进行了对比。

研究结果清晰且一致。当研究人员强制模型以更少的步骤生成图像时（模拟速度至关重要的场景），新的 K-DCT 模型产生了显著更好的结果。生成的图像更加锐利、细节更丰富，并且在统计学上更接近于它们所训练的真实数据。从技术角度来看，这些模型实现了更低的误差率和更好的似然得分，这意味着计算机对其创造的内容更有信心。或许最重要的一点是，生成过程的速度并未受到影响。新模型所需的额外计算非常高效，即使在高分辨率图像上也几乎没有增加处理时间。这表明，快速生成图像的瓶颈不在于计算机的原始算力，而在于不确定性的建模方式。

团队还探讨了为什么这种方法如此有效。他们发现，去噪图像中像素之间的连接并不会迅速消失；相反，它们遵循一种跨越多个数量级的缓慢且可预测的衰减过程。试图忽略这些长程连接或用几种基本模式来近似这些连接的简单模型无法捕捉到这种细微差别。相比之下，K-DCT 模型自然地适应了这种结构。有趣的是，该模型即使在像 CelebA 这样图像不具备数学理论所假设的完美对称性或平移不变性的数据集上，也表现得异常出色。这表明该模型足以应对现实世界的缺陷，即使在底层模式并非完全规则的情况下，也能捕捉到数据的本质“完整”结构。

虽然这项研究并不声称解决了人工智能的所有问题，但它为图像生成中一个特定且持久的障碍——速度与质量之间的权衡——提供了一个引人注目的解决方案。通过不再假设像素是孤立存在的，而是拥抱它们深度互联的现实，研究人员展示了我们可以加速这些机器的创作过程。这项工作意味着，高效图像生成的未来不在于构建更大的计算机，而在于构建能够理解其试图创造的图像之真实且复杂本质的更智能的模型。K-DCT 模型证明了，对统计结构的更准确理解可以带来性能上的实质性提升，使高质量的图像生成在不需要硬件飞跃的前提下，变得更快且更易于获取。

技术摘要：通过高效非对角协方差建模改进去噪扩散概率模型

问题陈述

去噪扩散概率模型（DDPMs）在图像生成方面取得了最先进的性能，但由于其固有的序列性质，面临采样速度慢的问题。虽然可以通过采取更少、更大的步长（跳步采样）来加速采样过程，但如果去噪后验协方差建模不准确，这种方法会降低样本质量。

以往利用二阶信息加速采样的尝试依赖于极端的简化，例如假设后验协方差是对角的或低秩的。作者认为这些假设是不充分的，因为自然图像在像素和颜色通道之间表现出强烈的非对角相关性，以及缓慢衰减的幂律频谱。因此，对角近似无法捕捉去噪后验的复杂统计结构，特别是在采样步数较少时。此外，建模全协方差矩阵在计算上是难以承受的（对于 $D$ 个像素，复杂度为 $O(D^2)$ ），这造成了类似于二阶神经网络优化中的精度与可处理性之间的权衡。

方法论

本文提出了一种名为 Kronecker-DCT (K-DCT) 的新型协方差模型，该模型能够捕捉自然图像的特定统计特性，同时保持计算效率。

1. K-DCT 协方差模型

提出的模型 $E_\phi(x_t, t)$ 通过以下结构化分解来近似去噪后验协方差（或噪声预测误差的协方差）：
$E_\phi(x_t, t) = \text{diag}(\varepsilon_\phi) + C_\phi C_\phi^\top \otimes (F^\top \otimes F^\top) \text{diag}(\lambda_\phi) (F \otimes F)$

该模型由三个关键部分组成：

对角基准（Diagonal Baseline）： 一个吸收任何对角贡献的项 $\text{diag}(\varepsilon_\phi)$ ，确保该模型至少与之前的对角模型一样具有表达能力。
通道间相关性（Inter-Channel Correlation）： 由项 $C_\phi C_\phi^\top \in \mathbb{R}^{3\times3}$ 捕捉，用于建模 RGB 颜色通道之间的全相关性。
像素间（空间）相关性（Inter-Pixel (Spatial) Correlation）： 使用通道相关性与空间分量的 Kronecker 积进行建模。空间分量在频域内使用 离散余弦变换（DCT） 矩阵 $F$ $F$ 进行对角化。
- 作者通过指出自然图像具有 Toeplitz + Hankel 协方差结构（由于边界条件）而非 DFT 所假设的循环结构，证明了使用 DCT 而非离散傅里叶变换（DFT）的合理性。DCT 基函数能自然地对角化这种结构。
- 特征值 $\lambda_\phi$ 是在频域内学习的参数。

2. 计算效率

K-DCT 结构允许进行高效的训练和采样，而无需显式构建完整的 $3D \times 3D$ 协方差矩阵：

复杂度： 计算复杂度从 $O(D^2)$ 降低到 $O(D \log d)$ （其中 $d$ 是图像维度），使得额外的开销相对于分数网络（score network）的前向传播而言可以忽略不计。
训练： 作者改编了两种现有的目标函数来学习协方差参数：
- 最优协方差匹配（OCM）： 基于分数函数的雅可比矩阵（Tweedie 二阶公式）。
- 噪声预测残差（NPR）： 基于最小均方误差（MMSE）公式。
- 这两个目标函数都通过随机迹估计器（stochastic trace estimators）和源自 Kronecker-DCT 结构的有效矩阵-向量乘法，扩展到了处理非对角模型。
采样： 采样通过添加两个独立的高斯样本进行：一个来自对角项，另一个来自 Kronecker-DCT 项。后者利用 DCT 基函数和学习到的特征值进行高效采样。

3. 训练策略

K-DCT 模型被训练为预训练一阶分数网络（UNet）之上的“摊销”（amortization）。该架构与预训练模型共享参数，并带有专门用于预测协方差分量（ $\varepsilon_\phi, C_\phi, \lambda_\phi$ ）的小型神经网络头（ $NN_2$ ）。这种方法仅需训练极小比例的总参数。

核心贡献

新型协方差参数化： 引入了 K-DCT 模型，它结合了 Kronecker 分解的通道间相关性和基于 DCT 的空间相关性。相比于对角或低秩近似，它能更准确地捕捉自然图像的幂律频谱和非对角结构。
高效实现： 证明了 K-DCT 模型可以以 $O(D \log d)$ 的复杂度进行训练和采样，避免了全协方差估计带来的内存和计算瓶颈。
经验验证： 在多个数据集（CIFAR-10, CelebA, ImageNet, LSUN）上的系统性评估表明，K-DCT 在较少的采样步数下优于之前的最先进（SOTA）采样器。

结果

作者使用两个主要指标对该方法与启发式、对角和低秩协方差模型进行了评估：用于衡量样本质量的 Fréchet Inception Distance (FID) 和用于衡量统计拟合度的 负对数似然（NLL）。

性能： 在所有数据集和训练目标（OCM 和 NPR）下，K-DCT 模型一致地比对角和低秩基线实现了更低的 FID 和更低的 NLL。
少步数区间： 在采样步数（ $K$ ）较少（例如 10–25 步）时，改进最为显著。在这些区间内，对角近似无法捕捉必要的后验结构，而 K-DCT 能保持高保真度。
权衡： 该方法在 FID 和 NLL 之间实现了比现有方法更优的权衡。虽然蒸馏的一步模型可能提供更快的生成速度，但它们缺乏可解释的似然估计，而这是 K-DCT 方法保留的一项关键优势。
开销： 实验证实，与对角模型相比，K-DCT 参数化引入的实际运行时间开销可以忽略不计，即使是在像 LSUN Bedroom (256x256) 这样的高分辨率数据集上也是如此。

意义与主张

论文声称，建模去噪后验的非对角结构对于在不牺牲质量的前提下加速扩散采样至关重要。这项工作的意义在于：

弥合差距： 它弥合了对精确二阶信息的理论需求与内存及计算约束之间的差距。
统计结构： 它强调了自然图像具有特定的统计特性（可分离的空间-色彩相关性和幂律频谱），这些特性可以通过 K-DCT 结构得到高效利用。
局限性与未来工作： 作者谦虚地指出，虽然 K-DCT 提升了性能，但它尚未达到蒸馏一步模型的 FID 水平。他们认为这可能是因为跳步后验并不完全是高斯的，这意味着即使拥有完美的协方差模型，如果高斯假设本身被违反，也无法完全纠正采样误差。他们还推测，虽然该方法是为图像设计的，但它可以应用于其他具有近似平移不变性的领域，如音频和语音，并引用了对语音数据的初步概念验证结果。