A Wavelet Diffusion GAN for Image Super-Resolution

技术摘要：用于图像超分辨率的小波扩散生成对抗网络

问题陈述
尽管扩散模型已成为生成对抗网络（GAN）在高质量图像生成方面的优越替代方案，但其在实时场景中的应用却因训练和推理速度缓慢而受到显著阻碍。传统的像素空间扩散模型需要数千个时间步来生成高质量样本，通常每张图像需耗时数分钟。虽然潜在空间扩散模型试图通过训练变分自编码器（VAE）来缓解这一问题，但它们仍依赖大规模数据集且表现出相对较高的运行时间。相反，尽管扩散 GAN 加速了无条件生成，但仍需要一种解决方案来应对单图像超分辨率（SISR）的具体挑战，特别是高保真输出与计算效率之间的权衡。

方法论
作者提出了WaDiGAN-SR，这是一个将条件扩散 GAN 与离散小波变换（DWT）相结合以执行图像超分辨率的新颖框架。该方法通过以下关键机制运作：

1. 小波空间扩散：与在像素空间执行扩散的标准方法不同，该方法在小波域中应用扩散过程。高分辨率图像利用 DWT 分解为四个子带（LL、LH、HL、HH），分别代表低频和高频分量。这种分解降低了输入的空间维度（每个子带从 $H \times W$ 降至 $H/2 \times W/2$），同时保留了对于图像清晰度至关重要的高频细节。
2. 条件扩散 GAN 架构：
   • 前向过程：噪声逐步添加到高分辨率图像（$x_0$）的小波分解中，直到仅剩纯高斯噪声（$x_t$）。
   • 逆向过程：生成器 $G(x_t, x_{lr}, t)$ 以含噪小波图像和输入低分辨率图像的小波分解（$x_{lr}$）作为条件。生成器不直接预测噪声，而是预测清晰图像 $x_0$。
   • 步长缩减：通过利用 GAN 判别器来区分真实与虚假的 $(x_{t-1}, x_t)$ 对，该模型允许在逆向扩散过程中使用更大的步长。这将所需的时间步从数千个减少到预定义的数量（例如，$T \leq 8$），显著加速了推理过程。
3. 优化：训练目标结合了对抗损失（以确保生成的分布匹配真实数据分布）与生成清晰图像和真实值之间的重建损失（$L_1$）。这种双重方法防止了频率信息的丢失，并保持了各小波子带之间的一致性。

主要贡献

• 首个用于 SISR 的基于小波的条件扩散 GAN：本文介绍了首个专门应用于图像超分辨率的基于小波的条件扩散 GAN 方法。它利用空间维度缩减并通过高频小波子带增强细节恢复。
• 效率与质量的平衡：所提出的方法成功减少了训练和推理时间，同时在图像质量上优于最先进的方法。它作为扩散模型在超分辨率领域迈向实时应用的垫脚石。
• 架构创新：在类 U-Net 生成器中集成频率感知模块和残差连接，使模型对高频分量高度敏感，从而在不增加标准像素空间扩散计算负担的情况下产生更清晰的输出。

实验结果
作者在 CelebA-HQ 数据集上评估了该模型在 8 倍放大任务（$16 \times 16 \to 128 \times 128$）中的表现，并在 Shipspotting 数据集上进行了消融研究。

• 定量性能：尽管仅训练了 25,000 次迭代（受资源限制），该模型仍取得了优于 ESRGAN、SR3 和 DiWa 的指标。具体而言，其 PSNR 达到 23.38（ESRGAN 为 21.13），SSIM 为 0.68，LPIPS 显著降低至 0.061。
• 效率：该模型展示了推理时间的急剧减少，完成一次生成仅需 0.12 秒，而 SR3 为 60.3 秒，DiWa 为 34.7 秒。该模型也较为轻量，包含 57M 参数，少于扩散基线模型（98M 和 92M）。
• 定性分析：视觉结果表明，与其他基线模型中常见的伪影（如交叉影线和颜色偏移）相比，伪影显著减少。生成的图像保留了更精细的细节，并表现出更高的视觉保真度。

意义与主张
本文主张 WaDiGAN-SR 有效克服了扩散模型在时间敏感应用中的固有缺陷。通过将扩散模型的稳定性和灵活性与 GAN 的速度及小波变换的降维能力相结合，该方法以资源效率实现了最先进质量。作者指出，尽管他们的实验受限于硬件（在较小的图像尺寸和较少的迭代次数上训练），但结果验证了该模型在实时超分辨率方面的效率和适用性。这项工作将自己定位为在硬件受限条件下运行且需要高保真输出而无需传统扩散模型高昂计算成本的研究人员的可行解决方案。