🤖 AI

Perception-based Image Denoising via Generative Compression

本文提出了一种用于图像去噪的生成式压缩框架，该框架利用熵编码的潜在表示和感知驱动的解码器（通过条件WGAN或扩散模型），在实现逼真纹理恢复的同时，为重建误差和解码概率提供理论保证。

原作者： Nam Nguyen, Thinh Nguyen, Bella Bose

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Nam Nguyen, Thinh Nguyen, Bella Bose

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你拥有一张精美的高分辨率森林照片，但有人将一桶充满噪点的“雪”泼在了上面。你的目标是清理这张照片。

旧方法：“模糊修复”
长期以来，计算机试图通过简单地平均化这些“雪”来修复图像。这就像试图用一台巨大沉重的压路机碾平一条凹凸不平的道路。虽然路面的凸起（噪点）消失了，但诸如树皮纹理或单片树叶等有趣的细节也随之消失。结果得到了一张干净但“过度平滑”的图片，看起来像塑料画而非真实照片。这就是论文中所称的“失真驱动”方法。

新构想：“智能重绘”
这篇论文提出了一种名为基于感知的去噪的不同方法。计算机不再仅仅进行平滑处理，而是尝试根据其对真实世界图像的认知，“重新构想”这张干净照片应该是什么样子。

作者使用了一种巧妙的技巧，称为生成式压缩。其类比如下：

压缩（摘要）： 想象你有一个杂乱且充满噪点的房间。与其试图清理每一粒灰尘，不如快速在脑海中拍一张关于房间结构（床在哪里、窗户在哪里）的压缩快照。你丢弃了杂乱的细节（噪点），只保留 essential 的“蓝图”。在论文中，这是通过一个编码器完成的，它将噪点图像转换为紧凑高效的代码（潜在表示）。
重建（艺术家）： 现在，你将这份蓝图交给一位技艺高超的艺术家（解码器）。这位艺术家不仅仅是复制蓝图；他们利用对真实房间样貌的认知来填补缺失的细节。他们知道窗户通常有玻璃，床铺通常有床单。他们以积极的方式“幻觉”出噪点所破坏的精细纹理，使图像再次显得逼真。

两位不同的艺术家
论文介绍了两位具体的“艺术家”（方法）来执行这项任务：

WGAN 艺术家（对抗性评论家）： 这种方法采用“双人博弈”。一位玩家（生成器）试图根据蓝图创建干净图像。另一位玩家（判别器）则像一位严厉的评论家，试图辨别图像是伪造的还是真实的。他们反复进行这场博弈，直到生成器变得如此出色，以至于评论家无法分辨真假。这确保了最终图像看起来极其逼真，而不仅仅是数学上正确。
扩散艺术家（逐步雕塑家）： 这种方法就像一位雕塑家，从一块充满噪点的黏土开始，在蓝图的引导下，一步步地凿除噪点。它从纯粹的混乱开始，逐渐将其提炼为清晰的图像，确保每一个微小的细节都与整体结构完美契合。

安全网（数学）
作者不仅构建了这些工具，还编写了一本规则手册（数学证明）来保证该方法的有效性。他们证明，如果噪点不过于极端，他们的“蓝图与艺术家”系统总是会产生接近原始图像的结果，并且他们精确计算了出错的可能性。

结果
当他们在真实照片（如自然场景）甚至棘手的科学照片（如细胞显微镜图像）上测试时，结果令人印象深刻：

旧方法使图像看起来平滑且模糊。
他们的方法保持了图像的清晰度和丰富的纹理，看起来更符合人眼的预期。

简而言之，这篇论文不再仅仅是“清理”噪点，而是教导计算机重构图像，用逼真的细节填补缺失的部分，从而使照片再次呈现出自然且充满活力的面貌。

技术摘要：基于生成压缩的感知图像去噪

1. 问题陈述

图像去噪旨在去除噪声，同时保留结构细节和感知真实性。然而，传统方法针对像素级失真指标（如均方误差或峰值信噪比）进行优化，往往产生过度平滑的重建结果，特别是在强噪声或分布偏移的情况下。这是因为仅最小化失真不足以获得感知质量；率 - 失真 - 感知（RDP）权衡形式化地表明，在不考虑感知约束的情况下最小化失真，会导致精细纹理和自然图像统计特性的丢失。

现有的感知恢复方法，如条件 Wasserstein GAN（WGAN），可能面临训练不稳定和未能充分捕捉自然图像多样性的问题。相反，扩散模型提供了稳定的训练和强大的模式覆盖能力，但需要与压缩原则相结合，以有效处理结构化噪声与自然信号之间的差异。

2. 方法论

本文提出了一种生成压缩框架，其中去噪是通过从熵编码的潜在表示中重建图像来实现的。其核心前提是：自然信号表现出低复杂性，而噪声是无结构的。通过在匹配噪声强度的失真水平上运行压缩器，可以抑制高复杂度的噪声，同时保留结构化内容。

作者引入了该框架的两个互补实例：

2.1. 基于条件 WGAN 的压缩去噪器（CGanDeCompress）

该方法将学习的有损压缩与条件对抗训练相结合。

架构：编码器（ $E$ ）将含噪输入 $y$ 映射到量化潜在表示 $z$ 。解码器（ $G$ ）从 $z$ 重建去噪图像 $\hat{x}$ 。
速率控制：潜在变量 $z$ 使用学习到的概率模型 $P$ 进行熵编码，产生速率 $r(z) = -\log P(z)$ 。
训练目标：系统最小化组合损失函数：
$L_{EGP} = \mathbb{E}_y[\lambda r(z) + d(x, \hat{x}) - \beta \log D(\hat{x}, z)]$
其中 $d(x, \hat{x})$ 结合了均方误差（MSE）和学习到的感知图像块相似度（LPIPS）损失。条件 WGAN 判别器 $D$ 区分基于 $z$ 条件的重建图像与干净图像，从而促进感知真实性。
控制：参数 $\lambda$ 和 $\beta$ 显式控制率 - 失真 - 感知（RDP）权衡。

2.2. 基于条件扩散的重建（DiffDeCompress）

该方法利用扩散模型作为由压缩潜在变量引导的生成先验。

架构：随机编码器将 $y$ 映射到紧凑潜在变量 $z$ 。解码器通过反向扩散过程对条件分布 $p(x_0|z)$ 进行建模。
过程：反向过程以 $z$ 为条件，引导去噪轨迹朝向语义一致的重建，而中间潜在变量允许合成细粒度细节。
训练目标：模型优化扩散负对数似然的变分上界，并辅以显式的 LPIPS 损失：
$L = \rho L_p + (1-\rho)L_c$
其中 $L_p$ 是 LPIPS 损失， $L_c$ 包含速率约束和扩散重建损失。

3. 理论贡献

本文建立了加性高斯白噪声（AWGN）下基于压缩的最大似然（ML）去噪的非渐近保证。

重建误差界：作者推导了重建误差 $\|x - \hat{x}\|$ 的上界，该界以压缩速率 $R$ 、失真 $D(P)$ 和感知水平 $P$ 表示。该界限表明，以高概率，误差接近理论失真 - 感知极限 $D(P)$ 。
解码错误概率：本文提供了 ML 去噪器选择错误码字的概率界限，表明该概率随压缩速率 $R$ 呈指数级下降。
与 RDP 理论的联系：该理论框架明确将去噪性能与 RDP 理论联系起来，证明了所提出的方法在失真 - 感知权衡的理论极限内运行。

4. 实验结果

该方法在合成高斯噪声（KODAK 和 DIV2K 数据集）和真实世界噪声（荧光显微镜数据集和智能手机图像去噪数据集 - SIDD）上进行了评估。

合成噪声：
- 感知质量：所提出的两种方法在感知指标（FID、LPIPS、PI）上始终优于经典方法（BM3D）和基于学习的方法（N2C、N2N、Deep Decoder）。
- 失真权衡：虽然 N2C 等监督方法实现了更高的 PSNR/SSIM，但它们表现出显著更高的 FID 和 LPIPS 分数，表明输出过度平滑。所提出的方法在保持有竞争力的失真性能的同时，实现了卓越的感知真实性。
- 具体细节：在 $\sigma=15$ 时，CGanDeCompress 实现了最低的 FID 和 LPIPS。在较高噪声水平（ $\sigma=50$ ）下，DiffDeCompress 在 KODAK 上实现了最佳感知质量（最低 PI），而 CGanDeCompress 在 DIV2K 上在分布相似性（FID）方面表现优异。
真实世界噪声：
- 在 FMD 和 SIDD 数据集上，CGanDeCompress 展示了对域偏移和复杂真实世界噪声的鲁棒性。
- FMD：LPIPS 从 0.439（含噪）改善至 0.035，PSNR 从 28.45 dB 提升至 36.71 dB。
- SIDD：LPIPS 从 0.646 降低至 0.093，PSNR 从 26.35 dB 提升至 32.70 dB，结构相似性（SSIM）显著提升。

5. 意义与主张

本文主张，所提出的生成压缩框架成功弥合了失真驱动与感知驱动去噪之间的差距。通过将去噪解释为投影到由有损编解码器诱导的低复杂性信号类上，该方法实现了：

显式控制：通过学习的压缩模型显式管理 RDP 权衡的能力。
感知保真度：生成逼真的纹理和精细细节，这些细节通常在 MSE 优化的方法中丢失。
理论基础：建立将压缩速率与去噪误差联系起来的非渐近界限，通过信息论原理验证该方法。
鲁棒性：在合成基准测试以及涉及域偏移和复杂噪声分布的具有挑战性的真实世界场景中表现一致。

作者得出结论，生成压缩为基于感知的图像去噪提供了一种鲁棒的范式，在保持有竞争力的失真性能的同时，实现了感知保真度的提升。