📄 other

Diffusion Model-Based Image Restoration: Interactive Learning of Determinism and Stochasticity

本文提出了一种用于图像修复的新颖扩散框架，该框架通过对确定性和随机性的交互建模，以有效地适应不同退化任务的异构需求，从而在多种修复场景中实现了卓越的性能和可解释性。

原作者： Sha Luo, Siyuan Peng, Dawei Zhao, Qingwei Gao

发布于 2026-07-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Sha Luo, Siyuan Peng, Dawei Zhao, Qingwei Gao

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图修复一张模糊、有雨滴或昏暗的照片。在计算机科学领域，这被称为“图像复原”（Image Restoration）。长期以来，计算机尝试通过学习严格的规则来修复这些照片，比如“雨总是长成这样”或“阴影总是那样”。但现实世界是混乱的；雨可以是暴雨也可以是细雨，阴影也可以是奇形怪状的。最近，一种名为“扩散模型”（Diffusion Model）的新型人工智能因修复图像而声名大噪。你可以把扩散模型想象成一位雕塑家，他从一块充满噪声的静态块（就像电视雪花一样）开始，通过慢慢凿去噪声，最终显现出一尊完美的雕像。问题在于，这位雕塑家通常对每一尊雕像都采用同样的工作方式。如果你需要一尊极其锐利（如医学扫描图）的雕像，雕塑家可能会把它雕刻得过于扭曲；如果你需要一尊具有多种可能版本的绘画风格雕像，雕塑家可能会让它显得过于僵硬。研究人员提出的核心问题是：我们如何教这个 AI 雕塑家，让它知道何时该精准，何时该富有创意，并且在一次过程中同时实现这两点？

这篇论文介绍了一种教导 AI 雕塑家的聪明新方法，称为“确定性与随机性的交互式学习”。用通俗的话说，“确定性”（determinism）是指那个严格、可预测且遵循清晰路径的部分（就像完全按照食谱操作）；而“随机性”（stochasticity）则是指那个随机、灵活且允许惊喜的部分（就像根据口味加一撮盐）。作者罗沙及其来自安徽大学的团队注意到，以往的方法试图将这两个概念分开处理，就像有两个不同的雕塑家在雕刻同一尊雕像，但彼此之间却互不沟通。这往往会导致混乱或浪费精力。

相反，该团队设计了一个全新的框架，让“严格”路径和“随机”路径不断进行对话。他们构建了一个由两个简单的 AI 大脑（称为 U-Net）组成的系统，它们协同工作。一个大脑专注于图像中可预测的部分（即“残差”，例如雨滴等特定损伤），另一个大脑则专注于随机噪声。但神奇之处在于：它们并不只是并行工作，而是会及早分享彼此的想法和特征。这就像拥有一支由两位厨师组成的团队：一位是精确测量的大师，另一位是即兴发挥的大师。他们不再是各自烹饪不同的菜肴，而是互相品尝对方的食材，并实时调整自己的烹饪方式。如果图像需要极高的锐度，那么“严格”的厨师就会占据主导地位；如果图像需要看起来自然且多样化，那么“创意”的厨师就会介入。他们通过动态交互，为解决每一个具体问题找到完美的平衡点。

研究人员在四种非常不同的任务上测试了这支“交互式”团队：去除照片噪声、消除阴影、提亮昏暗图像以及清理窗户上的雨迹。他们发现，这种方法在所有任务中都表现得极其出色。例如，在去除雨滴时，他们的模型能够彻底抹去雨痕，而其他模型要么留下了一些雨迹，要么让图片看起来很奇怪。他们还发现，通过让这两条路径进行交互，AI 不需要花费那么多步骤就能完成工作。虽然有些模型需要 1,000 个步骤来清理一张照片（这需要很长时间），但他们的模型仅需 2 到 4 个步骤即可完成，速度大大提升。

论文指出，这种方法是一个重要的进步，因为它并不强迫 AI 只能是其中一种状态。通过让“确定性”和“随机性”部分相互学习，模型变成了一只变色龙，能够适应图像的具体需求。作者承认，虽然它在处理昏暗照片中非常复杂的灯光变化时偶尔会遇到一点困难，但总体而言，它比竞争对手能更好地保留细节和纹理。他们甚至已经在网上分享了代码，邀请其他人亲自尝试这种“交互式”烹饪法。

技术摘要：通过确定性与随机性的交互学习实现基于扩散模型的图像修复

问题陈述

图像修复（Image Restoration, IR）旨在从退化观测中重建潜在的视觉信息，由于不同类型的退化（如噪声、雨滴、阴影、低光照）在特征空间中存在显著的分布差异，这一任务变得十分复杂。现有的深度学习方法，包括 CNN、Transformer 和 GAN，往往难以在无需针对特定任务进行重新设计的情况下，泛化到多种不同的 IR 任务中。虽然扩散模型提供了高保真度和可解释性，但目前的方法面临两个主要局限性：

修复效率低下： 标准扩散模型从纯噪声开始逆向过程，这对于输入已包含结构信息的 IR 任务而言效率较低。
确定性与随机性的静态建模： 先前尝试统一确定性（基于残差）和随机性（基于噪声）扩散的方法（如残差去噪扩散模型 RDDM）对每条路径采用独立的 U-Net。这种静态分离无法捕捉不同退化类型的独特概率分布，并可能引入过度的多样性，从而阻碍精确重建。

方法论

作者提出了一种全新的扩散框架，采用**确定性与随机性的交互学习（ILDS）**来解决这些局限性。核心架构基于两个简单的 U-Net 构建双路径网络。

1. 前向扩散过程构建

不同于仅添加噪声的标准扩散，所提出的前向过程结合了残差（确定性）和噪声（随机性）。其转换定义为：
$x_t = x_{t-1} + \alpha_t x_{res} + \beta_t \epsilon_{t-1}$
其中 $x_{res} = x_{in} - x_0$ 代表退化残差， $\epsilon$ 是高斯噪声。这使得前向轨迹能够保留与退化相关的结构，使逆向过程可以从比纯噪声更接近目标的中间状态开始，从而减少所需的采样步数。

2. 交互学习机制

为了克服 RDDM 中独立建模的局限性，作者在 U-Net 架构中引入了交互学习策略：

双路径预测： 使用两个 U-Net 分别预测噪声 ( $\epsilon_\theta$ ) 和残差 ( $x_{res}^\theta$ )。
特征融合： 两条路径并非孤立运行，而是共享编码器特征。具体而言，在第一个下采样模块之后，来自两条路径的特征被拼接在一起，并通过 $1 \times 1$ 卷积进行处理（ $\tilde{h}_{res}$ 和 $\tilde{h}_\epsilon$ ）。
动态时间依赖建模： 用于两条路径的时间步输入由控制时间累积 ( $\bar{\alpha}_t$ ) 和噪声强度 ( $\bar{\beta}_t$ ) 的参数进行动态调节。这使得模型能够根据退化类型的特定特征概率分布，自适应地调整确定性成分和随机性成分的贡献。
共享上下文： 交互后的特征在解码阶段提供了共享的跨路径上下文信息，确保确定性引导与随机性多样性能够相互影响。

3. 训练与生成

模型通过最小化真实后验与学习到的逆向转换之间的 Kullback-Leibler (KL) 散度来进行训练。最终损失函数是噪声预测和残差预测的平方误差之和：
$L = L_{res}(\theta) + L_{\epsilon}(\theta)$
值得注意的是，这些组件是不加权的，因为交互机制在训练过程中促进了自适应平衡。在推理期间，模型通过从条件分布中迭代采样来生成高质量图像，当噪声缩放因子 $\eta = 0$ 时，该过程变为完全确定性。

核心贡献

新型扩散框架： 设计了一个能够交互式建模图像退化中确定性和随机性方面的框架，使扩散过程能够适应需要高保真度（精度）或多样性的任务。
动态时间依赖建模： 通过引入时间累积和噪声强度参数，为双扩散路径动态调节时间步输入，增强了在多种多样 IR 场景下的泛化能力。
高效的双路径架构： 仅使用两个带有共享编码器特征的简单 U-Net 实现双路径扩散。该设计以极小的参数开销实现了具有竞争力的性能，并具有高扩展性。

实验结果

所提方法在四项代表性 IR 任务上进行了评估：图像去噪、阴影去除、低光照增强和图像去雨。

性能表现： 该方法在所有任务中均取得了卓越或具有竞争力的性能。
- 去噪 (SIDD)： 达到了最佳的 PSNR (41.67 dB) 和 SSIM (0.9385)，优于 RDDM 及其他基准模型。
- 阴影去除 (ISTD)： 获得了最佳的 PSNR (29.29 dB) 和 MAE (8.776)，以及第二佳的 SSIM。
- 去雨 (Raindrop)： 达到了最佳的 PSNR (31.30 dB) 和 SSIM (0.9460)，成功去除了其他方法中留下的雨痕伪影。
- 低光照增强 (LOL)： 取得了第二佳的表现（PSNR 24.04, SSIM 0.9118），在指标上略逊于 LLFormer，但在结构保持方面表现强劲。
效率： 交互学习显著提高了采样效率。与其它扩散模型（如 DiffusionVI 需要 1000 步）相比，该模型仅需 1–4 个采样步即可获得高质量结果。
消融实验：
- 去除交互模块会导致所有任务的性能下降，证实了特征融合的益处。
- 使用动态时间依赖建模 ( $\bar{\alpha}_t, \bar{\beta}_t$ ) 的效果优于静态时间步建模 ( $t$ )。
- 最优采样步数因任务而异（低光照为 1 步，去噪为 2 步，阴影去除为 3 步，去雨为 4 步）。

意义与主张

论文声称所提出的框架为多任务图像修复提供了一个统一的解决方案，平衡了重建精度与多样性。通过交互学习整合确定性和随机性建模，该方法比基于 GAN 的方法具有更强的可解释性，比特定任务的 CNN 或 Transformer 具有更好的泛化能力。

作者也承认了局限性，特别是在具有较大亮度梯度的低光照增强任务中，亮度恢复可能不如专门的基准模型充分。他们还指出目前仍依赖于成对的“干净-退化”数据进行监督训练。未来的工作方向是优化针对光照敏感任务的扩散方程，并开发无监督训练策略以减少对数据的依赖。

总体而言，这项研究表明，一个简单的交互式双路径扩散架构可以有效地处理图像退化过程的异质性，为多样化的图像修复挑战提供了一种可扩展且高效的替代方案。