💻 computer science

Research on Motion Image Deblurring via Spatial–Frequency Dual-Domain Information Fusion

本文提出了一种具有约束动态融合机制的时空-频率双域框架，以有效平衡全局结构建模与局部细节保留，从而在抑制振铃伪影的同时，实现了最先进的运动去模糊性能。

原作者： Jiahao Wang, Qing Qi, Kaiqiang Zhang

发布于 2026-08-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiahao Wang, Qing Qi, Kaiqiang Zhang

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图拍下一场快速移动的足球赛中的完美瞬间，但就在快门按下的那一刻，你的相机抖动了一下。结果变成了一团模糊的景象，球员们看起来就像幽灵般的残影。这就是“运动模糊”（motion blur）的问题，也是摄影师和计算机共同面临的常见难题。为了解决这个问题，科学家使用了两种主要工具。第一种就像近距离观察一幅画：你检查每一个微小的笔触和像素，以观察细节。这被称为空间域（spatial domain）。它擅长处理锐利的边缘，但有时会对大局感到困惑，比如不知道球滚动的方向。第二种工具则像是观察画作的影子或它的乐谱：你分析构成图像的波形和频率。这就是频率域（frequency domain）。它在理解模糊的整体流动和长距离模式方面表现出色，但有时会变得有些“嘈杂”，有时会产生原本不存在的奇怪环状声纹或伪影。这个领域的核心问题一直是：我们如何在不让其中一种方法干扰另一种方法的情况下，获得两者的精华？

这篇题为《基于空-频双域信息融合的运动图像去模糊研究》（Research on Motion Image Deblurring via Spatial–Frequency Dual-Domain Information-Fusion）的论文提出了一种聪明的解决方案：让这两位专家进行一次联手。研究人员贾豪王、齐清和张凯强构建了一个智能计算机程序（神经网络），它不仅仅是选择一种方法，而是同时运行两个平行的“大脑”。一个大脑专注于局部细节（空间域），另一个大脑专注于全局模式（频率域）。真正的魔力在于它们如何进行交流。它们并没有简单地将答案强行合并，而是使用了一个“动态融合”系统。想象一下这就像一位正在混音两首音乐轨道的 DJ。如果节奏清晰，DJ 就会调大节奏轨道的音量；如果旋律模糊，他们就会增强旋律轨道。这个系统不断调整平衡，确保最终的图像在需要的地方足够锐利，在需要的地方足够平滑，而不会出现通常困扰频率处理方法的奇怪环状噪声。

团队在多个数据集上测试了他们的想法，包括著名的 GoPro 数据集（其特点是真实的相机抖动）以及一些现实世界的模糊照片。结果令人印象深刻。在 GoPro 数据集上，他们的方法达到了 31.08 dB（一种图像质量度量）和 0.915 SSIM（一种结构相似性度量）。在对现实世界模糊图像（RealBlur-J 和 RealBlur-R）进行测试时，他们分别获得了 29.98 dB / 0.879 和 35.93 dB / 0.959 的成绩。这些数字表明，与许多仅依赖单一类型处理的方法相比，他们的方法在处理复杂的、混乱的模糊时表现得更好。

然而，论文也警告我们不要仅仅因为使用一种工具就过于兴奋。通过仔细的实验，作者发现仅依赖频率域（即“乐谱”大脑）存在一个严重的缺陷。虽然它擅长观察大局，但容易产生“环状伪影”——即在边缘处出现的视觉故障，看起来像涟漪或色块，尤其是在复杂的场景中。他们展示了单一的频率分支实际上可能会通过过度放大某些部分，使严重模糊的图像看起来反而更糟。这就是为什么他们的“双域”方法至关重要：空间分支充当了一个安全网，捕捉频率分支遗漏的细节，并抚平它的错误。

研究人员还检查了他们的“DJ 混音”技巧是否适用于其他类型的图像问题，比如去除雨痕或清理静态噪声。即使没有针对这些任务进行专门训练，该系统也适应良好，这表明平衡局部和全局信息的能力是修复图像的一种强大的通用技能。简而言之，这篇论文表明，消除照片模糊的最佳方式不是在观察细节或观察大局之间做出选择，而是拥有一个知道何时该倾听哪一方的智能系统。

技术摘要：基于空间-频率双域信息融合的运动图像去模糊研究

1. 问题陈述

由于相机与场景之间的相对运动，在曝光期间产生的运动诱导图像模糊是计算机视觉领域面临的一个重大挑战。其核心难点在于全局结构建模与局部细节保持之间的内在权衡。

空间域方法（如 CNN、Transformer）擅长捕捉精细的纹理和边缘，但往往受限于感受野有限的问题，难以建模长程依赖关系和全局模糊模式。
频率域方法能有效建模全局模糊模式和长程依赖关系，但在复杂的运动场景中经常无法维持空间一致性，常会引入诸如振铃效应（ringing）和色彩块失真等伪影。

仅依赖单一领域或采用简单融合策略的现有方法，无法在处理现实场景中复杂且非均匀的运动模糊时，同时实现高保真度的局部细节恢复和精确的全局结构重建。

2. 方法论

作者提出了一种基于生成对抗网络（GAN）架构的空间-频率双域框架。生成器采用 U-Net 编码器-解码器结构，其特征是拥有两个并行的平衡分支和一个受约束的动态融合机制。

2.1 双分支架构

生成器在 U-Net 主干网络中嵌入了两个并行的特征处理流：

空间特征分支 (SFB)： 利用堆叠的残差块，结合 3×3 卷积、批归一化（Batch Normalization）和 PReLU 激活函数。该分支专注于直接在像素域提取局部纹理、边缘和结构细节。
频率特征分支 (FFEB)： 通过二维快速傅里叶变换（2D FFT）将输入特征转换到频率域。它采用了一个可学习傅里叶核来自适应地重新加权频率分量。
- 该内核将复数谱分解为幅度谱和相位谱，并由可学习矩阵（ $W_{amp}$ 和 $W_{phase}$ ）进行调制。
- 为了减少参数量，这些矩阵被分解为向量的可分离外积。
- 该机制通过抑制低频区域并放大高频区域来增强边缘，同时保留全局结构，随后通过逆快速傅里叶变换（Inverse FFT）返回空间域。

2.2 双域动态融合模块 (DDFB)

核心创新点是 DDFB，它能够自适应地整合来自两个分支的特征。

机制： 它使用一个可学习的门控参数 ( $\alpha$ ) 来控制空间特征图 ( $X_1$ ) 与频率特征图 ( $X_2$ ) 之间的融合比例。
约束： 门控机制通过缩放和平移函数（ $\alpha = \sigma(gate) \cdot 0.8 + 0.1$ ）被显式约束在 $[0.1, 0.9]$ 范围内。这防止了其中一个分支主导融合过程。
训练动态： 门控初始化为 0.5（等贡献）。在训练过程中，如果门控的全局均值显著偏离 0.5，则会调整温度系数以迫使门控曲线趋于平滑，从而确保平衡的学习，而无需显式的特定分支标签。

2.3 其他模块

嵌套残差密集块 (NRDB)： 通过不进行下采样的级联密集连接，增强特征复用能力和表示能力。
双条带注意力 (BSA)： 引入在上采样阶段，用于解决方向性变化的运动模糊。它沿水平和垂直条带应用多头自注意力机制，以恢复缺失的方向性结构并高效地建模长程依赖。

2.4 损失函数

模型使用复合损失函数进行训练：
$L = \lambda_1 L_{rec} + \lambda_2 L_{prec} + \lambda_3 L_{edge} + \lambda_4 L_{adv}$
这包括像素级重建损失 ( $L_{rec}$ )、来自预训练 VGG 网络的感知损失 ( $L_{prec}$ )、边缘一致性损失 ( $L_{edge}$ ) 以及基于 WGAN-GP 的对抗损失 ( $L_{adv}$ )。

3. 核心贡献

平衡的双分支分析： 作者构建了严格参数匹配的单分支基准（仅空间和仅频率）来系统地分析表示差异。研究证实，频率域特征在捕捉全局依赖方面本质上更优，但缺乏空间一致性；而空间特征保留了局部细节，但在全局上下文建模方面表现乏力。
约束动态融合 (DDFB)： 提出了具有显式约束的可学习门控机制，用于自适应平衡空间与频率的贡献。这防止了特征主导现象，并实现了像素级的自适应融合，有效地协调了全局结构重建与局部细节保持。
对频率局限性的实证验证： 通过消融实验和视觉分析，论文证明了虽然频率分支改善了全局建模，但它们会在复杂的重度模糊区域引入振铃伪影和色彩块失真，从而证明了空间约束的必要性。

4. 实验结果

该方法在合成数据集 (GoPro) 和真实世界数据集 (RealBlur-J, RealBlur-R, Köhler) 上进行了评估。

定量性能：
- GoPro： 实现了 31.08 dB PSNR 和 0.915 SSIM。
- RealBlur-J： 实现了 29.98 dB PSNR 和 0.879 SSIM，优于多种基于 Transformer 的方法（如 Restormer, FFTformer）及基于 GAN 的竞争对手。
- RealBlur-R： 实现了 35.93 dB PSNR 和 0.959 SSIM。
- Köhler (空间变化模糊)： 实现了 22.14 dB PSNR，展示了在其他方法难以处理的区域性变化模糊核下的鲁棒性。
定性观察： 与单域或简单融合的方法相比，该方法有效地抑制了振铃伪影，并在动态区域产生了视觉一致性更高、边缘更锐利的图像结果。
跨任务泛化能力： 在无需修改架构的情况下，该框架成功应用于图像去雨 (Rain1400) 和 高斯去噪 (CBSD68)，取得了具有竞争力的结果（Rain1400 上为 28.27 dB PSNR），表明了空间-频率协作机制的通用性。
消融实验洞察：
- 简单地将双分支进行拼接，相对于单分支几乎没有带来增益。
- DDFB 模块相比简单融合提供了超过 1.6 dB PSNR 的超加性增益。
- 信息论分析显示，与简单拼接相比，DDFB 将协同增量 ( $\Delta I$ ) 提高了约 23%，证实了其在减少冗余方面的有效性。

5. 意义与主张

本文声称，这项工作的核心意义在于为图像去模糊中的跨域融合提供了一个原则性的基础。通过超越单纯的架构设计，转而系统地分析频率域建模的机制，作者证明了：

频率域特征对于全局依赖建模至关重要，但由于空间不一致性，无法单独发挥作用。
有效的去模糊需要一种受约束的动态融合策略，而非固定的权重或简单的堆叠。
所提出的空间-频率双域框架为复杂的现实运动模糊提供了一个鲁棒的解决方案，在全局结构重建与局部细节保持之间实现了有效平衡，同时减轻了与纯频率方法相关的特定伪影（如振铃、色彩块）。

作者总结道，其方法为运动图像去模糊提供了一个实用且高效的解决方案，同时也为未来多域恢复研究中理解频率机制的优势与局限性提供了更清晰的视角。未来的工作计划探索自适应模型简化，以减少双分支架构中的冗余。