⚡ electrical engineering

Learnable Blur Kernel for Single-Image Defocus Deblurring in the Wild

本文提出了一种新颖的无监督离焦去模糊框架，该框架结合了用于离焦图估计的可学习模糊核与受新型离焦对抗损失引导的生成对抗网络（DefocusGAN），在无需双像素传感器的情况下，在图准确度和感知图像质量方面均达到了最先进的性能。

原作者： Jucai Zhai, Pengcheng Zeng, Chihao Ma, Yong Zhao, Jie Chen

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Jucai Zhai, Pengcheng Zeng, Chihao Ma, Yong Zhao, Jie Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正试图通过相机镜头观察，但镜头的对焦稍微有些失准。照片中的某些部分是清晰的，但另一些部分因为太近或太远而变得模糊。这被称为离焦模糊（Defocus Blur）。

长期以来，修复这个问题就像是试图将一杯混合了草莓和香蕉的奶昔重新拆解回原本的草莓和香蕉。大多数尝试修复图像的计算机程序要么让照片看起来过于平滑（丢失了所有微小的细节，比如皮肤纹理或杂志上的文字），要么需要特殊的、昂贵的相机硬件才能运行。

这篇论文介绍了一种全新的、巧妙的方法，仅使用单张照片即可修复模糊照片，而无需特殊的相机。以下是他们实现这一目标的步骤，分为几个简单的环节：

1. “地图”问题：寻找模糊所在

要修复一张模糊的照片，计算机需要知道模糊发生在哪里以及模糊程度有多严重。

旧方法： 一些方法使用特殊的“双像素（Dual-Pixel）”相机（类似于拥有两只眼睛）来确定模糊情况。但在现实中使用这种特殊的相机视图既困难又缓慢。其他方法试图猜测模糊图，但往往会猜错，或者需要一个“老师”（地面真值数据）来引导学习。
新妙招（可学习的模糊核）： 作者创建了一个“智能猜测者”。想象一个没有标准答案，但被允许反复练习画图的学生。他们构建了一个系统，通过模拟模糊过程本身，学习如何生成离焦图（Defocus Map）（一个显示哪些部分模糊的指南）。这就像一位厨师通过品尝并调整香料来重现一道菜，而不是仅仅遵循食谱。这种方法是“无监督”的，这意味着它可以通过自我学习，而不需要完美的范例来模仿。

2. “修复”问题：修复照片

一旦有了地图，就需要实际修复图像。

旧方法： 标准的计算机程序通常会对整张照片进行统一处理。它们可能会修复模糊的部分，但却不小心让清晰的部分看起来很奇怪，或者让模糊的部分看起来像塑料一样（虽然平滑但显得虚假）。
新妙招（DefocusGAN）： 作者构建了一个名为 DefocusGAN 的特殊 AI 团队。可以把这个团队看作有两个角色：
- 生成器（画家）： 这个 AI 试图将清晰的细节重新绘制到模糊的地方。
- 判别器（评论家）： 这个 AI 观察结果并说：“这看起来不真实，纹理不对。”
- 秘诀（离焦对抗损失）： 通常，评论家会对整张照片进行同等程度的评判。但作者告诉评论家要格外关注模糊区域。这就像一位老师在批改试卷时，对于那些最难的问题给予额外的分数。这迫使“画家”将精力集中在修复混乱的部分，同时保持清晰部分依然清晰。

3. “多尺度”策略：放大与缩小

模糊点的大小各异。微小的模糊需要小规模的修复；巨大的模糊则需要大规模的修复。

解决方案： 网络会在不同的“缩放级别”（尺度）下观察照片。它针对不同大小的模糊设有不同的“分支”：
- 对于微小的模糊，它会近距离观察仅有的几个像素。
- 对于巨大的模糊，它会退后一步，观察更广泛的区域以理解上下文。
- 这就像侦探破解案件：对于微小的线索，他们用放大镜观察；对于宏大的模式，他们则观察整个犯罪现场地图。

4. 结果：一种“神奇”的单图修复

最酷的部分在于，虽然这个 AI 在学习如何修复时会使用地图，但在实际处理新照片时，它并不需要这张地图。

训练阶段： AI 在地图的帮助下学习（就像带着辅助轮训练）。
推理阶段（实际使用）： 一旦训练完成，你就可以摘掉辅助轮。你只需输入一张模糊的照片，它就能自动知道如何修复它。

为什么这很重要（根据论文所述）

更好的细节： 与以往让照片看起来像塑料般平滑的方法不同，这种方法能找回高频细节（如砖墙的纹理或书本上的文字）。
无需特殊硬件： 你不需要使用双像素相机来使用此方法；它适用于普通照片。
高效性： 它所使用的计算机“参数”相对较少（它不是一个臃肿、缓慢的系统）。
性能表现： 在测试中，该方法产生的图像比其他顶尖方法更清晰、更真实，在标准质量测量指标上也得分更高。

简而言之： 他们教会了计算机如何绘制自己的模糊地图，然后利用一个“严厉的评论家”AI 来强迫一个“画家”AI 只修复模糊部分，同时保持清晰部分依然清晰，从而得到一张看起来像是用完美对焦拍摄的照片。

技术摘要：用于野外单幅图像离焦去模糊的可学习模糊核

问题陈述
当场景点位于镜头的景深之外时，会发生离焦模糊，导致在图像平面上形成弥散圆（CoC）。虽然双像素（DP）传感器的最新进展改进了离焦图估计和去模糊效果，但提取实时 DP 视图对于算法部署而言仍然复杂且繁琐。现有的单幅图像离焦去模糊方法往往无法提供可靠的离焦线索，导致难以处理大规模模糊并缺乏高频（HF）细节，从而导致感知质量不佳。此外，传统的两阶段方法（先估计图谱再进行反卷积）通常依赖于手工特征、地面真值或校准后的模糊核，使其难以应用于野外环境。

方法论
作者提出了一个由两个主要部分组成的新颖框架：一个使用可学习模糊核的无监督离焦图估计模块，以及一个用于单幅图像去模糊的离向图引导生成对抗网络（DefocusGAN）。

用于离焦图估计的可学习模糊核 (BK)：
- 无监督方法： 由于无法获得地面真值离焦图，作者提出了一种使用 DP 视图作为输入来估计图谱的无监督方法。
- 模糊重建： 该方法学习一个网络 $f$ 从 DP 视图中估计离焦图 ( $I_{DM}$ )。该图谱引导重建网络 $g$ 对全聚焦（AiF）图像进行模糊处理，生成合成的模糊图像 ( $I^*_{OoF}$ )。
- 可学习核： 为了避免校准真实模糊核的困难，作者引入了一个可学习的 BK。该核使用巴特沃斯高通滤波器（模拟相机的离焦特性）与高斯核卷积而成。通过交替优化参数以最小化重建模糊与实际 DP 模糊图像之间的几何损失 ( $L_{gem}$ )，从而优化参数。
- 正则化： 在损失函数中添加了先验正则化项来惩罚梯度，以确保估计的离焦图是平滑的。
DefocusGAN（离焦图引导的去模糊）：
- 架构： 生成器 ( $G$ ) 是一个受估计离焦图引导的多尺度网络。它采用离焦图引导模块（DGB），根据 CoC 半径将处理过程分为多个分支。
- 多尺度处理： 网络在不同分辨率（1x, 1/4x, 1/8x）下处理特征。处理较大 CoC 半径的分支利用类似 U-Net 的结构结合残差通道注意力模块（RCAB）来聚合大感受野的特征，而较小半径的分支则使用全卷积层。
- 模拟退火： 在训练期间，通过模拟退火策略逐渐降低离焦图的引导作用。这使得网络能够独立学习去模糊先验，从而实现仅使用单幅图像进行推理而无需离焦图。
- 离焦对抗损失： 引入了一种专门的损失函数，其中判别器 ( $D$ ) 根据离焦图对不同区域进行加权。具有较大 CoC 半径（更模糊）的区域被分配更高的权重，迫使生成器专注于恢复高度模糊区域的细节。
- 总损失： 生成器的训练结合了 L1 内容损失 ( $L_c$ )、基于 VGG19 特征的感知损失 ( $L_p$ ) 以及提出的离焦对抗损失 ( $L_{defocusadv}$ )。

核心贡献

可学习模糊核： 本文引入了一种使用可学习模糊核来估计离焦图的自监督方法，消除了对模糊核校准的需求，并达到了与监督方法相当的性能。
DefocusGAN： 作者提出了首个用于单幅图像离焦去模糊的离焦图引导多尺度 GAN。该架构能有效保持清晰区域的信息，同时恢复模糊区域的纹理和细节。
离焦对抗损失： 一种新型损失函数，旨在将对抗训练引导至特定的离焦区域，从而提高高频细节的恢复能力。
效率与性能： 该方法以相对较少的参数量（4.59M）实现了最先进的结果，在定量指标和感知质量方面均优于现有方法。

实验结果
该方法在 DPDD 数据集（500 幅图像集）上进行了评估，并在 CUHK 和 Google PixelDP 数据集上测试了泛化能力。

定量性能： 在 DPDD 测试集上，所提方法的 PSNR 达到 25.56 dB，LPIPS 为 0.111。这优于以往的最先进单幅图像方法，如 MDPNet（PSNR 25.35, LPIPS 0.225）和 IFAN（PSNR 25.18, LPIPS 0.156）。
与基于 DP 方法的比较： 虽然使用原始 DP 视图作为输入的模型（如 DPDNet）能获得较高的 PSNR，但所提单幅图像方法取得了极具竞争力的结果（25.56 dB 对比 DPDNet 的 25.13 dB），且由于推理时不需要访问双像素视图，其更具部署优势。
定性改进： 与产生伪影或缺乏高频细节的方法相比，视觉对比显示，该方法在恢复大规模模糊、物体轮廓和精细纹理（例如杂志上的文字、士兵的眼镜）方面有显著改进。
消融实验： 实验证实了每个组件的必要性：离焦图引导（DG）、多尺度（MS）模块、感知损失以及特定的离焦对抗损失都对最终性能做出了贡献。可学习的 BK 被证明优于固定的高斯或巴特沃斯核。

意义与主张
本文声称，所提出的方法通过利用无监督离焦图估计和专门的 GAN 架构，有效地解决了野外环境下单幅图像离焦去模糊的挑战。其意义在于：

可部署性： 通过移除推理时对实时 DP 视图提取的依赖，简化了算法部署。
感知质量： GAN 和特定离焦损失的集成成功恢复了高频细节和真实的纹理，而这些细节在基于 L1/L2 损失的方法中经常丢失。
鲁棒性： 该方法能有效处理大面积离焦模糊，这是以往单幅图像方法的已知弱点。
高效性： 它以紧凑的模型规模实现了最先进的性能，使其适用于实际应用。

作者总结道，其工作提供了一个平衡了性能与实际部署约束的鲁棒离焦去模糊框架，并指出未来的工作可以探索涉及掩模学习和扩散模型的新框架。