💻 computer science

Backbone-Agnostic Perturbation-Induced Uncertainty Learning for End-to-End Real-World Image Dehazing

本文提出了 BPUL，一种即插即用的不确定性学习框架，该框架通过利用可学习扰动估计特征敏感性、利用物理先验强制退化一致性以及利用双空间对比损失来增强端到端的真实世界图像去雾，同时保持极低的推理开销。

原作者： Bingcai Wei

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Bingcai Wei

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图给一位朋友拍一张清晰的照片，但一阵浓厚且不均匀的大雾正席卷而来。有时雾气在地面附近特别厚，有时又显得轻薄稀疏，有时阳光照射在雾气上的方式又很奇特，使得不同地方看起来各不相同。试图在电脑上修复这样一张照片，就像是在从未真正看清对方的情况下，试图去猜测你朋友的长相一样。

长期以来，计算机程序尝试通过扮演一个“超级聪明的猜谜者”来解决这个问题。它们会观察有雾的照片并说：“我觉得清晰的版本应该是这样，”然后直接把它画出来。但这篇文章的作者，Bingcai Wei及其团队意识到，这些程序缺少了一个至关重要的拼图碎片：不确定性（uncertainty）。它们对自己的猜测过于自信了，即便是在面对棘手的浓雾时也是如此。

核心理念：“如果我稍微推一下呢？”

与其仅仅猜测答案，该团队构建了一个名为 BPUL（基于骨干网络无关的扰动诱导不确定性学习）的新系统。你可以把它想象成一个侦探，他不仅观察犯罪现场，还会追问：“如果我把这把椅子稍微挪动一英寸，故事还能解释得通吗？”

以下是他们三部分“侦探工具包”的工作原理：

1. “微调”检测器 (LPUM)
想象你有一个由粘土制成的雕塑。如果你轻轻戳一下它的某个部位，它剧烈晃动，那么这个部位就是摇摆不定、不确定的；如果你戳了另一个地方，它纹丝不动，那么那个部分就是稳固的。
该团队的系统——LPUM，对计算机的“大脑”（图像处理网络）也做了同样的事情。它向图像数据中添加了微小的、随机的“微调”（扰动）。

如果计算机的猜测在受到微调后发生了剧烈变化，系统就会意识到：“喔！这部分雾气很大且令人困惑！我在这里需要格外小心。”
如果猜测保持不变，系统则会说：“好吧，这部分很清晰。我可以信任它。”
这让计算机能够调整其注意力，在不需要从头重建整个计算机大脑的情况下，将精力集中在那些棘手的、多雾的区域。它几乎可以适配任何现有的图像修复程序，就像是视频游戏的插件一样。

2. “逆向工程” (PURM)
一旦计算机做出了它对清晰图像的最佳猜测，系统就会玩一场逆向游戏。它拿起那个“清晰”的猜测，并尝试利用物理定律（光线如何在雾气中传播）将其“还原”回最初的那张有雾的照片。

如果计算机的“清晰”猜测能被完美还原成我们开始时的那张有雾照片，太棒了！这意味着这个猜测在物理上是可能的。
如果逆向工程生成的雾气看起来与原始图像完全不同，系统就知道猜测错了，并尝试重新开始。
这就像一位厨师品尝了一碗汤，然后尝试根据味道还原出精确的配料表。如果配料表与原始食谱不符，厨师就知道自己漏掉了某些东西。

3. “现实检查” (D3CL)
最后，系统使用一种特殊的评分规则，称为 D3CL。想象你正在教一名学生画猫。

正面教材： 你展示一张真实的猫的照片（清晰的目标图像）。
负面教材： 你展示一张狗的照片（一个“负样本”）并说：“不要画成这样！”
转折点： 在现实世界中，雾气并非千篇一律。有时厚，有时薄，有时在室内，有时在室外。团队意识到，仅仅向计算机展示一种类型的雾气是不够的。因此，他们喂给了计算机混合了真实雾气照片和计算机生成的雾气照片作为“坏例子”。
这教会了计算机识别雾气的各种形态和大小，帮助它避免被奇怪的光照或奇特的纹理所迷惑。

它真的有效吗？

团队在五个不同的现实世界雾气数据集（分别名为 Dense-Haze, I-HAZE, O-HAZE, NH-HAZE, 和 LMHaze）上测试了这个系统。他们不仅仅测试了一种类型的雾，还测试了浓雾、薄雾、室内雾和室外雾。

结果非常令人印象深刻。当他们将“微调检测器”添加到四种不同的流行图像修复程序中时，照片变得更加清晰了。

对于 MIMOUNet 程序，图像质量提升了 1.13 dB（清晰度度量）以及 0.031 的结构相似度。
对于 HOGformer-S，质量提升了 1.48 dB 以及 0.061。
总的来说，该系统使照片看起来更接近真实的无雾版本，而不是模糊且色彩褪色的猜测。

最棒的部分：它很快

通常，当你为计算机程序添加许多智能检查时，程序会变慢。但这里有一个酷炫的技巧： “逆向工程”和“现实检查”只在计算机学习（训练）阶段发生。一旦计算机完成学习，它就会丢弃这些沉重的工具。
当你实际使用该程序来修复照片时，它只使用轻量级的“微调检测器”。这意味着你在获得超清晰照片的同时，不会让计算机运行变慢。

他们没有说的话

了解这篇文章并未声称什么也很重要。作者并没有说他们“永久解决了”雾气问题。他们也没有说这适用于宇宙中每一种类型的图像。他们特别指出，虽然他们的系统在处理现实世界雾气的不确定性方面表现出色，但它并不能取代对优质训练数据的需求。此外，他们并未声称这适用于视频或3D电影；他们专注于修复单张静态图像。

总结

主要的发现是，通过承认“我不百分之百确定这张图像的这一部分”并测试图像对微小变化的反应，计算机可以比以前更好地修复有雾的照片。这有点像是意识到，寻找穿越迷雾森林的最佳路径并不是仅仅靠猜测路径，而是通过探测地面、倾听风声，并在迈出下一步之前从各个角度检查你的地图。而最棒的是？你不需要为了做到这一点而背上一个更大的背包。

技术摘要：用于端到端真实世界图像去雾的骨干网络无关扰动诱导不确定性学习

问题陈述

由于真实世界图像去雾具有空间非均匀性、依赖光照以及物理模糊性，这仍然是一个极具挑战性的病态问题。虽然现有的端到端恢复网络通常将去雾建模为从模糊观测到清晰目标的确定性映射，但它们往往无法显式地探索隐藏在退化特征、雾气先验以及跨域负样本中的不确定性。即使使用配对的真实世界数据集（如 I-HAZE、O-HAZE、Dense-Haze），仅进行像素级重建也可能导致结构过度平滑或颜色偏差，因为标准的监督学习并未考虑到不同特征通道和空间位置对雾气变化的敏感度差异。此外，现有方法缺乏验证恢复图像是否与观测到的雾气形成过程在物理上一致，或者如何在特征空间中有效分离清晰目标与真实及合成退化域的机制。

方法论：BPUL 框架

作者提出了骨干网络无关的扰动诱导不确定性学习（Backbone-Agnostic Perturbation-Induced Uncertainty Learning, BPUL），这是一个即插即用的框架，旨在对退化敏感的特征不确定性进行建模，而无需重新设计底层的恢复骨干网络。BPUL 由三个互补的部分组成：

1. 可学习的扰动诱导不确定性调制器 (LPUM)

LPUM 是插入到恢复骨干网络（CNN、Transformer 或混合架构）中间层的核心推理时模块。它的工作原理如下：

随机扰动： 向中间特征图注入可学习的随机扰动。它通过重参数化采样（预测均值和对数标准差）来估计通道维度和空间维度的扰动分布。
不确定性响应： 通过比较原始特征响应与逆向对齐的扰动响应，计算差异图。该差异衡量了特定通道和空间位置对雾相关扰动的敏感性。
特征调制： 将这些差异转换为调制权重（通过 Sigmoid 门控映射）以自适应地缩放特征。稳定的响应表示可靠的内容，而扰动后的剧烈变化则凸显了需要调制的退化敏感区域。

2. 先验信息引导的不确定性引导重建模块 (PURM)

PURM 作为一种训练时的约束，用于强制执行物理一致性。它利用大气散射模型从恢复图像 ( $\hat{J}$ ) 重建原始模糊观测 ( $\hat{I}$ )：
$\hat{I}(x) = \hat{T}(x)\hat{J}(x) + (1 - \hat{T}(x))\hat{A}(x)$

先验注入： 它利用暗通道先验（DCP）估计的传输率 ( $T_d$ ) 和大气光 ( $A_d$ )，通过拼接和潜在仿射调制进行注入。
不确定性耦合： 至关重要的是，PURM 继承了由骨干网络 LPUM 生成的扰动线索 ( $N_c, N_s$ )（通过继承的 I-LPUM 模块），而不是学习新的扰动。这确保了在正向去雾过程中被识别为敏感的区域也会影响反向的雾气重建。
损失函数： 重建损失 ( $L_{rec}$ ) 最小化重建的模糊图像与原始输入之间的差异。

3. 双空间领域多样化分布感知对比损失 (D3CL)

D3CL 在清晰恢复空间和模糊重建空间中同时正则化特征分布。

双空间： 它对去雾输出 ( $\hat{J}$ ) 和重建的模糊图像 ( $\hat{I}$ ) 同时应用对比学习。
多样化负样本： 它不仅使用配对的模糊输入作为负样本，还采用了：
- 真实世界负样本： 来自其他训练对的非对应模糊图像，用以建模更广泛的真实世界退化域。
- 合成负样本： 用以覆盖合成雾气分布。
随机特征： 为了高效地近似分布感知表示，它基于激活幅度对感知特征（通过冻结的 VGG-19 提取）进行扰动，从而避免了昂贵的蒙特卡洛推理。
目标： 该损失将锚点拉向正样本（清晰图像或原始模糊图像），并将锚点推离扰动感知感知空间中的真实和合成负样本。

训练与推理： 整个框架（LPUM + PURM + D3CL）在训练期间使用。在推理阶段，仅保留增强了轻量级 LPUM 的骨干网络；PURM 和 D3CL 会被丢弃，从而确保极低的额外计算开销。

核心贡献

BPUL 框架： 引入了一种骨干网络无关的不确定性学习框架，通过可学习的随机扰动显式地对退化敏感的特征不确定性进行建模。
LPUM： 一个能够从扰动诱导的差异中估计通道和空间不确定性响应的模块，实现了自适应特征调制，且无需改变骨干网络架构。
PURM： 一个重建模块，通过利用传输/大气先验和共享的不确定性线索，建立了一个双向物理一致性约束，从而从恢复结果重建模糊观测。
D3CL： 一种双空间对比损失，在扰动感知的特征空间内，利用真实和合成负样本对清晰空间和模糊空间进行正则化。
实证验证： 广泛的实验证明，BPUL 在五个真实世界配对基准测试中一致地提升了多个代表性骨干网络（MIMOUNet, IRNeXt, HOGformer-S, VIVNet）的性能。

实验结果

作者在五个真实世界配对基准测试上评估了 BPUL：Dense-Haze, I-HAZE, O-HAZE, NH-HAZE, 和 LMHaze。

性能： BPUL 一致地提升了所有四个测试的骨干网络。平均而言，它使 MIMOUNet 提升了 1.13 dB / 0.031 SSIM，IRNeXt 提升了 0.96 dB / 0.021 SSIM，HOGformer-S 提升了 1.48 dB / 0.061 SSIM，以及 VIVNet 提升了 1.09 dB / 0.038 SSIM。
泛化性： 该方法在不同的退化类型（室内/室外、均匀/非均匀、不同强度）和不同的骨干网络架构（CNN、Transformer、混合架构）中均表现出鲁棒性。
效率： 由于 PURM 和 D3CL 仅作为训练约束，其推理成本极低，仅限于轻量级的 LPUM 操作。
消融实验：
- 移除 LPUM 中的通道分支或空间分支都会降低性能，证实了联合建模的必要性。
- 移除可学习的扰动生成会降低 PSNR，突显了学习分布的重要性。
- 在 PURM 中，移除先验输入或不确定性调制会显著降低性能，且在正向和反向模块之间共享扰动被证明优于独立估计。
- D3CL 消融实验表明，使用非对应真实负样本、合成负样本和随机 VGG 特征能逐步提升结果，完整的双空间公式产生了最佳增益。

重要性与主张

本文声称 BPUL 提供了一种通用且高效的方法，用于强化真实世界去雾网络。通过显式学习退化敏感的不确定性并强制执行双向退化一致性，该框架解决了确定性映射往往会忽略的真实世界雾气的歧义性。作者强调，BPUL 是骨干网络无关的，这意味着它可以以极小的架构干预集成到现有的最先进恢复网络中，同时带来实质性的恢复增益。该方法将范式从纯粹的确定性恢复转向了不确定性感知处理，为处理真实世界雾气的物理模糊性提供了一种在不增加显著推理开销的前提下，具有原则性的方法。