Transformer Image Dehazing Method Based on Physical Prior Guidance and Adaptive Feature Modulation
本文提出了一种基于 Transformer 的单幅图像去雾网络，该网络通过将物理先验引导与自适应特征调制相结合，以有效处理空间非均匀雾气并保留精细结构细节，在多个基准数据集上实现了最先进的性能。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
当浓雾袭来时，世界不仅仅是变成了灰色，而是变得平淡。空气中充满了微小的水滴或尘埃，它们散射光线，冲刷掉了天空深邃的蓝色，并将锐利的边缘变成了模糊、不清晰的斑块。对于人类来说，这只是暂时的不便；但对于试图观察的机器——比如在高速公路上行驶的自动驾驶汽车或监控城市街道的监控摄像头——这则是根本性的失效。机器失去了分辨道路终点与建筑物起点，或将行人与阴影区分开来的能力。科学家们长期以来一直试图教会计算机逆转这一过程，即剥离薄雾，揭示隐藏在下方的清晰场景。早期的尝试依赖于关于大气中光线行为的严格规则，而较新的方法则利用人工智能从数以千计的案例中学习。然而，这些学习系统在面对不均匀的雾气或复杂的照明条件时往往表现挣扎，有时会抹平重要的细节，或者凭空创造出原本不存在的颜色。
东南大学的一个研究小组开发了一种全新的方法，架起了这两个世界之间的桥梁。他们创建了一个将现代人工智能的灵活性与物理学的可靠逻辑相结合的系统。他们并没有让计算机去猜测如何清除图像，而是通过一张雾气最厚之处的地图来引导它。这张被称为“透射率图”（transmission map）的地图，是对每一点光线被阻挡程度的估计。通过将这一物理线索直接引入学习过程，该系统能够准确知道在哪里集中精力。它不仅仅是尝试让图片变亮，而是学会了恢复被雾气遮蔽的特定结构，确保远处的树木看起来依然是树，而近处的栅栏依然保持锐利。
他们这项发明的核心是一个模仿人类观察雾天场景方式的网络：首先获取宏观视野，然后聚焦于细节。研究人员构建了一个多层结构，能够同时在不同的尺度上处理图像。在最宏观的层面，系统使用一种先进的注意力机制来理解图像中远处部分之间的关系，意识到雾气通常是以一种连通的方式覆盖整个景观的。与此同时，它使用专门的滤波器来关注定义边缘和纹理的微小局部细节。这种双重方法使系统能够在保持大局观的同时，拒绝丢失那些让图像具有辨识度的精细线条。
为了使这一过程更加完善，团队引入了一种让系统调整自身行为的动态方式。想象一个相机镜头，它可以根据观察的是平滑的墙壁还是复杂的叶片图案，瞬间改变其对焦方式。在这个系统中，计算机会分析它所面临的特定类型的霾，并改变处理信息的方式。如果雾气较轻且细节清晰，它会专注于保留这些精细的纹理；如果雾气很重且场景被冲刷得模糊不清，它则会将注意力转向更广泛的上下文，以理解形状。这种适应性是由前文提到的物理地图引导的，该地图作为一个不断的提醒，告知系统大气密度最高的区域。系统还特别关注边缘，使用一种能够突出物体边界的技术，确保雾气不会模糊掉分隔汽车与道路、或人与建筑之间的界限。
研究人员在各种场景中测试了他们的方法，包括办公室等室内环境以及城市街道和乡村道路等室外环境。他们将结果与几种领先的方法进行了对比，包括较旧的基于规则的技术和较新的人工智能模型。结果显示，他们的方法始终能产生更清晰的图像和更高的结构准确度。在室外场景测试中，他们的方法在标准图像质量指标上达到了24.57分，同时保持了0.907的图像结构得分。在室内测试中，表现甚至更强，质量得分达到28.78，结构得分达到0.928。这些数字表明，该系统不仅去除了灰色薄雾，还保持了物体的锐度和排列，而许多其他方法往往难以同时实现这一点。
或许最重要的一点是，该系统在雾气变得极其浓厚时表现出了鲁棒性。随着霾密度的增加，其他方法往往会失去分辨形状的能力，导致图像变得模糊或扭曲。然而，这种新方法表现出了更优雅的退化过程。即使在重雾条件下，它也能保持高度的结构完整性，保持物体轮廓清晰且色彩真实。这表明，物理引导与自适应学习的结合，创造了一个在视觉信息匮乏时不易出错的系统。研究人员发现，系统的每个部分都发挥着独特的作用：物理地图告诉系统看向哪里，注意力机制帮助它理解场景布局，而动态调整则允许它针对特定条件进行精细化响应。
虽然结果令人鼓舞，但研究人员谨慎地指出，他们的测试是使用计算机生成的雾气与清晰图像配对进行的。这种设置可以精确测量系统的表现，但现实世界的雾气可能更加复杂，包含难以模拟的光线变化和颗粒密度变化。团队承认，需要更多在真实世界影像上的测试，以确认该方法在不受控环境下的完美表现。他们还指出，该系统比一些简单的模型需要更多的计算能力，这对于资源有限的设备来说可能是一个挑战。尽管存在这些局限性，这项工作仍为机器如何感知退化的世界迈出了重要一步。通过教会人工智能尊重物理定律并从数据中学习，研究人员创造了一个不仅靠猜测，而是靠理解来穿透迷雾的工具。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。