DFARNet: Learnable Frequency Attention ResNet with Dual-Attention for Single-Image Desnowing

雪不仅仅是一个美丽的冬季景象；对于那些驱动我们的汽车和监测我们城市的机器来说，它是一个令人困惑的模糊地带。与下落成清晰线条的雨或作为均匀薄雾悬浮的雾不同，雪是大小、透明度和密度各异的颗粒物的混乱混合体。对于试图观察世界的计算机而言，一片飘落的雪花看起来往往完全像一面白墙、一朵云或一朵花。这种视觉上的欺骗使得人工智能在试图清理雪天照片时，极难做到不误删场景背后的实际细节。几十年来，研究人员一直试图教会计算机区分天气与世界，但大多数方法都在区分随机的雪花与建筑或树木的锐利自然边缘方面表现挣扎。

中国长春理工大学的一个研究小组提出了一种解决这一问题的新方法，引入了一个他们称之为 DFARNet 的系统。该系统不再仅仅将雪天图像视为像素的集合（如以往的方法那样），而是同时从两种不同的方式来看待图像：将其视为一张图片，以及一种振动模式。在图像处理领域，每张图片都可以分解为频率，这些频率本质上是颜色和亮度在图像中变化的速率。自然的边缘（如屋顶的转角）会在这些频率中产生有组织的定向模式。然而，雪则会产生一种随机、散射的噪声，在数学视角下看起来截然不同。研究人员意识到，通过教计算机识别这些特定的随机模式，它就可以在不模糊真实世界锐利线条的情况下去除积雪。

他们构建的系统就像一对协同工作的专业眼睛。其中一只眼——空间分支，观察图像以确定雪的具体位置。另一只眼——频率分支，分析图像的数学振动，以理解雪在随机模式方面的特征。通过结合这两种视角，计算机可以精准定位并去除积雪。这种双重方法解决了旧系统的一个主要缺陷，即旧系统由于仅观察图像表面，经常会将雪与其他白色物体混淆。这种新方法学会了根据所见的雪进行自适应，而不是依赖于在天气变化时可能会失效的固定规则。

为了训练这个系统，研究人员使用了一系列大量的雪天图像，并教会计算机重建隐藏在下方的清晰场景。他们在训练过程中设计了一个特殊的评分系统，不仅奖励计算机使图片看起来清晰，还奖励其保持物体边缘的锐利与真实。当他们将新系统与其他领先方法进行对比测试时，结果令人振奋。在一个标准测试集上，他们的系统达到了 31.60 dB 的得分，这是一个衡量图像质量的指标，高于其他几种先进模型。更重要的是，它生成的图像看起来更自然，具有更好的纹理和色彩准确度，避免了其他除雪工具常见的模糊或过度平滑的问题。

研究人员指出，虽然他们的系统非常有效，但它并非解决所有可能场景的完美方案，特别是在能见度几乎为零的极端暴雪天气下。他们还指出，分析图像频率所需的数学过程需要一定的计算能力，这对于非常小的设备来说可能是一个挑战。然而，他们的工作证明了通过频率模式的视角来观察图像，为解决旧问题提供了一种强大的新途径。通过教会计算机识别雪的隐藏结构，他们创造了一个工具，可以帮助自动驾驶汽车和监控系统即使在世界被白色覆盖时也能清晰地观察。