DA-LightNet: Real-Time Rain and Haze Removal on Edge Devices
本文提出了 DA-LightNet，这是一种轻量级、统一的深度学习网络，通过采用退化感知调制模块和高效卷积块，在平衡高恢复质量与低计算成本的同时，实现在资源受限的边缘设备上实时去除雨雾。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
每天，摄像机都在捕捉真实的世界，但世界很少是清晰的。雨水划过挡风玻璃，模糊了前方的道路；而浓雾笼罩着城市，将色彩鲜艳的建筑变成了灰色的剪影。这些天气状况不仅仅是破坏了一张照片，它们还剥夺了机器进行视觉识别所需的细节。对于日益增长的依赖视觉进行导航的智能摄像头、无人机和自动驾驶汽车网络而言，模糊的图像可能意味着错过障碍物或错误的转向。几十年来，科学家们一直致力于教计算机如何清理这些杂乱的图像，利用复杂的数学模型来推测天气干扰前的场景原貌。然而，执行这项任务最强大的工具传统上都非常沉重，需要拥有海量内存和算力的庞大计算机。这产生了一个问题：那些需要在雨中或雾中看清路况的设备——例如在森林上空飞行的无人机或安装在汽车上的摄像头——通常体积较小、依靠电池供电，无法承载这些庞大计算机程序的重量。
来自中国四川职业技术学院的研究团队开发了一种专门为这些小型、资源受限型机器设计的全新解决方案。他们创建了一个名为 DA-LightNet 的系统，这是一个轻量级的图像恢复网络，可以实时去除雨滴和雾气。与以往通常需要分别处理雨水和雾气的多个沉重程序的做法不同，这个新系统使用单一的统一架构来同时处理这两个问题。研究人员构建了这个具有“退化感知”能力的网络，这意味着它能够观察一张模糊的图像，并判断模糊是由雨还是由雾引起的，然后相应地调整其清理策略，而无需切换模型。他们通过设计一种精简的结构实现了这一点，该结构去除了不必要的计算，只专注于恢复图像所需的本质特征。结果是，该工具足够小，可以适配标准的边缘设备（即在本地处理数据而非发送到远程云服务器的小型计算机），同时又足够强大，能够瞬间生成清晰的图像。
研究人员在两组特定的真实世界图像集上测试了他们的成果：一组包含数千对有雨和无雨的照片，另一组包含有雾和清晰的照片。他们训练该系统学习两种类型天气损伤之间的区别以及如何消除这些损伤。当他们在 NVIDIA Jetson 平台上运行该系统时，它处理图像的速度达到了每秒 34.8 帧。这意味着它可以清理视频流，实现实时处理，跟上实时摄像机画面的节奏而没有任何明显的延迟。在幕后的数学运算方面，整个系统仅使用了 460 万个参数（这是衡量其复杂度的指标），并且处理单张图像仅需 215 亿次浮点运算。这些数字显著低于其他高性能方法，后者通常需要十倍以上的计算能力。
为了理解其工作原理，可以将该系统想象成一个高效的编辑。当一张有雨的图像到达时，系统首先扫描它以识别雨痕的具体模式。随后，它使用一个特殊的模块来重新校准其内部焦点，告诉自己要关注雨水遮蔽的高频细节，同时忽略由雾引起的全局对比度问题。如果图像是雾霾天气，同一个模块则会将注意力转向恢复整体亮度和色彩平衡。这种自适应过程是在一个紧凑的操作链内完成的。研究人员用“高效恢复块”取代了这些网络中通常存在的沉重标准构建模块。这些模块使用一种称为“深度可分离卷积”的技术，在将颜色通道重新混合之前，先分别处理图像的每个颜色通道。这种方法极大地减少了计算机需要完成的工作量。最后，一个轻量级的重建头将清理后的特征重新组装成完整的图像，仅对原始图像添加必要的修正，而不是试图从头重建整个场景。
团队将他们的系统与几种领先的方法进行了对比，其中包括一些使用庞大 Transformer 结构的系统，以及其他依赖复杂注意力机制的系统。虽然那些更重的模型在理论数值上有时能产生稍清晰的图像，但它们无法在边缘设备上实现实时运行。其中一些竞争对手只能达到约 5 到 15 帧的速率，对于移动中的车辆或飞行中的无人机来说，这个速度太慢，无法用于即时决策。相比之下，DA-LightNet 在保持具有竞争力的图像质量水平的同时，运行速度比次优方案快了一倍以上。研究人员还在树莓派（一种更小、性能更弱的计算机）上测试了该系统，以观察它在更严格的约束条件下是否能应对挑战。该系统表现稳健，证明了它可以在内存和处理能力都非常有限的设备上运行。
研究表明，与目前的替代方案相比，这种方法在视觉质量和实际速度之间取得了更好的平衡。研究人员发现，通过将雨水去除和雾气去除的任务统一到一个模型中，他们避免了存储和运行多个独立程序的需求，从而节省了内存和时间。他们还展示了该系统可以学习区分不同类型的天气损伤，而无需被明确告知正在观察的是哪种天气，只需通过分析图像本身的模式即可。这种灵活性对于天气变化迅速且不可预测的现实应用至关重要。结果表明，高质量的图像恢复并不一定是强大云端超级计算机的专属领域。相反，它可以直接带到摄像机镜头前，让智能设备即使在最恶劣的条件下也能清晰地观察世界。
展望未来，研究人员计划扩展这项工作，将其涵盖到其他天气挑战中，如降雪、弱光和运动模糊，旨在创建一个能够处理任何类型视觉退化的更通用的系统。他们还打算探索进一步优化系统以适配特定硬件的方法，例如使用量化技术使模型变得更小、更快。除了提升图像观感外，他们还计划测试恢复后的图像是否真的有助于下游任务，例如帮助无人机检测行人或帮助汽车在繁忙街道上导航。目前，这项工作证明了通过精心的设计，完全可以构建出既能装在手掌心中、又足够聪明以实时清理世界视野的强大视觉工具。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。