CAWM-Mamba: A unified model for infrared-visible image fusion and compound adverse weather restoration

本文提出了 CAWM-Mamba,这是首个能够利用统一共享权重端到端地联合执行红外 - 可见光图像融合与复合恶劣天气(如雾、雨、雪共存)恢复的模型,通过引入天气感知预处理、跨模态特征交互及基于小波分解的状态空间模块,在多种基准测试及下游感知任务中均取得了优于现有最先进方法的性能。

Huichun Liu, Xiaosong Li, Zhuangfan Huang, Tao Ye, Yang Liu, Haishu Tan

发布于 2026-03-04
📖 1 分钟阅读☕ 轻松阅读

Each language version is independently generated for its own context, not a direct translation.

这篇论文介绍了一个名为 CAWM-Mamba 的新技术,你可以把它想象成一位**“全能型的图像急救医生”**。

为了让你更容易理解,我们把这篇论文的核心内容拆解成几个生动的场景:

1. 它要解决什么大问题?(背景与痛点)

想象一下,你正在开一辆自动驾驶汽车,或者驾驶无人机在野外巡逻。

  • 红外相机(IR):就像戴了“夜视仪”,能透过烟雾看到发热的物体(比如人、车),但画面通常是黑白的,而且看不清细节(比如衣服的花纹、路面的纹理)。
  • 可见光相机(VI):就像我们的“肉眼”,能看到鲜艳的颜色和清晰的细节,但一旦遇到恶劣天气(大雾、暴雨、大雪),画面就会变得模糊、发白或者全是雨滴,什么都看不清。

以前的做法(旧方法):
以前的技术通常只能“单打独斗”。

  • 如果只有雾,就专门去雾;
  • 如果只有雨,就专门去雨;
  • 如果要把红外和可见光融合,通常假设天气是完美的。
    痛点: 现实世界很残酷,经常是**“又雾又雨”,或者“下雪加雾霾”**。这时候,旧方法就懵了:去雾的算法处理不了雨滴,去雨的算法又搞不定雾霾,最后融合出来的图片要么黑乎乎一片,要么全是噪点,根本没法用。

2. CAWM-Mamba 是怎么工作的?(核心方案)

这篇论文提出的 CAWM-Mamba,就像是一个**“超级急救团队”**,它能同时做两件事:一边把脏衣服洗干净(去恶劣天气干扰),一边把两张不同的照片完美拼在一起(图像融合)

它有三个绝招(三个核心模块):

第一招:天气“预诊”与“增强” (WAPM 模块)

  • 比喻:就像医生在手术前先给病人量体温、看血常规。
  • 作用:这个模块会先“闻一闻”可见光图片里有什么天气(是雾?是雨?还是雪?)。它不仅能增强图片里模糊的细节,还能提取出一个**“天气身份证”**(全局天气嵌入)。
  • 效果:告诉后面的系统:“嘿,现在外面下着雨夹雪,我们要用对付雨夹雪的策略来处理!”

第二招:红外与可见光的“握手言和” (CFIM 模块)

  • 比喻:就像两个性格迥异的搭档,一个擅长夜视但看不清细节,一个看得清细节但怕黑。这个模块让他们深度交流
  • 作用:它让红外图像和可见光图像互相“交换情报”。红外图像告诉可见光:“那个发热的物体在这里”;可见光告诉红外:“那个物体的轮廓和纹理是这样的”。
  • 效果:它们不再是各干各的,而是把彼此的优点(热成像的穿透力 + 可见光的清晰度)完美结合起来。

第三招:小波变换的“分频手术刀” (WSSB 模块)

这是最厉害的部分,也是论文的创新点。

  • 比喻:想象一张满是污渍(雨滴、雪花、雾霾)的画布。
    • 雾霾像是一层均匀的灰纱,主要影响画面的**“底色”**(低频)。
    • 雨滴和雪花像是画布上乱画的**“线条”**(高频),而且雨是斜着下的,雪是飘着的,方向各不相同。
  • 作用
    1. 分频:它用一种叫“小波变换”的技术,把图片像切蛋糕一样,切成“底色层”和“线条层”。
    2. 定向手术 (Freq-SSM):对于“线条层”(高频),它不像以前那样乱切,而是像**“定向手术刀”**一样,专门顺着雨滴或雪花的方向去清理。比如雨是斜的,它就顺着斜线去修,不会误伤旁边的纹理。
    3. 统一记忆 (CDSM):它还能记住各种恶劣天气的共同特征,这样即使遇到没见过的“混合天气”,它也能举一反三。

3. 它有多厉害?(实验结果)

  • 全能冠军:在“又雾又雨”、“又雪又雾”等最复杂的场景下,它比目前世界上最好的其他方法都要好。
  • 不仅好看,还能用:论文不仅展示了图片变清晰了,还测试了这些图片能不能帮AI 识别物体
    • 结果:用 CAWM-Mamba 处理过的图片,让自动驾驶汽车识别行人、车辆的准确率大大提升。这说明它不仅仅是把图修得好看,而是真的保留了关键信息。
  • 速度快:虽然它很聪明,但计算量却比那些“笨重”的旧模型小得多(大概只有旧模型的 1/11),这意味着它更容易装进无人机或自动驾驶车里,不会让设备发烫或卡顿。

总结

CAWM-Mamba 就像是一个**“懂天气的图像魔术师”
以前的魔术师只能变一种戏法(要么去雾,要么去雨),而且不能同时处理两种戏法。
而这个新模型,能一眼看穿复杂的“混合天气”,用一把
“定向手术刀”把干扰精准切除,同时把红外和可见光两张照片完美融合,变出一张既清晰、又有细节、还能穿透恶劣天气**的“上帝视角”图片。

这对于未来的自动驾驶、无人机巡检、军事侦察等领域来说,意味着在狂风暴雨或大雾弥漫的夜晚,机器也能像人眼一样看得清清楚楚,极大地提高了安全性和可靠性。