CAWM-Mamba: A unified model for infrared-visible image fusion and compound adverse weather restoration

Cet article présente CAWM-Mamba, un modèle unifié pionnier capable de fusionner simultanément des images infrarouges et visibles tout en restaurant les dégradations causées par des conditions météorologiques composées complexes, surpassant ainsi les méthodes existantes grâce à son architecture innovante intégrant des modules de prétraitement, d'interaction intermodale et de décomposition dans l'espace des ondelettes.

L'essentiel

🌧️📸 Le Super-Héros des Images : CAWM-Mamba

Imaginez que vous conduisez une voiture autonome ou que vous pilotez un drone par une journée terrible. Il pleut, il y a du brouillard, et peut-être même de la neige.

• Votre caméra classique (visible) voit tout flou, les gouttes de pluie déforment l'image et le brouillard efface les détails.
• Votre caméra thermique (infrarouge) voit les formes et la chaleur, mais l'image est souvent granuleuse, sans couleurs et manque de détails fins.

Le but de la fusion d'images est de combiner ces deux caméras pour créer une image parfaite : claire, colorée et détaillée, même dans le chaos.

Le problème ?
Les anciennes méthodes fonctionnent bien si c'est juste de la pluie, ou juste du brouillard. Mais si vous avez pluie + brouillard + neige en même temps (ce qu'on appelle un "temps composé"), elles échouent lamentablement. C'est comme essayer de nettoyer une vitre sale avec un chiffon qui ne fonctionne que sur la poussière, mais pas sur la boue.

C'est ici qu'intervient CAWM-Mamba, le nouveau modèle proposé par les chercheurs.

---

🛠️ Comment ça marche ? (L'Analogie de l'Atelier de Restauration)

Pour comprendre CAWM-Mamba, imaginez un atelier de restauration d'art très sophistiqué qui reçoit des tableaux abîmés par la météo. Ce modèle utilise trois outils magiques :

1. Le Détective Météo (Module WAPM)

Avant même de commencer à réparer, ce module regarde l'image et dit : "Attends, ce n'est pas juste de la poussière, c'est un mélange de pluie et de brouillard !"

• L'analogie : C'est comme un chef cuisinier qui goûte la sauce avant de l'assaisonner. Il identifie exactement quels ingrédients (types de météo) sont présents pour savoir comment les neutraliser. Il extrait une "carte d'identité" de la météo pour guider le reste du processus.

2. Le Traducteur de Langues (Module CFIM)

Ensuite, il faut faire parler la caméra classique et la caméra thermique ensemble. Souvent, elles ne se comprennent pas bien (l'une voit les couleurs, l'autre la chaleur).

• L'analogie : Imaginez deux personnes qui parlent des langues différentes essayant de construire un meuble ensemble. Le module CFIM est le traducteur simultané qui s'assure que la personne qui voit les contours (infrarouge) et celle qui voit les textures (visible) travaillent parfaitement en harmonie, sans se marcher dessus.

3. Le Magicien des Ondes (Bloc WSSB)

C'est la partie la plus intelligente. Au lieu de regarder l'image comme une photo plate, ce module la décompose en différentes "fréquences" (comme séparer les basses, les médiums et les aigus dans une chanson).

• L'analogie : Imaginez que la pluie et la neige sont comme des vagues sur l'eau, et le brouillard est comme un brouillard qui couvre tout.
  • Le brouillard se cache dans les "grands mouvements" (basses fréquences).
  • La pluie et la neige sont des "petites étincelles" rapides (hautes fréquences).
  • Le modèle utilise une technique appelée Mamba (inspirée de la façon dont les serpents se déplacent) pour scanner l'image. Contrairement aux anciennes méthodes qui regardent tout en rond, ce modèle sait exactement dans quelle direction regarder.
  • Si c'est une goutte de pluie verticale, il la nettoie verticalement. Si c'est un flocon, il l'attrape spécifiquement. Il sépare le "bruit" de la météo du "signal" réel de l'image.

---

🏆 Pourquoi est-ce si spécial ?

1. Tout-en-un : Les anciens modèles devaient souvent faire deux étapes : d'abord nettoyer l'image, puis la fusionner. CAWM-Mamba fait les deux en même temps, comme un chef qui prépare et assaisonne le plat en une seule passe. C'est plus rapide et plus efficace.
2. Le mélange est la clé : Il est le premier à gérer vraiment bien les mélanges complexes (Pluie + Neige + Brouillard). C'est comme si un nettoyeur de vitres pouvait enlever la boue, la poussière et les traces d'oiseaux simultanément sans laisser de traces.
3. Plus intelligent pour les robots : Les chercheurs ont testé ce modèle pour aider des voitures autonomes à "voir" et à "reconnaître" des piétons ou des voitures dans la tempête. Résultat ? Les voitures "voient" mieux et évitent les accidents beaucoup plus efficacement avec ce modèle qu'avec les anciennes méthodes.

🚀 En résumé

CAWM-Mamba est un nouveau système d'intelligence artificielle qui agit comme un super-héros de la vision. Il prend des images floues et abîmées par des conditions météorologiques extrêmes et complexes, les nettoie, les combine avec des images thermiques, et produit une image claire et précise, prête à être utilisée par des drones, des voitures autonomes ou des caméras de surveillance.

C'est un peu comme passer d'une vieille caméra de sécurité floue à une vision de nuit parfaite, même au milieu d'une tempête de neige et de pluie ! ❄️🌧️🚗✨

Résumé technique

1. Problématique

La fusion d'images infrarouges (IR) et visibles (VI) est cruciale pour des applications comme la conduite autonome et la surveillance par drone, car elle combine les informations thermiques de l'IR avec les détails texturaux et chromatiques du visible. Cependant, les méthodes existantes souffrent de deux limites majeures dans les scénarios réels :

• Dégradation par les intempéries : Les images visibles sont fortement affectées par des conditions météorologiques adverses (brouillard, pluie, neige), entraînant une perte d'informations ou des distorsions.
• Limitation aux dégradations simples : La plupart des approches actuelles ne traitent qu'un seul type de dégradation à la fois (ex: uniquement la pluie ou uniquement le brouillard). Elles échouent souvent lorsque plusieurs facteurs de dégradation coexistent (ex: pluie + brouillard, neige + pluie), ce qui est fréquent dans les environnements complexes.
• Manque d'unification : Les solutions actuelles séparent souvent la restauration d'image et la fusion, ou nécessitent un prétraitement manuel, ce qui réduit l'efficacité et la robustesse.

L'objectif est donc de développer un cadre unifié capable de réaliser simultanément la fusion d'images et la restauration sous des conditions de météo composite (dégradations multiples).

2. Méthodologie : CAWM-Mamba

Les auteurs proposent CAWM-Mamba, un cadre de bout en bout (end-to-end) basé sur l'architecture Mamba (State Space Models) et la décomposition en ondelettes. Le modèle repose sur trois composants clés :

A. Module de Prétraitement Conscient de la Météo (WAPM)

• Fonction : Traite les images visibles dégradées en entrée.
• Mécanisme : Il extrait les caractéristiques dégradées et génère un embedding global de la météo.
• But : Améliorer la qualité des caractéristiques visibles et fournir une information contextuelle explicite (les conditions météorologiques globales) aux modules suivants pour guider la restauration et la fusion.

B. Module d'Interaction des Caractéristiques Cross-Modal (CFIM)

• Fonction : Facilite l'alignement et l'échange d'informations entre les modalités IR et VI.
• Mécanisme : Utilise une fusion adaptative basée sur l'attention et le pooling multi-échelle.
  • Il exploite les contours thermiques de l'IR (via MaxPooling) pour renforcer les textures du visible.
  • Il utilise les détails spatiaux du visible (via AvgPooling) pour optimiser les limites des cibles IR.
• But : Assurer une complémentarité précise des structures et des textures tout en alignant les modalités hétérogènes.

C. Bloc d'État de l'Espace d'Ondelettes (WSSB)

C'est le cœur innovant du modèle pour gérer les dégradations complexes :

• Décomposition en Ondelettes : Transforme les images dans le domaine des ondelettes pour séparer les dégradations selon leurs fréquences.
  • Les basses fréquences (LL) capturent la structure globale et le brouillard.
  • Les hautes fréquences (HL, LH, HH) capturent les détails directionnels comme les gouttes de pluie ou les flocons de neige.
• Freq-SSM (Fréquence-Sélective State Space Model) : Contrairement aux scans 2D standards, ce module effectue un balayage directionnel anisotrope spécifique à chaque sous-bande d'ondelette. Cela permet de modéliser les dégradations directionnelles (ex: traînées de pluie) sans redondance computationnelle.
• Mécanisme d'Espace de Dégradation Commune (CDSM) : Apprend une représentation unifiée des dégradations, permettant au modèle de généraliser à des combinaisons de météo jamais vues lors de l'entraînement.
• Modulation Guidée par la Météo : Utilise l'embedding extrait par le WAPM pour ajuster dynamiquement les caractéristiques restaurées, agissant comme un filtre fréquentiel adaptatif.

3. Contributions Clés

1. Premier cadre unifié : CAWM-Mamba est le premier modèle à effectuer conjointement la fusion IR-Visible et la restauration sous des conditions de météo composite (multiples dégradations simultanées) avec des poids partagés.
2. Architecture innovante : Introduction du WSSB combinant la décomposition en ondelettes et les State Space Models (SSM) pour traiter efficacement les dégradations anisotropes et multi-fréquences.
3. Modules spécifiques : Conception du WAPM pour l'extraction d'embeddings météo globaux et du CFIM pour une interaction cross-modale optimisée.
4. Performance et Efficacité : Le modèle atteint des performances supérieures tout en étant plus léger en termes de complexité computationnelle (linéaire grâce à Mamba) par rapport aux méthodes basées sur les Transformers (complexité quadratique).

4. Résultats Expérimentaux

Les expériences ont été menées sur le benchmark AWMM-100K (spécifique aux intempéries composites) et trois jeux de données standards (LLVIP, MSRS, M3FD).

• Fusion sous Météo Composite : CAWM-Mamba surpasse systématiquement les méthodes de l'état de l'art (SOTA) comme AWFusion, SHIP, et TarDal dans les scénarios de pluie+brouillard, neige+brouillard, et pluie+neige. Il obtient le premier rang sur la quasi-totalité des métriques quantitatives (QMI, Qabf, SSIM, etc.).
• Fusion sous Météo Simple : Le modèle excelle également dans les scénarios de dégradation unique (pluie, brouillard, neige), surpassant les méthodes spécialisées.
• Tâches en Aval (Downstream Tasks) :
  • Détection d'objets (YOLOv7) : Les images fusionnées par CAWM-Mamba améliorent significativement la précision de détection (mAP) par rapport aux autres méthodes, confirmant la préservation des détails critiques.
  • Segmentation Sémantique : Le modèle obtient le meilleur mIoU, démontrant une meilleure conservation des informations sémantiques.
• Efficacité Computationnelle : Avec seulement 371 G FLOPs, le modèle est environ 11 fois plus efficace que le modèle de référence AWFusion (4167 G FLOPs), tout en ayant un nombre de paramètres comparable.

5. Signification et Impact

• Robustesse Réelle : La capacité à gérer des dégradations multiples simultanées rend ce modèle particulièrement adapté aux applications critiques comme la conduite autonome et la surveillance UAV, où les conditions météorologiques sont imprévisibles et complexes.
• Généralisation : Le modèle démontre une forte capacité de généralisation "Zero-Shot" vers des scènes réelles non vues et conserve ses performances sur des images propres (scénarios idéaux), prouvant qu'il ne sacrifie pas la qualité pour la restauration.
• Efficacité pour le Déploiement : La faible complexité computationnelle (grâce à l'architecture Mamba) rend le modèle viable pour un déploiement sur des dispositifs embarqués aux ressources limitées.

En résumé, CAWM-Mamba représente une avancée majeure en fusionnant la restauration d'images et la fusion multimodale dans un cadre unifié, résolvant le problème critique des dégradations composites tout en maintenant une efficacité computationnelle élevée.