SGDFuse: SAM-Guided Diffusion Model for High-Fidelity Infrared and Visible Image Fusion

Ce papier propose SGDFuse, un modèle de diffusion conditionnelle guidé par le Segment Anything Model (SAM) qui utilise des masques sémantiques comme priors explicites pour fusionner fidèlement des images infrarouges et visibles, préservant ainsi les cibles clés et les détails texturaux tout en surpassant les méthodes existantes.

L'essentiel

🌟 Le Problème : Le "Cécité Sémantique" des Caméras Actuelles

Imaginez que vous avez deux caméras pour voir le monde :

1. La caméra Visible (comme nos yeux) : Elle voit très bien les couleurs, les textures et les détails, mais elle est aveugle dans le noir ou à travers la fumée.
2. La caméra Infrarouge (comme les yeux de Superman) : Elle voit la chaleur (les gens, les voitures) même dans le noir total, mais l'image est souvent floue et manque de détails.

L'objectif de la fusion d'images est de combiner ces deux vues pour obtenir une image parfaite : claire, détaillée et capable de voir dans le noir.

Le problème actuel ? La plupart des méthodes actuelles agissent comme un photocopieur aveugle. Elles mélangent les pixels (les petits points de l'image) les uns avec les autres sans vraiment comprendre ce qu'elles regardent.

• Résultat ? Elles effacent parfois les objets chauds importants (comme un piéton dans le noir) ou ajoutent des artefacts bizarres. C'est ce que les auteurs appellent la "cécité sémantique" : la machine voit les pixels, mais ne comprend pas le sens de l'image (qui est un objet, qui est un fond).

---

💡 La Solution : SGDFuse (Le Chef d'Orchestre Intelligent)

Les chercheurs ont créé SGDFuse, une nouvelle méthode qui change complètement la donne. Au lieu de simplement "coller" des pixels, ils utilisent une approche en deux temps, guidée par un expert.

1. L'Expert : Le Modèle SAM (Segment Anything Model)

Imaginez que vous avez un dessinateur ultra-rapide capable de regarder une photo et de dessiner immédiatement un contour précis autour de chaque objet (un chien, une voiture, un arbre). C'est ce que fait SAM.

• Dans SGDFuse, SAM agit comme un guide de chantier. Il dit au système : "Attention, ici il y a un piéton (objet chaud), ne le floutez pas ! Ici, c'est juste un mur (fond), vous pouvez lisser."

2. Le Peintre : Le Modèle de Diffusion

C'est une technologie très récente (comme celle qui crée des images à partir de texte). Imaginez un sculpteur qui part d'un bloc de marbre brumeux et, petit à petit, enlève la poussière pour révéler une statue parfaite.

• SGDFuse utilise ce "sculpteur" pour reconstruire l'image finale, mais cette fois-ci, il ne sculpte pas au hasard. Il suit scrupuleusement les instructions du dessinateur (SAM).

---

🏗️ Comment ça marche ? (La Méthode en 2 Étapes)

Pour éviter que le système ne se perde, ils ont divisé le travail en deux étapes distinctes :

Étape 1 : La Fondation (L'Architecture)

• Le système fait d'abord un premier mélange rapide des deux images (infrarouge et visible).
• Analogie : C'est comme construire les murs et le toit d'une maison. On s'assure que la structure est solide et que les grandes lignes sont correctes.

Étape 2 : La Décoration et l'Amélioration (Le Raffinement)

• C'est ici que la magie opère. Le système prend cette première ébauche et l'envoie au "sculpteur" (le modèle de diffusion).
• Mais le sculpteur ne travaille pas seul ! Il a devant lui le plan du dessinateur (les masques de SAM).
• Le sculpteur sait exactement où mettre de la chaleur (pour les objets infrarouges) et où mettre des détails nets (pour les textures visibles).
• Résultat : Une image finale qui est à la fois nette, lumineuse, et qui respecte parfaitement les objets importants.

---

🚀 Pourquoi c'est génial ? (Les Résultats)

Les chercheurs ont testé leur méthode dans des situations difficiles :

• Conduite autonome de nuit : La voiture voit mieux les piétons et les obstacles.
• Reconnaissance militaire : Les cibles chaudes ne sont plus cachées par le flou.
• Médecine : Même sur des images médicales (comme des IRM), la méthode aide à mieux voir les tumeurs ou les structures internes.

Le verdict ?
Contrairement aux anciennes méthodes qui faisaient des erreurs (comme effacer un piéton), SGDFuse réussit à garder tous les détails importants tout en rendant l'image magnifique.

🎯 En Résumé

Imaginez que vous devez peindre un tableau complexe.

• Les anciennes méthodes : Vous mélangez toutes les couleurs dans un seau et vous espérez que le résultat soit joli. Souvent, c'est un peu flou et les personnages ressemblent à des fantômes.
• SGDFuse : Vous avez un chef d'orchestre (SAM) qui vous dit exactement où placer chaque note, et un peintre génie (Diffusion) qui exécute le travail avec une précision chirurgicale.

Le résultat ? Une image qui n'est pas seulement belle à regarder, mais qui comprend ce qu'elle montre, ce qui est crucial pour aider les ordinateurs à prendre de bonnes décisions (comme éviter un accident ou diagnostiquer une maladie).

Résumé technique

1. Problématique : La "Cécité Sémantique" dans la Fusion d'Images

La fusion d'images infrarouge (IR) et visible (VIS) vise à combiner les informations thermiques (détection de cibles dans le brouillard, la nuit) avec les détails texturaux riches des images visibles. Cependant, l'article identifie une limitation fondamentale des méthodes existantes (basées sur les CNN, GAN ou Transformers) : la "cécité sémantique" (semantic blindness).

• Le problème : Les modèles actuels traitent la fusion comme une simple réorganisation mathématique de pixels ou de caractéristiques de bas niveau. Ils ne parviennent pas à distinguer sémantiquement les cibles critiques (personnes, véhicules) du fond.
• Les conséquences : Cela entraîne la suppression erronée de cibles thermiques importantes, l'introduction d'artefacts visuels, des frontières floues et une dégradation des performances dans les tâches en aval (détection d'objets, segmentation sémantique).
• Le besoin : Une approche capable de comprendre la structure de la scène et de guider la génération d'images en fonction de l'importance sémantique des régions.

2. Méthodologie : Le Cadre SGDFuse

Les auteurs proposent SGDFuse, un nouveau cadre de Génération Guidée par la Sémantique (Semantic-Guided Generation - SGG). Au lieu d'une simple fusion de pixels, la tâche est reformulée comme une génération conditionnelle pilotée par des priors sémantiques.

Architecture Principale : Une Stratégie en Deux Étapes

Pour résoudre le conflit entre l'alignement de caractéristiques de bas niveau et la génération itérative de haut niveau, SGDFuse utilise une architecture découplée :

• Étape I : Alignement Structurel et Fusion Préliminaire

  • Un module d'extraction de caractéristiques multimodales génère une image fusionnée initiale ($F_1$).
  • Composants clés :
    • MSFEM (Multi-Scale Feature Enhancement Module) : Utilise des convolutions parallèles avec différents champs réceptifs (1x1, 3x3, 5x5, 7x7) pour capturer les contours thermiques et les structures de l'image IR.
    • Transformer Block (TB) : Extrait le contexte global et les textures fines de l'image visible.
    • Cross-Attention : Fusionne dynamiquement les caractéristiques IR et VIS pour créer un prior structurel robuste.

• Étape II : Raffinement par Diffusion Conditionnelle Guidée

  • Cette étape utilise un modèle de diffusion conditionnel pour générer l'image finale haute fidélité.
  • Guidage Sémantique (SAM) : Le modèle Segment Anything Model (SAM) génère des masques sémantiques de haute qualité pour les images IR et VIS. Ces masques sont concaténés à l'image initiale $F_1$ pour former une entrée à 5 canaux.
  • Processus de Diffusion : Un réseau débruiteur (basé sur U-Net) itère pour reconstruire l'image en partant du bruit, guidé par les masques sémantiques pour préserver les structures critiques.
  • HFAH (Hierarchical Feature Aggregation Head) : Un module dans le décodeur qui agrège les caractéristiques à plusieurs échelles pour améliorer la cohérence des bords et des régions.

Fonction de Perte Innovante : Mask-Guided Loss

Pour renforcer la cohérence sémantique, les auteurs introduisent une fonction de perte spécifique à l'étape 2 :

• $L_{mask}^{int}$ et $L_{mask}^{grad}$ : Ces pertes pondèrent l'alignement de l'intensité et des gradients uniquement dans les régions masquées par SAM (les cibles). Cela force le modèle à préserver les détails thermiques et textuels des objets d'intérêt tout en lissant le fond.

3. Contributions Clés

1. Nouveau Paradigme SGG : Passage d'une fusion de pixels à une génération pilotée par la sémantique, résolvant le problème de la cécité sémantique.
2. Architecture Découplée : Une conception en deux étapes qui sépare l'alignement structurel (Étape 1) de la génération sémantique (Étape 2), évitant les conflits d'apprentissage des modèles "End-to-End".
3. Intégration SAM-Diffusion : Utilisation inédite des masques SAM comme ancres spatiales explicites pour guider un modèle de diffusion, assurant une reconstruction fidèle des cibles thermiques.
4. Système de Guidance Holistique : Une boucle de guidance complète (Entrée-Processus-Sortie) incluant des masques d'entrée, une modélisation dans le processus de débruitage et une perte guidée par le masque.

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs jeux de données (MSRS, M3FD, LLVIP, RoadScene) et dans des domaines médicaux (MRI-PET, MRI-SPECT).

• Qualité d'Image : SGDFuse obtient des performances State-of-the-Art (SOTA) sur la majorité des métriques quantitatives (Entropie, Écart-type, Fréquence Spatiale, VIF, Qabf). Il surpasse des méthodes récentes comme PIAFusion, CDDFuse, MaeFuse et Text-DiFuse.
• Qualité Visuelle : Les images fusionnées présentent des contours plus nets, une meilleure préservation des cibles thermiques et une absence d'artefacts par rapport aux méthodes concurrentes.
• Performance des Tâches en Aval :
  • Détection d'objets (YOLOv5) : SGDFuse améliore significativement la précision de détection (mAP) pour les piétons et les véhicules par rapport aux autres méthodes de fusion.
  • Segmentation Sémantique (DeeplabV3+) : Le modèle atteint le meilleur IoU moyen, prouvant que les images fusionnées conservent mieux les structures nécessaires à la compréhension de la scène.
• Efficacité : Bien que basé sur la diffusion, le modèle atteint une latence de 59 ms (avec 60 étapes d'échantillonnage), ce qui le rend compétitif par rapport à des méthodes non itératives et beaucoup plus rapide que d'autres modèles de diffusion.
• Robustesse : Des tests de sensibilité montrent que le modèle reste performant même avec des masques SAM imparfaits (érosion/dilatation) et fonctionne bien avec d'autres priors sémantiques (Mask2Former, SegFormer), bien que SAM soit optimal.

5. Signification et Impact

• Changement de Paradigme : SGDFuse démontre que la fusion d'images ne doit plus être vue comme un problème de régression de pixels, mais comme un problème de génération conditionnelle guidée par la sémantique.
• Applications Critiques : La capacité à préserver les cibles thermiques tout en intégrant les détails visibles est cruciale pour la conduite autonome, la surveillance intelligente et le diagnostic médical.
• Généralisation : Le cadre SGG n'est pas limité à l'IR/VIS ; sa validité sur des données médicales (IRM/TEP) prouve son potentiel pour d'autres tâches de fusion multimodale complexes.

En résumé, SGDFuse résout le goulot d'étranglement sémantique des méthodes actuelles en combinant la puissance de segmentation de SAM avec la capacité de génération haute fidélité des modèles de diffusion, offrant un nouveau standard pour la fusion d'images robuste et orientée tâche.