Missing No More: Dictionary-Guided Cross-Modal Image Fusion under Missing Infrared

Cet article propose un cadre innovant guidé par un dictionnaire partagé qui apprend une représentation commune et effectue une inférence dans l'espace des coefficients pour fusionner des images infrarouges et visibles même lorsque la modalité infrarouge manque, évitant ainsi les problèmes de génération incontrôlée tout en améliorant la qualité perceptuelle et les performances de détection.

L'essentiel

🌟 Le Problème : La Nuit Noire et la Caméra Aveugle

Imaginez que vous êtes un gardien de sécurité qui surveille une forêt la nuit.

• Votre caméra visible (la normale) voit très bien les arbres, les feuilles et les textures, mais dès que le soleil se couche, elle devient aveugle. Elle ne voit plus rien.
• Votre caméra infrarouge (IR) voit la chaleur. Elle peut repérer un voleur caché dans les buissons grâce à sa température corporelle, même dans le noir total.

Le problème habituel : La plupart des systèmes intelligents actuels ont besoin des deux caméras en même temps pour fonctionner. Si la caméra infrarouge tombe en panne ou n'est pas là (le "modèle manquant"), le système panique. Il essaie de deviner à quoi ressemble la chaleur en inventant des pixels au hasard, un peu comme un peintre qui essaierait de dessiner un feu en fermant les yeux : le résultat est souvent flou, bizarre, ou plein d'erreurs (des "hallucinations").

💡 La Solution : Le "Dictionnaire des Formes"

Les auteurs de cette étude (Zhang et al.) ont une idée brillante : au lieu de dessiner l'image infrarouge pixel par pixel (comme un peintre aveugle), ils vont utiliser un "dictionnaire" commun.

Imaginez que vous avez un livre de recettes (le dictionnaire) qui contient des ingrédients de base (les "atomes") que vous pouvez utiliser pour cuisiner soit un plat visible, soit un plat chaud.

1. L'Apprentissage Commun (JSRL) :
   Le système apprend d'abord que les deux types d'images (visible et infrarouge) partagent la même structure de base. C'est comme si on apprenait que "un arbre" a une forme spécifique, que ce soit vu de jour ou de nuit. Le système crée un dictionnaire partagé qui comprend les formes des arbres, des voitures, des humains, etc.

2. La Traduction Magique (VGII) :
   Quand la caméra infrarouge manque, le système prend l'image visible (la photo de jour) et la traduit dans ce "dictionnaire".

   • L'analogie : C'est comme si vous aviez une recette de gâteau au chocolat (l'image visible). Le système ne recrée pas le gâteau entier de zéro. Il dit : "Ah, c'est un gâteau, donc je sais que la chaleur doit être ici, et le froid là."
   • Le petit plus (IA de Langage) : Ils utilisent une intelligence artificielle de type "chatbot" (un LLM) comme un chef critique. Le chatbot regarde l'image et dit : "Attention, il fait froid ici, il faut plus de chaleur sur ce personnage." Cela permet d'ajuster finement la prédiction de la chaleur sans créer d'artefacts bizarres.

3. Le Mélange Parfait (AFRI) :
   Enfin, le système fusionne les deux : il prend la structure claire de l'image visible (les contours nets) et y ajoute les informations de chaleur prédites (les zones chaudes). Le résultat est une image qui a la netteté d'une photo de jour et la capacité de voir la chaleur de la nuit.

🚀 Pourquoi c'est révolutionnaire ?

• Pas de "magie noire" : Les anciennes méthodes essayaient de "générer" l'image infrarouge comme un artiste qui invente des détails. Ici, le système utilise des règles mathématiques strictes (le dictionnaire) pour s'assurer que ce qu'il prédit est logique et cohérent avec la réalité. C'est comme construire une maison avec des briques réelles plutôt qu'avec de la fumée.
• Robuste et Stable : Même si la caméra infrarouge est cassée, le système continue de fonctionner parfaitement. Il ne "hallucine" pas de fantômes ou de zones chaudes qui n'existent pas.
• Utile pour la sécurité : Cela permet aux voitures autonomes, aux drones de surveillance et aux robots de voir la nuit même s'ils n'ont qu'une seule caméra, rendant la technologie moins chère et plus fiable.

🏆 En Résumé

Imaginez que vous avez un traducteur qui ne se contente pas de traduire mot à mot, mais qui comprend la structure et le sens d'une phrase.

• Avant : Si vous lui donnez une phrase en français sans le dictionnaire anglais, il invente des mots qui n'existent pas.
• Avec cette méthode : Il utilise un dictionnaire commun des structures de la langue pour reconstruire la phrase manquante avec précision, en s'assurant qu'elle a du sens.

Cette méthode permet de "voir la chaleur" à partir de la lumière visible, en utilisant une carte mentale (le dictionnaire) plutôt que de deviner au hasard. C'est une avancée majeure pour la sécurité et la vision par ordinateur quand l'un des capteurs fait défaut.

Résumé technique

1. Problématique

La fusion d'images infrarouges (IR) et visibles (VIS) est cruciale pour la perception robuste dans des domaines comme la surveillance, la robotique et les systèmes autonomes. Cependant, la plupart des méthodes existantes supposent que les deux modalités sont disponibles simultanément lors de l'entraînement et de l'inférence.

• Le défi : Dans des scénarios réalistes où la modalité infrarouge fait défaut (par exemple, uniquement une image visible à l'inférence), les approches actuelles tentent souvent de générer une image IR manquante dans l'espace des pixels avant la fusion.
• Les limites des méthodes actuelles : Ces générations "boîte noire" dans l'espace des pixels manquent de consistance physique et d'interprétabilité. Elles entraînent souvent une perte de détails structurels, une instabilité dans la complétion des indices thermiques, ou l'apparition de motifs hallucinés.

2. Méthodologie

Les auteurs proposent un cadre novateur basé sur un dictionnaire partagé et opérant dans le domaine des coefficients (et non des pixels). L'approche se déroule en trois modules principaux formant une boucle fermée : Encodage → Transfert → Fusion → Reconstruction.

A. Apprentissage de la Représentation par Dictionnaire Partagé (JSRL)

• Objectif : Apprendre un dictionnaire convolutif partagé qui projette les images IR et VIS dans un même espace d'atomes (un espace latent commun).
• Fonctionnement : Un réseau (JSRL) apprend simultanément les coefficients pour les deux modalités et le dictionnaire partagé. Cela établit des correspondances au niveau des atomes entre les deux modalités, servant de fondation interprétable pour l'inférence ultérieure.
• Architecture : Utilise des blocs d'apprentissage de dictionnaire (IV-DLB) avec des solveurs de coefficients et de dictionnaire basés sur des réseaux de neurones profonds (U-Net, etc.), optimisés via des méthodes de descente de gradient proximale.

B. Inférence IR Guidée par le Visible (VGII)

• Transfert de coefficients : Au lieu de générer des pixels, le système encode l'image visible en coefficients, puis utilise un réseau d'inférence (RIN) pour prédire les coefficients IR correspondants directement dans l'espace des coefficients.
• Rôle du LLM (Modèle de Langage) : Un grand modèle de langage (LLM) gelé est utilisé comme a priori sémantique faible. Il analyse l'image visible et l'image IR pseudo-générée pour extraire des caractéristiques textuelles. Ces caractéristiques modulent linéairement les coefficients visibles (via des paramètres $\gamma$ et $\beta$) avant une seconde étape d'inférence.
• Avantage : Cela permet un raffinement contrôlé et interprétable des indices thermiques sans introduire de bruit de génération pixelique.

C. Fusion Adaptative par Inférence de Représentation (AFRI)

• Fusion au niveau des atomes : Les coefficients visibles et les coefficients IR inférés sont fusionnés dans le domaine des coefficients.
• Mécanisme : Un réseau de fusion (RFN) utilise une attention par fenêtre et un mélange convolutif pour apprendre des mécanismes de "gating" (portes) adaptatifs. Cela permet de pondérer dynamiquement la contribution des indices visibles (pour les structures) et des indices IR inférés (pour la chaleur) pour chaque atome du dictionnaire.
• Reconstruction : L'image finale est reconstruite en utilisant le dictionnaire partagé et les coefficients fusionnés, garantissant que le résultat reste dans le sous-espace interprétable défini par le dictionnaire.

3. Contributions Clés

1. Paradigme guidé par le dictionnaire dans le domaine des coefficients : C'est la première méthode à apprendre un dictionnaire partagé et à effectuer l'inférence et la fusion entièrement dans le domaine des coefficients. Cela évite la génération incontrôlée dans l'espace des pixels et améliore l'interprétabilité.
2. Complétion contrôlée avec un a priori sémantique faible : L'intégration d'un LLM gelé pour moduler les coefficients permet d'améliorer la complétion thermique de manière stable et contrôlable, sans nécessiter de têtes génératives lourdes.
3. Efficacité et Simplicité : Le système ne nécessite pas d'images IR réelles lors de l'inférence (seulement l'image visible et le dictionnaire pré-entraîné). L'entraînement repose sur des pertes de reconstruction simples, évitant les mécanismes adversariaux ou de diffusion complexes.

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs jeux de données (FLIR, MSRS, KAIST, M3FD, FMB) :

• Qualité de fusion : La méthode surpasse ou égale les méthodes de pointe (SOTA) qui utilisent les deux modalités (IR+VIS) en termes de métriques objectives (AG, CE, EI, EN, Qcb, SF), malgré l'absence d'entrée IR.
• Tâches en aval :
  • Détection d'objets (YOLOv5) : Les images fusionnées permettent d'atteindre des performances de détection (mAP) comparables à celles obtenues avec une fusion complète (IR+VIS).
  • Segmentation sémantique (SegFormer) : Les résultats montrent une meilleure cohérence interne et des frontières plus claires que les méthodes génératives classiques.
• Études d'ablation : Elles confirment que le dictionnaire partagé et la modulation par LLM sont tous deux essentiels pour la performance finale.
• Complexité : La méthode présente un nombre de paramètres et un temps d'inférence inférieurs aux approches basées sur la génération d'images IR (GANs ou Diffusion) suivies d'une fusion.

5. Signification et Impact

Cet article représente une avancée significative pour la fusion d'images multimodales dans des conditions de données incomplètes.

• Changement de paradigme : Il déplace la fusion de la génération de pixels (souvent instable et non interprétable) vers la manipulation de représentations latentes (coefficients) au sein d'un cadre mathématique rigoureux (dictionnaire partagé).
• Robustesse : En ancrant la cohérence des données au niveau des atomes du dictionnaire, la méthode préserve mieux les détails structurels de l'image visible tout en récupérant efficacement les informations thermiques manquantes.
• Applicabilité : Cette approche rend les systèmes de vision par ordinateur plus robustes face à la défaillance de capteurs (ex: caméra thermique hors service), garantissant une performance fiable pour des tâches critiques comme la détection et la segmentation.

En résumé, "Missing No More" propose une solution élégante et efficace pour pallier l'absence de données infrarouges en transformant le problème de génération en un problème d'inférence de coefficients interprétable, guidé par des connaissances sémantiques légères.