💻 computer science

EPOFusion: Exposure aware Progressive Optimization Method for Infrared and Visible Image Fusion

Le papier présente EPOFusion, une méthode de fusion d'images infrarouges et visibles consciente de l'exposition qui utilise un module de guidage, un décodeur itératif et une fonction de perte adaptative pour préserver les informations critiques dans les zones surexposées, tout en introduisant le premier jeu de données (IVOE) dédié à ce problème.

Auteurs originaux : Zhiwei Wang, Yayu Zheng, Defeng He, Li Zhao, Xiaoqin Zhang, Yuxing Li, Edmund Y. Lam

Publié 2026-03-18

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhiwei Wang, Yayu Zheng, Defeng He, Li Zhao, Xiaoqin Zhang, Yuxing Li, Edmund Y. Lam

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🌟 Le Problème : Quand la caméra s'aveugle

Imaginez que vous conduisez de nuit. Soudain, une voiture en face allume ses phares aveuglants, ou le soleil tape trop fort sur le pare-brise. Votre caméra (ou votre œil) est saturée : la zone devient un blanc éclatant, et vous ne voyez plus rien. C'est ce qu'on appelle la surexposition.

Dans le monde de la sécurité et des voitures autonomes, on utilise souvent deux types de caméras :

La caméra visible (comme nos yeux) : Elle voit les couleurs et les textures, mais elle "s'aveugle" avec la lumière forte.
La caméra infrarouge (la vision thermique) : Elle voit la chaleur (les gens, les moteurs) même dans le noir, mais elle est souvent floue et manque de détails fins.

Le défi : Comment fusionner ces deux images pour avoir une vue parfaite, même quand il y a un soleil de plomb ou des phares aveuglants ?
Les anciennes méthodes échouaient souvent : soit elles gardaient le blanc aveuglant (en ignorant la chaleur), soit elles mettaient du "bruit" thermique partout, rendant l'image sale et confuse.

🚀 La Solution : EPOFusion, le Chef d'Orchestre Intelligent

Les auteurs proposent une nouvelle méthode appelée EPOFusion. Pour comprendre comment ça marche, imaginons que nous sommes dans un atelier de restauration d'art.

1. Le Guide (Le "Sourire" de la carte)

Dans une zone surexposée (un blanc aveuglant), la caméra visible est muette. Elle ne donne aucune information.

L'analogie : Imaginez que vous essayez de restaurer une peinture abîmée par le soleil, mais que la zone blanche est totalement effacée. Vous avez besoin d'un guide qui vous dit : "Attention, sous ce blanc, il y a un arbre !"
La réalité : EPOFusion utilise un module spécial qui agit comme ce guide. Il pointe directement vers les zones chaudes (infrarouge) cachées sous le blanc aveuglant, forçant le système à aller chercher les détails thermiques là où la caméra visible a échoué.

2. La Fusion Progressive (Le "Sculpteur" patient)

Les anciennes méthodes essayaient de faire l'image finale d'un seul coup (comme un coup de marteau). C'est souvent trop brutal et ça rate les détails.

L'analogie : Imaginez un sculpteur qui ne taille pas la statue d'un seul coup. Il commence par une ébauche grossière, puis affine, affine, et affine encore. À chaque coup de ciseau, l'image devient plus nette.
La réalité : EPOFusion utilise une technique "itérative" (répétitive). Au lieu de sortir l'image finale tout de suite, il la construit par étapes, comme un processus de dénivellation (enlever le bruit petit à petit). À chaque étape, il corrige les erreurs et ajoute des détails manquants, jusqu'à obtenir une image parfaite.

3. Le Filtre Adaptatif (Le "Chef de Cuisine" qui ajuste les épices)

Parfois, il faut plus de texture, parfois plus de luminosité. Une recette fixe ne fonctionne pas pour tous les plats.

L'analogie : Un bon chef ne met pas la même quantité de sel dans un plat d'hiver et un plat d'été. Il goûte et ajuste en temps réel.
La réalité : Le système utilise une "fonction de perte adaptative". C'est une règle mathématique intelligente qui change selon la situation. Si la zone est normale, elle garde les couleurs. Si la zone est surexposée, elle dit : "Oublie la couleur, concentre-toi sur la chaleur !" Cela permet d'avoir une image naturelle partout.

📚 Le Secret de la Cuisine : La Nouvelle Recette (Le Dataset IVOE)

Pour apprendre à un robot à faire cela, il faut lui montrer des exemples. Mais il n'existait pas assez de photos de situations "catastrophes" (très fortes lumières) avec les bonnes réponses.

L'innovation : Les chercheurs ont créé leur propre bibliothèque d'exemples, appelée IVOE.
Comment ? Ils ont pris des milliers de photos normales et ont simulé artificiellement des zones de surexposition (comme ajouter des taches de lumière blanche sur un visage) en utilisant un outil d'intelligence artificielle très puissant (SAM). Ils ont ensuite "annoté" (étiqueté) précisément ce qu'il y avait sous la lumière aveuglante. C'est comme donner au robot un manuel d'instructions avec des exemples de "ce qu'il faut voir quand tout est blanc".

🏆 Le Résultat : Pourquoi c'est génial ?

Grâce à EPOFusion, on obtient une image fusionnée qui est :

Naturelle : Le ciel reste bleu, pas gris ou noir.
Détailée : Même sous les phares aveuglants d'une voiture de nuit, on voit clairement la plaque d'immatriculation et les contours du véhicule grâce à la chaleur.
Utile : Cela aide les voitures autonomes et les systèmes de surveillance à ne pas se tromper, même dans les conditions de lumière les plus extrêmes.

En résumé : EPOFusion est comme un super-héros de la vision par ordinateur qui, face à un soleil aveuglant, ne ferme pas les yeux. Il utilise un guide pour voir ce qui est caché, sculpte l'image pas à pas pour la perfection, et ajuste ses lunettes selon la lumière pour nous offrir une vue claire et précise, là où les autres ne voient que du blanc.

1. Problématique

La fusion d'images infrarouges (IR) et visibles est cruciale pour des applications telles que la surveillance intelligente et la conduite autonome. Cependant, les méthodes existantes échouent souvent dans des conditions d'surexposition (lumière du jour intense, éblouissement nocturne).

Défi principal : Dans les zones surexposées, les capteurs visibles subissent une saturation des pixels, entraînant la perte de gradients et de textures. Les méthodes de fusion actuelles tendent soit à conserver l'intensité saturée visible (perdant ainsi les détails thermiques IR), soit à amplifier le bruit du capteur IR en tentant de préserver les informations thermiques, dégradant ainsi la clarté globale.
Limites des approches actuelles :
- Les méthodes basées sur des priors génératifs (GAN, Diffusion) introduisent souvent du bruit ou des artefacts.
- Les méthodes guidées par des tâches en aval (détection, segmentation) peinent à distinguer les informations pertinentes du bruit dans les zones saturées.
- Les méthodes basées sur des fonctions de perte manuelles (handcrafted loss) utilisent des poids fixes qui ne s'adaptent pas dynamiquement aux variations d'exposition, créant un conflit entre la préservation de la texture et de l'intensité.
Manque de données : Il n'existe pas de jeu de données public de haute qualité contenant des échantillons de surexposition avec des annotations précises pour guider l'apprentissage.

2. Méthodologie : EPOFusion

Les auteurs proposent EPOFusion, un cadre de fusion itératif et progressif, conscient de l'exposition. L'architecture se compose de trois modules clés (voir Fig. 2 du papier) :

A. Module d'Extraction de Caractéristiques Multimodales

L'image visible est convertie de l'espace RVB vers YCbCr, et seule la composante de luminance (Y) est utilisée pour l'entrée.
L'image IR et le canal Y sont concaténés et traités par un encodeur ConvNeXt pour extraire des caractéristiques complémentaires.

B. Module de Guidance (Guidance Module)

Conçu pour diriger l'attention du réseau vers les régions surexposées.
Il prédit un masque infrarouge pour ces zones, forçant l'encodeur à se concentrer sur les détails thermiques manquants dans les zones saturées de l'image visible. Cela permet de récupérer les structures fines même lorsque le capteur visible est aveuglé.

C. Module de Fusion de Décodage Itératif (Iterative Decoding Fusion Module)

Inspiré des modèles de diffusion (DDPM), ce module remplace la reconstruction directe en une seule étape par une optimisation progressive.
Mécanisme de raffinement : Le processus est formulé comme une purification de caractéristiques. Le modèle part d'un bruit et affine progressivement les caractéristiques latentes sur plusieurs itérations pour reconstruire l'image fusionnée.
Module MSCF (Multi-Scale Context Fusion) : Ce sous-module, situé dans le décodeur, combine deux branches :
1. Branch Contextuelle (CFB) : Utilise des convolutions dilatées pour capturer les dépendances à long terme et le contexte global.
2. Branch Haute Fidélité (HFB) : Se concentre sur les détails de bas niveau (bords, textures) en traitant directement les images sources.
- Ces deux branches sont fusionnées pour équilibrer contexte global et détails fins.

D. Fonction de Perte Adaptative (Adaptive Loss)

Une fonction de perte composite est proposée pour guider dynamiquement le processus de fusion :
- Perte d'intensité et de texture adaptative : Elle distingue les régions normales des régions surexposées ( $M_{oe}$ ).
- Dans les zones normales, elle préserve la distribution d'intensité optimale entre les deux modalités.
- Dans les zones surexposées, elle force l'image fusionnée à suivre une cible pseudo-générée à partir de l'IR (car l'IR est fiable là où le visible est saturé), tout en amplifiant les caractéristiques IR via un facteur de pondération.
- Une perte de diffusion ( $L_{diff}$ ) est également utilisée pour minimiser l'erreur entre le bruit réel et le bruit prédit.

3. Contributions Clés

Architecture EPOFusion : Un cadre de fusion itératif et guidé par région, capable de préserver les détails IR dans les zones saturées tout en maintenant la fidélité visuelle dans les zones normales.
Module MSCF et Perte Adaptative : Conception d'un module de fusion multi-échelle et d'une fonction de perte dynamique qui s'ajustent aux conditions d'éclairage extrêmes.
Jeu de Données IVOE (Infrared-Visible Overexposure) :
- Création du premier jeu de données dédié aux surexpositions IR/Visible.
- Génération synthétique de surexpositions réalistes sur des paires d'images existantes (MFNet, LLVIP, etc.) avec des masques de segmentation précis générés par le modèle SAM (Segment Anything Model).
- Le jeu de données comprend 2 315 paires d'entraînement annotées et 176 paires de test réelles.
Performance Supérieure : Démonstration expérimentale que la méthode surpasse les états de l'art (SOTA) en termes de qualité visuelle et de performance pour les tâches en aval.

4. Résultats Expérimentaux

Les expériences ont été menées sur les jeux de données publics MSRS, FMB et le nouveau IVOE.

Comparaison Quantitative :
- EPOFusion obtient les meilleures performances sur la majorité des métriques (Entropie - EN, Information Mutuelle - MI, Similarité Visuelle - VIF, Qualité de l'Image Fusionnée - QAB/F, Similarité Structurelle - SSIM).
- Sur le jeu de données IVOE, la méthode atteint un MI de 5.137 et un VIF de 0.912, surpassant nettement les concurrents comme EMMA, TDFusion et GANMcC.
Comparaison Qualitative :
- Les résultats montrent une préservation exceptionnelle des détails (ex: plaques d'immatriculation, textures de toiture, feux de véhicules) dans les zones de forte luminosité, là où les autres méthodes produisent des images sombres, floues ou saturées.
- La méthode évite les artefacts de bruit IR tout en maintenant des couleurs naturelles.
Efficacité et Complexité :
- Malgré l'utilisation d'un mécanisme itératif, le modèle reste efficace avec 33,87M de paramètres et un temps d'inférence de 74,80 ms (sur GPU RTX 4090), ce qui est compétitif par rapport aux modèles de diffusion plus lourds.
Études d'Abalation :
- La suppression du module de guidance (GM) ou de la perte adaptative (AL) entraîne une baisse significative des métriques, confirmant leur importance cruciale.
- L'analyse du nombre d'itérations montre que 3 étapes offrent le meilleur compromis entre qualité et coût computationnel.

5. Signification et Impact

Ce travail adresse une lacune critique dans le domaine de la fusion d'images : la gestion des conditions d'éclairage extrêmes.

Avancée Technique : En introduisant une optimisation progressive et une guidance explicite des régions saturées, EPOFusion résout le compromis traditionnel entre la fidélité visuelle et la préservation des informations thermiques.
Ressource pour la Communauté : La publication du jeu de données IVOE et du code source comble un vide majeur, permettant aux chercheurs futurs d'entraîner et d'évaluer des modèles spécifiquement pour les scénarios de surexposition.
Applications Pratiques : La méthode améliore directement la fiabilité des systèmes de vision par ordinateur (détection, segmentation) dans des environnements réels difficiles, comme la conduite autonome de nuit avec éblouissement ou la surveillance en plein jour.

En résumé, EPOFusion représente une avancée significative vers des systèmes de fusion d'images plus robustes et adaptatifs, capables de fonctionner de manière fiable dans des conditions lumineuses variées et extrêmes.