FDCNet: Frequency-Aware and Dynamic Curve Network for Adversarially Robust Infrared and Visible Image Fusion

Résumé Technique : FDCNet pour la fusion d'images infrarouges et visibles robuste aux attaques adverses

Énoncé du problème
La fusion d'images infrarouges et visibles (IVIF) intègre des informations multimodales complémentaires pour surmonter les limites des capteurs uniques, jouant un rôle crucial dans la conduite autonome, le suivi d'objets et la détection d'objets saillants. Cependant, les méthodes IVIF existantes supposent principalement des entrées exemptes d'interférences, ce qui les rend vulnérables aux attaques adverses délibérées. Les algorithmes adverses classiques (par exemple, FGSM, PGD, C&W) peuvent induire une dégradation sévère de l'inférence du modèle en injectant des perturbations imperceptibles. Bien que l'entraînement adversarial ait été exploré pour renforcer la robustesse, il crée souvent un compromis intrinsèque : les stratégies conçues pour supprimer le bruit adversarial à haute fréquence entraînent fréquemment une inhibition trop conservatrice des caractéristiques, conduisant à un lissage structurel excessif, une perte de détails fins et une contraction de la plage dynamique. Cette dégradation limite fondamentalement la stabilité des performances des tâches de vision en aval dans des conditions complexes.

Méthodologie
Pour résoudre la contradiction entre la défense adversaire et la fidélité des caractéristiques, les auteurs proposent FDCNet (Frequency-Aware and Dynamic Curve Network). Le cadre fonctionne comme un système d'entraînement adversarial de bout en bout utilisant une architecture U-Net, intégrant trois composants clés pour équilibrer de manière synergique l'efficacité de la défense et la qualité visuelle :

1. Perte Spatiale-Fréquentielle Dynamique (LSFDA) :
   Proposée au niveau de l'optimisation, cette fonction de perte guide l'entraînement robuste en équilibrant de manière adaptative la fidélité structurelle et les contraintes de caractéristiques à haute fréquence. Elle utilise une stratégie d'optimisation min-max où la maximisation interne génère des perturbations adverses (via PGD) contre des pseudo-étiquettes, et la minimisation externe met à jour les paramètres du réseau. La perte comprend un terme de fidélité spatiale structurelle de base et un terme de tolérance sensible à la fréquence normalisé. Ce dernier utilise la transformée en ondelettes discrètes (DWT) pour découpler les sous-bandes de basse et haute fréquence, imposant une contrainte de « borne supérieure douce » sur les composantes à haute fréquence afin de prévenir la perte de détails tout en pénalisant le bruit excessif. Un système de pondération dynamique multi-niveaux ajuste l'accent mis sur la reconstruction structurelle et les capacités anti-interférences tout au long du processus d'entraînement.

2. Module de Défense Sensible à la Fréquence (FADM) :
   Intégré dans les connexions de saut multi-échelles de l'architecture U-Net, ce module agit comme une architecture anti-interférence frontale. Il intercepte la pénétration du bruit entre les couches via une série de cinq Blocs d'Attention de Découplage de Fréquence (FDAB) en cascade. Chaque unité FDAB effectue :

   • Lissage Spatial et Découplage par Ondelettes : Utilise des convolutions séparables en profondeur et la DWT pour séparer les caractéristiques en sous-bandes de basse fréquence (LL) et de haute fréquence (LH, HL, HH).
   • Génération de Fréquence Inversible Affine (AIFG) : Utilise des blocs de couplage affine (ACB) pour extraire les caractéristiques tout en préservant les détails à haute fréquence grâce à une inversibilité mathématique stricte, évitant ainsi la perte d'information lors de la propagation directe.
   • Attention Directionnelle Duale Inversible (IDDA) : Combine une branche d'Attention Globale de Mercer (MGA) pour le lissage des caractéristiques macro (utilisant la cartographie par noyau pour réduire la complexité) et une branche d'Attention de Fenêtre Locale (LWA) pour gérer les anomalies locales à haute fréquence.
   • Reconstruction Résiduelle : Réassemble les sous-bandes purifiées via le pixel-shuffle et des connexions résiduelles pour produire des caractéristiques robustes.

3. Module de Courbe de Ton Dynamique Guidé par les Extrema (EDTC) :
   Conçu comme un mécanisme de post-compensation arrière, l'EDTC traite les contraintes mutuelles entre le LSFDA et le FADM. Inspiré par la théorie de Retinex et les stratégies d'estimation de courbe, il couple les caractéristiques robustes préliminaires avec des distributions de valeurs extrêmes multi-sources (l'enveloppe maximale par pixel des images sources) comme priors spatiaux. Le module prédit les paramètres de cartographie non linéaire d'ordre supérieur par pixel via un réseau léger et exécute une reconstruction de courbe quadratique itérative. Ce processus restaure efficacement la distribution des pixels, atténuant la contraction de la plage dynamique et récupérant la netteté visuelle sans compromettre le système de défense sous-jacent.

Contributions Clés

• LSFDA : Une nouvelle fonction de perte qui ajuste dynamiquement les poids entre la fidélité structurelle et les contraintes de haute fréquence, atténuant la perte de détails typiquement associée aux défenses adverses conventionnelles.
• FADM : Une architecture frontale qui cascade des Blocs d'Attention de Découplage de Fréquence au sein des connexions de saut pour intercepter et filtrer le bruit de haute fréquence tout en préservant les détails spatiaux de bas niveau grâce à des transformations inversibles.
• EDTC : Un mécanisme de compensation arrière qui utilise les priors extrêmes multi-sources pour effectuer une cartographie non linéaire par pixel, résolvant efficacement les compromis de performance entre les modules de défense et la restauration de la qualité visuelle de l'image.
• Cadre Unifié : L'intégration de ces composants dans FDCNet permet d'atteindre un équilibre synergique entre la robustesse adversaire et la fidélité des caractéristiques, surpassant les méthodes de l'état de l'art (SOTA) tant en termes de métriques objectives que de stabilité des tâches en aval.

Résultats Expérimentaux
Des expériences approfondies ont été menées sur les jeux de données M³FD et MFNet, comparant FDCNet à huit modèles SOTA (incluant SeAFusion, TarDAL, PAIF et A²RNet).

• Qualité de Fusion : Sous des attaques adverses (PGD), FDCNet surpasse systématiquement les modèles de référence sur cinq métriques objectives : Entropie (EN), Écart Type (SD), Rapport Signal sur Bruit (PSNR), Coefficient de Corrélation (CC) et Somme de la Différence de Structure Croisée (SCD). L'analyse qualitative montre que FDCNet préserve la saillance thermique infrarouge et les détails de texture visibles avec une déviation minimale de la forme d'onde du signal entre les états sains et attaqués, tandis que les autres méthodes présentent un bruit sévère, des distorsions ou un effondrement structurel.
• Stabilité des Tâches en Aval : Lorsque les images fusionnées sont injectées dans des réseaux pré-entraînés de détection d'objets et de segmentation sémantique, FDCNet démontre une robustesse supérieure. Sur les jeux de données M³FD et MFNet, FDCNet atteint la précision moyenne (mAP) et l'intersection sur union moyenne (mIoU) les plus élevées sous attaque, avec la plus faible dégradation de performance (par exemple, une chute de mAP de seulement 0,012 sur M³FD) par rapport aux autres méthodes. Les résultats de détection visuelle confirment que FDCNet détecte avec succès tous les cibles (piétons et véhicules) avec une grande confiance, alors que les autres modèles souffrent de détections manquées et de segmentations fragmentées.
• Études d'Ablation : Les expériences ont vérifié que bien que les modules individuels (LSFDA, FADM, EDTC) améliorent les performances, leur opération conjointe sans l'EDTC entraîne des contraintes de performance dues à des objectifs d'optimisation conflictuels. Le modèle complet (M6) intégrant les trois composants atteint les résultats optimaux, confirmant la nécessité de l'EDTC pour réconcilier la défense et la fidélité.

Signification
L'article affirme que FDCNet atténue efficacement les effets des perturbations adverses sur les tâches IVIF, un domaine auparavant vulnérable à de telles attaques. En introduisant une stratégie de défense sensible à la fréquence couplée à un mécanisme de compensation de courbe de ton dynamique, la méthode surmonte avec succès le compromis traditionnel entre l'immunité anti-interférence et la fidélité de l'image. Les résultats démontrent que FDCNet maintient non seulement des résultats de fusion de haute fidélité, mais stabilise également de manière significative les performances des tâches de vision critiques (détection d'objets et segmentation sémantique) dans des environnements adverses. Les auteurs reconnaissent que le découplage de fréquence multi-échelle et les itérations non linéaires augmentent la complexité computationnelle, suggérant que les travaux futurs se concentreront sur la conception légère et l'optimisation de l'efficacité de l'inférence pour un déploiement technique pratique.