FDCNet: Frequency-Aware and Dynamic Curve Network for Adversarially Robust Infrared and Visible Image Fusion

Sintesi Tecnica: FDCNet per la Fusione di Immagini Infrarosse e Visibili Adversarialmente Robusta

Definizione del Problema
La fusione di immagini infrarosse e visibili (IVIF) integra informazioni multi-modali complementari per superare i limiti dei singoli sensori, svolgendo ruoli critici nella guida autonoma, nel tracciamento degli oggetti e nella rilevazione di oggetti salienti. Tuttavia, gli esistenti metodi IVIF assumono prevalentemente input privi di interferenze, rendendoli fragili contro attacchi avversari deliberati. Gli algoritmi avversari classici (ad es., FGSM, PGD, C&W) possono indurre una grave degradazione dell'inferenza del modello iniettando perturbazioni impercettibili. Sebbene l'addestramento avversario sia stato esplorato per migliorare la robustezza, esso crea spesso un intrinseco compromesso: le strategie progettate per sopprimere il rumore avversario ad alta frequenza portano frequentemente a un'inibizione eccessivamente conservativa delle caratteristiche, causando un eccessivo livellamento strutturale (over-smoothing), la perdita di dettagli fini e una contrazione del range dinamico. Questa degradazione limita fondamentalmente la stabilità delle prestazioni dei task di visione a valle in condizioni complesse.

Metodologia
Per affrontare la contraddizione tra difesa avversaria e fedeltà delle caratteristiche, gli autori propongono FDCNet (Frequency-Aware and Dynamic Curve Network). Il framework opera come un sistema di addestramento avversario end-to-end utilizzando un backbone U-Net, integrando tre componenti core per bilanciare sinergicamente l'efficacia della difesa e la qualità visiva:

1. Spatio-Frequency Dynamic Adversarial Loss (LSFDA):
   Proposta a livello di ottimizzazione, questa funzione di perdita guida l'addestramento robusto bilanciando adattivamente la fedeltà strutturale e i vincoli delle caratteristiche ad alta frequenza. Utilizza una strategia di ottimizzazione min-max in cui la massimizzazione interna genera perturbazioni avversarie (tramite PGD) contro pseudo-label, mentre la minimizzazione esterna aggiorna i parametri della rete. La perdita comprende un termine base di fedeltà spaziale strutturale e un termine di tolleranza consapevole della frequenza normalizzato. Quest'ultimo utilizza la Trasformata Wavelet Discreta (DWT) per decuplicare le sottobande a bassa e alta frequenza, imponendo un vincolo di "limite superiore morbido" sulle componenti ad alta frequenza per prevenire la perdita di dettagli pur penalizzando il rumore eccessivo. Un sistema di pesatura dinamica multi-livello regola il focus tra la ricostruzione strutturale e le capacità anti-interferenza durante l'intero processo di addestramento.

2. Frequency-Aware Defense Module (FADM):
   Incorporato nelle connessioni skip multi-scala del backbone U-Net, questo modulo funge da architettura anti-interferenza front-end. Intercetta la penetrazione del rumore cross-layer attraverso una serie cascata di cinque Frequency Decoupling Attention Blocks (FDAB). Ogni unità FDAB esegue:

   • Smoothing Spaziale e Decoupling Wavelet: Utilizza convoluzioni depthwise separable e DWT per separare le caratteristiche in sottobande a bassa frequenza (LL) e alta frequenza (LH, HL, HH).
   • Affine Invertible Frequency Generation (AIFG): Utilizza blocchi di accoppiamento affine (ACB) per estrarre le caratteristiche preservando i dettagli ad alta frequenza attraverso una rigorosa invertibilità matematica, prevenendo la perdita di informazioni durante la propagazione in avanti.
   • Invertible Directional Dual Attention (IDDA): Combina un ramo di Mercer Global Attention (MGA) per lo smoothing delle macro-caratteristiche (utilizzando la mappatura dei kernel per ridurre la complessità) e un ramo di Local Window Attention (LWA) per gestire le anomalie locali ad alta frequenza.
   • Ricostruzione Residua: Riassembla le sottobande purificate tramite pixel-shuffle e connessioni residue per emettere caratteristiche robuste.

3. Extrema-guided Dynamic Tone Curve Module (EDTC):
   Progettato come meccanismo di post-compensazione back-end, l'EDTC affronta i vincoli reciproci tra LSFDA e FADM. Ispirato alla teoria di Retinex e alle strategie di stima delle curve, esso accoppia le caratteristiche robuste preliminari con distribuzioni di valori estremi multi-fonte (l'inviluppo massimo per pixel delle immagini sorgente) come prior spaziali. Il modulo predice parametri di mappatura non lineare di ordine superiore per ogni pixel tramite una rete leggera ed esegue una ricostruzione di curva quadratica iterativa. Questo processo ripristina efficacemente la distribuzione dei pixel, alleviando la contrazione del range dinamico e recuperando la nitidezza visiva senza compromettere il sistema di difesa sottostante.

Contributi Chiave

• LSFDA: Una nuova funzione di perdita che regola dinamicamente i pesi tra fedeltà strutturale e vincoli ad alta frequenza, mitigando la perdita di dettagli tipica delle convenzionali difese avversarie.
• FADM: Un'architettura front-end che incasella blocchi di attenzione per il decoupling della frequenza all'interno delle connessioni skip per intercettare e filtrare il rumore avversario ad alta frequenza, preservando al contempo i dettagli spaziali di basso livello attraverso trasformazioni invertibili.
• EDTC: Un meccanismo di compensazione back-end che utilizza prior estremi multi-fonte per eseguire una mappatura non lineare per pixel, risolvendo efficacemente i trade-off prestazionali tra i moduli di difesa e il ripristino della qualità visiva dell'immagine.
• Framework Unificato: L'integrazione di questi componenti in FDCNet raggiunge un equilibrio sinergico tra robustezza avversaria e fedeltà delle caratteristiche, superando i metodi state-of-the-art (SOTA) sia nelle metriche oggettive che nella stabilità dei task a valle.

Risultati Sperimentali
Sono stati condotti estesi esperimenti sui dataset M³FD e MFNet, confrontando FDCNet con otto modelli di fusione SOTA (inclusi SeAFusion, TarDAL, PAIF e A²RNet).

• Qualità della Fusione: Sotto attacchi avversari (PGD), FDCNet ha superato costantemente i baseline in cinque metriche oggettive: Entropia (EN), Deviazione Standard (SD), Peak Signal-to-Noise Ratio (PSNR), Coefficiente di Correlazione (CC) e Sum of Structured Cross Difference (SCD). L'analisi qualitativa ha mostrato che FDCNet preserva la salienza termica dell'infrarosso e i dettagli della texture del visibile con una deviazione minima della forma d'onda del segnale tra gli stati puliti e quelli attaccati, mentre altri metodi mostrano rumore severo, distorsione o collasso strutturale.
• Stabilità dei Task a Valle: Quando le immagini fuse sono state alimentate a reti pre-addestrate di object detection e segmentazione semantica, FDCNet ha dimostrato una robustezza superiore. Sui dataset M³FD e MFNet, FDCNet ha raggiunto la più alta Mean Average Precision (mAP) e Mean Intersection over Union (mIoU) in condizioni di attacco, con la minore degradazione delle prestazioni (ad esempio, un calo di mAP di soli 0,012 su M³FD) rispetto agli altri metodi. I risultati visivi della rilevazione hanno confermato che FDCNet rileva con successo tutti i target (pedoni e veicoli) con alta confidenza, mentre altri modelli soffrono di mancate rilevazioni e segmentazioni frammentate.
• Studi di Ablazione: Gli esperimenti hanno verificato che sebbene i singoli moduli (LSFDA, FADM, EDTC) migliorino le prestazioni, la loro operazione congiunta senza l'EDTC porta a vincoli di prestazione dovuti a obiettivi di ottimizzazione conflittuali. Il modello completo (M6) che incorpora tutti e tre i componenti ha ottenuto i risultati ottimali, confermando la necessità dell'EDTC per conciliare difesa e fedeltà.

Significatività
Il paper sostiene che FDCNet mitiga efficacemente gli effetti avversi delle perturbazioni avversarie sui task IVIF, un dominio precedentemente vulnerabile a tali attacchi. Introducendo una strategia di difesa consapevole della frequenza accoppiata a un meccanismo di compensazione della curva di tono dinamica, il metodo supera con successo il tradizionale trade-off tra immunità anti-interferenza e fedeltà dell'immagine. I risultati dimostrano che FDCNet non solo mantiene risultati di fusione ad alta fedeltà, ma stabilizza significativamente le prestazioni di critici task di visione a valle (object detection e segmentazione semantica) in ambienti avversari. Gli autori riconoscono che il decoupling della frequenza multi-scala e le iterazioni non lineari aumentano la complessità computazionale, suggerendo che il lavoro futuro si concentrerà sul design lightweight e sull'ottimizzazione dell'efficienza dell'inferenza per il deployment ingegneristico pratico.