Riepilogo Tecnico: FMRFusion

Definizione del Problema

La fusione di immagini infrarossi e visibili (IVIF) mira a generare un'immagine composita che conservi le informazioni significative del target dalla radiazione termica, preservando al contempo le texture dettagliate dalla luce riflessa. Nonostante i recenti progressi, i metodi esistenti affrontano tre limitazioni primarie:

1. Decoupling delle Caratteristiche Incompleto: I metodi tradizionali basati su CNN e sulla Trasformata Multi-Scala (MST) applicano spesso operatori identici a entrambe le modalità, causando la perdita di caratteristiche specifiche della modalità attraverso pipeline di codifica condivise.
2. Compromesso tra Caratteristiche Locali e Globali: Le CNN eccellono nel contesto locale ma faticano con le dipendenze a lungo raggio, mentre i Vision Transformer offrono una modellazione globale a costi computazionali proibitivi.
3. Meccanismi di Fusione Subottimali: Molti approcci di deep learning concatenano prematuramente le immagini sorgente in una rete a percorso singolo, portando all'interferenza delle informazioni piuttosto che a un'interazione strutturata delle caratteristiche.

Inoltre, gli attuali metodi faticano spesso a modellare congiuntamente l'informazione contestuale globale e a preservare i dettagli fini, in particolare quando si devono separare le rappresentazioni complementari tra modalità eterogenee in scenari di imaging di bassa qualità.

Metodologia

Gli autori propongono FMRFusion, una rete di apprendimento della rappresentazione multi-vista consapevole della frequenza, progettata per affrontare queste sfide. L'architettura integra Reti Neurali Convoluzionali (CNN) e Transformer all'interno di un framework ibrido a due rami.

1. Architettura Ibrida a Due Rami

La rete impiega rami indipendenti per gli input infrarossi e visibili per evitare l'interferenza delle caratteristiche durante la codifica:

• Estrazione delle Caratteristiche Superficiali: Un Encoder Shallow DRSformer (SDE) estrae le caratteristiche iniziali. Il blocco DRSformer utilizza un parametro apprendibile $K$ per controllare dinamicamente la sparsità, filtrando le informazioni irrilevanti durante l'interazione delle caratteristiche.
• Decomposizione delle Caratteristiche: Le caratteristiche estratte vengono decomposte in componenti a Bassa Frequenza (Base) e ad Alta Frequenza (Dettaglio):
  • Blocchi Transformer (TRB): Utilizzano l'auto-attenzione spaziale (specificamente il blocco LT) per estrarre informazioni a bassa frequenza e modellare le dipendenze a lungo raggio.
  • Modulo di Percezione Strutturale Multi-Scala (MS-SPM): Progettato per catturare strutture locali fini. Comprende due sotto-moduli:
    • Blocco Sensibile al Gradiente (GAB): Una variante di ResBlock che calcola l'ampiezza del gradiente utilizzando operatori Sobel per preservare i bordi strutturali.
    • Blocco di Attenzione Potenziata (EAB): Decompone kernel convoluzionali grandi (es. $21\times21$) in kernel depthwise più piccoli ($5\times5$ o $7\times7$) per catturare in modo efficiente informazioni contestuali ricche.

2. Interazione Complementare Cross-View (CVCI)

Per modellare esplicitamente la relazione tra le strutture termiche infrarosse e la texture/colore visibile, viene introdotto un modulo di Lighten Cross-Attention (LCA) nello strato di fusione:

• Blocco di Cross-Attention (CAB): Utilizza una struttura a due rami simmetrica in cui un ramo genera le query mentre l'altra modalità fornisce chiavi (keys) e valori (values), garantendo il raffinamento tramite informazioni complementari.
• Potenziamento dell'Intensità e Denoising del Colore: Basandosi sulla teoria di Retinex, il modulo decompone le caratteristiche in componenti di illuminazione e riflettanza per potenziare l'intensità infrarossa e sopprimere il rumore cromatico nelle caratteristiche visibili.

3. Raffinamento Basato su Flow-Matching

Un modulo di Flow Matching guidato dal semantismo è impiegato come strategia di raffinamento post-processing (Fase III):

• Meccanismo: Tratta l'immagine fusa grossolana ($F_1$) e le maschere semantiche come un prior condizionale. Una U-Net condizionale predice un campo di velocità per trasportare un prior di rumore Gaussiano verso la rappresentazione target di alta qualità.
• Obiettivo: Questo processo iterativo raffina progressivamente le caratteristiche fuse, apprendendo la trasformazione dai dati grossolani verso rappresentazioni di alta qualità per migliorare la fedeltà e la qualità percettiva senza richiedere immagini fuse ground-truth (auto-supervisionato).

4. Strategia di Addestramento in Tre Fasi

Il modello viene addestrato in tre fasi distinte per ottimizzare diversi aspetti del processo di fusione:

1. Fase I (Decomposizione): Ottimizza l'estrazione e la decomposizione delle caratteristiche utilizzando perdite di ricostruzione, decomposizione e consistenza del gradiente.
2. Fase II (Fusione): Si concentra sulla preservazione dell'intensità e sulla fusione delle caratteristiche.
3. Fase III (Potenziamento): Utilizza la perdita di Flow Matching insieme a vincoli di intensità, gradiente e consistenza semantica per raffinare l'output finale.

Contributi Chiave

Il documento riassume i suoi principali contributi come segue:

• Architettura Ibrida a Due Rami: Combina l'efficienza delle CNN con le capacità di modellazione globale dei Transformer in rami indipendenti per prevenire l'interferenza delle caratteristiche.
• Meccanismo di Fusione Decoupled per Frequenza: Introduce un modulo innovativo che separa ed esalta esplicitamente le informazioni strutturali condivise (bassa frequenza) e i dettagli specifici della modalità (alta frequenza).
• Raffinamento Basato su Flow Matching: Propone un paradigma per potenziare iterativamente le caratteristiche fuse mappando i dati grossolani verso rappresentazioni di alta qualità, migliorando fedeltà e robustezza.

Risultati Sperimentali

Esperimenti estesi sono stati condotti su quattro dataset infrarossi-visibili (MSRS, TNO, Roadscene, M3FD) e validati sulla fusione di immagini mediche (MRI-CT, MRI-PET, MRI-SPECT) e compiti di fusione di immagini multi-focus.

• Prestazioni Quantitative: FMRFusion ha raggiunto prestazioni superiori o allo stato dell'arte (SOTA) in molteplici metriche (Entropia, Deviazione Standard, Frequenza Spaziale, Fedeltà dell'Informazione Visiva, ecc.) su tutti i dataset testati. Ad esempio, sul dataset MSRS, ha ottenuto i punteggi più alti in EN (6.907), SD (48.539), SF (13.486) e AG (4.538).
• Prestazioni Qualitative: I confronti visivi hanno dimostrato che il metodo integra efficacemente la radiazione termica con i dettagli della texture, minimizzando la perdita di informazioni di sfondo e distinguendo meglio i target in primo piano rispetto ai competitor come SwinFusion, CDDFuse e TDFusion.
• Generalizzazione: Il modello ha mostrato prestazioni costanti quando applicato direttamente alla fusione di immagini mediche e alla fusione multi-focus senza riaddestramento, validando la sua generalizzazione cross-task.
• Task a Valle (Downstream): Negli esperimenti di rilevamento oggetti utilizzando YOLOv5 sul dataset MSRS, le immagini fuse prodotte da FMRFusion hanno prodotto punteggi mAP più elevati per le categorie "Persona" e "Auto" rispetto agli input a singola modalità e ad altri metodi di fusione.

Significato e Rivendicazioni

Il documento afferma che FMRFusion affronta le sfide critiche della fusione di dati eterogenei:

1. Alleviare la Perdita di Informazioni: Il decoupling esplicito di alta/bassa frequenza previene la perdita di dettagli strutturali e di intensità comune nelle architetture a singolo ramo.
2. Bilanciare la Modellazione Locale e Globale: La strategia ibrida integra il filtraggio sensibile al gradiente con la modellazione delle dipendenze globali, garantendo una robusta consistenza strutturale e un potenziamento dei dettagli fini anche in condizioni di imaging degradate.
3. Potenziare l'Interazione Cross-View: Il modulo di Interazione Complementare Cross-View facilita esplicitamente lo scambio di informazioni complementari tra l'intensità radiativa e gli indizi strutturali riflessi.
4. Raffinamento Progressivo: Il meccanismo di Flow Matching fornisce una trasformazione continua per raffinare i risultati della fusione, migliorando la salienza e il contrasto.

Gli autori concludono che il metodo dimostra una forte prestazione sugli standard di riferimento e una consistente generalizzazione cross-task, validando la sua efficacia per la fusione di immagini multi-vista in scenari complessi, in particolare in ambienti notturni.