Riepilogo Tecnico: CMS2-Fusion

1. Definizione del Problema

La fusione di immagini infrarosse e visibili mira a integrare le informazioni della radiazione termica provenienti dai sensori a infrarossi con la ricca texture e i dettagli spaziali delle telecamere visibili in un'unica rappresentazione completa. Sebbene i metodi basati sul deep learning abbiano fatto avanzare questo campo, gli approcci esistenti seguono tipicamente un paradigma "encode-then-fuse" (codifica e poi fusione). In questi metodi, le modalità infrarossa e visibile vengono elaborate attraverso rami di rete separati (utilizzando CNN, Transformer o modelli basati su Mamba) senza scambio di informazioni durante la fase di codifica. L'interazione cross-modale è differita fino alla fase finale di fusione, solitamente tramite semplice concatenazione o media.

Gli autori sostengono che questa separazione non riesca a sfruttare appieno il potenziale dei Modelli a Spazio di Stato (SSM), specificamente Mamba. In Mamba, gli stati nascosti catturano naturalmente il contesto spaziale attraverso le transizioni di stato. Mantenendo le modalità isolate durante la codifica, i metodi esistenti perdono l'opportunità di apprendere rappresentazioni semanticamente accoppiate a livello di transizione di stato, limitando potenzialmente la capacità del modello di risolvere le differenze intrinseche tra le modalità (ad esempio, la bassa risoluzione nell'infrarosso rispetto alla scarsa visibilità nella luce visibile in condizioni di scarsa illuminazione).

2. Metodologia: CMS2-Fusion

Il documento propone CMS2-Fusion (Cross-Modal State Space Coupling), un framework che sposta il paradigma da "encode-then-fuse" a "encoding-as-coupling" (codifica come accoppiamento). L'innovazione principale è un meccanismo che consente agli stati nascosti di entrambe le modalità di interagire dinamicamente durante il processo di codifica all'interno dei blocchi Mamba.

Componenti Chiave:

• CoupledVisionMambaBlock:

  • Invece di pipeline indipendenti, le mappe di caratteristiche infrarosse ($I_{IR}$) e visibili ($I_{VIS}$) sono proiettate in uno spazio di stato condiviso.
  • Gli aggiornamenti dello stato per ogni modalità sono modificati per includere un termine proveniente dall'altra modalità, scalato da un coefficiente di accoppiamento apprendibile ($\lambda$).
  • Le equazioni di aggiornamento sono:
    $$h_{IR} = \text{Mamba}(P_{IR} I_{IR}) + \lambda \cdot P_{VIS \to IR} (P_{VIS} I_{VIS})$$
    $$h_{VIS} = \text{Mamba}(P_{VIS} I_{VIS}) + \lambda \cdot P_{IR \to VIS} (P_{IR} I_{IR})$$
  • Qui, $\lambda$ è inizializzato a 0,3 e appreso durante l'addestramento per controllare adattivamente la forza dell'interazione. $P$ rappresenta le matrici di proiezione apprendibili.
  • Questo design aggiunge solo un piccolo overhead costante rispetto allo standard Mamba, mantenendo la complessità lineare $O(L)$.

• Condivisione dei Parametri (Parameter Sharing):

  • All'interno di ogni blocco, le due modalità condividono i parametri core del Mamba SSM (matrice di transizione di stato $A$ e parametri di proiezione selettiva).
  • Le proiezioni di input ($P_{IR}, P_{VIS}$) e le proiezioni cross-modali ($P_{VIS \to IR}, P_{IR \to VIS}$) rimangono specifiche per ogni modalità.
  • Questa strategia riduce il numero totale di parametri del 13% rispetto a una baseline disaccoppiata.

• Architettura:

  • Encoder: Una struttura piramidale a tre stadi in cui ogni stadio consiste in blocchi Mamba accoppiati. Il "patch merging" riduce la risoluzione spaziale aumentando al contempo la profondità dei canali.
  • Modulo di Fusione: Situato al livello di caratteristica più profondo (risoluzione 16x16), utilizza un meccanismo di attenzione spaziale per pesare le caratteristiche in base all' "attività" locale (norma L2 dei vettori di caratteristiche), assegnando automaticamente pesi più elevati alle regioni salienti termiche per l'infrarosso e alle regioni ricche di texture per il visibile.
  • Decoder: Un decoder con connessioni skip-connected ricostruisce l'immagine alla risoluzione originale. Le connessioni skip utilizzano la semplice media delle caratteristiche accoppiate, poiché l'allineamento semantico è già avvenuto durante la codifica.

• Funzione di Perdita (Loss Function):

  • Il modello è addestrato con una perdita composita: $\mathcal{L}_{total} = \mathcal{L}_{L1} + 10\mathcal{L}_{edge} + 2\mathcal{L}_{SSIM}$.
  • $\mathcal{L}_{L1}$ preserva la luminosità/contrasto.
  • $\mathcal{L}_{edge}$ assicura la preservazione dell'ampiezza del gradiente.
  • $\mathcal{L}_{SSIM}$ impone la somiglianza strutturale.

3. Contributi Principali

1. Accoppiamento dello Spazio di Stato Cross-Modale: Il lavoro introduce un meccanismo di accoppiamento cross-modale all'interno dei blocchi di codifica Mamba, consentendo l'interazione a livello di stato nascosto durante la codifica anziché differirla alla fase di fusione. Sebbene esistano metodi di fusione basati su Mamba precedenti (es. CrossMamba), questo lavoro punta specificamente all'accoppiamento a livello di spazio di stato durante la fase di codifica.
2. Design Efficiente dei Parametri: Condividendo i parametri SSM tra le modalità, il modello ottiene una riduzione dei parametri del 13% (8,4M vs 9,6M) rispetto a una baseline Mamba disaccoppiata, riducendo al contempo il rischio di overfitting.
3. Cambio di Paradigma: Il lavoro propone un passaggio dalla codifica indipendente alla codifica accoppiata, dimostrando che le transizioni di stato possono essere utilizzate per modellare direttamente le dipendenze tra termico e texture.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sul dataset MSRS (1.083 coppie di addestramento, 361 coppie di test).

• Prestazioni Quantitative:

  • $Q_{abf}$ (Qualità della fusione): CMS2-Fusion ha raggiunto 0,7704, superando il metodo classico CNN DenseFuse (0,4525) del 70,3% e la baseline Mamba disaccoppiata (0,7589) dell'1,51%.
  • Metriche di Informazione: L'Informazione Mutua (MI) è aumentata del 9,2% (3,0548) e l'Entropia (EN) dell'11,2% (6,6281) rispetto a DenseFuse.
  • Preservazione dei Dettagli: La Frequenza Spaziale (SF) è migliorata dell'87,7% e il Gradiente Medio (AG) dell'85,2% rispetto a DenseFuse, indicando una superiore preservazione di bordi e texture.
  • SSIM: La metrica ha mostrato una leggera diminuzione da 0,6693 (DenseFuse) a 0,6562. Gli autori attribuiscono ciò al compromesso intrinseco tra la preservazione della salienza termica e la fedeltà strutturale del visibile, notando che il valore rimane in un intervallo elevato. Rispetto alla baseline disaccoppiata, l'SSIM è migliorato dello 0,94% (da 0,6501 a 0,6562).

• Studi di Ablazione:

  • Condivisione dei Parametri: Passando da una baseline disaccoppiata a un modello accoppiato senza interazione, la $Q_{abf}$ è migliorata di 0,0085 e i parametri sono stati ridotti del 13%.
  • Interazione: L'abilitazione del coefficiente di accoppiamento apprendibile ($\lambda$) ha fornito un ulteriore guadagno di $Q_{abf}$ di 0,0030.
  • Convergenza del Coefficiente: Il $\lambda$ apprendibile è convergente a circa 0,3646, indicando un equilibrio ottimale tra la ritenzione specifica della modalità e l'interazione cross-modale.

• Efficienza:

  • Tempo di inferenza: 41,3 ms per immagine su una NVIDIA RTX 4090 (comparabile ai 42,7 ms della baseline).
  • FLOPs: 46,1G, inferiori alla baseline (48,3G).

5. Significato e Rivendicazioni

Il paper sostiene che CMS2-Fusion rappresenti un cambio di paradigma nella fusione multi-modale. Introducendo l'accoppiamento cross-modale a livello di transizione di stato, il metodo supera i limiti delle architetture "encode-then-fuse". Gli autori affermano che questo approccio consente alla rete di apprendere rappresentazioni semanticamente più accoppiate precocemente nel processo, risultando in immagini fuse che preservano meglio sia la salienza termica che la fedeltà della texture.

Il lavoro si distingue dai metodi di fusione basati su Mamba esistenti (come CrossMamba, FusionMamba, ecc.) essendo il primo ad applicare l'interazione cross-modale dello spazio di stato specificamente durante la fase di codifica. Mentre i lavori precedenti utilizzano Mamba per l'estrazione delle caratteristiche, mantengono rami indipendenti fino alla fase di fusione; CMS2-Fusion integra le modalità direttamente all'interno delle transizioni di stato dell'encoder. Gli autori dimostrano che la condivisione dei parametri SSM e l'interazione dinamica degli stati produce prestazioni superiori con meno parametri, rendendolo un forte candidato per l'implementazione su dispositivi edge.

Il lavoro futuro suggerito dagli autori include l'accoppiamento adattivo per livello e spazialmente, nonché l'estensione del framework ad altri compiti multi-modali come la fusione di immagini mediche.