Technische Samenvatting: CMS2-Fusion

1. Probleemstelling

Fusie van infrarood- en zichtbare beelden beoogt de thermische stralingsinformatie van infraroodsensoren te integreren met de rijke textuur en ruimtelijke details van zichtbare camera's in één enkele, allesomvattende representatie. Hoewel deep learning-methoden dit veld hebben geavanceerd, volgen bestaande benaderingen doorgaans een "encode-dan-fuse"-paradigma. In deze methoden worden infrarood- en zichtbare modaliteiten verwerkt via afzonderlijke netwerkvertakkingen (met behulp van CNNs, Transformers of Mamba-gebaseerde encoders) zonder informatie-uitwisseling tijdens de coderingsfase. Cross-modale interactie wordt uitgesteld tot de uiteindelijke fusiefase, meestal via eenvoudige concatenatie of middeling.

De auteurs stellen dat deze scheiding er niet in slaagt het volledige potentieel van State Space Models (SSMs), specifiek Mamba, te benutten. In Mamba leggen verborgen toestanden (hidden states) van nature ruimtelijke context vast via toestands-transities. Door de modaliteiten tijdens het coderen geïsoleerd te houden, missen bestaande methoden de kans om semantisch gekoppelde representaties op het niveau van de toestands-transitie te leren, wat de capaciteit van het model potentieel kan beperken om inherente verschillen tussen modaliteiten (bijv. lage resolutie in infrarood versus lage zichtbaarheid in zichtbaar licht onder slechte lichtomstandigheden) op te lossen.

2. Methodologie: CMS2-Fusion

Het artikel stelt CMS2-Fusion voor (Cross-Modal State Space Coupling), een framework dat de paradigma verschuift van "encode-dan-fuse" naar "encoding-als-coupling". De kerninnovatie is een mechanisme dat de verborgen toestanden van beide modaliteiten dynamisch laat interageren tijdens het coderingsproces binnen de Mamba-blokken.

Belangrijkste componenten:

• CoupledVisionMambaBlock:

  • In plaats van onafhankelijke pipelines worden de infrarood ($I_{IR}$) en zichtbare ($I_{VIS}$) feature maps geprojecteerd in een gedeelde state space.
  • De state updates voor elke modaliteit worden gewijzigd door een term van de andere modaliteit toe te voegen, geschaald door een leerbare koppelingscoëfficiënt ($\lambda$).
  • De update-vergelijkingen zijn:
    $$h_{IR} = \text{Mamba}(P_{IR} I_{IR}) + \lambda \cdot P_{VIS \to IR} (P_{VIS} I_{VIS})$$
    $$h_{VIS} = \text{Mamba}(P_{VIS} I_{VIS}) + \lambda \cdot P_{IR \to VIS} (P_{IR} I_{IR})$$
  • Hier is $\lambda$ geïnitialiseerd op 0,3 en wordt deze geleerd tijdens de training om de interactiekracht adaptief te controleren. $P$ vertegenwoordigt leerbare projectiematrices.
  • Dit ontwerp voegt slechts een kleine constante overhead toe vergeleken met standaard Mamba en behoudt de lineaire complexiteit $O(L)$.

• Parameterdeling:

  • Binnen elk blok delen de twee modaliteiten de kernparameters van de Mamba SSM (state transition matrix $A$ en selectieve projectieparameters).
  • Input-projecties ($P_{IR}, P_{VIS}$) en cross-modale projecties ($P_{VIS \to IR}, P_{IR \to VIS}$) blijven modaliteit-specifiek.
  • Deze strategie vermindert het totale aantal parameters met 13% vergeleken met een gedecoupleerde baseline.

• Architectuur:

  • Encoder: Een drie-traps piramide-structuur waarbij elke fase bestaat uit gekoppelde Mamba-blokken. Patch merging vermindert de ruimtelijke resolutie terwijl de kanaaldiepte toeneemt.
  • Fusiemodule: Gelegen op het diepste feature-niveau (16x16 resolutie), gebruikt deze een ruimtelijk aandachtmechanisme om features te wegen op basis van lokale "activiteit" (L2-norm van feature vectoren), waardoor automatisch hogere gewichten worden toegewezen aan thermische saillante regio's voor infrarood en textuurrijke regio's voor zichtbaar licht.
  • Decoder: Een skip-connected decoder reconstrueert de afbeelding naar de oorspronkelijke resolutie. Skip-verbindingen gebruiken eenvoudige middeling van gekoppelde features, aangezien semantische uitlijning al heeft plaatsgevonden tijdens de codering.

• Loss Functie:

  • Het model wordt getraind met een samengestelde loss: $\mathcal{L}_{total} = \mathcal{L}_{L1} + 10\mathcal{L}_{edge} + 2\mathcal{L}_{SSIM}$.
  • $\mathcal{L}_{L1}$ behoudt helderheid/contrast.
  • $\mathcal{L}_{edge}$ zorgt voor behoud van gradiëntmagnitude.
  • $\mathcal{L}_{SSIM}$ dwingt structurele gelijkenis af.

3. Belangrijkste Bijdragen

1. Cross-Modale State Space Koppeling: Het artikel introduceert een cross-modaal koppelingsmechanisme binnen de Mamba-coderingsblokken, wat interactie op het niveau van de verborgen toestanden mogelijk maakt tijdens de codering in plaats van het uit te stellen tot de fusiefase. Hoewel er eerder Mamba-gebaseerde fusiemethoden bestonden (bijv. CrossMamba), houden deze vast aan een onafhankelijk coderingsparadigma; dit werk richt zich specifiek op state-space-niveau koppeling binnen de coderingsfase.
2. Parameter-efficiënt Ontwerp: Door SSM-parameters over de modaliteiten te delen, bereikt het model een reductie van 13% in parameters (8,4M vs. 9,6M) vergeleken met een gedecoupleerde Mamba-baseline, terwijl het risico op overfitting wordt verminderd.
3. Paradigmaverschuiving: Het werk stelt een verschuiving voor van onafhankelijke codering naar gekoppelde codering, en demonstreert dat state-transities kunnen worden gebruikt om thermische-textuur afhankelijkheden direct te modelleren.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op de MSRS dataset (1.083 trainingsparen, 361 testparen).

• Kwantitatieve Prestaties:

  • $Q_{abf}$ (Kwaliteit van fusie): CMS2-Fusion behaalde 0,7704, waarmee het de klassieke CNN-methode DenseFuse (0,4525) met 70,3% overtrof en de gedecoupleerde Mamba-baseline (0,7589) met 1,51%.
  • Informatie-metrieken: Mutual Information (MI) nam toe met 9,2% (3,0548) en Entropy (EN) met 11,2% (6,6281) vergeleken met DenseFuse.
  • Detailbehoud: Spatial Frequency (SF) verbeterde met 87,7% en Average Gradient (AG) met 85,2% ten opzichte van DenseFuse, wat wijst op superieur behoud van randen en textuur.
  • SSIM: De metriek vertoonde een lichte daling van 0,6693 (DenseFuse) naar 0,6562. De auteurs wijten dit aan de inherente afweging tussen het behoud van thermische salientie en de structurele getrouwheid van zichtbaar licht, waarbij zij opmerken dat de waarde binnen een hoog bereik blijft. Vergeleken met de gedecoupleerde baseline verbeterde de SSIM met 0,94% (van 0,6501 naar 0,6562).

• Ablatie-studies:

  • Parameterdeling: Het overgaan van een gedecoupleerde baseline naar een gekoppeld model zonder interactie verbeterde $Q_{abf}$ met 0,0085 en verminderde de parameters met 13%.
  • Interactie: Het inschakelen van de leerbare koppelingscoëfficiënt ($\lambda$) leverde een extra $Q_{abf}$-winst op van 0,0030.
  • Convergentie van Coëfficiënt: De leerbare $\lambda$ convergeerde naar ongeveer 0,3646, wat duidt op een optimale balans tussen modaliteit-specifieke retentie en cross-modale interactie.

• Efficiëntie:

  • Inferentietijd: 41,3 ms per afbeelding op een NVIDIA RTX 4090 (vergelijkbaar met de 42,7 ms baseline).
  • FLOPs: 46,1G, lager dan de baseline (48,3G).

5. Betekenis en Claims

Het artikel claimt dat CMS2-Fusion een paradigmaverschuiving vertegenwoordigt in multi-modale fusie. Door cross-modale koppeling te introduceren op het niveau van de state-transitie, gaat de methode voorbij aan de beperkingen van "encode-dan-fuse"-architecturen. De auteurs beweren dat deze aanpak het netwerk in staat stelt om eerder in de pijplijn meer semantisch gekoppelde representaties te leren, wat resulteert in gefuseerde beelden die zowel thermische salientie als textuurgetrouwheid beter behouden.

Het werk onderscheidt zich van bestaande Mamba-gebaseerde fusiemethoden (zoals CrossMamba, FusionMamba, etc.) door de eerste te zijn die cross-modale state-space interactie specifiek tijdens de coderingsfase toepast. Terwijl voorgaande werken Mamba gebruiken voor feature extractie, behouden zij onafhankelijke takken tot de fusiefase; CMS2-Fusion integreert de modaliteiten direct binnen de state-transities van de encoder. De auteurs demonstreren dat het delen van SSM-parameters en het mogelijk maken van dynamische state-interactie leidt tot superieure prestaties met minder parameters, wat het een sterke kandidaat maakt voor edge-deployment.

Toekomstig werk gesuggereerd door de auteurs omvat layer-adaptive en spatially-adaptive koppeling, evenals het uitbreiden van het framework naar andere multi-modale taken zoals medische beeldfusie.