Technisches Resümee: CMS2-Fusion

1. Problemstellung

Die Fusion von Infrarot- und sichtbaren Bildern zielt darauf ab, die thermische Strahlungsinformation der Infrarotsensoren mit den reichhaltigen Texturen und räumlichen Details der sichtbaren Kameras in einer einzigen, umfassenden Repräsentation zu integrieren. Obwohl Deep-Learning-Methoden dieses Feld vorangebracht haben, folgen bestehende Ansätze typischerweise einem „Encode-then-Fuse“-Paradigma (Kodieren-dann-Fusionieren). In diesen Methoden werden die Infrarot- und die sichtbare Modalität durch separate Netzwerkzweige (unter Verwendung von CNNs, Transformern oder Mamba-basierten Encodern) verarbeitet, wobei während der Kodierungsphase kein Informationsaustausch stattfindet. Die kreuzmodale Interaktion wird auf die finale Fusionsstufe verschoben, meist über einfache Konkatenation oder Mittelwertbildung.

Die Autoren argumentieren, dass diese Trennung die volle Kapazität von State Space Models (SSMs), speziell Mamba, nicht ausschöpft. In Mamba erfassen verborgene Zustände (Hidden States) den räumlichen Kontext naturgemäß durch Zustandsübergänge. Indem bestehende Methoden die Modalitäten während der Kodierung isoliert halten, verpassen sie die Gelegenheit, semantisch gekoppelte Repräsentationen auf Ebene der Zustandsübergänge zu erlernen, was potenziell die Fähigkeit des Modells einschränkt, inhärente Unterschiede zwischen den Modalitäten aufzulösen (z. B. geringe Auflösung im Infraroten vs. schlechte Sichtbarkeit im sichtbaren Licht unter schlechten Beleuchtungsverhältnissen).

2. Methodik: CMS2-Fusion

Das Paper schlägt CMS2-Fusion (Cross-Modal State Space Coupling) vor, ein Framework, das das Paradigma von „Encode-then-Fuse“ zu „Encoding-as-Coupling“ (Kodierung als Kopplung) verschiebt. Die Kerninnovation ist ein Mechanismus, der es den verborgenen Zuständen beider Modalitäten ermöglicht, während des Kodierungsprozesses innerhalb der Mamba-Blöcke dynamisch zu interagieren.

Kernkomponenten:

• CoupledVisionMambaBlock:

  • Anstatt unabhängiger Pipelines werden die Infrarot- ($I_{IR}$) und die sichtbaren ($I_{VIS}$) Feature-Maps in einen gemeinsamen Zustandsraum projiziert.
  • Die Zustandsaktualisierungen für jede Modalität werden so modifiziert, dass ein Term der jeweils anderen Modalität einbezogen wird, skaliert durch einen lernbaren Kopplungskoeffizienten ($\lambda$).
  • Die Aktualisierungsgleichungen lauten:
    h_{IR} = \text{Mamba}(P_{IR} I_{IR}) + \lambda \cdot P_{VIS \to IR} (P_{VIS} I_{VIS})$* h_{VIS} = \text{Mamba}(P_{VIS} I_{VIS}) + \lambda \cdot P_{IR \to VIS} (P_{IR} I_{IR})$$
  • Hierbei ist $\lambda$ auf 0,3 initialisiert und wird während des Trainings gelernt, um die Interaktionsstärke adaptiv zu steuern. $P$ repräsentiert lernbare Projektionsmatrizen.
  • Dieses Design fügt im Vergleich zu Standard-Mamba nur einen geringen konstanten Overhead hinzu und bewahrt die lineare Komplexität $O(L)$.

• Parameter-Sharing (Parameterteilung):

  • Innerhalb jedes Blocks teilen die beiden Modalitäten die Kern-Mamba-SSM-Parameter (Zustandsübergangsmatrix $A$ und selektive Projektionsparameter).
  • Die Eingangsprojektionen ($P_{IR}, P_{VIS}$) und die kreuzmodalen Projektionen ($P_{VIS \to IR}, P_{IR \to VIS}$) bleiben modalitätsspezifisch.
  • Diese Strategie reduziert die Gesamtzahl der Parameter im Vergleich zu einem entkoppelten Baseline-Modell um 13 %.

• Architektur:

  • Encoder: Eine dreistufige Pyramidenstruktur, bei der jede Stufe aus gekoppelten Mamba-Blöcken besteht. Durch Patch-Merging wird die räumliche Auflösung reduziert, während die Kanaltiefe erhöht wird.
  • Fusionsmodul: Befindet sich auf der tiefsten Feature-Ebene (16x16 Auflösung) und nutzt einen räumlichen Attention-Mechanismus, um Features basierend auf der lokalen „Aktivität“ (L2-Norm der Feature-Vektoren) zu gewichten. Dies weist automatisch höhere Gewichte für thermisch markante Regionen im Infraroten und texturreiche Regionen im Sichtbaren zu.
  • Decoder: Ein Skip-Connected Decoder rekonstruiert das Bild auf die ursprüngliche Auflösung. Die Skip-Connections nutzen eine einfache Mittelwertbildung der gekoppelten Features, da die semantische Ausrichtung bereits während der Kodierung stattgefunden hat.

• Loss-Funktion:

  • Das Modell wird mit einem zusammengesetzten Loss trainiert: $\mathcal{L}_{total} = \mathcal{L}_{L1} + 10\mathcal{L}_{edge} + 2\mathcal{L}_{SSIM}$.
  • $\mathcal{L}_{L1}$ bewahrt Helligkeit und Kontrast.
  • $\mathcal{L}_{edge}$ stellt die Erhaltung der Gradientenmagnitude sicher.
  • $\mathcal{L}_{SSIM}$ erzwingt die strukturelle Ähnlichkeit.

3. Wichtigste Beiträge

1. Cross-Modal State Space Coupling: Das Paper führt einen kreuzmodalen Kopplungsmechanismus innerhalb der Mamba-Kodierungsblöcke ein, der eine Interaktion auf der Ebene der verborgenen Zustände während der Kodierung ermöglicht, anstatt sie auf die Fusionsstufe zu verschieben. Während bereits Mamba-basierte Fusionsmethoden existieren (z. B. CrossMamba), verfolgen diese das Paradigma der unabhängigen Kodierung; diese Arbeit zielt spezifisch auf die Kopplung auf Ebene der State-Spaces während der Kodierungsphase ab.
2. Parametereffizientes Design: Durch das Teilen der SSM-Parameter über die Modalitäten hinweg erreicht das Modell eine Reduktion der Parameter um 13 % (8,4M gegenüber 9,6M) im Vergleich zu einer entkoppelten Mamba-Baseline und reduziert gleichzeitig das Overfitting-Risiko.
3. Paradigmenwechsel: Die Arbeit schlägt einen Wechsel von der unabhängigen Kodierung zur gekoppelten Kodierung vor und zeigt auf, dass Zustandsübergänge genutzt werden können, um thermische-Textur-Abhängigkeiten direkt zu modellieren.

4. Experimentelle Ergebnisse

Die Experimente wurden auf dem MSRS-Datensatz (1.083 Trainingspaare, 361 Testpaare) durchgeführt.

• Quantitative Leistung:

  • $Q_{abf}$ (Qualität der Fusion): CMS2-Fusion erreichte 0,7704, was die klassische CNN-Methode DenseFuse (0,4525) um 70,3 % und die entkoppelte Mamba-Baseline (0,7589) um 1,51 % übertrifft.
  • Informationsmetriken: Die Mutual Information (MI) stieg um 9,2 % (3,0548) und die Entropie (EN) um 11,2 % (6,6281) im Vergleich zu DenseFuse.
  • Detailerhaltung: Die räumliche Frequenz (SF) verbesserte sich um 87,7 % und der durchschnittliche Gradient (AG) um 85,2 % gegenüber DenseFuse, was auf eine überlegene Kanten- und Texturerhaltung hindeutet.
  • SSIM: Die Metrik zeigte eine geringfügige Abnahme von 0,6693 (DenseFuse) auf 0,6562. Die Autoren führen dies auf den inhärenten Trade-off zwischen der Erhaltung der thermischen Salienz und der strukturellen Treue des sichtbaren Bildes zurück und merken an, dass der Wert in einem hohen Bereich bleibt. Im Vergleich zur entkoppelten Baseline verbesserte sich der SSIM um 0,94 % (von 0,6501 auf 0,6562).

• Ablationsstudien:

  • Parameter-Sharing: Der Übergang von einer entkoppelten Baseline zu einem gekoppelten Modell ohne Interaktion verbesserte $Q_{abf}$ um 0,0085 und reduzierte die Parameter um 13 %.
  • Interaktion: Die Aktivierung des lernbaren Kopplungskoeffizienten ($\lambda$) lieferte einen zusätzlichen $Q_{abf}$-Gewinn von 0,0030.
  • Konvergenz des Koeffizienten: Das lernbare $\lambda$ konvergierte gegen etwa 0,3646, was ein optimales Gleichgewicht zwischen modalitätsspezifischer Beibehaltung und kreuzmodaler Interaktion anzeigt.

• Effizienz:

  • Inferenzzeit: 41,3 ms pro Bild auf einer NVIDIA RTX 4090 (vergleichbar mit der 42,7 ms Baseline).
  • FLOPs: 46,1G, niedriger als die Baseline (48,3G).

5. Bedeutung und Ansprüche

Das Paper behauptet, dass CMS2-Fusion einen Paradigmenwechsel in der multimodalen Fusion darstellt. Durch die Einführung der kreuzmodalen Kopplung auf der Ebene der Zustandsübergänge überwindet die Methode die Einschränkungen von „Encode-then-Fuse“-Architekturen. Die Autoren behaupten, dass dieser Ansatz es dem Netzwerk ermöglicht, früher im Prozess semantisch stärker gekoppelte Repräsentationen zu erlernen, was zu fusionierten Bildern führt, die sowohl die thermische Salienz als auch die Texturtreue besser bewahren.

Die Arbeit unterscheidet sich von bestehenden Mamba-basierten Fusionsmethoden (wie CrossMamba, FusionMamba etc.), indem sie die erste ist, die eine spezifische kreuzmodale Interaktion der State-Spaces während der Kodierungsphase anwendet. Während frühere Arbeiten Mamba zur Merkmalsextraktion nutzen, halten sie die Zweige bis zur Fusionsstufe unabhängig; CMS2-Fusion integriert die Modalitäten direkt innerhalb der Zustandsübergänge des Encoders. Die Autoren zeigen, dass das Teilen von SSM-Parametern und die Ermöglichung einer dynamischen Zustandsinteraktion eine überlegene Leistung bei weniger Parametern liefert, was das Modell zu einem starken Kandidaten für den Einsatz an Edge-Geräten macht.

Zukünftige Arbeiten, die von den Autoren vorgeschlagen werden, umfassen eine layer-adaptive und räumlich-adaptive Kopplung sowie die Erweiterung des Frameworks auf andere multimodale Aufgaben wie die medizinische Bildfusion.