SoDa2: Single-Stage Open-Set Domain Adaptation via Decoupled Alignment for Cross-Scene Hyperspectral Image Classification

Technische Zusammenfassung: SoDa2: Single-Stage Open-Set Domain Adaptation via Decoupled Alignment for Cross-Scene Hyperspectral Image Classification

Problemstellung
Die Klassifizierung von hyperspektralen Bildern (HSI) über verschiedene Szenen hinweg ist eine grundlegende Aufgabe in der Fernerkundung, stößt jedoch bei der Anwendung auf reale Szenarien auf erhebliche Herausforderungen. Traditionelle Deep-Learning-Methoden gehen davon aus, dass Trainingsdaten (Quelle) und Testdaten (Ziel) unabhängig und identisch verteilt sind. Variationen bei Sensoren, Aufnahmebedingungen und atmosphärischen Effekten verursachen jedoch einen „Domain Shift", der die Modellleistung bei der Anwendung auf neue Szenen verschlechtert. Darüber hinaus enthalten reale Zielbereiche oft „unbekannte Klassen" (Kategorien, die im Quellbereich nicht vorhanden sind), was herkömmliche Closed-Set-Domain-Adaptation-Methoden (DA) unwirksam macht. Bestehende Open-Set-Domain-Adaptation-Ansätze (OSDA) für HSI weisen zwei Hauptbeschränkungen auf:

1. Probleme bei der hybriden Ausrichtung: Die meisten Methoden richten gemischte spektral-räumliche Merkmale in einem einheitlichen Raum aus. Spektrale und räumliche Merkmale tragen jedoch unterschiedlich zur Klassifizierung bei und sind unabhängig voneinander verteilt; eine direkte Ausrichtung gemischter Merkmale kann die überdomänenübergreifende Übertragbarkeit untergraben.
2. Rechenineffizienz: Aktuelle OSDA-Methoden verlassen sich typischerweise auf Architekturen mit zwei Klassifikatoren und Zwei-Phasen-Trainingsstrategien (Vor-Training gefolgt von gemeinsamem Training), was zu komplexen Abläufen und hohen Rechenkosten führt.

Methodik: SoDa2
Die Autoren schlagen SoDa2 vor, eine Single-Stage-Open-Set-Domain-Adaptation-Methode auf Basis einer entkoppelten Ausrichtung. Das Framework ist darauf ausgelegt, domainsinvariante Merkmale zu extrahieren und gleichzeitig zwischen bekannten und unbekannten Klassen adaptiv zu unterscheiden, ohne dass Vorwissen über die unbekannten Kategorien vorhanden ist. Die Architektur besteht aus drei Kernkomponenten:

1. Beitragsbewusste Dual-Modalitäts-Merkmalsextraktion:
   Anstatt Merkmale frühzeitig zu fusionieren, setzt die Methode parallele Zweige ein, um spektrale und räumliche Merkmale unabhängig zu extrahieren.

   • Spektraler Zweig: Verwendet Faltungsschichten mit cross-layer-Residualverbindungen, um bandfeine Informationen und hochrangige spektrale Merkmale zu bewahren.
   • Räumlicher Zweig: Nutzt 3D-Faltungsschichten, um globale Strukturen und lokale Texturen zu erfassen, mit Residualverbindungen zur Bewahrung flacher Details.
   • Aufmerksamkeitsmechanismus: Channel-Attention- und Spatial-Attention-Module werden auf die jeweiligen Zweige angewendet, um Merkmale adaptiv neu zu gewichten und die informativsten spektralen Bänder und räumlichen Positionen für die Klassifizierungsaufgabe hervorzuheben.

2. Entkoppelter Ausrichtungsmodul:
   Um den Domain Shift zu adressieren, minimiert die Methode die Maximum Mean Discrepancy (MMD) zwischen Quell- und Zielbereich. Entscheidend ist, dass diese Ausrichtung entkoppelt erfolgt:

   • Die MMD wird separat für spektrale Merkmale ($L_{spe}$) und räumliche Merkmale ($L_{spa}$) berechnet.
   • Dieser Ansatz vermeidet die Verwirrung, die durch die Ausrichtung heterogener gemischter Merkmale entsteht, und ermöglicht es dem Modell, unabhängige domainsinvariante Repräsentationen für jede Modalität zu erlernen.
   • Der gesamte Ausrichtungsverlust ist die Summe der spektralen und räumlichen MMD-Verluste.

3. Open-Set-Erkennungsmodul (Single-Stage-Framework):
   Die Methode nutzt einen Dual-Branch-Encoder für den Zielbereich, um bekannte von unbekannten Klassen in einem einzigen Trainingsstadium zu unterscheiden:

   • Ausgerichteter Merkmalsencoder: Lernt domainsinvariante Merkmale, die durch den MMD-Verlust eingeschränkt sind (gemeinsame Semantik zwischen Quelle und Ziel).
   • Intrinsischer Merkmalsencoder: Lernt zielbereichsspezifische Merkmale ohne überdomänenübergreifende Einschränkungen und erfasst diskriminierende Merkmale unbekannter Klassen.
   • Konsistenzmessung: Die Methode berechnet die quadrierte Kosinus-Ähnlichkeit zwischen den ausgerichteten und intrinsischen Merkmalen für jede Zielprobe.
   • Gaussian Mixture Model (GMM): Die Verteilung dieser Ähnlichkeitswerte wird mit einem GMM mit zwei Komponenten (repräsentierend bekannte und unbekannte Klassen) modelliert. Proben werden basierend darauf klassifiziert, mit welcher Gauß-Komponente ihr Wert übereinstimmt, was eine Open-Set-Erkennung ohne explizite Labels für unbekannte Klassen ermöglicht.

Hauptbeiträge

1. Entkoppelte Ausrichtungsstrategie: Die Arbeit stellt einen neuartigen Ansatz vor, der spektrale und räumliche Merkmale unabhängig mittels MMD ausrichtet und damit die Beschränkungen der hybriden Ausrichtung bei HSI-Daten adressiert, bei denen Modalitäten unterschiedliche Verteilungseigenschaften aufweisen.
2. Single-Stage-Trainingsframework: Im Gegensatz zu bestehenden Zwei-Phasen-OSDA-Methoden integriert SoDa2 Merkmalsextraktion, Domain-Ausrichtung und Open-Set-Erkennung in einen einheitlichen, kosteneffizienten Single-Stage-Trainingsprozess.
3. Beitragsbewusste Merkmalsextraktion: Das Design paralleler spektraler und räumlicher Zweige mit Aufmerksamkeitsmechanismen ermöglicht die selektive Verstärkung diskriminierender Merkmale beider Modalitäten.
4. GMM-basierte Open-Set-Erkennung: Die Methode verwendet ein GMM, um die Konsistenzwerte zwischen ausgerichteten und intrinsischen Merkmalen zu modellieren, wodurch die automatische Trennung bekannter und unbekannter Klassen ohne Vorwissen über die unbekannten Kategorien ermöglicht wird.

Experimentelle Ergebnisse
Die Autoren bewerteten SoDa2 an drei HSI-Datensätzen für szenenübergreifende Klassifizierung:

• PU-PC: Pavia University (Quelle) zu Pavia Center (Ziel).
• HU13-HU18: Houston 2013 (Quelle) zu Houston 2018 (Ziel).
• ZY-GF: Ziyuan1-02D Yancheng (Quelle) zu GaoFen-5 Yancheng (Ziel).

Die Methode wurde mit state-of-the-art OSDA-Ansätzen verglichen, darunter OSBP, STA, DAMC, UADAL, ANNA, MTS und WGDT. Die Leistung wurde mittels der mittleren Genauigkeit bekannter Klassen ($OS^*$), der Genauigkeit unbekannter Klassen ($UNK$) und deren harmonischem Mittel ($HOS$) gemessen.

• Leistung: SoDa2 erzielte auf allen drei Datensätzen überlegene Leistungen. Beispielsweise erreichte es bei der PU-PC-Aufgabe eine $HOS$ von 80,7 % und eine $UNK$ von 94,3 % und übertraf damit die zweitbeste Methode (WGDT). Bei der ZY-GF-Aufgabe wurde eine $HOS$ von 94,7 % erreicht.
• Ablationsstudien: Experimente bestätigten, dass die Kombination aus spektralen und räumlichen entkoppelten Ausrichtungsverlusten die besten Ergebnisse liefert und die Notwendigkeit der entkoppelten Strategie validiert. Ferner zeigte sich, dass die spezifische Reihenfolge der Anwendung von Aufmerksamkeitsmechanismen vor der Merkmalsfusion effektiver ist als das Zuerst-Fusionieren und anschließende Anwenden von Aufmerksamkeit.
• Parameterempfindlichkeit: Die Studie ergab, dass die Einstellung der Anzahl der Gauß-Komponenten ($K$) auf 2 und des Gewichts des Ausrichtungsverlusts ($\alpha$) auf 10 das optimale Gleichgewicht zwischen der Erkennung bekannter und unbekannter Klassen bietet.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass SoDa2 die dualen Herausforderungen des Domain Shifts und der Identifizierung unbekannter Klassen bei der szenenübergreifenden HSI-Klassifizierung effektiv adressiert. Durch die Entkoppelung der Ausrichtung spektraler und räumlicher Merkmale bewahrt die Methode die einzigartigen Eigenschaften jeder Modalität und reduziert gleichzeitig Verteilungsabweichungen. Das Single-Stage-Framework bietet eine rechen-effiziente Alternative zu komplexen Zwei-Phasen-Trainingsstrategien. Die Autoren behaupten, dass die Methode eine überlegene Klassifizierungsgenauigkeit und Modellübertragbarkeit erreicht und eine robuste Lösung für Open-Set-szenenübergreifende Aufgaben in Fernerkundungsanwendungen bietet. Der Code der Methode steht der Gemeinschaft zur Verfügung.