SoDa2: Single-Stage Open-Set Domain Adaptation via Decoupled Alignment for Cross-Scene Hyperspectral Image Classification

Technische Samenvatting: SoDa2: Single-Stage Open-Set Domain Adaptation via Decoupled Alignment voor Cross-Scene Hyperspectrale Beeldclassificatie

Probleemstelling
Cross-scene hyperspectrale beeld (HSI) classificatie is een fundamentele taak in de remote sensing, maar staat voor aanzienlijke uitdagingen bij toepassing in real-world scenario's. Traditionele deep learning-methoden gaan ervan uit dat trainingsdata (bron) en testdata (doel) onafhankelijk en identiek verdeeld zijn. Variaties in sensoren, beeldvormingscondities en atmosferische effecten veroorzaken echter een "domain shift", wat de prestaties van het model verslechtert wanneer dit wordt toegepast op nieuwe scènes. Bovendien bevatten real-world dooldomeinen vaak "onbekende klassen" (categorieën die niet aanwezig zijn in het brondomein), waardoor standaard gesloten-set domain adaptation (DA)-methodes ineffectief worden. Bestaande Open-Set Domain Adaptation (OSDA)-benaderingen voor HSI lopen tegen twee primaire beperkingen aan:

1. Hybride Uitlijningsproblemen: De meeste methodes aligneren gemengde spectrale-spatiale features in een uniforme ruimte. Spectrale en spatiale features dragen echter verschillend bij aan classificatie en zijn onafhankelijk verdeeld; directe alignering van gemengde features kan de cross-domein transferabiliteit ondermijnen.
2. Rekenkundige Inefficiëntie: Huidige OSDA-methodes vertrouwen doorgaans op dual-classifier-architecturen met twee-trainingsstappen-strategieën (pre-training gevolgd door gezamenlijke training), wat leidt tot complexe procedures en hoge rekenkosten.

Methodologie: SoDa2
De auteurs stellen SoDa2 voor, een single-stage open-set domain adaptation-methode gebaseerd op gedecoupeerde alignering. Het kader is ontworpen om domein-invariante features te extraheren terwijl het adaptief onderscheid maakt tussen bekende en onbekende klassen, zonder voorafgaande kennis van de onbekende categorieën. De architectuur bestaat uit drie kernelementen:

1. Contribution-Aware Dual-Modality Feature Extractie:
   In plaats van features vroeg te fuseren, maakt de methode gebruik van parallelle takken om spectrale en spatiale features onafhankelijk te extraheren.

   • Spectrale Tak: Gebruikt convolutielagen met cross-layer residual connections om fijnmazige bandinformatie en hoogwaardige spectrale features te behouden.
   • Spatiale Tak: Gebruikt 3D-convolutielagen om globale structuren en lokale texturen vast te leggen, met residual connections om ondiepe details te behouden.
   • Attention Mechanisme: Channel attention en spatial attention modules worden toegepast op de respectievelijke takken om features adaptief te herwegen, waarbij de meest informatieve spectrale banden en spatiale locaties voor de classificatietaken worden benadrukt.

2. Gedecoupeerde Alignering Module:
   Om domain shift aan te pakken, minimaliseert de methode de Maximum Mean Discrepancy (MMD) tussen brondomein en dooldomein. Cruciaal is dat deze alignering gedecoupeerd is:

   • MMD wordt apart berekend voor spectrale features ($L_{spe}$) en spatiale features ($L_{spa}$).
   • Deze aanpak voorkomt verwarring die wordt veroorzaakt door het aligneren van heterogene gemengde features, waardoor het model onafhankelijke domein-invariante representaties voor elke modus kan leren.
   • De totale aligneringsverliesfunctie is de som van de spectrale en spatiale MMD-verliezen.

3. Open-Set Recognition Module (Single-Stage Kader):
   De methode maakt gebruik van een dual-branch encoder voor het dooldomein om bekende van onbekende klassen te onderscheiden in één trainingsfase:

   • Aligned Feature Encoder: Leren domein-invariante features die worden beperkt door de MMD-verliesfunctie (gedeelde semantiek tussen bron en doel).
   • Intrinsic Feature Encoder: Leren doel-specifieke features zonder cross-domein beperkingen, waarbij discriminerende kenmerken van onbekende klassen worden vastgelegd.
   • Consistentie Meting: De methode berekent de gekwadrateerde cosinus-ähnelijkheid tussen de aligned en intrinsic features voor elke doelsteekproef.
   • Gaussian Mixture Model (GMM): De verdeling van deze similariteitsscores wordt gemodelleerd met een GMM met twee componenten (die respectievelijk bekende en onbekende klassen vertegenwoordigen). Steekproeven worden geclassificeerd op basis van de Gaussische component waarmee hun score overeenkomt, wat open-set recognition mogelijk maakt zonder expliciete labels voor onbekende klassen.

Belangrijkste Bijdragen

1. Gedecoupeerde Alignering Strategie: Het artikel introduceert een nieuwe aanpak die spectrale en spatiale features onafhankelijk aligneert met behulp van MMD, waarmee de beperkingen van hybride alignering in HSI-data worden aangepakt, waarbij modaliteiten onderscheidende verdelingskenmerken hebben.
2. Single-Stage Trainingskader: In tegenstelling tot bestaande twee-trapsgewijze OSDA-methodes, integreert SoDa2 feature extractie, domeinalignering en open-set recognition in een unificatie, kosteneffectief single-stage trainingsproces.
3. Contribution-Aware Feature Extractie: Het ontwerp van parallelle spectrale en spatiale takken met attention mechanisms maakt de selectieve versterking van discriminerende features uit beide modaliteiten mogelijk.
4. GMM-gebaseerde Open-Set Recognition: De methode maakt gebruik van een GMM om de consistentiescores tussen aligned en intrinsic features te modelleren, waardoor automatische scheiding van bekende en onbekende klassen mogelijk wordt zonder voorafgaande kennis van de onbekende categorieën.

Experimentele Resultaten
De auteurs hebben SoDa2 geëvalueerd op drie cross-scene HSI-datasets:

• PU-PC: Pavia University (Bron) naar Pavia Center (Doel).
• HU13-HU18: Houston 2013 (Bron) naar Houston 2018 (Doel).
• ZY-GF: Ziyuan1-02D Yancheng (Bron) naar GaoFen-5 Yancheng (Doel).

De methode werd vergeleken met state-of-the-art OSDA-benaderingen, waaronder OSBP, STA, DAMC, UADAL, ANNA, MTS en WGDT. De prestaties werden gemeten aan de hand van de Gemiddelde Nauwkeurigheid van Bekende Klasssen ($OS^*$), Nauwkeurigheid van Onbekende Klasssen ($UNK$) en hun Harmonisch Gemiddelde ($HOS$).

• Prestaties: SoDa2 behaalde superieure prestaties op alle drie de datasets. Op de PU-PC-taak bijvoorbeeld, behaalde het een $HOS$ van 80,7% en een $UNK$ van 94,3%, waarmee het de op één na beste methode (WGDT) overtrof. Op de ZY-GF-taak bereikte het een $HOS$ van 94,7%.
• Ablatie Studies: Experimenten bevestigden dat de combinatie van spectrale en spatiale gedecoupeerde aligneringsverliezen de beste resultaten oplevert, wat de noodzaak van de gedecoupeerde strategie valideert. Bovendien bleek de specifieke volgorde van het toepassen van attention mechanisms voorafgaand aan feature fusion effectiever dan eerst fuseren en vervolgens attention toe te passen.
• Parametergevoeligheid: De studie bepaalde dat het instellen van het aantal Gaussische componenten ($K$) op 2 en de gewichtsfactor voor het aligneringsverlies ($\alpha$) op 10, de optimale balans biedt tussen herkenning van bekende en onbekende klassen.

Betekenis en Beweringen
Het artikel beweert dat SoDa2 effectief de dubbele uitdagingen van domain shift en identificatie van onbekende klassen in cross-scene HSI-classificatie aanpakt. Door de alignering van spectrale en spatiale features te decoupleren, behoudt de methode de unieke kenmerken van elke modus terwijl het verdelingsverschillen worden verminderd. Het single-stage kader biedt een rekenkundig efficiënt alternatief voor complexe twee-trapsgewijze trainingsstrategieën. De auteurs stellen dat de methode superieure classificienauwkeurigheid en modeltransferabiliteit bereikt, en een robuuste oplossing biedt voor open-set cross-scene taken in remote sensing-toepassingen. De code voor de methode is beschikbaar gesteld aan de gemeenschap.