SoDa2: Single-Stage Open-Set Domain Adaptation via Decoupled Alignment for Cross-Scene Hyperspectral Image Classification

Sintesi Tecnica: SoDa2: Adattamento di Dominio Open-Set in Fase Singola tramite Allineamento Disaccoppiato per la Classificazione di Immagini Iperspettrali Cross-Scene

Enunciato del Problema
La classificazione di immagini iperspettrali (HSI) cross-scene è un compito fondamentale nel telerilevamento, ma incontra sfide significative quando applicata a scenari reali. I metodi tradizionali di deep learning assumono che i dati di addestramento (sorgente) e di test (target) siano distribuiti in modo indipendente e identico. Tuttavia, le variazioni nei sensori, nelle condizioni di acquisizione e negli effetti atmosferici causano uno "spostamento di dominio" (domain shift), degradando le prestazioni del modello quando applicato a nuove scene. Inoltre, i domini target reali contengono spesso "classi sconosciute" (categorie non presenti nel dominio sorgente), rendendo inefficaci i metodi standard di adattamento di dominio (DA) a insieme chiuso. Gli approcci esistenti di Adattamento di Dominio Open-Set (OSDA) per HSI affrontano due limitazioni principali:

1. Problemi di Allineamento Ibrido: La maggior parte dei metodi allinea caratteristiche miste spettrali e spaziali in uno spazio unificato. Tuttavia, le caratteristiche spettrali e spaziali contribuiscono in modo diverso alla classificazione e sono distribuite in modo indipendente; l'allineamento diretto di caratteristiche miste può compromettere la trasferibilità cross-dominio.
2. Inefficienza Computazionale: I metodi OSDA attuali si basano tipicamente su architetture a doppio classificatore con strategie di addestramento in due fasi (pre-addestramento seguito da addestramento congiunto), portando a procedure complesse e alti costi computazionali.

Metodologia: SoDa2
Gli autori propongono SoDa2, un metodo di adattamento di dominio open-set in fase singola basato su allineamento disaccoppiato. Il framework è progettato per estrarre caratteristiche invarianti al dominio distinguendo in modo adattivo tra classi note e sconosciute, senza conoscenze preliminari delle categorie sconosciute. L'architettura è composta da tre componenti fondamentali:

1. Estrazione di Caratteristiche Dual-Modali Consapevole del Contributo:
   Invece di fondere le caratteristiche in fase iniziale, il metodo impiega rami paralleli per estrarre caratteristiche spettrali e spaziali in modo indipendente.

   • Ramo Spettrale: Utilizza livelli convoluzionali con connessioni residue tra livelli per preservare informazioni dettagliate sulle bande e caratteristiche spettrali di alto livello.
   • Ramo Spaziale: Utilizza livelli convoluzionali 3D per catturare strutture globali e texture locali, con connessioni residue per preservare dettagli superficiali.
   • Meccanismo di Attenzione: Moduli di attenzione sui canali e di attenzione spaziale vengono applicati ai rispettivi rami per ripesare adattivamente le caratteristiche, enfatizzando le bande spettrali e le posizioni spaziali più informative per il compito di classificazione.

2. Modulo di Allineamento Disaccoppiato:
   Per affrontare lo spostamento di dominio, il metodo minimizza la Discrepanza della Media Massima (MMD) tra i domini sorgente e target. Crucialmente, questo allineamento è disaccoppiato:

   • L'MMD viene calcolato separatamente per le caratteristiche spettrali ($L_{spe}$) e le caratteristiche spaziali ($L_{spa}$).
   • Questo approccio evita la confusione causata dall'allineamento di caratteristiche miste eterogenee, permettendo al modello di apprendere rappresentazioni invarianti al dominio indipendenti per ciascuna modalità.
   • La perdita totale di allineamento è la somma delle perdite MMD spettrali e spaziali.

3. Modulo di Riconoscimento Open-Set (Framework in Fase Singola):
   Il metodo utilizza un codificatore a doppio ramo per il dominio target per distinguere le classi note dalle sconosciute in una singola fase di addestramento:

   • Codificatore di Caratteristiche Allineate: Apprende caratteristiche invarianti al dominio vincolate dalla perdita MMD (semantica condivisa tra sorgente e target).
   • Codificatore di Caratteristiche Intrinseche: Apprende caratteristiche specifiche del target senza vincoli cross-dominio, catturando le caratteristiche discriminative delle classi sconosciute.
   • Misura di Coerenza: Il metodo calcola la similarità del coseno al quadrato tra le caratteristiche allineate e intrinseche per ciascun campione target.
   • Modello a Mixture Gaussiana (GMM): La distribuzione di questi punteggi di similarità viene modellata utilizzando un GMM con due componenti (rappresentanti le classi note e sconosciute). I campioni vengono classificati in base alla componente gaussiana con cui il loro punteggio si allinea, consentendo il riconoscimento open-set senza etichette esplicite per le classi sconosciute.

Contributi Chiave

1. Strategia di Allineamento Disaccoppiato: Il documento introduce un approccio innovativo che allinea in modo indipendente le caratteristiche spettrali e spaziali utilizzando l'MMD, affrontando le limitazioni dell'allineamento ibrido nei dati HSI dove le modalità hanno caratteristiche di distribuzione distinte.
2. Framework di Addestramento in Fase Singola: A differenza dei metodi OSDA esistenti in due fasi, SoDa2 integra l'estrazione di caratteristiche, l'allineamento di dominio e il riconoscimento open-set in un processo di addestramento unificato ed economicamente efficiente in fase singola.
3. Estrazione di Caratteristiche Consapevole del Contributo: La progettazione di rami spettrali e spaziali paralleli con meccanismi di attenzione permette il potenziamento selettivo delle caratteristiche discriminative provenienti da entrambe le modalità.
4. Riconoscimento Open-Set basato su GMM: Il metodo impiega un GMM per modellare i punteggi di coerenza tra le caratteristiche allineate e intrinseche, consentendo la separazione automatica delle classi note e sconosciute senza richiedere conoscenze preliminari delle categorie sconosciute.

Risultati Sperimentali
Gli autori hanno valutato SoDa2 su tre dataset HSI cross-scene:

• PU-PC: Pavia University (Sorgente) a Pavia Center (Target).
• HU13-HU18: Houston 2013 (Sorgente) a Houston 2018 (Target).
• ZY-GF: Ziyuan1-02D Yancheng (Sorgente) a GaoFen-5 Yancheng (Target).

Il metodo è stato confrontato con approcci OSDA all'avanguardia, inclusi OSBP, STA, DAMC, UADAL, ANNA, MTS e WGDT. Le prestazioni sono state misurate utilizzando l'Accuratezza Media delle Classi Note ($OS^*$), l'Accuratezza delle Classi Sconosciute ($UNK$) e la loro Media Armonica ($HOS$).

• Prestazioni: SoDa2 ha ottenuto prestazioni superiori su tutti e tre i dataset. Ad esempio, sul compito PU-PC, ha raggiunto un $HOS$ dell'80,7% e un $UNK$ del 94,3%, superando il secondo miglior metodo (WGDT). Sul compito ZY-GF, ha raggiunto un $HOS$ del 94,7%.
• Studi di Ablazione: Gli esperimenti hanno confermato che la combinazione delle perdite di allineamento disaccoppiato spettrale e spaziale produce i migliori risultati, validando la necessità della strategia disaccoppiata. Inoltre, è stato dimostrato che l'ordine specifico di applicazione dei meccanismi di attenzione prima della fusione delle caratteristiche è più efficace rispetto alla fusione iniziale seguita dall'applicazione dell'attenzione.
• Sensibilità ai Parametri: Lo studio ha determinato che impostare il numero di componenti gaussiane ($K$) a 2 e il peso della perdita di allineamento ($\alpha$) a 10 fornisce il miglior equilibrio tra il riconoscimento delle classi note e sconosciute.

Significato e Affermazioni
Il documento afferma che SoDa2 affronta efficacemente le sfide duali dello spostamento di dominio e dell'identificazione delle classi sconosciute nella classificazione di immagini iperspettrali cross-scene. Disaccoppiando l'allineamento delle caratteristiche spettrali e spaziali, il metodo preserva le caratteristiche uniche di ciascuna modalità riducendo al contempo le discrepanze di distribuzione. Il framework in fase singola offre un'alternativa computazionalmente efficiente alle complesse strategie di addestramento in due fasi. Gli autori affermano che il metodo raggiunge un'accuratezza di classificazione superiore e una trasferibilità del modello, fornendo una soluzione robusta per i compiti open-set cross-scene nelle applicazioni di telerilevamento. Il codice del metodo è reso disponibile alla comunità.