Optical-Guided Neural Collapse for SAR Few-Shot Class Incremental Learning

Sintesi Tecnica: Neural Collapse Guidato dall'Ottico per l'Apprendimento Incrementale Few-Shot di Immagini SAR

Problematica
Il documento affronta la sfida dell'Apprendimento Incrementale Few-Shot di Classe (FSCIL) nelle immagini SAR (Synthetic Aperture Radar). Il riconoscimento dei bersagli SAR presenta difficoltà uniche rispetto alle immagini ottiche, dovute principalmente alla grave scarsità di dati e all'elevata variabilità intra-classe causata dalla sensibilità azimutale (lo stesso bersaglio che appare drasticamente diverso ad angoli differenti). In un contesto di apprendimento incrementale, dove un modello deve apprendere nuove classi sequenzialmente da campioni limitati, questi fattori esacerbano l'oblio catastrofico, in cui le prestazioni sulle classi precedentemente apprese degradano significativamente. Le strategie FSCIL esistenti, spesso progettate per scenari ricchi di dati, faticano a mantenere rappresentazioni di caratteristiche stabili e confini decisionali chiari quando aggiornano i modelli con dati SAR scarsi.

Metodologia
Gli autori propongono un framework di Neural Collapse guidato dall'ottico. L'ipotesi centrale è che, mentre i dati SAR sono scarsi e variabili, le immagini ottiche ricche di dati possono fornire prior geometrici stabili. Il metodo sfrutta la teoria del Neural Collapse, in cui le caratteristiche di classificazione ottimali convergono verso una struttura a Simplex Equiangular Tight Frame (ETF) (massimizzando la separazione inter-classe e minimizzando la varianza intra-classe).

Il framework proposto opera in tre fasi principali:

1. Costruzione del Sottospazio Ottico Ortogonale (Dominio Sorgente):

   • Un modello viene prima addestrato su un dataset ATR (Automatic Target Recognition) ottico su larga scala e ricco di dati.
   • Una volta addestrato, i cluster di caratteristiche ottiche vengono raffinati in sottospazi ortogonali strutturati. Ciò viene ottenuto tramite la Decomposizione ai Valori Singolari (SVD) sulle matrici di caratteristiche specifiche per classe per estrarre i vettori base dominanti.
   • Vengono calcolati i Punteggi di Allineamento Coppia-a-Coppia (PAS) per quantificare la separazione angolare tra questi sottospazi. I vettori base che contribuiscono maggiormente all'ortogonalità inter-classe vengono pesati e mantenuti, creando un insieme di sottospazi ortogonali che fungono da proxy geometrici.

2. Trasferimento della Relazione Ottico-SAR (Dominio Target):

   • Il compito FSCIL SAR utilizza un'architettura Unconstrained Features Model (UFM) con un classificatore Simplex ETF fisso. I pesi del classificatore sono congelati per fornire ancoraggi geometrici stabili.
   • Sessione Base: Le classi base SAR vengono apprese utilizzando una perdita di Regressione Dot (DR) per allineare le caratteristiche con i prototipi ETF fissi.
   • Sessioni Incrementali: Per le nuove classi SAR, il metodo impiega una strategia di allineamento cross-dominio:
     • Assegnazione Proxy: Ogni nuova classe SAR viene assegnata casualmente a un sottospazio ottico (agendo come un proxy geometrico piuttosto che come un match semantico).
     • Perdita di Allineamento del Sottospazio PA ($\mathcal{L}_{orth}$): Questa perdita minimizza l'Angolo Principale (PA) tra la caratteristica SAR e il sottospazio ortogonale ottico assegnato, forzando le caratteristiche SAR a collassare in queste partizioni strutturate.
     • Perdita di Allineamento del Centro del Sottospazio ($\mathcal{L}_{center}$): Una perdita MSE regolarizzata allinea le caratteristiche SAR con il centroide del sottospazio ottico assegnato per ridurre la fluttuazione intra-classe.
   • La perdita totale combina la perdita DR, la perdita di allineamento PA e la perdita di allineamento del centro.

3. Dettagli di Implementazione:

   • Il backbone è un encoder SAM (Segment Anything Model) ViT-B pre-addestrato.
   • Per gestire efficientemente lo shift di dominio, l'encoder delle immagini è congelato durante l'adattamento SAR. Vengono addestrati solo MLP leggeri e Space Adapter, insieme a moduli LoRA (Low-Rank Adaptation) nei livelli di proiezione.

Contributi Chiave

1. Costruzione del Sottospazio Ortogonale: Il documento introduce un metodo per costruire sottospazi ortogonali strutturati da un modello di classificazione ottico ben addestrato. Questi sottospazi fungono da prior geometrici per guidare l'apprendimento delle caratteristiche SAR, affrontando la mancanza di dati nel dominio SAR.
2. Trasferimento della Relazione Ottico-SAR: Viene proposto un nuovo modulo di trasferimento che allinea le caratteristiche SAR con i sottospazi ottici costruiti. Ciò avviene attraverso una combinazione di vincoli dell'Angolo Principale e allineamento del centro, trasferendo efficacemente la geometria del "neural collapse" dal dominio ottico al dominio SAR senza richiedere un matching semantico delle classi.
3. Validazione Sperimentale: Il metodo è validato su un benchmark composto da un dataset ATR ottico e un dataset ATR SAR (24 classi di bersagli) organizzato in una sessione base e sette sessioni incrementali.

Risultati

• Prestazioni: Il metodo proposto raggiunge la massima accuratezza finale (76,46%) rispetto ai metodi FSCIL allo stato dell'arte (NC-FSCIL, PriViLege, WaRP, FACT) sul benchmark SAR.
• Stabilità: Dimostra un rapporto favorevole tra prestazione finale e degradazione delle prestazioni (Degradazione delle Prestazioni del 23,23%, superando la maggior parte dei baseline).
• Metriche di Neural Collapse: L'analisi quantitativa tramite metriche di neural collapse ($\Sigma$, $std_{ETF}$, $mean_{ETF}$, $SD$) mostra che il metodo proposto induce una migliore compattezza intra-classe e separabilità inter-classe. Le caratteristiche si avvicinano più strettamente alla geometria ideale del simplex-ETF rispetto ai baseline, specialmente nelle fasi incrementali successive.
• Ablazione: La rimozione delle perdite di allineamento ortogonale porta a cali significativi delle prestazioni e a una maggiore varianza delle caratteristiche, confermando la necessità dei vincoli geometrici guidati dall'ottico.

Significato
Il documento sostiene che il suo significato primario risieda nel fornire un meccanismo pratico per trasferire conoscenza geometrica strutturata da domini ricchi di dati (ottico) a domini con scarsità di dati (SAR). Utilizzando i sottospazi ortogonali come ancoraggi intermedi, il metodo colma il divario tra la teoria del neural collapse idealizzato e i vincoli pratici dell'apprendimento incrementale few-shot. Questo approccio stabilizza il processo di apprendimento, mitiga l'oblio catastrofico e consente al modello di apprendere rappresentazioni robuste per i bersagli SAR nonostante la grave variabilità azimutale e i campioni di addestramento limitati. Il lavoro suggerisce che imporre l'ortogonalità sia una via più realizzabile e strutturata verso il neural collapse in scenari reali sbilanciati rispetto alla convergenza stretta verso un simplex ETF diretto.