Optical-Guided Neural Collapse for SAR Few-Shot Class Incremental Learning

Technische Samenvatting: Optical-Guided Neural Collapse voor SAR Few-Shot Class Incremental Learning

Probleemstelling
Het artikel behandelt de uitdaging van Few-Shot Class-Incremental Learning (FSCIL) in Synthetic Aperture Radar (SAR) beelden. SAR-doelherkenning staat voor unieke moeilijkheden vergeleken met optische beelden, primair door extreme dataschaarste en een hoge intra-klasse variabiliteit veroorzaakt door azimuth-gevoeligheid (hetzelfde doel ziet er drastisch anders uit vanuit verschillende hoeken). In een incrementele leeromgeving, waarbij een model sequentieel nieuwe klassen moet leren van beperkte monsters, verergeren deze factoren catastrofale vergetelheid (catastrophic forgetting), waarbij de prestaties op eerder geleerde klassen significant achteruitgaan. Bestaande FSCIL-strategieën, die vaak zijn ontworpen voor datarijke scenario's, hebben moeite om stabiele feature-representaties en duidelijke beslissingsgrenzen te behouden wanneer modellen worden bijgewerkt met schaarse SAR-data.

Methodologie
De auteurs stellen een Optical-Guided Neural Collapse framework voor. De kernhypothese is dat, hoewel SAR-data schaars en variabel zijn, datarijke optische beelden stabiele geometrische priors kunnen bieden. De methode maakt gebruik van de theorie van Neural Collapse, waarbij optimale classificatie-features convergeren naar een Simplex Equiangular Tight Frame (ETF) structuur (het maximaliseren van inter-klasse separatie en het minimaliseren van intra-klasse variantie).

Het voorgestelde framework werkt in drie hoofdfases:

1. Orthogonale Optische Subruimte Constructie (Source Domain):

   • Een model wordt eerst getraind op een grootschalige, datarijke optische ATR-dataset.
   • Zodra getraind, worden de optische feature-clusters verfijnd tot gestructureerde orthogonale subruimten. Dit wordt bereikt door middel van Singular Value Decomposition (SVD) op klasse-specifieke feature-matrices om dominante basisvectoren te extraheren.
   • Pairwise Alignment Scores (PAS) worden berekend om de hoekscheiding tussen deze subruimten te kwantificeren. Basisvectoren die het meest bijdragen aan de inter-klasse orthogonaliteit worden gewogen en behouden, waardoor een set orthogonale subruimten ontstaat die dienen als geometrische proxies.

2. Optical-to-SAR Relation Transfer (Target Domain):

   • De SAR FSCIL-taak maakt gebruik van een Unconstrained Features Model (UFM) architectuur met een vaste Simplex ETF classifier. De classifier-gewichten worden bevroren om stabiele geometrische ankers te bieden.
   • Base Session: SAR base-klassen worden geleerd met behulp van een Dot Regression (DR) loss om de features uit te lijnen met de vaste ETF-prototypes.
   • Incremental Sessions: Voor nieuwe SAR-klassen gebruikt de methode een cross-domain alignment strategie:
     • Proxy Assignment: Elke nieuwe SAR-klasse wordt willekeurig toegewezen aan een optische subruimte (die fungeert als een geometrische proxy in plaats van een semantische match).
     • Subspace PA Alignment Loss ($\mathcal{L}_{orth}$): Deze loss minimaliseert de Principal Angle (PA) tussen de SAR-feature en de toegewezen optische orthogonale subruimte, waardoor SAR-features in deze gestructureerde partities worden gedwongen.
     • Subspace Center Alignment Loss ($\mathcal{L}_{center}$): Een geregulariseerde MSE-loss lijnt SAR-features uit met het zwaartepunt van de toegewezen optische subruimte om intra-klasse fluctuatie te verminderen.
   • De totale loss combineert de DR loss, de PA alignment loss en de center alignment loss.

3. Implementatiedetails:

   • De backbone is een pre-trained SAM (Segment Anything Model) ViT-B encoder.
   • Om domain shift efficiënt af te handelen, wordt de image encoder bevroren tijdens de SAR-adaptatie. Alleen lichtgewicht MLP en Space Adapters, samen met LoRA (Low-Rank Adaptation) modules in de projectielagen, worden gefinetuned.

Belangrijkste Bijdragen

1. Orthogonale Subruimte Constructie: Het artikel introduceert een methode om gestructureerde, orthogonale subruimten te construeren vanuit een goed getraind optisch classificatiemodel. Deze subruimten dienen als geometrische priors om het leren van SAR-features te sturen, wat het gebrek aan data in het SAR-domein adresseert.
2. Optical-to-SAR Relation Transfer: Er wordt een nieuw transfer-module voorgesteld dat SAR-features uitlijnt met de geconstrueerde optische subruimten. Dit wordt bereikt door een combinatie van Principal Angle-constraints en center alignment, waardoor de "neural collapse" geometrie van het optische domein effectief wordt overgedragen naar het SAR-domein zonder dat een semantische klasse-matching vereist is.
3. Experimentele Validatie: De methode wordt gevalideerd op een benchmark bestaande uit een optische ATR-dataset en een SAR ATR-dataset (24 doelklassen) georganiseerd in één base session en zeven incremental sessions.

Resultaten

• Prestaties: De voorgestelde methode bereikt de hoogste uiteindelijke nauwkeurigheid (76,46%) vergeleken met state-of-the-art FSCIL-methoden (NC-FSCIL, PriViLege, WaRP, FACT) op de SAR-benchmark.
• Stabiliteit: Het vertoont een gunstige trade-off tussen de uiteindelijke prestaties en de prestatieafname (Performance Degradation van 23,23%, waarmee het de meeste baselines overtreft).
• Neural Collapse Metrics: Kwantitatieve analyse met behulp van neural collapse metrics ($\Sigma$, $std_{ETF}$, $mean_{ETF}$, $SD$) toont aan dat de voorgestelde methode leidt tot betere intra-klasse compactheid en inter-klasse separabiliteit. De features benaderen de ideale simplex-ETF geometrie dichter dan de baselines, vooral in de latere incrementele sessies.
• Ablatie: Het verwijderen van de orthogonale alignment losses leidt tot significante prestatieverliezen en hogere feature-variantie, wat de noodzaak van de optisch geleide geometrische constraints bevestigt.

Betekenis
Het artikel stelt dat de primaire betekenis ligt in het bieden van een praktisch mechanisme om gestructureerde geometrische kennis over te dragen van datarijke domeinen (optisch) naar dataschaarse domeinen (SAR). Door orthogonale subruimten als tussenliggende ankers te gebruiken, overbrugt de methode de kloof tussen de geïdealiseerde neural collapse theorie en de praktische beperkingen van few-shot incremental learning. Deze aanpak stabiliseert het leerproces, verzacht catastrofale vergetelheid en stelt het model in staat om robuuste representaties voor SAR-targets te leren ondanks de extreme azimuth-variabiliteit en beperkte trainingsmonsters. Het werk suggereert dat het afdwingen van orthogonaliteit een meer haalbaar en gestructureerd pad naar neural collapse is in real-world, ongebalanceerde scenario's dan het strikt convergeren naar een simplex ETF direct.