Technische Samenvatting: Projection Pursuit CPCANet voor Domain Generalization

1. Probleemstelling

Domain Generalization (DG) streeft naar het aanleren van representaties uit meerdere bron-domeinen die effectief blijven op ongeziene doel-domeinen met verschillende datadistributies. Hoewel geometrische uitlijndingsmethoden zoals CPCANet veelbelovend zijn gebleken door het extraheren van domein-invariante structuren via Common Principal Component Analysis (CPCA), kampen ze met een kritieke beperking in moderne deep learning-omgevingen: rang-gebrekkige covariantie-schatting.

In mini-batch training overstijgt de feature-dimensie ($p$) vaak de mini-batch grootte ($N_k$). Klassieke CPCA vertrouwt op het schatten van covariantie-matrices, wat rang-gebrekkig wordt wanneer $N_k < p$. Dit dwingt tot het herstel van een afgekapte gemeenschappelijke subspace, waardoor potentieel belangrijke geometrische informatie verloren gaat en het vermogen van het model om volledige domein-invariante structuren te vangen, wordt beperkt.

2. Methodologie: PP-CPCANet

De auteurs stellen Projection Pursuit CPCANet (PP-CPCANet) voor, een covarievrije framework ontworpen om de kleine-steekproef-omvang-bottleneck te omzeilen terwijl het vermogen behouden blijft om globale orthogonale bases te leren.

2.1. Parametrische Stiefel Manifold Optimalisatie

In plaats van batch-gewijze covariantie-matrices te berekenen, leert PP-CPCANet direct een globale orthogonale basis ($\beta_t$).

• Parametrisatie: De orthogonale basis wordt geparametriseerd via een onbeperkte vector $\theta_t$ die wordt afgemapt naar een skew-symmetrische matrix $A_t$.
• Cayley Transformatie: De basis wordt verkregen met behulp van de Cayley-transformatie:
  $$\beta_t = \left(I - \frac{1}{2}A_t\right)\left(I + \frac{1}{2}A_t\right)^{-1}$$
  Dit zorgt ervoor dat $\beta_t$ op de Stiefel-manifold (orthogonaal) blijft zonder expliciete restricties, waardoor gezamenlijke optimalisatie met netwerkparameters mogelijk is.
• Projectie: Input-features worden geprojecteerd op deze geleerde basis: $U_t = Z_t \beta_t$.

2.2. Symmetrie-doorbrekende Robuuste Dispersie

Standaard Projection Pursuit (PP) maximaliseert de dispersie van geprojecteerde features. Echter, aangezien de basis orthogonaal is, is de totale variantie rotationeel invariant, wat geen optimalisatiesignaal biedt voor de basis zelf. Om dit aan te pakken, introduceren de auteurs:

• Symmetrie-doorbrekende Gewichten: Een monotoon dalende gewichtsvector $w_t$ (bijv. proportioneel aan $[d_t, d_t-1, \dots, 1]$) stimuleert variantieconcentratie in de leidende componenten.
• Detached-Median L1 Dispersie: Om robuust om te gaan met uitschieters (outliers) en domeinverschuivingen, vervangt de methode de $L_2$-variantie door een $L_1$-dispersiemetriek gebaseerd op de Median Absolute Deviation (MAD).
  • Robuustheid: De mediaan is minder gevoelig voor uitschieters dan het gemiddelde.
  • Stabiliteit: Een stop-gradient operator wordt toegepast op de mediaan-anker ($m_{t,k}$) om ijle (sparse) en instabiele gradiënten tijdens backpropagation te voorkomen.
  • Doelstelling: De dispersiescore $s_{t,k}$ wordt gedefinieerd als de gewogen som van absolute afwijkingen van de detached mediaan.

2.3. Architectuur en Training

• Progressieve Bottleneck Cascade: Het netwerk maakt gebruik van een cascade met diepte $T$ waarbij de latente dimensie bij elke stap versmalt ($d_1 > d_2 > \dots > d_T$), wat iteratief hoog-entropische domein-specifieke variaties filtert.
• Domein-gestuurde Feature Modulatie: Op elke diepte voorspellen toegewijde MLPs schaleringsfactoren ($\gamma_t$) en verschuivingsfactoren ($\Delta F_t$) om ambient features te moduleren, waardoor de onderliggende geometrische structuur wordt gevangen.
• Loss Functie: De totale doelstelling combineert de taakclassificatie-loss ($L_{task}$) met de negatieve som van de PP-dispersiescores ($L_{ppcpca}$), genormaliseerd over domeinen en cascade-dieptes:
  $$L_{total} = L_{task} + \lambda_{ppcpca} L_{ppcpca}$$

3. Belangrijkste Bijdragen

1. Omzeilen van Covariantie Rang-gebrek: Het framework elimineert de beperking van kleine-steekproef-omvang bij batch-gewijze covariantie-schatting, waardoor de representatie-afkapting die inherent is aan eerdere diepe CPCA-modellen wordt voorkomen.
2. Robuuste Projectie Doelstelling: De introductie van een detached-median $L_1$ PP-dispersiedoelstelling met symmetrie-doorbrekende gewichten maakt robuust, stabiel leren mogelijk met dichte optimalisatiesignalen, zelfs in aanwezigheid van uitschieters en domeinverschuivingen.
3. Globaal Orthogonaal Leren: Door een globale orthogonale basis te optimaliseren via de Cayley-transformatie op de Stiefel-manifold, leert de methode gezamenlijk domein-invariante structuren zonder afhankelijk te zijn van batch-statistieken.

4. Experimentele Resultaten

De methode werd geëvalueerd op vier standaard DG-benchmarks: PACS, VLCS, OfficeHome, en TerraIncognita, met gebruik van ResNet-50, ViT (DeiT), en State Space Model (VMamba) backbones.

• Prestaties: PP-CPCANet behaalde State-of-the-Art (SOTA) of competitieve prestaties over meerdere backbone-architecturen. Zo behaalde het met de VMamba-B backbone de hoogste gemiddelde DG-nauwkeurigheid (77,2%) onder de geëvalueerde modellen.
• Efficiëntie: De methode veroorzaakte consistent lagere trainingsoverhead (GPU-geheugen en tijd) vergeleken met CPCANet, met name voor grotere backbone-modellen (bijv. ViT-B en VMamba-B).
• Ablatie-studies:
  • Projectie Dimensie ($d_1$): De optimale prestaties werden waargenomen bij $d_1 = 128$.
  • Cascade Diepte ($T$): In tegen tegen de verwachtingen van diepere cascades, leverde de ondiepe configuratie ($T=1$) de hoogste nauwkeurigheid op. Het verhogen van de diepte naar $T \ge 2$ bood geen verbetering en verslechterde de prestaties vaak, wat suggereert dat de robuuste dispersiemetriek architecturaal efficiënt is zonder behoefte aan diepe cascades.

5. Betekenis en Claims

Het artikel claimt dat PP-CPCANet succesvol de fundamentele bottleneck van covariantie-gebaseerde geometrische uitlijning in diepe netwerken aanpakt. Door covariantie-schatting te vervangen door een globale Stiefel-manifold optimalisatie en een robuuste detached-median dispersiedoelstelling, stelt de methode de extractie van domein-invariante Common Principal Components (CPCs) met dichte, uitschieter-resistente gradiënten mogelijk.

De auteurs benadrukken dat de structurele analyse aantoont dat de efficiëntie van de methode optimaal is: een cascade met een enkele diepte is voldoende om ruisonderdrukking en representatiecapaciteit in balans te houden. Bijgevolg bereikt PP-CPCANet SOTA-prestaties over standaard benchmarks terwijl het een stabiel optimalisatieproces behoudt, wat een levensvatbaar alternatief biedt voor covariantie-gebaseerde benaderingen in kleine-steekproef-omvang regimes.