Manifold-Constrained Adversarial Training for Long-Tailed Robustness via Geometric Alignment

Sintesi Tecnica: Addestramento Avversale Vincolato al Manifold per la Robustezza in Distribuzioni a Coda Lunga tramite Allineamento Geometrico

1. Enunciato del Problema

Le reti neurali profonde, sebbene di successo nel riconoscimento visivo, rimangono vulnerabili alle perturbazioni avversarie. Sebbene l'addestramento avversale (AT) sia una difesa leader, la sua efficacia degrada significativamente sotto distribuzioni di classe a coda lunga (dove le classi principali sono abbondanti e le classi di coda sono scarse). In tali contesti, l'AT standard soffre di due meccanismi di fallimento accoppiati:

1. Disallineamento Geometrico: L'ottimizzazione dominata dalle classi principali comprime lo spazio delle caratteristiche, riducendo i margini inter-classe per le classi di coda e creando confini decisionali fragili e instabili.
2. Deriva Avversale Fuori dal Manifold: A causa della scarsità di campioni di coda, l'ottimizzazione avversale non vincolata sfrutta regioni a bassa densità e semanticamente non supportate dello spazio delle caratteristiche. Ciò causa una deriva degli esempi avversari lontano dal supporto reale dei dati, portando a confini decisionali spurii e al collasso dei margini di robustezza per le classi di coda.

Gli approcci esistenti affrontano questo problema principalmente tramite ridistribuzione dei pesi della funzione di perdita, riequilibrio dei margini o distillazione della conoscenza. Tuttavia, spesso non riescono a regolare esplicitamente la geometria delle rappresentazioni apprese o a garantire la validità semantica degli esempi avversari.

2. Metodologia: Addestramento Avversale Vincolato al Manifold (MCAT)

Gli autori propongono MCAT, un framework unificato che affronta sia lo squilibrio geometrico che la validità semantica attraverso due meccanismi complementari:

A. Vincoli Semantici sul Manifold Condizionati alla Classe
Per prevenire la deriva avversaria verso regioni a bassa densità, MCAT vincola le perturbazioni a rimanere vicine ai manifold semantici condizionati alla classe ($\mathcal{M}_y$) nello spazio delle caratteristiche.

• Implementazione: Invece di recuperare esplicitamente i manifold, il metodo impiega generatori leggeri condizionati alla classe $\{G_y\}$ (MLP) addestrati per mappare codici latenti nello spazio delle caratteristiche di ciascuna classe. Questi generatori sono pre-addestrati su caratteristiche pulite e congelati durante l'addestramento avversale.
• Penalità: Viene calcolata una metrica di deviazione fuori dal manifold $d_{\mathcal{M}_y}(u) = \min_z \|u - G_y(z)\|_2^2$ per un'embedding $u$. Questa penalità viene sottratta dalla perdita durante il passo di massimizzazione interna, guidando la ricerca avversaria verso regioni ad alta densità e semanticamente valide.
• Ottimizzazione: La massimizzazione interna viene risolta utilizzando PGD Supportato dal Manifold (MS-PGD), che proietta le perturbazioni nuovamente nel budget $\ell_\infty$ mentre sbilancia la direzione di ricerca tramite il gradiente del manifold.

B. Regolarizzazione Geometrica Ispirata all'ETF
Per contrastare la compressione dei margini delle classi di coda, MCAT impone una geometria bilanciata nei pesi del classificatore.

• Implementazione: La matrice dei pesi del classificatore $W$ è regolarizzata verso una struttura di Tela Equiangolare Sempliciale (ETF). Ciò è ottenuto penalizzando le deviazioni della matrice di Gram $W^\top W$ dalla forma $\alpha I + \beta \mathbf{1}\mathbf{1}^\top$.
• Effetto: Ciò incoraggia una separazione angolare uniforme tra tutti i vettori di classe, massimizzando l'angolo inter-classe minimo ($\theta_{\min}$) e impedendo alle classi principali di dominare la geometria dello spazio delle caratteristiche.

C. Obiettivo Unificato
L'obiettivo di addestramento combina la perdita robusta standard, la penalità sul manifold e la regolarizzazione geometrica:
$$\mathcal{R}_{\text{MCAT}}(\Theta) = \mathbb{E}_{(x,y)\sim\mathcal{D}} \left[ \max_{\|\delta\|_\infty \le \epsilon} \left( \ell(f_\Theta(x+\delta), y) - \lambda d_{\mathcal{M}_y}(\phi_\Theta(x+\delta)) \right) \right] + \beta \mathcal{R}_{\text{geom}}(\Theta)$$
dove $\lambda$ controlla la coerenza semantica e $\beta$ controlla il bilanciamento geometrico.

3. Analisi Teorica

Il documento fornisce due risultati teorici chiave:

1. Separazione Geometrica Implica Margine di Robustezza: Gli autori dimostrano che un angolo inter-classe minimo ($\theta_{\min}$) più grande implica direttamente un limite inferiore sul margine di robustezza certificabile. Poiché la struttura ETF massimizza $\theta_{\min}$, fornisce una garanzia provabile per la robustezza, in particolare per le classi di coda i cui margini sono altrimenti compressi.
2. Vincolo sul Manifold Controlla il Rischio Robusto: Gli autori mostrano che l'obiettivo MCAT limita superiormente il vero rischio robusto sulle regioni semantiche ad alta densità. La penalità sul manifold sopprime la deriva fuori dal manifold, garantendo che la robustezza venga appresa all'interno di regioni semanticamente valide piuttosto che in artefatti a bassa densità.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su benchmark standard a coda lunga (CIFAR-10-LT, CIFAR-100-LT, Tiny-ImageNet-LT) con vari rapporti di squilibrio (IR).

• Robustezza Complessiva: MCAT supera costantemente le linee di base AT standard (TRADES, MART, AWP) e i metodi robusti a coda lunga all'avanguardia (RoBal, REAT, TAET, Self-Distillation) su tutti i dataset e tipi di attacco (PGD-20, AutoAttack).
• Prestazioni su Classi di Coda ed Equilibrate: Crucialmente, MCAT ottiene miglioramenti significativi nella robustezza delle classi di coda e nella robustezza bilanciata (accuratezza media per classe) senza sacrificare l'accuratezza su dati puliti. Ad esempio, su CIFAR-100-LT (IR=100), MCAT ha migliorato la robustezza Tail-AA da ~16% (Self-Distill) al 20,0%.
• Studi di Ablazione:
  • Aggiungere solo il vincolo sul manifold aumenta significativamente la robustezza delle classi di coda riducendo la deriva fuori dal manifold.
  • Aggiungere solo l'allineamento geometrico migliora le metriche bilanciate correggendo il bias geometrico.
  • La combinazione produce i migliori risultati, confermando la necessità di affrontare entrambi i problemi.
• Verifica del Meccanismo: Le diagnosi empiriche confermano che MCAT preserva angoli inter-classe più ampi e riduce significativamente la deriva fuori dal manifold rispetto alle linee di base, allineandosi con le previsioni teoriche.

5. Significato e Affermazioni

Il documento afferma che raggiungere la robustezza avversale sotto distribuzioni a coda lunga richiede un approccio duale: correggere la geometria dello spazio decisionale e garantire la validità semantica degli esempi avversari.

• Novità: A differenza di lavori precedenti che si concentrano sulla progettazione della perdita o su euristiche di ottimizzazione, MCAT regola esplicitamente la geometria della rappresentazione e vincola gli esempi avversari ai manifold semantici.
• Insight: Gli autori identificano il "disallineamento geometrico" e la "deriva avversale fuori dal manifold" come le cause fondamentali del fallimento della robustezza nei contesti a coda lunga.
• Impatto: Integrando la regolarizzazione ispirata all'ETF con vincoli sul manifold, MCAT stabilizza i confini decisionali e migliora sostanzialmente l'affidabilità e l'equità dei modelli robusti per le classi di coda, colmando un divario critico negli scenari di implementazione reale dove lo squilibrio dei dati è prevalente.