Sensitivity as a Double-Edged Sword: A Trade-off Between Discriminability and Adversarial Robustness

Sintesi Tecnica: La Sensibilità come Arma a Doppio Taglio

Definizione del Problema
Le moderne reti neurali esibiscono una significativa vulnerabilità alle perturbazioni avversarie. Mentre ricerche precedenti hanno attribuito ciò a fattori quali la linearità locale o la dipendenza da caratteristiche non robuste, questo lavoro identifica un trade-off fondamentale radicato nell'architettura stessa del classificatore. Gli autori osservano che i classici classificatori Fully Connected (FC), pur essendo altamente discriminativi, sono estremamente sensibili alle variazioni delle feature, il che li rende suscettibili al rumore avversario. Al contrario, i semplici classificatori basati sulla distanza $\ell_2$ esibiscono una robustezza superiore grazie alla loro insensibilità a tali variazioni, ma soffrono di una ridotta capacità discriminativa, in particolare in spazi ad alta dimensionalità o su dataset complessi. Il problema centrale è l'incapacità degli esistenti modelli di raggiungere simultaneamente un'alta discriminabilità e un'alta robustezza avversaria.

Metodologia
Per affrontare questo trade-off, gli autori propongono un framework di Hybrid Prototype Mixing (HPM), un nuovo riclassificatore $\ell_2$ che integra i punti di forza di entrambi gli approcci (FC e basati sulla distanza).

1. Generazione di Prototipi Ibridi:
   Il framework HPM costruisce prototipi adattivi fondendo due tipi distinti di centroidi:

   • Prototipi Stabili a Livello di Dataset ($C_{global}$): Sono ancore persistenti aggiornate tramite una Media Mobile Esponenziale (EMA) utilizzando le etichette di ground-truth. Forniscono stabilità e una rappresentazione corretta del dataset.
   • Prototipi Dinamici a Livello di Batch ($C_{batch}$): Sono generati dalle predizioni del classificatore FC all'interno di uno specifico batch. Per mantenere la addestrabilità end-to-end nonostante l'operazione discreta di argmax richiesta per l'assegnazione delle etichette, gli autori impiegano un Straight-Through Estimator (STE). Ciò permette ai gradienti di fluire attraverso le predizioni "soft" pur utilizzando assegnazioni "hard" per il calcolo dei prototipi.

2. Fusione e Predizione:
   Un mixer lineare apprendibile combina $C_{global}$ e $C_{batch}$ in un prototipo ibrido finale ($C_{hybrid}$). La classificazione finale viene eseguita calcolando la distanza $\ell_2$ negativa tra le feature di input e questi prototipi fusi, anziché fare affidamento esclusivamente sui logit FC.

3. Protocollo di Valutazione (Mixed Surrogate Attack - MSA):
   Gli autori identificano che la natura dinamica e dipendente dall'input di HPM (specificamente il meccanismo STE) introduce offuscamento del gradiente e discontinuità dell'avanzamento (forward discontinuity). Gli attacchi standard basati sul gradiente potrebbero non riuscire a trovare esempi peggiori perché piccole perturbazioni possono causare cambiamenti bruschi nelle etichette dei prototipi del batch, invalidando la direzione del gradiente.
   Per garantire una valutazione rigorosa e imparziale, il paper propone il protocollo Mixed Surrogate Attack (MSA). Questo prevede:

   • Surrogato 1 (FC Oracle): Un attacco ottimizzato contro i logit FC sottostanti per indurre cambiamenti bruschi nei prototipi del batch.
   • Surrogato 2 (Soft-Hybrid Model): Un surrogato che sostituisce lo STE discreto con una predizione soft-max fluida per approssimare il confine decisionale $\ell_2$ finale.
   • Verifica Black-Box: Un attacco Square, privo di gradiente, viene utilizzato per validare la robustezza indipendentemente dalle assunzioni sul gradiente.

Contributi Chiave

• Insight Teorico: Il paper fornisce un'analisi teorica ed empirica unificata dimostrando che i classificatori FC sono intrinsecamente più sensibili alle variazioni delle feature rispetto ai classificatori $\ell_2$. Questa sensibilità agisce come un' "arma a doppio taglio", consentendo una discriminazione fine ma invitando lo sfruttamento avversario.
• Framework HPM: Un modulo leggero e "plug-and-play" che sfrutta le predizioni FC per creare confini decisionali $\ell_2$ dinamici e robusti senza richiedere il riaddestramento completo del modello.
• Valutazione Rigorosa: L'identificazione dei problemi di valutazione (offuscamento del gradiente/discontinuità) nei meccanismi di difesa dinamici e la proposta del protocollo MSA per affrontarli.
• Validazione Empirica: Esperimenti estesi che mostrano come HPM migliori la robustezza di vari modelli allo stato dell'arte (SOTA) addestrati avversariamente con un fine-tuning minimo (solo del classificatore).

Risultati Sperimentali
Gli autori hanno valutato il metodo su CIFAR-10, CIFAR-100 e un sottoinsieme di ImageNet utilizzando il benchmark RobustBench.

• Guadagni di Performance: Quando applicato a modelli SOTA esistenti (es. quelli di Cui, Wang, Xu), il riclassificatore HPM ha costantemente migliorato l'accuratezza robusta sotto attacchi $\ell_\infty$.
  • Su CIFAR-10, i miglioramenti dell'accuratezza robusta sono variati da +1,6% a +5,6% tra i diversi modelli base.
  • Su ImageNet, i miglioramenti sono variati da +1,5% a +2,7%.
• Studi di Ablazione: La rimozione di componenti come la stima del centroide a livello di dataset o il mixer parametrizzato ha portato a un degrado delle prestazioni, confermando che sia la stabilità (EMA) che l'adattabilità (dinamiche basate su STE) sono necessarie.
• Metrica di Distanza: Sostituire la distanza $\ell_2$ con la similarità del prodotto interno (ritornando di fatto a un comportamento simile a FC) ha portato a cali significativi delle prestazioni, validando la necessità della regola decisionale basata sulla distanza per la robustezza.

Significatività e Rivendicazioni
Il paper sostiene che la barriera fondamentale alla robustezza in molte reti moderne risieda nella sensibilità del classificatore. Decouppiando esplicitamente la capacità discriminativa della testa FC dalla regola decisionale, e sostituendo quest'ultima con una metrica $\ell_2$ robusta guidata da prototipi ibridi, è possibile ottenere un equilibrio superiore tra accuratezza e robustezza.

Gli autori sottolineano che il loro lavoro è il primo a identificare che cambiare semplicemente la regola decisionale (dal prodotto interno alla distanza $\ell_2$) può produrre differenze sostanziali nella robustezza avversaria. Inoltre, sostengono che la comunità debba adottare protocolli di valutazione più rigorosi come MSA per evitare falsi positivi quando si valutano meccanismi di difesa dinamici e discontinui. Il metodo proposto è presentato come una soluzione pratica ed efficiente che migliora i modelli esistenti con un overhead computazionale minimo.