Improving Adversarial Robustness via Activation Amplification and Attenuation

Sintesi Tecnica: Miglioramento della Robustezza Avversaria tramite Amplificazione e Attenuazione delle Attivazioni

Enunciato del Problema
Le Reti Neurali Profonde (DNN) sono vulnerabili agli esempi avversari — input con perturbazioni impercettibili progettate per trarre in inganno le predizioni del modello. Questa vulnerabilità è spesso attribuita alla presenza di "caratteristiche non robuste" all'interno delle rappresentazioni interne della rete. Sebbene le precedenti strategie di difesa abbiano tentato di mitigare questo aspetto tramite pruning, masking o ricalibrazione delle caratteristiche, tali approcci affrontano spesso dei compromessi. Alcuni metodi scartano interamente le caratteristiche non robuste, perdendo potenzialmente informazioni utili, mentre altri introducono moduli plug-in complessi con un significativo overhead di parametri e una ridotta interpretabilità. Inoltre, le tecniche di scaling delle attivazioni esistenti progettate per il rilevamento Out-of-Distribution (OOD) spesso si affidano a operazioni non differenziabili (ad esempio, la selezione top-k) o formulazioni esponenziali che possono causare la saturazione del gradiente, rendendole inadatte all'addestramento avversario end-to-end.

Metodologia: Amplificazione e Attenuazione delle Attivazioni (A3)
Gli autori propongono A3, un modulo plug-in leggero progettato per migliorare la robustezza avversaria attraverso un meccanismo di riscalamento controllato. A3 è integrato nella rete backbone (ad esempio, dopo specifici blocchi ResNet) e opera sulle attivazioni intermedie ($z$).

1. Masking e Scaling Apprendibili:
   Invece del pruning rigido, A3 calcola una maschera binaria per canale ($m$) utilizzando una proiezione apprendibile e un trucco Gumbel-Softmax per garantire la differenziabilità. Questa maschera identifica i canali in base alla distribuzione delle magnitudo delle attivazioni originali.
   Il modulo calcola due statistiche dalle attivazioni: la magnitudo totale ($s_1$) e la magnitudo del sottoinsieme mascherato ($s_2$). Utilizzando queste, deriva due fattori di scaling ($f_m$ e $f_{1m}$) tramite una formulazione logaritmica:
   $$f_m = \frac{\ln(1 + s_2)}{\ln(1 + s_1)}, \quad f_{1m} = 1 - f_m$$
   Questo approccio logaritmico è stato scelto rispetto alle formulazioni esponenziali per garantire gradienti stabili e prevenire l'instabilità numerica durante l'addestramento avversario.

2. Modalità Duali (Amplificazione e Attenuazione):
   A3 utilizza gli stessi parametri apprendibili per produrre due output distinti invertendo il segno dell'operazione di scaling:

   • Attenuazione ($z_{att}$): $z \cdot [1 - \text{Scale}(z, m)]$. Questa modalità sopprime l'influenza delle caratteristiche non robuste.
   • Amplificazione ($z_{amp}$): $z \cdot [1 + \text{Scale}(z, m)]$. Questa modalità esaspera i pattern di attivazione, fungendo efficacemente da "riferimento negativo".

3. Nuove Funzioni Obiettivo:
   Il processo di addestramento sfrutta entrambe le modalità per definire nuove funzioni di perdita:

   • Cross-Entropy Ranking Loss ($L_{rank}$): Una hinge loss che impone alle attivazioni attenuate di produrre una cross-entropy loss inferiore rispetto alle attivazioni amplificate. Questo crea un processo di ottimizzazione competitiva in cui il modello impara a degradare le predizioni in modalità amplificazione e a migliorarle in modalità attenuazione.
   • Contrastive Logit Loss ($L_{cl}$): Una loss di tipo triplet che minimizza la distanza tra i logit puliti e quelli avversari nella modalità di attenuazione, massimizzando al contempo la distanza tra i logit attenuati e quelli amplificati.

L'obiettivo finale combina la standard loss di addestramento avversario (ad esempio, AT, TRADES, MART) con questi componenti proposti. Durante l'inferenza, viene utilizzata solo la modalità attenuata ($z_{att}$).

Contributi Chiave

• Modulo A3: Un modulo plug-in leggero che migliora la robustezza con un overhead computazionale e di memoria minimo, basandosi su un semplice meccanismo di scaling piuttosto che su capacità di rete aggiuntive.
• Meccanismo a Doppia Modalità: Un approccio novello che apprende congiuntamente ad amplificare e attenuare i segnali utilizzando gli stessi parametri. Il paper dimostra che imparare a degradare le predizioni nella modalità di amplificazione migliora simultaneamente la robustezza nella modalità di attenuazione.
• Scaling Differenziabile: La sostituzione delle operazioni top-k non differenziabili (comuni nell'OOD detection) con una maschera apprendibile e differenziabile e uno scaling logaritmico per evitare l'oscuramento del gradiente e garantire la stabilità.
• Nuove Funzioni di Perdita: L'introduzione di loss contrastive e di ranking che utilizzano le attivazioni amplificate come riferimenti negativi per guidare il processo di apprendimento della robustezza.

Risultati Sperimentali
Esperimenti estesi sono stati condotti su CIFAR-10, CIFAR-100 e Tiny ImageNet utilizzando backbone ResNet-18 e WideResNet-34-10, integrati con strategie di addestramento AT, TRADES e MART.

• Performance: A3 ha superato costantemente le difese plug-in esistenti (ad esempio, CAS, CIFS, FSR, FPCM, EMFF) attraverso varie tipologie di attacco (FGSM, PGD-20/100, C&W, AutoAttack). Ad esempio, su ResNet-18 con AT su CIFAR-10, A3 ha ottenuto un miglioramento del 4,99% nell'accuratezza d'ensemble rispetto al backbone vanilla.
• Efficienza: A3 introduce un overhead trascurabile. Rispetto al baseline, aggiunge solo circa ~0,27M di parametri e ~0,0021G FLOPs per ResNet-18, significativamente meno di altri metodi basati su masking come FTA2C.
• Studi di Ablazione:
  • Analisi delle Modalità: La modalità di attenuazione supera significativamente la modalità di amplificazione e le strategie di soppressione rigida, confermando che l'attenuazione selettiva è superiore allo scarto completo delle caratteristiche.
  • Componenti della Loss: Sia la ranking loss che la contrastive loss sono essenziali; rimuoverle o sostituire la formulazione hinge con la cross-entropy standard porta a una degradazione delle prestazioni.
  • Formulazione dello Scaling: Il proposto fattore di scaling logaritmico ($f_m$) ha superato le alternative lineari, quadratiche ed esponenziali.
  • Shift della Distribuzione: L'analisi delle distribuzioni delle attivazioni mostra che A3 induce una chiara separazione tra esempi puliti e avversari nella modalità di attenuazione, mentre la modalità di amplificazione causa la sovrapposizione delle distribuzioni, validando il ruolo dell'amplificazione come riferimento negativo.

Significatività
Il paper sostiene che A3 offre una direzione promettente per la costruzione di modelli robusti e interpretabili concentrandosi su una difesa basata sulle caratteristiche con pochi parametri addestrabili. Dimostrando che imparare a degradare le predizioni in una modalità migliora la robustezza in un'altra, il lavoro sfida la nozione secondo cui le difese debbano concentrarsi esclusivamente sulla soppressione. Il metodo raggiunge una robustezza allo stato dell'arte tra i moduli plug-in mantenendo un'alta accuratezza sui dati puliti e introducendo un costo computazionale trascurabile, rendendolo una soluzione pratica ed efficiente per proteggere le DNN contro gli attacchi avversari.