Improving Clean Accuracy via a Tangent-Space Perspective on Adversarial Training

1. Il Problema

Le reti neurali profonde (DNN) hanno ottenuto risultati straordinari in vari campi, ma rimangono estremamente vulnerabili agli esempi avversari: input modificati da rumore impercettibile ma malevolo che inducono il modello a commettere errori.
La tecnica di difesa più efficace attualmente è l'Adversarial Training (AT) standard, che include esempi avversari nel processo di addestramento per migliorare la robustezza. Tuttavia, esiste un compromesso (trade-off) fondamentale: migliorare la robustezza contro gli attacchi porta spesso a un drastico calo dell'accuratezza sui dati puliti (clean accuracy).
L'obiettivo di questo studio è recuperare l'accuratezza sui dati puliti nei modelli addestrati avversarialmente senza sacrificare la loro robustezza.

2. Metodologia: TART (Tangent Direction Guided Adversarial Training)

Gli autori introducono TART, un nuovo framework che sfrutta la geometria della varietà dei dati (data manifold) per guidare l'addestramento.

Concetti Chiave Geometrici

• Varietà dei Dati: I dati reali (come le immagini) giacciono su una varietà a bassa dimensione immersa in uno spazio ad alta dimensione.
• Componenti Tangenziali e Normali: Gli esempi avversari possono essere decomposti in due componenti rispetto alla varietà dei dati:
  • Componente Tangenziale: La parte della perturbazione che giace lungo la varietà (mantenendo il dato "naturale").
  • Componente Normale: La parte della perturbazione che spinge il dato fuori dalla varietà (off-manifold).
• Ipoti si Fondamentale: Gli autori dimostrano empiricamente e teoricamente che gli esempi avversari con una grande componente normale distorcono eccessivamente il confine decisionale del modello, degradando l'accuratezza sui dati puliti. Al contrario, le perturbazioni con componenti prevalentemente tangenziali sono meno dannose per la distribuzione dei dati puliti.

Algoritmo TART

Il processo di TART si articola nei seguenti passaggi:

1. Stima dello Spazio Tangente: Poiché la varietà dei dati è spesso sconosciuta, TART utilizza un autoencoder pre-addestrato e l'analisi delle componenti principali (PCA) per stimare lo spazio tangente locale per ogni immagine di addestramento.
2. Calcolo della Componente Tangenziale: Per ogni esempio avversario generato ($x^*_i$), viene calcolata la sua proiezione sullo spazio tangente stimato. La norma di questa proiezione rappresenta la "componente tangenziale".
3. Adattamento del Limite di Perturbazione ($\epsilon_i$): Invece di usare un limite di perturbazione fisso ($\epsilon$) per tutti i dati (come nell'AT standard), TART adatta dinamicamente il limite in base alla componente tangenziale:
   • Se la componente tangenziale è alta (sopra la mediana del batch), si utilizza il limite massimo $\epsilon_{max}$ (si addestra sull'esempio avversario).
   • Se la componente tangenziale è bassa (sotto la mediana), il limite viene impostato a 0 (si addestra sull'immagine originale $x_i$, ignorando la perturbazione avversaria).
4. Addestramento: Il modello viene addestrato su un mix di esempi originali e avversari, selezionati in base alla loro geometria rispetto alla varietà.

Ottimizzazione Computazionale

Per ridurre l'overhead computazionale, TART pre-calcola e memorizza gli spazi tangenti e le matrici di proiezione prima dell'addestramento, permettendo un aumento del tempo di training di soli 1.24 volte rispetto all'AT standard.

3. Contributi Chiave

1. Primo Framework Geometrico: TART è il primo framework di difesa avversaria che incorpora esplicitamente il concetto di spazio tangente e direzione nell'addestramento.
2. Insight Teorico ed Empirico: Dimostrano che le perturbazioni con grandi componenti normali sono la causa principale della degradazione dell'accuratezza sui dati puliti e che evitarle preserva il confine decisionale.
3. Metodo Pratico: Forniscono un metodo efficiente per stimare lo spazio tangente e calcolare le componenti tangenziali utilizzando autoencoder e PCA.
4. Universalità: TART è un framework modulare che può essere integrato con altri metodi di difesa esistenti (come TRADES, MART, GAIRAT) per migliorarne le prestazioni.

4. Risultati Sperimentali

Gli autori hanno condotto esperimenti su dataset sintetici e benchmark reali:

• Dataset Sintetico (Sfera Trasformata): Su un dataset simulato dove lo spazio tangente è noto, TART ha superato sistematicamente una versione "Reverse-TART" (che applicava la logica opposta), confermando che evitare le componenti normali migliora sia l'accuratezza pulita che quella robusta.
• CIFAR-10: Integrando TART con metodi standard (AT, TRADES, MART, GAIRAT), si è osservato un miglioramento costante dell'accuratezza sui dati puliti (es. da ~81.5% a ~83.5% per AT standard) mantenendo invariata o leggermente migliorata la robustezza contro attacchi come PGD e AutoAttack.
• Tiny ImageNet: I risultati su questo dataset più complesso e su larga scala hanno confermato la capacità di generalizzazione di TART, ottenendo un'accuratezza pulita superiore (53.19% vs 49.94% per AT standard) senza perdere robustezza.

5. Significato e Implicazioni

Questo lavoro rappresenta un passo significativo verso la risoluzione del compromesso tra robustezza e accuratezza nell'addestramento avversario.

• Cambio di Paradigma: Sposta l'attenzione dalla semplice massimizzazione del margine nello spazio ambientale alla comprensione della geometria intrinseca dei dati.
• Efficienza: Dimostra che è possibile migliorare le prestazioni dei modelli senza costi computazionali proibitivi.
• Futuro: Apre la strada a nuove difese basate sulla geometria, suggerendo che la direzione della perturbazione è tanto importante quanto la sua magnitudine.

In sintesi, TART offre una soluzione elegante e geometricamente fondata per addestrare modelli che sono sia robusti agli attacchi avversari sia altamente accurati sui dati reali, evitando di "spingere" i dati fuori dalla loro distribuzione naturale durante l'addestramento.