TsallisPGD: Adaptive Gradient Weighting for Adversarial Attacks on Semantic Segmentation

Riepilogo Tecnico: TsallisPGD

Enunciato del Problema
Attaccare modelli di segmentazione semantica è significativamente più impegnativo rispetto ad attaccare modelli di classificazione di immagini. Mentre gli attacchi di classificazione mirano a un'unica etichetta, gli attacchi di segmentazione devono invertire simultaneamente migliaia di previsioni di pixel. Gli approcci standard, che adattano la Discesa del Gradiente Proiettata (PGD) utilizzando la perdita di entropia incrociata (CE) pixel per pixel, soffrono di dinamiche di ottimizzazione subottimali. Nello specifico, la CE standard tende a sovrastimare i pixel già classificati erroneamente (dove la probabilità prevista $p_y \to 0$). Ciò causa la saturazione del gradiente su questi target "facili", rallentando la convergenza e portando a una valutazione eccessivamente ottimistica della robustezza del modello, poiché l'attacco non riesce a colpire efficacemente i pixel classificati correttamente ad alta confidenza.

Metodologia
Gli autori propongono TsallisPGD, un framework di attacco avversario che sostituisce l'entropia incrociata standard con l'entropia incrociata di Tsallis, una generalizzazione parametrizzata da un indice entropico $q$.

• Ripesatura del Gradiente: L'insight teorico fondamentale è che l'entropia incrociata di Tsallis induce una ripesatura dipendente dalla confidenza del gradiente CE standard. Il gradiente rispetto alla probabilità prevista $p$ è scalato di un fattore $p^{1-q}$.
  • Quando $q < 1$, il peso aumenta con $p$, enfatizzando i pixel classificati correttamente ad alta confidenza (che sono più difficili da invertire).
  • Quando $q > 1$, il peso enfatizza i pixel a bassa confidenza.
• Controllo del Picco del Gradiente: Gli autori derivano un'espressione in forma chiusa per la posizione del picco del gradiente ($p^*_y$) in termini di $q$: $p^*_y = \frac{1-q}{2-q}$. Ciò permette all'attaccante di controllare esplicitamente quale regime di confidenza l'ottimizzazione deve focalizzare. Variando $q$, l'attacco può colpire diversi sottoinsiemi di pixel.
• Pianificazione Dinamica di q: L'analisi empirica rivela che nessun singolo valore fisso di $q$ è universalmente ottimale; il miglior $q$ varia in base al dataset, all'architettura del modello e al budget di perturbazione ($\epsilon$). Per affrontare ciò, gli autori propongono una pianificazione dinamica di $q$ che scandisce $q$ durante il processo di ottimizzazione.
  • La pianificazione è lineare, parametrizzata da un valore di partenza ($q_{start}$) e un valore di fine ($q_{end}$).
  • La pianificazione ottimale viene selezionata una sola volta utilizzando una divisione di convalida tenuta da parte (nello specifico, una scansione da $q=-2$ a $q=1$) e poi applicata invariata su tutti i benchmark di test senza ulteriore taratura.
  • Questo approccio permette a una singola esecuzione dell'attacco di attraversare molteplici regimi di concentrazione del gradiente, focalizzandosi inizialmente sui pixel ad alta confidenza e recuperando gradualmente il comportamento della CE standard.

Contributi Chiave

1. TsallisPGD: Un nuovo attacco avversario per la segmentazione semantica che sfrutta l'entropia incrociata di Tsallis per controllare il focus dell'attacco tramite il parametro $q$.
2. Analisi Teorica: Una dimostrazione che l'entropia incrociata di Tsallis induce una ripesatura del gradiente dipendente dalla confidenza ($p^{1-q}$) e una derivazione della posizione del picco del gradiente, fornendo un meccanismo per colpire specifici livelli di confidenza.
3. Pianificazione Dinamica: La proposta di una pianificazione dinamica di $q$ che adatta il focus dell'attacco nel tempo, motivata dall'osservazione che le impostazioni a $q$ fisso non sono universalmente ottimali.
4. Validazione Empirica: Estesi esperimenti che dimostrano come una singola pianificazione dinamica selezionata tramite convalida superi le linee di base statiche su dataset e modelli diversificati.

Risultati Sperimentali
Gli autori hanno valutato TsallisPGD su Cityscapes, Pascal VOC e ADE20K utilizzando varie architetture (PSPNet, UPerNet, Segmenter) e sia modelli standard che addestrati in modo avversario (ad es. DDCAT, PIR-AT). L'attacco è stato confrontato con le migliori linee di base esistenti: CEPGD, SegPGD, CosPGD, JSPGD e MaskedPGD.

• Prestazioni: TsallisPGD ha ottenuto il miglior rank medio su tutti i 21 scenari di valutazione (combinando dataset, modelli e budget di perturbazione).
  • Per la Precisione Media dei Pixel (ACC), TsallisPGD ha ottenuto un rank medio di 1.38, superando la linea di base più forte, MaskedPGD (2.43).
  • Per la media dell'Intersezione sull'Unione (mIoU), ha ottenuto un rank medio di 1.57, superando CosPGD (2.57).
• Robustezza: Il metodo ha mostrato guadagni particolarmente significativi sui modelli addestrati in modo avversario, dove l'ottimizzazione è tipicamente più difficile. Ha ottenuto le migliori prestazioni in 16/21 scenari per l'ACC e in 13/21 per la mIoU.
• Analisi a q Fisso: Esperimenti con valori fissi di $q$ hanno confermato che il $q$ ottimale dipende fortemente dalla specifica configurazione sperimentale, validando la necessità di una pianificazione dinamica.

Significato e Affermazioni
Il documento afferma che TsallisPGD fornisce un metodo semplice e generale per costruire attacchi avversari più forti per la segmentazione semantica controllando la concentrazione del gradiente. Il significato risiede nel dimostrare che:

1. L'entropia incrociata standard è inadatta per gli attacchi di segmentazione a causa della sua tendenza a sovrastimare i pixel già classificati erroneamente.
2. Il parametro $q$ nell'entropia incrociata di Tsallis offre un meccanismo preciso per indirizzare l'ottimizzazione verso pixel a diversi livelli di confidenza.
3. Una singola pianificazione dinamica selezionata tramite convalida può generalizzare efficacemente su diversi dataset, architetture e budget di minaccia, eliminando la necessità di taratura degli iperparametri per ogni configurazione.

Gli autori concludono che, sebbene il loro approccio attuale utilizzi una pianificazione fissa selezionata tramite convalida, il lavoro futuro potrebbe esplorare la possibilità di rendere la scelta di $q$ completamente adattiva ad ogni iterazione. Pianificano inoltre di incorporare TsallisPGD nell'addestramento avversario per migliorare la robustezza del modello.