Sintesi Tecnica: Attacchi Avversari Multi-task Occulti (SMTA2)

Definizione del Problema

Le Reti Neurali Profonde (DNN) sono sempre più impiegate in framework di Apprendimento Multi-task (MTL), dove le rappresentazioni condivise migliorano l'efficienza e la generalizzazione. Tuttavia, queste rappresentazioni condivise introducono vulnerabilità accoppiate: perturbazioni avversarie progettate per un compito spesso si propagano agli altri, causando un degrado indiscriminato delle prestazioni. Mentre gli attacchi precedenti si concentrano su modelli a singolo compito o sul degrado congiunto di tutti i compiti in ambito MTL, gli scenari reali critici per la sicurezza (ad esempio, la guida autonoma) richiedono spesso strategie più selettive.

Il problema centrale affrontato è la mancanza di un framework capace di degradare selettivamente un compito specifico target pur preservando rigorosamente le prestazioni dei compiti non target. I metodi esistenti faticano in questo perché l'aumento della perdita di un compito in un modello MTL propaga naturalmente gradienti che danneggiano anche gli altri. Raggiungere un degrado selettivo senza danni collaterali è un problema di ottimizzazione altamente vincolato e non banale, poiché il semplice ricalcolo dei pesi della perdita spesso non riesce a mantenere le prestazioni dei compiti non target sotto forti perturbazioni.

Metodologia

Gli autori propongono Stealthy Multi-task Adversarial Attack (SMTA2), un framework progettato per risolvere questo problema di degrado selettivo.

1. Formulazione del Problema

SMTA2 formula l'attacco come un problema di ottimizzazione multi-obiettivo vincolato. Dato un modello multi-task con compiti $y = (y_1, ..., y_m)$ e un compito target $i_t$, l'obiettivo è massimizzare la perdita del compito target $L_{i_t}$ assicurando che la perdita di tutti i compiti non target $L_i$ (dove $i \neq i_t$) non superi le loro prestazioni originali pulite.

L'ottimizzazione è definita come:
$$\max_{\delta} L_{i_t}(x + \delta, y_{i_t})$$
$$\text{soggetto a } L_i(x + \delta, y_i) \leq L_i(x, y_i) \quad \forall i \neq i_t$$
$$\|\delta\|_p \leq \epsilon$$

2. Strategia di Ottimizzazione

Risolvere direttamente il problema vincolato è intrattabile a causa dell'interferenza dei gradienti tra i compiti. SMTA2 lo rilassa in una funzione obiettivo pesata:
$$\max_{\delta} \sum_{i=1}^m w_i L_i(x + \delta, y_i)$$
dove $w_{i_t}$ è positivo (per degradare il target) e $w_i$ per i compiti non target sono negativi (per penalizzare il degrado e imporre la preservazione).

Per trovare i pesi ottimali $\{w_i\}$, il paper propone due strategie:

• Ricerca Manuale dei Pesi: Un approccio iterativo di tentativi ed errori in cui i pesi per i compiti non target vengono aumentati manualmente se le loro prestazioni scendono al di sotto del baseline. Questo è computazionalmente costoso e scala male con il numero di compiti.
• Ottimizzazione Automatica dei Pesi (Algoritmo 1): Una strategia dinamica che aggiorna i pesi dei compiti durante ogni iterazione dell'attacco.
  • Ad ogni step, l'algoritmo calcola la differenza di perdita tra gli input avversari e quelli originali per i compiti non target.
  • Se la perdita di un compito non target aumenta, il suo corrispondente peso negativo viene regolato proporzionalmente per contrastare il degrado.
  • Viene utilizzato un passo specifico per compito $\lambda_i$, che viene attenuato da un coefficiente $\alpha$ una volta che un compito soddisfa il vincolo di preservazione. Ciò accelera la convergenza e stabilizza la ricerca.
  • Questo approccio aggiunge solo $O(m)$ operazioni per iterazione, rendendolo asintoticamente equivalente in complessità agli attacchi standard come PGD.

Contributi Chiave

1. Nuovo Paradigma di Attacco: Introduzione di SMTA2, il primo framework per formulare e risolvere sistematicamente il problema degli attacchi avversari multi-task selettivi e occulti, consentendo un degrado mirato preservando rigorosamente gli altri compiti.
2. Formulazione di Ottimizzazione Vincolata: L'attacco è modellato come un problema multi-obiettivo vincolato con espliciti vincoli di preservazione, andando oltre gli attacchi congiunti indiscriminati.
3. Sintonizzazione Automatica dei Pesi: Sviluppo di una strategia di ottimizzazione automatica dei pesi della perdita che ricerca dinamicamente i pesi ottimali dei compiti, eliminando la necessità di sintonizzazione manuale e migliorando l'efficienza e la scalabilità.
4. Valutazione Completa: Esperimenti estesi sui benchmark NYUv2 e Cityscapes attraverso varie norme $L_p$ ($L_1, L_2, L_\infty$) e algoritmi di attacco (PGD, IFGSM, APGD), inclusi test su modelli non difesi e addestrati avversariamente.

Risultati Sperimentali

Il paper valuta SMTA2 su due benchmark multi-task: NYUv2 (Segmentazione Semantica, Stima della Profondità, Normale di Superficie) e Cityscapes (Segmentazione Semantica, Segmentazione delle Parti, Disparità).

• Degrado Selettivo: I risultati dimostrano che SMTA2 degrada significativamente il compito target (spesso eguagliando l'efficacia degli attacchi non occulti) mantenendo i compiti non target al livello o vicino alle loro prestazioni baseline. Al contrario, gli attacchi non occulti causano un collasso globale delle prestazioni.
• Robustezza: Il framework rimane efficace contro i modelli addestrati avversariamente (AT), preservando con successo i compiti non target anche in presenza di forti impostazioni di difesa.
• Automazione vs. Manuale: La strategia di ricerca automatica dei pesi raggiunge prestazioni comparabili alla sintonizzazione manuale, ma con un'efficienza e una scalabilità significativamente superiori.
• Evidenza Visiva: Le visualizzazioni confermano che le perturbazioni sono impercettibili e non introducono artefatti visivi evidenti, eppure causano fallimenti specifici nei compiti (ad esempio, classificare erroneamente i segnali stradali mantenendo un rilevamento accurato delle corsie).

Significato e Rivendicazioni

Il paper sostiene di aver stabilito il primo framework sistematico per attacchi multi-task selettivi e occulti. La sua importanza risiede in:

• Colmare un Vuoto Critico: Affrontare la necessità di attacchi selettivi in sistemi critici per la sicurezza dove il fallimento indiscriminato è facilmente rilevabile, mentre il fallimento selettivo può essere sottile e pericoloso.
• Fattibilità Pratica: Dimostrare che i vincoli di preservazione rigorosa possono essere soddisfatti attraverso un'ottimizzazione basata su principi e una sintonizzazione automatica dei pesi, anche in presenza di forte accoppiamento tra i compiti.
• Nuova Direzione: Aprire una nuova direzione per l'apprendimento automatico avversario controllato nei sistemi multi-task, evidenziando come le rappresentazioni condivise possano essere sfruttate per manipolazioni fini e occulte senza alterare le architetture del modello o le relazioni tra i compiti.

Gli autori concludono che SMTA2 dimostra che gli attacchi selettivi per compito e occulti sono sia fattibili che praticamente risolvibili, ponendo una nuova sfida per la robustezza dei sistemi di apprendimento multi-task.