Almost for Free: Crafting Adversarial Examples with Convolutional Image Filters

Riepilogo Tecnico: Quasi Gratis: Creazione di Esempi Avversariali con Filtri di Immagine Convoluzionali

Enunciato del Problema
Gli esempi avversariali (AE) nel deep learning sono tipicamente generati utilizzando ottimizzazione basata su gradienti, richiedendo o l'accesso diretto ai parametri del modello (white-box) o estese approssimazioni basate su query (black-box). Questi metodi spesso coinvolgono loop di ottimizzazione complessi, elevati costi computazionali e, nel caso di approcci basati su modelli generativi, milioni di parametri. Gli autori si chiedono se tale complessità sia necessaria, proponendo che la vulnerabilità delle reti neurali a specifiche perturbazioni strutturali possa essere sfruttata attraverso meccanismi più semplici.

Metodologia
Il documento propone un approccio innovativo per la creazione di esempi avversariali non mirati utilizzando filtri di immagine convoluzionali. La metodologia è suddivisa in due strategie distinte:

1. Attacco con Filtro per Bordi (Indipendente dal Modello):

   • Ispirazione: Traendo spunto dall'apprendimento automatico spiegabile (Adebayo et al., 2018; Ancona et al., 2018), gli autori osservano una correlazione tra le mappe di salienza (che approssimano i gradienti $\nabla_x f_\theta(x)$) e la classica rilevazione dei bordi.
   • Meccanismo: L'attacco applica un filtro standard di rilevazione dei bordi (specificamente un filtro di Sobel) a un'immagine di input $x$ per generare una mappa dei bordi $E(x)$. La perturbazione $\delta$ viene creata scalando questa mappa dei bordi: $\delta = \rho(E(x)) = \pm \mu E(x)$.
   • Operazione: Questo richiede un'unica passata convoluzionale. Gli autori testano empiricamente la sottrazione delle informazioni sui bordi ($\mu < 0$), che scurisce i bordi, riscontrando che è leggermente più efficace rispetto all'aggiunta degli stessi.

2. Attacco con Filtro Avversariale (Dipendente dal Modello):

   • Meccanismo: Invece di utilizzare kernel fissi, gli autori ottimizzano i pesi di un piccolo filtro convoluzionale $k$ per massimizzare la perdita del modello target.
   • Ottimizzazione: Il filtro viene addestrato risolvendo:
     $$\arg\min_k -\sum_{x \in D} \ell(x + x * k, f_\theta(x), \theta) + \lambda \|k\|_2^2$$
     dove $D$ è un piccolo dataset rappresentativo della distribuzione di addestramento, $\ell$ è la funzione di perdita e $\lambda$ regolarizza l'intensità della perturbazione.
   • Efficienza: I filtri sono piccoli (ad esempio $3 \times 3$ o $5 \times 5$), richiedendo significativamente meno parametri rispetto ai modelli generativi. L'attacco è "one-shot", generando la perturbazione tramite una singola convoluzione dopo che il filtro è stato ottimizzato.

Contributi Chiave

• Semplicità ed Efficienza: Gli autori dimostrano che gli esempi avversariali possono essere creati senza aggiornamenti iterativi dei gradienti o architetture generative complesse. I filtri proposti riducono il conteggio dei parametri di cinque ordini di grandezza rispetto agli approcci generativi correlati (ad esempio, Baluja & Fischer, 2018).
• Trasferibilità: I filtri avversariali appresi mostrano un'elevata trasferibilità tra diverse architetture di modelli (VGG-13, ResNet-50, Inception-V3), anche quando il filtro è ottimizzato per un modello e applicato a un altro.
• Insight Strutturali: I filtri ottimizzati, sebbene unici, condividono somiglianze strutturali con i kernel classici di elaborazione delle immagini (ad esempio, Laplaciano di Gaussiano), suggerendo che combinazioni specifiche di smoothing e potenziamento dei bordi possono ingannare efficacemente le reti neurali.

Risultati Sperimentali
Gli autori hanno valutato il loro approccio su modelli addestrati su ImageNet (VGG-13, ResNet-50, Inception-V3) utilizzando il dataset ImageNet V2.

• Attacco con Filtro per Bordi: Utilizzando un filtro di Sobel fisso, l'attacco ha raggiunto tassi di successo tra il 30% e l'80% a seconda del modello e dell'entità della perturbazione ($\mu$). Sebbene meno efficace dei metodi adattivi, non richiedeva conoscenze del modello e utilizzava solo 27 parametri.
• Attacco con Filtro Avversariale:
  • Con un filtro $3 \times 3$ e 1.000 esempi di addestramento, i tassi di successo hanno raggiunto il 56% per VGG, il 46% per ResNet e il 48% per Inception a un PSNR di 20.
  • Aumentando la dimensione del filtro a $5 \times 5$ e i dati di addestramento a 3.000 esempi, i tassi di successo sono saliti al 94% (ResNet), 92% (VGG) e 68% (Inception).
  • Trasferibilità: I filtri ottimizzati per un modello hanno mantenuto un'alta efficacia sugli altri. Ad esempio, un filtro ottimizzato per ResNet ha raggiunto un tasso di successo relativo del 93% su VGG e dell'82% su Inception (a PSNR=20).
• Caratteristiche della Perturbazione: A differenza del rumore avversariale standard che copre l'intera immagine, queste perturbazioni preservano il contorno strutturale dell'immagine di input ma introducono rumore localizzato e privo di colore. L'ispezione visiva mostra che, mentre alcune perturbazioni sono impercettibili (PSNR > 30), quelle a PSNR 20 mostrano sfocature o oscuramenti visibili ai bordi.

Significato e Affermazioni
Il documento afferma che i suoi risultati forniscono un limite inferiore sulla complessità richiesta per attacchi non mirati efficaci. Gli autori sostengono che:

1. La complessità non è sempre necessaria: Strategie di ottimizzazione sofisticate non sono strettamente richieste per raggiungere alti tassi di successo; semplici filtri convoluzionali ottimizzati possono bastare.
2. Fragilità delle Reti Neurali: L'elevata trasferibilità e il successo di questi semplici filtri evidenziano una fragilità fondamentale delle reti neurali verso specifici pattern di rumore malevoli che mimano o distorcono le strutture dei bordi.
3. Efficienza: La drastica riduzione dei parametri e dei costi computazionali (singola passata) offre una nuova prospettiva sul compromesso tra complessità dell'attacco ed efficacia.

Gli autori rimangono modesti, riconoscendo che i loro semplici filtri non possono competere con le prestazioni massime assolute delle strategie di ottimizzazione all'avanguardia, ma servono come un punto di riferimento critico per comprendere i requisiti minimi per attacchi avversariali di successo. Suggeriscono che lavori futuri potrebbero esplorare sequenze di convoluzioni per colmare il divario tra filtri semplici e architetture di rete complete.