FlowPure: Continuous Normalizing Flows for Adversarial Purification

1. Il Problema: Robustezza Adversarial e Purificazione

Le reti neurali profonde, nonostante i loro successi, rimangono vulnerabili agli attacchi adversarial: piccole perturbazioni intenzionali negli input che causano previsioni errate del modello.
La strategia di difesa nota come Purificazione Adversarial (AP) mira a rimuovere queste perturbazioni durante la fase di inferenza, trasformando un campione adversarial nel suo corrispettivo "pulito" prima della classificazione.

• Stato dell'arte attuale: I metodi più avanzati si basano su modelli di diffusione (Diffusion Models). Questi funzionano aggiungendo rumore gaussiano al campione (processo forward) per diluire la perturbazione avversaria e poi rimuovendo il rumore (processo reverse) per ricostruire l'immagine pulita.
• Limiti: I metodi basati sulla diffusione richiedono un processo stocastico fisso e spesso degradano l'accuratezza su dati puliti (benigni) o sono vulnerabili ad attacchi adattivi white-box (come DiffHammer) che sfruttano la struttura stocastica per eludere la difesa.

2. Metodologia: FlowPure

Gli autori propongono FlowPure, un nuovo metodo di purificazione che sostituisce i modelli di diffusione con Flussi Normalizzanti Continui (CNF) addestrati tramite Conditional Flow Matching (CFM).

Concetti Chiave

• Flussi Normalizzanti Continui (CNF): A differenza dei modelli di diffusione che apprendono una trasformazione stocastica, i CNF apprendono un campo di velocità deterministico $v_\theta(x, t)$ che trasforma una distribuzione sorgente in una target attraverso un'Equazione Differenziale Ordinaria (ODE).
• Conditional Flow Matching (CFM): Invece di simulare l'ODE durante l'addestramento (costoso), il CFM formula il problema come una regressione diretta del campo di velocità che trasporta campioni da una distribuzione all'altra lungo percorsi predefiniti (in questo caso, percorsi di Trasporto Ottimo - OT, che sono linee rette).

Le Varianti di FlowPure

Il paper introduce due varianti principali:

1. FlowPure Deterministico:

   • Obiettivo: Imparare una mappatura diretta da distribuzioni di esempi adversarial specifici a distribuzioni di dati puliti.
   • Addestramento: Vengono creati coppie $(x_0, x_1)$ dove $x_0$ è un esempio adversarial (generato con attacchi come PGD o CW) e $x_1$ è l'immagine pulita. Il modello apprende il campo di velocità per trasportare $x_0$ verso $x_1$.
   • Vantaggio: Sfrutta la conoscenza specifica dell'attacco per una purificazione mirata e altamente efficace, preservando l'accuratezza sui dati puliti.

2. FlowPure Stocastico (Gaussiano):

   • Obiettivo: Robustezza contro attacchi sconosciuti o adattivi.
   • Meccanismo: Utilizza un modello generativo CNF pre-addestrato (da Gaussiana a Dati). Durante l'inferenza, introduce un procedimento stocastico innovativo (vedi Alg. 1 nel paper) che inietta rumore nei passi intermedi dell'ODE.
   • Logica: Questo rumore intermedio rompe la precisione dei gradienti che un attaccante potrebbe usare per eludere la difesa (gradient masking), rendendo il sistema più robusto contro attacchi white-box adattivi come DiffHammer.

Rilevamento Adversarial

FlowPure può anche fungere da rilevatore. Gli autori sfruttano la magnitudine del campo di velocità appreso ($||v_\theta||^2$) a $t=0$. Gli esempi adversarial, trovandosi fuori dalla varietà dei dati, mostrano una velocità iniziale significativamente più alta rispetto ai campioni puliti, permettendo un rilevamento quasi perfetto.

3. Contributi Chiave

1. Primo utilizzo di CNF per la purificazione: FlowPure è il primo metodo ad applicare i Continuous Normalizing Flows alla purificazione adversarial, permettendo mappature dirette tra distribuzioni arbitrarie senza il vincolo di un processo di rumore gaussiano fisso.
2. Dualità Deterministico/Stocastico:
   • La variante deterministica offre prestazioni state-of-the-art in scenari "preprocessor-blind" (dove l'attaccante non conosce il purificatore) senza degradare l'accuratezza sui dati puliti.
   • La variante stocastica supera i metodi basati sulla diffusione negli scenari white-box adattivi più severi.
3. Efficacia nel Rilevamento: Dimostrano che FlowPure può rilevare attacchi PGD con un'accuratezza vicina al 100% (AUC quasi perfetto), superando metodi di rilevamento basati su Self-Supervised Learning come BEYOND.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su CIFAR-10 e CIFAR-100 confrontando FlowPure con metodi come DiffPure, GDMP, LM e ADBM.

• Scenario Preprocessor-Blind (Attacchi noti):

  • Le varianti deterministiche (addestrate su PGD o CW) raggiungono l'accuratezza più alta nella purificazione.
  • Punto cruciale: A differenza di molti metodi di purificazione che riducono l'accuratezza sui dati puliti, FlowPure mantiene o addirittura migliora leggermente l'accuratezza standard (es. 96% su CIFAR-10), preservando l'integrità semantica delle immagini.
  • Mostrano una buona capacità di trasferimento (transferability) su attacchi simili, anche se le varianti deterministiche sono ottimizzate per specifici tipi di rumore.

• Scenario White-Box Adattivo (Peggior caso):

  • In presenza di attacchi adattivi come DiffHammer (che sfrutta i gradienti esatti del processo di purificazione), tutte le difese subiscono un crollo delle prestazioni.
  • Tuttavia, la variante Gaussiana (stocastica) di FlowPure supera significativamente i metodi basati sulla diffusione (come DiffPure), mantenendo una robustezza superiore anche se complessivamente bassa in questo scenario estremo. Questo conferma che l'iniezione di rumore stocastico durante l'inferenza aiuta a contrastare gli attacchi basati sui gradienti.

• Rilevamento:

  • FlowPure rileva gli attacchi PGD con un AUC di ~0.95-0.99, superando BEYOND, specialmente per perturbazioni più forti.

5. Significato e Conclusioni

FlowPure rappresenta un passo avanti significativo nella difesa adversarial:

• Efficienza e Qualità: Dimostra che è possibile purificare gli input senza sacrificare l'accuratezza sui dati puliti, un problema storico per le tecniche di purificazione.
• Flessibilità: Offre un approccio ibrido che può essere ottimizzato per minacce note (deterministico) o adattato per scenari sconosciuti (stocastico).
• Realismo: Gli autori sottolineano l'importanza di valutare le difese in scenari "preprocessor-blind" (più realistici per il deployment reale) piuttosto che solo in scenari white-box estremi che spesso portano al collasso di tutte le difese basate sulla purificazione.
• Dualità: La capacità di un singolo modello di fungere sia da purificatore che da rilevatore rende FlowPure una soluzione versatile per la sicurezza dei sistemi ML.

In sintesi, FlowPure supera lo stato dell'arte nella purificazione adversarial, offrendo un equilibrio superiore tra robustezza, accuratezza sui dati puliti e capacità di rilevamento, grazie all'adozione innovativa dei Flussi Normalizzanti Continui.