Riepilogo Tecnico: TARO – Ottimizzazione di Rettifica Avversaria Temporale

Enunciato del Problema

Le reti neurali profonde rimangono vulnerabili agli esempi avversari, in cui perturbazioni impercettibili inducono previsioni errate. Sebbene l'addestramento avversario sia una difesa dominante, soffre di elevati costi di addestramento, specificità alla famiglia di perturbazioni utilizzata durante l'addestramento e un compromesso tra accuratezza su dati puliti e robustezza. Di conseguenza, la purificazione avversaria è emersa come strategia di difesa al momento dell'inferenza, mirando a mappare gli input potenzialmente avversari nuovamente verso la varietà delle immagini naturali prima della classificazione.

I metodi standard di purificazione basati sulla diffusione iniettano rumore gaussiano per attenuare le strutture avversarie e ricostruire l'immagine tramite un processo di diffusione inversa. Tuttavia, questi metodi affrontano una intrinseca tensione robustezza-fedeltà:

• La denoising a basso rumore preserva il contenuto locale dell'immagine ma può mantenere artefatti avversari.
• La denoising ad alto rumore sopprime forti perturbazioni ma rischia di scartare dettagli rilevanti per la classe o di deviare verso modalità semantiche errate.

Valutazioni recenti indicano che le affermazioni sulla purificazione stocastica sono spesso esagerate quando gli attacchi non riescono a differenziarsi attraverso il processo di purificazione o a tenere conto della stocasticità. Inoltre, i metodi esistenti di ottimizzazione al momento del test si basano tipicamente su un singolo regime di rumore di diffusione ad ogni aggiornamento, collassando le informazioni multi-scala in una singola stima locale. Inoltre, le varianti consapevoli dell'avversario richiedono spesso modelli di perturbazione ausiliari addestrati su distribuzioni di attacco specifiche, limitandone la generalizzabilità.

Metodologia: TARO

Gli autori propongono la Rettifica Ottimizzazione Avversaria Temporale (TARO), un framework di purificazione al momento del test che tratta gli step temporali della diffusione come esperti di denoising dipendenti dalla scala. Invece di affidarsi a un singolo livello di rumore, TARO aggrega multiple viste di denoising lungo la traiettoria di diffusione per costruire un prior di punteggio guidato temporalmente.

Meccanismo Principale: Aggregazione Temporale Affine

TARO formula un obiettivo residuo da grezzo a fine combinando le uscite da più esperti di rumore:

1. Prodotto Temporale di Esperti (PoE): Il metodo definisce un prior a tempo continuo in cui la log-densità è un integrale pesato delle distribuzioni indotte dalla diffusione attraverso gli step temporali.
2. Estrapolazione Affine: A differenza del PoE standard che richiede pesi non negativi (interpolazione convessa), TARO consente un'aggregazione affine in cui i pesi possono essere negativi pur sommando a uno. Ciò permette al metodo di eseguire correzioni da grezzo a fine oltre la standard interpolazione.
3. Costruzione dell'Obiettivo: L'immagine obiettivo $x_{target}$ è costruita come:
   $$x_{target} = u_K + \sum_{j=1}^{K-1} \gamma^{K-j}(u_j - u_{j+1})$$
   Dove $u_j$ rappresenta l'output denoised da un specifico regime di rumore (esperto).
   • Esperti ad alto rumore ($u_K$): Forniscono strutture globalmente lisciate con ridotta sensibilità a componenti avversarie fragili.
   • Esperti a basso rumore ($u_j$): Ripristinano dettagli specifici dell'immagine e rilevanti per la classe.
   • Forza di Guida ($\gamma$): Controlla l'equilibrio. Quando $\gamma > 1$, il metodo esegue un'estrapolazione in stile guida, amplificando la direzione di correzione definita dalla discrepanza tra esperti fini e grezzi.

Ottimizzazione e Regularizzazione

• Ottimizzazione: TARO aggiorna l'input minimizzando una perdita a obiettivo fisso $\|sg(x_{target}) - x_i\|^2_2$, dove $sg(\cdot)$ denota un'operazione di stop-gradient per trattare l'obiettivo come fisso durante l'aggiornamento.
• Regularizzazione della Coerenza degli Esperti: Per stabilizzare la correzione temporale amplificata (specialmente per attacchi $\ell_2$ dove i residui tra step temporali possono essere instabili), TARO introduce una perdita di coerenza $L_{cons} = \sum_{i<j} \|u_i - u_j\|^2_2$. Ciò incoraggia gli esperti temporali a concordare sulla stima purificata.
• Variante Ibrida (TARO-AA): TARO è progettato per essere complementare ai modelli di verosimiglianza consapevoli dell'avversario (es. AAOpt). La variante ibrida sostituisce il prior di diffusione a scala singola in AAOpt con il prior di consenso temporale di TARO, combinando la rettifica temporale interna con modelli di residuo appresi esterni.

Protocollo di Valutazione

Il documento sottolinea la necessità di una valutazione consapevole dell'ottimizzazione. Poiché TARO coinvolge un ciclo interno di ottimizzazione, gli attacchi devono:

• Colpire l'intera composizione purificatore–classificatore.
• Tenere conto della stocasticità tramite Expectation over Transformation (EOT).
• Preservare i gradienti di ordine superiore (differenziazione coerente con il grafo) attraverso il ciclo interno di ottimizzazione. Gli autori dimostrano che il mancato rispetto di ciò porta a stime di robustezza gravemente gonfiate a causa del mascheramento del gradiente.

Contributi Chiave

1. Framework TARO: Introduzione di un purificatore al momento del test che aggrega multipli regimi di rumore di diffusione in un obiettivo di denoising affine da grezzo a fine, combinando efficacemente una struttura globale robusta con la preservazione semantica a scala fine.
2. Interpretazione Teorica: Interpretazione di TARO come un'estensione affine dell'aggregazione temporale del prodotto di esperti, fornendo interpretazioni di rischio e gaussiane locali che spiegano il ruolo della forza di guida $\gamma$.
3. Valutazione Completa: Valutazione sotto forti attacchi adattivi inclusi PGD-EOT, BPDA-EOT, AutoAttack-EOT e DiffBreak. Lo studio dimostra che TARO migliora la robustezza zero-shot $\ell_\infty$ e potenzia ulteriormente la robustezza quando combinata con verosimiglianze consapevoli dell'avversario o regolarizzazione di coerenza.
4. Studio del Protocollo di Valutazione: Un'analisi critica che mostra come la valutazione adattiva affidabile dei purificatori basati sull'ottimizzazione richieda la preservazione dei gradienti di ordine superiore, correggendo le precedenti sovrastime della robustezza nel campo.

Risultati Sperimentali

Gli esperimenti sono stati condotti su CIFAR-10, CIFAR-100, CIFAR-10-C e Imagenette utilizzando classificatori WRN-28-10 e WRN-70-16.

• Robustezza $\ell_\infty$: TARO raggiunge la robustezza state-of-the-art tra i metodi di purificazione. Su CIFAR-10 con WRN-28-10 sotto PGD-EOT, TARO-3 raggiunge un'accuratezza robusta dell'88,57%, superando AAOpt (85,12%) e mantenendo un'alta accuratezza su dati puliti (~93,45%).
• Robustezza $\ell_2$: TARO zero-shot grezzo è più debole contro gli attacchi $\ell_2$. Tuttavia, l'aggiunta di regolarizzazione di coerenza o della verosimiglianza consapevole dell'avversario (TARO-AA) recupera significativamente le prestazioni. TARO-2 + Coerenza raggiunge un'accuratezza robusta dell'88,99%, superando AAOpt (86,40%).
• Attacchi DiffBreak: Sotto l'attacco a bassa frequenza DiffBreak, i purificatori di diffusione standard collassano a un'accuratezza robusta dello 0,0%. TARO-2-AA mantiene un'accuratezza robusta del 90,10%, superando significativamente AAOpt (85,41%).
• Trasferibilità: TARO rimane efficace sul dataset Imagenette e in configurazioni di trasferimento DiffBreak.
• Ablazioni:
  • Forza di Guida ($\gamma$): Il $\gamma$ ottimale varia in base al tipo di attacco (es. $\gamma=1,5$ per $\ell_\infty$, $\gamma=2,0$ per $\ell_2$).
  • Flusso del Gradiente: La rimozione dell'operazione di stop-gradient riduce la robustezza solo leggermente, confermando che i guadagni derivano dalla rettifica temporale multi-scala piuttosto che da gradienti interrotti.
  • Indipendenza dal Classificatore: I risultati valgono per diversi backbones di classificatori (WRN-28-10 e WRN-70-16).

Significato e Affermazioni

Il documento afferma che TARO fornisce un segnale di rettifica zero-shot derivato direttamente dal modello di diffusione su immagini pulite preaddestrato, senza richiedere riaddestramento o modelli di attacco ausiliari. La sua importanza risiede in:

1. Risoluzione del Compromesso Robustezza-Fedeltà: Sfruttando una visione temporale del prodotto di esperti, TARO evita di impegnarsi in un singolo punto nello spettro robustezza-fedeltà, bilanciando invece dinamicamente la correzione globale con i dettagli semantici.
2. Superiorità sotto Attacchi Adattivi: TARO dimostra resilienza contro forti attacchi adattivi (BPDA-EOT, DiffBreak) dove i purificatori di diffusione standard falliscono, a condizione che il protocollo di valutazione tenga correttamente conto del ciclo di ottimizzazione.
3. Modularità: Il framework è compatibile con i modelli esistenti di verosimiglianza consapevoli dell'avversario, offrendo una via per ulteriori guadagni di robustezza combinando priors temporali con modelli di residuo appresi.

Gli autori riconoscono le limitazioni, inclusa l'aumentata latenza di inferenza dovuta all'ottimizzazione multi-scala e la natura empirica della difesa (mancanza di robustezza certificata). Concludono che TARO rappresenta un passo verso difese più affidabili, trasparenti e attentamente valutate per applicazioni critiche per la sicurezza.