Backdoor Directions in Vision Transformers

Questo paper indaga come gli attacchi backdoor siano rappresentati nei Vision Transformers, identificando una specifica "direzione del trigger" nelle attivazioni del modello che ne conferma il ruolo causale, permettendo di tracciare l'elaborazione delle caratteristiche malevole, analizzare le differenze tra trigger statici e distribuiti, e proporre un metodo di rilevamento basato sui pesi senza necessità di dati.

L'essenziale

Ecco una spiegazione semplice e creativa del paper "Backdoor Directions in Vision Transformers", pensata per chiunque, anche senza un background tecnico.

Immagina di avere un cervello digitale (un modello di Intelligenza Artificiale) che è stato addestrato a riconoscere gli animali nelle foto. Se gli mostri un gatto, dice "Gatto". Se gli mostri un cane, dice "Cane". È un cervello onesto e affidabile.

Ora, immagina che un hacker malvagio voglia sabotare questo cervello. Non vuole distruggerlo, ma vuole "programmarlo" segretamente. L'obiettivo è questo: finché l'hacker non inserisce un piccolo segnale nascosto (il "trigger"), il cervello funziona normalmente. Ma appena vede quel segnale, il cervello impazzisce e dice sempre la stessa cosa sbagliata (ad esempio, vede un gatto con quel segnale e grida: "È un TIGRE!").

Questo è un attacco "Backdoor" (porta di servizio).

Il Problema: I "Cervelli" Moderni sono diversi

Fino a poco tempo fa, questi cervelli digitali erano fatti come mattoni impilati (le reti neurali classiche). Gli esperti sapevano come cercare le "porte di servizio" in quei mattoni.
Oggi, però, usiamo i Vision Transformers (ViT). Sono come cervelli molto più sofisticati che guardano un'immagine come se fosse un puzzle di tanti pezzettini (token) e li collegano tra loro con una rete di attenzione complessa.
Il problema? I vecchi metodi di difesa non funzionano bene su questi nuovi cervelli. Non sappiamo dove o come l'hacker ha nascosto la sua porta di servizio dentro questa rete complessa.

La Scoperta: La "Bussola Segreta"

Gli autori di questo studio hanno fatto un'ipotesi geniale: "Se il cervello è stato programmato per reagire a un segnale specifico, deve esserci una 'direzione' precisa nel suo cervello che rappresenta quel segnale."

Immagina il cervello del modello come una stanza piena di milioni di fili elettrici.

• Quando il modello vede un gatto normale, i fili si accendono in un certo modo.
• Quando vede un gatto con il "trigger" dell'hacker, c'è una direzione specifica (una combinazione precisa di fili) che si accende in modo diverso.

Gli autori hanno scoperto che possono trovare questa "direzione del backdoor". È come se avessero trovato la bussola segreta che punta dritta al cuore dell'inganno.

Come l'hanno trovata e testata?

Hanno usato un approccio molto intelligente, paragonabile a due esperimenti:

1. La Manovra di "Sterzata" (Activation Steering):
   Immagina di guidare un'auto. Se sai che per andare a destra devi girare il volante di un certo angolo, puoi provare a forzare quel movimento.
   Gli autori hanno preso le immagini "pulite" (senza trigger) e hanno aggiunto artificialmente questa "direzione segreta" nel cervello del modello. Risultato? Il modello ha iniziato a vedere il "Tigre" anche dove non c'era!
   Poi hanno fatto l'opposto: hanno preso le immagini "avvelenate" (con il trigger) e hanno sottratto quella direzione. Risultato? Il modello ha smesso di vedere la Tigre e ha detto la verità ("Gatto").
   Conclusione: Quella direzione è la causa reale del comportamento pazzo. Non è solo correlata, è il motore dell'attacco.

2. L'Operazione Chirurgica (Weight Orthogonalization):
   Una volta trovata la bussola segreta, hanno fatto un'operazione chirurgica sui "cervelli" (i pesi del modello). Hanno rimosso completamente quella direzione specifica dai circuiti interni.
   Risultato: Il modello è diventato sano di mente. Ha dimenticato completamente l'ordine segreto dell'hacker, ma continua a riconoscere perfettamente gatti e cani normali. È come se avessero rimosso un virus senza toccare il resto del sistema.

Cosa hanno imparato sul "come" funziona?

Hanno notato differenze interessanti tra i tipi di attacchi:

• Attacchi "Visibili" (come un adesivo quadrato): Il cervello li elabora in modo un po' disordinato, analizzando pezzo per pezzo.
• Attacchi "Nascosti" (come un disturbo impercettibile): Il cervello li elabora in modo molto più rapido e diretto, concentrandosi su un punto specifico del suo "pensiero" molto presto nel processo.

La Sorpresa: I Nemici si Scontrano

Hanno anche guardato cosa succede quando un attacco avversario (un altro tipo di hacker che cerca di ingannare il modello con rumore visivo) incontra un modello con una porta di servizio.
Hanno scoperto che per ingannare un modello "avvelenato", l'attacco avversario deve fare un lavoro extra: deve prima "spegnere" la porta di servizio dell'hacker originale prima di poter cambiare l'etichetta dell'immagine. È come se due ladri entrassero in casa: il secondo ladro deve prima disattivare l'allarme del primo prima di rubare.

La Soluzione Proposta: Il Metal Detector

Infine, hanno creato un metodo di rilevamento.
Immagina di dover controllare se un aereo ha un motore difettoso senza poterlo smontare. Puoi analizzare le vibrazioni del motore.
Gli autori hanno creato un algoritmo che "ascolta" le vibrazioni dei pesi del modello. Se trova quella "firma" specifica della direzione del backdoor (specialmente negli attacchi nascosti), suona l'allarme.
Funziona molto bene per gli attacchi più subdoli e non richiede nemmeno di vedere le immagini, solo di analizzare il codice del modello.

In Sintesi

Questo paper ci dice che, anche se i cervelli digitali moderni sono complessi, non sono magici. Hanno una struttura logica. Se qualcuno inserisce un ordine segreto, lascia una "firma" lineare e misurabile.

• Troviamo la firma (la direzione).
• La usiamo per capire come funziona (diagnosi).
• La rimuoviamo (cura).
• La usiamo per cercare altri virus (difesa).

È un passo enorme per rendere l'Intelligenza Artificiale più sicura, trasformando la "scatola nera" in qualcosa che possiamo finalmente aprire, ispezionare e riparare.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "Backdoor Directions in Vision Transformers", redatta in italiano.

1. Il Problema

Gli attacchi "backdoor" (o porte di servizio) rappresentano una minaccia significativa per i sistemi di apprendimento automatico, in particolare per i modelli di visione artificiale. In questi attacchi, un avversario inquina una piccola frazione del dataset di addestramento inserendo un pattern specifico (il "trigger") associato a una classe target. Il modello apprende a riconoscere questo trigger e, durante l'inferenza, classifica erroneamente qualsiasi immagine contenente il trigger come la classe target, mantenendo al contempo un'alta accuratezza sulle immagini pulite.

Sebbene le difese contro i backdoor siano state ampiamente studiate per le reti neurali convoluzionali (CNN), le prestazioni di queste difese crollano drasticamente quando applicate ai Vision Transformers (ViT). Le attuali difese specifiche per ViT si basano spesso sull'analisi dei pattern di attenzione, risultando fragili contro trigger distribuiti o "stealth" (invisibili). C'è una comprensione limitata di come i ViT rappresentino internamente e propaghino le caratteristiche dei backdoor, rendendo difficile progettare difese robuste.

2. Metodologia

Il paper adotta un approccio basato sulla interpretabilità meccanica per analizzare la struttura interna dei ViT compromessi. L'ipotesi di lavoro è che, analogamente a quanto osservato nei modelli linguistici, i backdoor nei ViT siano codificati lungo una specifica direzione lineare nello spazio delle attivazioni (residual stream).

Le fasi principali della metodologia sono:

• Identificazione della Direzione del Backdoor: Assumendo la conoscenza completa del trigger (scenario di ricerca controllata), gli autori costruiscono coppie contrastive di immagini (pulite vs. con trigger). Calcolano la differenza media tra le attivazioni di queste coppie a ogni layer del modello per derivare un vettore direzionale ($\hat{r}$) che rappresenta la firma interna del trigger.
• Validazione Causale: Per confermare che questa direzione sia causalmente responsabile del comportamento del backdoor, vengono eseguite due manipolazioni:
  1. Steering delle Attivazioni: Aggiunta o sottrazione del vettore $\hat{r}$ alle attivazioni durante il forward pass. Questo permette di attivare o disattivare il comportamento del backdoor su immagini pulite o compromesse.
  2. Ortogonalizzazione dei Pesi: Rimozione della componente del vettore $\hat{r}$ dalle matrici dei pesi del modello (tramite proiezione ortogonale). Se la direzione è la causa del backdoor, questa operazione dovrebbe eliminarlo senza distruggere l'accuratezza sul dataset pulito.
• Analisi della Propagazione: Studio di come l'informazione del trigger si diffonda attraverso i layer del ViT, confrontando trigger statici (patch) con trigger dinamici/distribuiti.
• Interazione con Attacchi Avversariali: Indagine su come le perturbazioni avversariali (basate su PGD) interagiscano con la direzione del backdoor, testando se gli esempi avversariali "sfruttano" o "neutralizzano" il meccanismo del backdoor.
• Rilevamento basato sui Pesi: Proposta di uno schema di rilevamento "data-free" che analizza le statistiche dei pesi (specificamente l'allineamento tra i vettori di lettura delle classi e i pesi dei layer iniziali) per identificare modelli compromessi, specialmente quelli con trigger stealth.

3. Contributi Chiave

1. Scoperta della Direzione Lineare: Dimostrazione che è possibile isolare una singola direzione lineare nello spazio delle attivazioni di un ViT che codifica il comportamento del backdoor. La rimozione di questa direzione dai pesi mitiga efficacemente l'attacco.
2. Analisi Layer-wise delle Differenze: Identificazione di differenze qualitative nella propagazione del trigger:
   • I trigger statici (es. BadNet, patch visibili) vengono rilevati in modo differenziato nei diversi token e richiedono più layer per unificare l'informazione nel token [CLS].
   • I trigger stealth/distribuiti (es. WaNet, SSBA, BPP) vengono rappresentati coerentemente nel token [CLS] già nei layer iniziali, suggerendo una logica interna diversa.
3. Connessione con gli Attacchi Avversariali: Evidenziazione del fatto che gli esempi avversariali generati su modelli backdoorati tendono a muoversi lungo direzioni simili al backdoor (nei layer intermedi per attacchi stealth), fornendo una spiegazione meccanica del perché certi attacchi avversariali possano essere usati come difesa o per rilevare vulnerabilità.
4. Metodo di Rilevamento Data-Free: Proposta di un nuovo metodo di rilevamento basato esclusivamente sull'analisi dei pesi, efficace per attacchi stealth come WaNet e BPP, che sono difficili da rilevare con le tecniche basate sull'attenzione.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su dataset come CIFAR-10, CIFAR-100 e Tiny-ImageNet, utilizzando modelli ViT-B-16 e varianti (DeiT, Swin) con diversi tassi di avvelenamento (0.01, 0.05, 0.1) e tipi di attacco (BadNet, Blended, WaNet, SSBA, TrojanNN, BPP).

• Validazione Causale: L'ortogonalizzazione della direzione del backdoor dai pesi ha ridotto il tasso di successo dell'attacco (ASR) a livelli trascurabili (< 1-5%) in quasi tutti i casi, mantenendo l'accuratezza sul dataset pulito (CA) quasi invariata. Lo steering delle attivazioni ha dimostrato la capacità di attivare/disattivare il backdoor, sebbene con sensibilità ai parametri.
• Propagazione: L'analisi ha mostrato che per gli attacchi stealth, la direzione del backdoor diventa significativa nel token [CLS] già dai layer 5-6, mentre per gli attacchi statici l'informazione è più frammentata e si unifica solo verso la fine della rete.
• Interazione Avversariale: Gli esempi avversariali generati da immagini pulite su modelli backdoorati tendono a essere classificati come la classe target con una frequenza maggiore rispetto ai modelli puliti (specialmente per WaNet e BPP). Inoltre, la differenza di attivazione tra l'immagine originale e quella avversaria mostra una forte similarità coseno con la direzione del backdoor nei layer intermedi.
• Rilevamento: Il metodo di rilevamento basato sui pesi (utilizzando Z-score sull'allineamento dei pesi) ha dimostrato un'alta efficacia nel rilevare attacchi stealth come WaNet e BPP, mentre ha avuto difficoltà con attacchi basati su patch visibili (es. TrojanNN), confermando che le firme nei pesi sono più evidenti per trigger distribuiti.

5. Significato e Implicazioni

Questo lavoro rappresenta un passo fondamentale verso la comprensione della sicurezza dei Vision Transformers.

• Nuovo Paradigma di Difesa: Sposta il focus dalla semplice rilevazione di anomalie nell'attenzione alla comprensione della geometria interna delle rappresentazioni dei backdoor.
• Robustezza: Dimostra che la rimozione di una singola direzione lineare può "curare" un modello, offrendo una via per la mitigazione dei backdoor senza bisogno di riaddestramento massiccio (se la direzione è nota).
• Interpretabilità: Fornisce un framework per studiare come i modelli trasformino input manipolati in output errati, collegando direttamente la teoria dell'interpretabilità meccanica alla sicurezza informatica.
• Limitazioni: L'approccio principale richiede la conoscenza del trigger per derivare la direzione, il che limita l'applicabilità diretta come difesa in scenari reali dove il trigger è sconosciuto. Tuttavia, i risultati sul rilevamento basato sui pesi offrono una promettente direzione per difese pratiche senza dati.

In sintesi, il paper stabilisce che i backdoor nei ViT non sono fenomeni caotici, ma seguono una struttura lineare prevedibile che può essere sfruttata sia per la diagnosi che per la rimozione delle vulnerabilità.