STRAP-ViT: Segregated Tokens with Randomized -- Transformations for Defense against Adversarial Patches in ViTs

1. Il Problema: Attacchi con Patch Adversarial nei ViT

I Vision Transformers (ViT) sono diventati fondamentali per l'IA moderna, ma sono vulnerabili agli attacchi con patch adversarial. Queste sono piccole regioni di rumore localizzato (fisicamente realizzabili, come adesivi stampati) progettate per "dirottare" il meccanismo di self-attention del modello.

• Meccanismo di attacco: La patch ad alto contrasto attira l'attenzione del modello, corrompendo il class token e forzando una classificazione errata con alta confidenza, anche se la patch copre una frazione minima dell'immagine.
• Limiti delle difese esistenti: Le difese attuali (addestramento adversarial, smoothing, rilevamento basato sui pixel) sono spesso computazionalmente costose, richiedono ri-addestramento, sono fragili o non sfruttano la struttura nativa a token dei ViT.

2. Metodologia: STRAP-ViT

STRAP-ViT è un meccanismo di difesa non addestrabile (plug-and-play) che opera esclusivamente durante l'inferenza. Si basa sull'osservazione empirica che i token corrispondenti alle aree con rumore adversarial possiedono proprietà statistiche diverse rispetto ai token delle aree pulite.

Il sistema opera in due fasi principali:

A. Rilevamento: Segregazione dei Token (Detection)

Invece di analizzare i pixel, STRAP-ViT analizza i token generati dal ViT.

1. Metrica: Utilizza la Divergenza di Jensen-Shannon (JSD) per misurare la discrepanza statistica tra la distribuzione di probabilità di un token e una distribuzione di riferimento "pulita".
2. Principio: I token sovrapposti alla patch adversarial mostrano un aumento sistematico dell'entropia e una maggiore divergenza JSD rispetto ai token puliti.
3. Selezione: Calcolando il JSD per ogni token, il sistema identifica e seleziona i K token con il punteggio più alto (i più anomali). Il parametro $K$ è un iperparametro scelto in modo da coprire almeno il 50% della patch avversaria.

B. Mitigazione: Trasformazione dei Token (Mitigation)

Una volta identificati i token anomali, il sistema applica loro trasformazioni casuali per neutralizzare il rumore senza distruggere il contenuto informativo utile.

1. Composizione Randomizzata: Per evitare che un attaccante possa adattare la patch a una trasformazione specifica, STRAP-ViT applica una composizione casuale di trasformazioni ai token selezionati.
2. Trasformazioni disponibili:
   • Proiezione $L_p$: Limita l'energia estrema dei canali.
   • Contrazione Affine: Ridimensiona e ricalibra il vettore del token.
   • Trasformazione del Simplex (Softmax): Smussa i picchi di attivazione e ripesa i canali.
3. Flusso: I token trasformati vengono reinseriti nel flusso di inferenza del ViT insieme ai token non toccati, permettendo al modello di procedere con la classificazione.

3. Contributi Chiave

• Approccio basato sui Token: È la prima difesa che sfrutta direttamente le rappresentazioni semantiche dei token dei ViT (spazio delle caratteristiche) invece dello spazio dei pixel, rendendola intrinsecamente più adatta all'architettura ViT.
• Plug-and-Play e Training-Free: Non richiede alcun costo di addestramento aggiuntivo o modifica della struttura del modello. Può essere inserito come blocco tra il layer di embedding e i blocchi Transformer.
• Robustezza e Agnosticismo: È agnostico rispetto al modello (funziona su ViT-base-16 e DinoV2) e al tipo di patch (singole o multiple).
• Efficienza Computazionale: Il costo computazionale è minimo rispetto ai blocchi Transformer stessi, poiché le operazioni di JSD e trasformazione avvengono solo su un piccolo sottoinsieme di token (tipicamente l'1-4% del totale).

4. Risultati Sperimentali

Il metodo è stato valutato su dataset ImageNet e CalTech-101 contro diverse famiglie di attacchi (Adversarial Patch, LAVAN, GDPA, RP2).

• Accuratezza Robusta: STRAP-ViT ripristina l'accuratezza del modello quasi ai livelli di baseline (pulita).
  • Su ImageNet con ViT-base-16, ottiene un'accuratezza robusta del 78.8% contro l'attacco "Adversarial Patch" (rispetto al 3.6% senza difesa) e del 79.2% contro LAVAN.
  • Le prestazioni su immagini pulite rimangono quasi invariate (calo inferiore all'1-2%), dimostrando che la difesa non introduce falsi positivi significativi.
• Attacchi Multi-Patch: Il metodo è efficace anche contro l'attacco RP2 (che utilizza fino a 5 patch distribuite), adattando dinamicamente il numero di token da trasformare ($K$).
• Confronto con lo Stato dell'Arte: STRAP-ViT supera le tecniche esistenti come JEDI, ODDR, PatchCleanser e metodi di Smoothing, offrendo accurazioni robuste superiori (es. 78.8% vs 74.3% di ODDR).

5. Significato e Impatto

STRAP-ViT rappresenta un passo significativo verso la sicurezza dei ViT in scenari reali (guida autonoma, sorveglianza, riconoscimento facciale).

• Efficienza: Risolve il problema della difesa senza il costo proibitivo del ri-addestramento o dell'inferenza certificata pesante.
• Resilienza: La natura casuale delle trasformazioni rende estremamente difficile per un attaccante generare una patch "adattiva" che sia immune a tutte le possibili combinazioni di trasformazioni.
• Futuro: L'approccio è proposto come candidato per estendere la robustezza anche ai Large Vision Language Models (LVLM), sfruttando la loro natura basata su token.

In sintesi, STRAP-ViT offre una difesa leggera, efficace e pronta all'uso che sfrutta le differenze statistiche intrinseche tra rumore adversarial e contenuto semantico per proteggere i moderni modelli di visione artificiale.