💻 computer science

PASTA: A Patch-Agnostic Twofold-Stealthy Backdoor Attack on Vision Transformers

Il paper propone PASTA, un attacco backdoor stealthy per Vision Transformers che sfrutta l'effetto di irradiazione del trigger tra patch adiacenti e un framework di apprendimento adattivo a due livelli per ottenere un'elevata efficacia di attacco su patch arbitrarie mantenendo al contempo un'ottima invisibilità visiva e attentiva.

Autori originali: Dazhuang Liu, Yanqi Qiao, Rui Wang, Kaitai Liang, Georgios Smaragdakis

Pubblicato 2026-04-23

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Dazhuang Liu, Yanqi Qiao, Rui Wang, Kaitai Liang, Georgios Smaragdakis

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

🍝 PASTA: L'Attacco "Invisibile" ai Cervelli Artificiali

Immagina che i moderni sistemi di intelligenza artificiale che riconoscono le immagini (come quelli che usano per sbloccare il telefono o per le auto a guida autonoma) siano come dei grandi chef che cucinano piatti complessi. Fino a poco tempo fa, questi chef usavano ricette tradizionali (le CNN). Oggi, però, usano una tecnica nuova e potente chiamata Vision Transformer (ViT).

La differenza fondamentale?

I vecchi chef guardavano l'immagine pezzo per pezzo, come se stessero analizzando un puzzle un quadratino alla volta.
I nuovi chef (ViT) guardano tutto il quadro insieme, collegando i pezzi tra loro come se fossero ingredienti che si influenzano a vicenda in una pentola.

🕵️‍♂️ Il Problema: L'Inganno Tradizionale

Gli hacker (i "cattivi") vogliono ingannare questi chef. Il metodo classico è nascondere un segnale segreto (un "trigger") in un punto specifico dell'immagine.

Esempio: Se metti un piccolo adesivo rosso nell'angolo in alto a sinistra di una foto di un gatto, l'hacker addestra il modello a pensare: "Se vedo l'adesivo rosso, non è un gatto, è un cane".
Il limite: Se l'hacker mette l'adesivo rosso in un altro punto (es. in basso a destra), il vecchio modello non lo vede e non scatta l'inganno. È come se il segnale funzionasse solo se lo metti esattamente dove l'hacker lo ha insegnato.

💡 La Scoperta: L'Effetto "Radiatore" (TRE)

Gli autori di questo studio hanno scoperto qualcosa di incredibile sui nuovi chef (ViT).
Hanno notato che, grazie alla loro capacità di guardare tutto insieme, se metti un segnale segreto in un punto, l'effetto si "irradia" come un radiatore.

L'analogia: Immagina di mettere una goccia di colorante in un bicchiere d'acqua. Nell'acqua (ViT), il colore si diffonde e colora tutto il bicchiere. Nel puzzle (vecchi modelli), il colore resta solo nel quadratino dove lo hai messo.
La scoperta: Se addestri il modello con un segnale in un punto, il modello impara a reagire a quel segnale anche se lo sposti nei quadratini vicini! Questo fenomeno è stato chiamato TRE (Trigger Radiating Effect).

🚀 La Soluzione: PASTA (L'Attacco Perfetto)

Gli autori hanno creato un nuovo attacco chiamato PASTA (che sta per Patch-Agnostic Twofold-Stealthy Backdoor Attack). Ecco come funziona, passo dopo passo:

L'Obiettivo: Non vogliono un segnale che funziona solo in un punto. Vogliono un segnale che funzioni ovunque nell'immagine.
La Strategia "MIS": Invece di nascondere il segreto sempre nello stesso punto, durante l'addestramento lo nascondono in posizioni diverse e casuali per ogni foto. È come se l'hacker insegnasse al modello a riconoscere il segnale indipendentemente da dove appare.
Il Problema della Stealth (Furtività): Se il segnale è troppo forte, si vede (non è furtivo). Se è troppo debole, non funziona. Inoltre, i modelli ViT controllano anche dove guardano (attenzione). Se il segnale fa guardare il modello in modo strano, viene scoperto.
La Magia Matematica (Ottimizzazione a Due Livelli): Per risolvere questo dilemma, usano una tecnica matematica avanzata. Immagina due ballerini (il modello e il segnale) che devono imparare a danzare insieme.
- Se uno balla troppo forte, l'altro inciampa.
- PASTA fa sì che il modello e il segnale si adattino l'uno all'altro lentamente, passo dopo passo. In questo modo, il segnale diventa quasi invisibile all'occhio umano e all'occhio del computer, ma continua a funzionare perfettamente.

🛡️ Perché è pericoloso? (I Risultati)

Il paper dimostra che PASTA è un attacco spaventosamente efficace perché:

Funziona ovunque: Puoi mettere il segnale segreto in qualsiasi punto dell'immagine e l'attacco funziona (99% di successo).
È invisibile:
- Visivamente: Un essere umano non nota alcuna differenza tra la foto originale e quella modificata (è come se non ci fosse nulla).
- Digitalmente: Anche i sistemi di sicurezza che controllano "dove guarda" il modello non notano nulla di strano.
Resiste alle difese: I metodi usati finora per proteggere i modelli (come cancellare pezzi dell'immagine o mescolarli) non funzionano contro PASTA, perché il segnale è così ben integrato che il modello lo riconosce comunque.

🍝 In Sintesi

PASTA è come un fantasma che entra in cucina. Non lascia impronte, non fa rumore, e non cambia il sapore del cibo. Ma se il fantasma sussurra una parola chiave (il trigger) in qualsiasi punto della stanza, lo chef (l'IA) smette di cucinare il piatto giusto e prepara quello che il fantasma vuole.

Gli autori ci avvertono: i nostri sistemi di intelligenza artificiale più moderni sono molto potenti, ma hanno una "porta segreta" che può essere aperta da chiunque sappia come sfruttare la loro capacità di vedere il quadro completo.

1. Il Problema e il Contesto

I Vision Transformers (ViT) hanno rivoluzionato il campo della visione artificiale grazie al meccanismo di self-attention, che permette di catturare dipendenze a lungo raggio tra diverse parti dell'immagine. Tuttavia, come le reti CNN, anche i ViT sono vulnerabili agli attacchi backdoor.

Gli attacchi backdoor esistenti contro i ViT presentano due limiti fondamentali:

Dipendenza dalla posizione: La maggior parte degli attacchi richiede che il trigger (il pattern malizioso) venga inserito in una posizione specifica e predefinita durante l'inferenza per attivare il comportamento malevolo.
Mancanza di stealthiness (furtività): Gli attacchi attuali spesso massimizzano l'attenzione del modello sul trigger, rendendo l'attacco rilevabile sia visivamente (per un osservatore umano) che tramite analisi dell'attenzione (per difese automatiche).

Il paper si pone la domanda: È possibile creare un attacco backdoor per ViT che sia efficace indipendentemente dalla posizione del trigger (patch-agnostic) e che rimanga impercettibile sia visivamente che a livello di attenzione?

2. Osservazioni Chiave e Fenomeni Scoperti

Prima di proporre la soluzione, gli autori hanno condotto uno studio empirico che ha portato a due scoperte fondamentali:

Trigger Radiating Effect (TRE): A differenza delle CNN, dove l'efficacia dell'attacco crolla se il trigger non è nella posizione esatta di addestramento, nei ViT un trigger inserito in una patch specifica mantiene un'alta efficacia anche se attivato su patch adiacenti. Questo fenomeno, chiamato TRE, è dovuto al meccanismo di self-attention che collega globalmente le patch.
Effetto Sinergico Multi-Posizione: Inserire il trigger in posizioni multiple durante l'addestramento (invece che in una sola) potenzia ulteriormente il TRE, rendendo l'attacco ancora più robusto su diverse aree dell'immagine.

Tuttavia, c'è un compromesso: perturbazioni grandi aumentano il TRE ma riducono la furtività (stealthiness).

3. Metodologia: PASTA

Per risolvere il compromesso tra efficacia e furtività, gli autori propongono PASTA (Patch-Agnostic Twofold-Stealthy Backdoor Attack).

A. Obiettivi dell'Attacco

PASTA mira a raggiungere un "nuovo payload" con tre caratteristiche:

Attivazione Arbitraria: Il backdoor deve essere attivabile inserendo il trigger in qualsiasi patch dell'immagine durante l'inferenza.
Furtività Visiva: Il trigger deve essere impercettibile all'occhio umano (bassa perturbazione nei pixel).
Furtività dell'Attenzione: Il trigger non deve alterare le mappe di attenzione del modello in modo anomalo rispetto ai dati puliti, eludendo così le difese basate sull'analisi dell'attenzione.

B. Strategie Tecniche

Strategia di Inserimento Multi-Posizione (MIS):
Durante l'addestramento, invece di inserire il trigger sempre nella stessa posizione, PASTA utilizza un campionatore gerarchico per inserire il trigger in posizioni casuali selezionate da un insieme di candidati (quadranti e angoli). Questo addestra il modello a riconoscere il trigger indipendentemente dalla sua posizione, massimizzando il TRE.
Ottimizzazione Bi-Livello (Bi-level Optimization):
Il problema di trovare un trigger furtivo e un modello efficace è complesso perché i parametri del modello ( $\theta$ ) e il trigger ( $t$ ) sono interdipendenti (non separabili). Ottimizzarli insieme o separatamente porta spesso a ottimi locali.
PASTA formula il problema come un'ottimizzazione bi-livello:
- Livello Inferiore: Ottimizza il trigger $t$ per minimizzare la perdita di backdoor, la visibilità e la disparità di attenzione, dato un modello fisso.
- Livello Superiore: Ottimizza i parametri del modello $\theta$ per massimizzare l'accuratezza sul compito pulito e l'efficacia del backdoor, dato il trigger ottimizzato.
Framework di Addestramento Adattivo:
Per risolvere l'ottimizzazione bi-livello, PASTA utilizza un framework adattivo che alterna piccoli passi di aggiornamento tra il trigger e il modello. Questo permette a entrambi di adattarsi gradualmente l'uno all'altro, evitando di convergere in ottimi locali e mantenendo la furtività.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su quattro dataset (CIFAR-10, CIFAR-100, ImageNet, Sub-ImageNet) e confrontati con lo stato dell'arte (SOTA) di attacchi specifici per ViT e CNN.

Efficacia dell'Attacco: PASTA raggiunge un ASR (Attack Success Rate) medio del 99,13% su tutte le patch, dimostrando un TRE eccezionale. In confronto, gli attacchi esistenti hanno un TRE medio molto più basso (circa 45% per gli attacchi patch-wise tradizionali).
Furtività Visiva: PASTA mostra un miglioramento di 144,43 volte nella furtività visiva (misurata tramite metriche come PSNR, SSIM e LPIPS) rispetto agli attacchi SOTA. Le immagini avvelenate sono indistinguibili da quelle pulite.
Furtività dell'Attenzione: L'attacco migliora la furtività dell'attenzione di 18,68 volte, rendendo le mappe di attenzione dei campioni avvelenati quasi identiche a quelle dei campioni puliti.
Robustezza alle Difese:
- Contro le difese basate su operazioni di patch (Patch Drop/Shuffle), PASTA mantiene un'efficacia del 91-95% quando utilizza strategie multi-posizione, mentre gli altri attacchi crollano.
- Contro la difesa BAVT (che blocca la patch con l'attenzione più alta), PASTA raggiunge il 100% di ASR inserendo trigger in 10 posizioni diverse, rendendo la difesa inefficace.
- Contro la rilevazione DBAVT, PASTA riduce il tasso di rilevamento (TPR) a livelli trascurabili (es. 0,2% su ImageNet).

5. Significato e Contributi

Il lavoro di PASTA è significativo per diversi motivi:

Nuovo Paradigma di Attacco: Introduce il concetto di "patch-agnostic backdoor" per i ViT, sfruttando il meccanismo di self-attention per creare trigger che funzionano ovunque nell'immagine, non solo in un punto fisso.
Scoperta Scientifica: Identifica e quantifica formalmente il Trigger Radiating Effect (TRE), spiegando perché i ViT sono intrinsecamente più vulnerabili a certi tipi di backdoor rispetto alle CNN.
Sfida alle Difese: Dimostra che le attuali difese specifiche per ViT (basate sull'analisi dell'attenzione o sul blocco di patch specifiche) sono inefficaci contro un attacco che è sia furtivo che distribuito su più posizioni.
Metodologia di Ottimizzazione: Propone un framework di addestramento adattivo basato su ottimizzazione bi-livello per gestire la complessità non separabile tra modello e trigger, offrendo un approccio metodologico che potrebbe essere applicato ad altri problemi di sicurezza nell'IA.

In sintesi, PASTA rappresenta una minaccia significativa per la sicurezza dei Vision Transformers, evidenziando la necessità di sviluppare nuove difese che considerino non solo la posizione del trigger, ma anche la sua capacità di propagarsi attraverso il meccanismo di attenzione globale.