Riepilogo Tecnico: CBV – Attacchi Backdoor a Etichetta Pulita su Modelli Linguistici Visivi tramite Modelli Diffusivi

1. Enunciato del Problema

I Modelli Linguistici Visivi (VLM) hanno ottenuto successi significativi in compiti multimodali come la descrizione di immagini e la Risposta a Domande Visive (VQA). Tuttavia, studi recenti indicano che i VLM sono vulnerabili ad attacchi backdoor tramite avvelenamento dei dati. Gli attacchi backdoor esistenti sui VLM si basano tipicamente su strategie "a etichetta sporca" (dirty-label), in cui gli attaccanti modificano le etichette testuali dei campioni avvelenati per creare una discrepanza tra immagine e testo (ad esempio, etichettando un'immagine di un cane come "persone"). Questa discrepanza rende i campioni avvelenati relativamente facili da rilevare attraverso l'ispezione standard dei dati.

Il documento affronta la sfida di eseguire attacchi backdoor a etichetta pulita (clean-label) sui VLM. In questo scenario, l'attaccante deve costruire campioni avvelenati che mantengano le stesse etichette testuali esatte dei campioni puliti, modificando solo il contenuto dell'immagine. L'obiettivo è impiantare un backdoor in modo che il modello si comporti normalmente sugli input puliti, ma produca output specificati dall'attaccante (ad esempio, sostituendo "persone" con "cane") quando viene presentata un'immagine attivata. Ciò è particolarmente impegnativo per i VLM perché, a differenza dei tradizionali compiti di classificazione delle immagini che richiedono solo un allineamento a livello di classe, i VLM esigono una ricca coerenza semantica tra caratteristiche complesse dell'immagine e descrizioni testuali dettagliate. I precedenti metodi a etichetta pulita, che spesso si affidano a modelli surrogati per approssimare gli spazi delle caratteristiche, faticano a codificare le necessarie informazioni semantiche complesse per i VLM, portando ad attacchi inefficaci o ad artefatti innaturali.

2. Metodologia: CBV

Gli autori propongono CBV (Attacchi Backdoor a Etichetta Pulita su Modelli Linguistici Visivi tramite Modelli Diffusivi), un framework che sfrutta i modelli diffusivi e il matching del punteggio (score matching) per generare immagini avvelenate dall'aspetto naturale che incorporano caratteristiche attivanti preservando l'etichetta originale. La pipeline consta di tre fasi principali:

A. Generazione dell'Attivatore tramite Perturbazione Avversariale Universale (UAP)

Invece di utilizzare rumore semplice o patch di immagini fisse, CBV genera una Perturbazione Avversariale Universale (UAP) riutilizzabile da servire come attivatore.

• Processo: Utilizzando un modello surrogato (CLIP), il metodo massimizza iterativamente la perdita di allineamento immagine-testo su un insieme di immagini benigne.
• Obiettivo: La UAP risultante ($\delta$) induce deviazioni coerenti nello spazio delle caratteristiche attraverso input diversi, rendendo il backdoor più facile da apprendere per il modello vittima e da attivare in modo affidabile. La UAP viene applicata a un'immagine target per creare un "campione attivato".

B. Generazione della Maschera Guidata da GradCAM (GM)

Per migliorare la furtività ed evitare artefatti innaturali nelle regioni di sfondo, CBV limita le modifiche alle aree semanticamente importanti.

• Processo: Un modello di classificazione di immagini surrogato calcola una mappa di calore GradCAM per la classe target. Questa mappa di calore viene soggettata per creare una maschera binaria ($M$).
• Applicazione: Le modifiche vengono applicate solo all'interno della regione mascherata, lasciando il resto dell'immagine intatto. Questa strategia mira a generare campioni visivamente naturali piuttosto che minimizzare rigorosamente la distanza pixel per pixel.

C. Generazione Basata sul Matching del Punteggio tramite Modelli Diffusivi

L'innovazione centrale consiste nell'utilizzare un modello diffusivo per generare l'immagine avvelenata modificando la funzione di punteggio di denoising.

• Meccanismo: Il metodo tratta la generazione dell'immagine avvelenata come un processo di diffusione inversa condizionale. Modifica la funzione di punteggio standard ($s_\theta$) incorporando una guida multimodale sia dall'immagine attivata ($x_{trig}$) sia dal suo testo corrispondente ($y_{trig}$).
• Punteggio Guidato: La funzione di punteggio aggiornata è definita come:
  $$s'_\theta(x_t, t) = s_\theta(x_t, t) + \lambda_I \nabla_{x_t} S_I(\phi(\tilde{x}_t), \phi(x_{trig})) + \lambda_T \nabla_{x_t} S_T(\phi(\tilde{x}_t), \psi(y_{trig}))$$
  Dove $S_I$ e $S_T$ sono funzioni di similarità immagine e testo (implementate tramite embedding CLIP), e $\lambda_I, \lambda_T$ sono coefficienti di ponderazione.
• Risultato: Ciò guida la traiettoria di denoising a produrre un'immagine visivamente simile all'immagine pulita originale (preservando l'etichetta) ma contenente le caratteristiche semantiche dell'attivatore, incorporando efficacemente il backdoor.

3. Contributi Chiave

1. Primo Backdoor a Etichetta Pulita per VLM: Il documento introduce un metodo per eseguire attacchi backdoor a etichetta pulita sui VLM, superando il limite dei metodi precedenti che richiedevano la manipolazione delle etichette.
2. Generazione Basata su Diffusione: Propone un approccio innovativo che utilizza modelli diffusivi e matching del punteggio per generare campioni avvelenati ricchi semanticamente e visivamente naturali, affrontando il fallimento dell'approssimazione basata su modelli surrogati in compiti VLM complessi.
3. Guida Multimodale: Il metodo incorpora sia la guida immagine che quella testuale durante il processo di generazione per allineare le caratteristiche dello spazio latente, migliorando significativamente la trasferibilità e l'efficacia dell'attacco.
4. Furtività tramite GM: L'introduzione di una maschera guidata da GradCAM garantisce che le modifiche siano localizzate in regioni semanticamente importanti, evitando il rumore visibile e gli artefatti comuni negli attacchi a etichetta pulita precedenti.
5. Attivatore Universale: L'uso di UAP come attivatori fornisce deviazioni delle caratteristiche più forti rispetto al rumore semplice, migliorando l'affidabilità dell'attivazione del backdoor.

4. Risultati Sperimentali

Gli autori hanno valutato CBV sui dataset MSCOCO (descrizione di immagini) e VQA v2 (Risposta a Domande Visive) utilizzando quattro VLM rappresentativi: LLaVA-v1.5-7B, MiniGPT-v2, InstructBLIP-7B e Qwen-2.5-VL-7B.

• Efficacia dell'Attacco: CBV ha raggiunto un Tasso di Successo dell'Attacco (ASR) superiore all'80% su tutti i modelli e compiti. Questa prestazione è paragonabile agli attacchi a etichetta sporca (dirty-label) all'avanguardia (ad esempio, TrojVLM, BadToken) e supera significativamente i metodi a etichetta pulita esistenti (ad esempio, Narcissus, HTBA), che tipicamente raggiungevano ASR inferiori al 15%.
• Preservazione della Funzionalità: Il metodo ha mantenuto le prestazioni normali del modello sugli input puliti. Metriche come BLEU@4 e CIDEr per la descrizione e Accuratezza VQA sono rimaste quasi identiche a quelle dei modelli addestrati normalmente, indicando nessun degrado dell'utilità.
• Furtività: Confronti visivi hanno mostrato che i campioni avvelenati generati da CBV apparivano naturali e privi del rumore o degli artefatti evidenti presenti nei campioni generati da altri metodi a etichetta pulita.
• Robustezza: L'attacco ha dimostrato resilienza contro meccanismi di difesa inclusi Fine-pruning e TIJO (Inversione dell'Attivatore con Ottimizzazione Congiunta). La natura complessa dell'attivatore UAP e l'integrazione semantica dell'avvelenamento hanno reso difficile per queste difese rilevare o ricostruire il backdoor.
• Efficienza: CBV ha richiesto significativamente meno tempo computazionale (circa 28,7 secondi per campione) rispetto ai metodi a etichetta pulita basati sull'ottimizzazione (che richiedevano 185–218 secondi), poiché si affida a un singolo passaggio di diffusione inversa-forward piuttosto che a più passaggi iterativi di ottimizzazione.

5. Significato e Affermazioni

Il documento afferma che CBV espone una vulnerabilità di sicurezza critica nei modelli fondazionali multimodali: la capacità di impiantare backdoor efficaci senza alterare le etichette dei dati. Generando campioni avvelenati dall'aspetto naturale ma semanticamente potenti, l'attacco aggira i metodi standard di ispezione dei dati e di rilevamento delle anomalie.

Gli autori sottolineano che, sebbene il loro intento primario sia esporre questa vulnerabilità e stimolare la ricerca sulle difese, l'esistenza di tali attacchi pone un rischio per le applicazioni VLM ad alto rischio (ad esempio, imaging medico, veicoli autonomi). Concludono che le attuali strategie di difesa sono insufficienti contro i backdoor a etichetta pulita che sfruttano modelli generativi per la furtività, esortando la comunità a sviluppare strategie robuste di rilevamento e mitigazione specificamente progettate per questa classe di minacce.