Riepilogo Tecnico: Una volta avvelenato, controllabile arbitrariamente

Problematica

Gli attacchi di backdoor esistenti sui modelli visione-linguaggio (VLM) sono prevalentemente statici, operando secondo un paradigma di mappatura fissa (uno-a-uno o N-a-N). In questi scenari, specifici trigger sono vincolati a un insieme finito di target maliziosi predefiniti durante la fase di addestramento. Questa rigidità ne limita severamente l'applicabilità in minacce reali dinamiche; se l'obiettivo di un attaccante cambia dopo l'avvelenamento (ad esempio, passando dalla confusione sulla sicurezza di un prodotto alla diffusione di disinformazione su eventi non correlati), la backdoor a mappatura fissa fallisce. Adattarsi a nuovi target richiede il ri-avvelenamento del dataset e il ri-addestramento del grande VLM, un processo computazionalmente proibitivo che aumenta il rischio di esposizione.

Il documento affronta la necessità di un paradigma di backdoor più versatile e persistente che permetta a un attaccante di selezionare semantiche di caption-target precedentemente non viste al momento dell'inferenza, senza dover ri-addestrare il modello vittima.

Metodologia

Gli autori propongono un paradigma di controllo della caption any-to-any composto da due componenti principali: una strategia di avvelenamento euristica e un metodo di steganografia del trigger nello spazio delle caratteristiche.

1. Strategia di Avvelenamento Euristica

Inveve di addestrare il modello a memorizzare coppie fisse trigger-target, gli autori mirano a instillare un'euristica generalizzabile di tipo "trigger-come-istruzione".

• Meccanismo: L'attaccante costruisce un dataset avvelenato campionando diverse coppie trigger-target $(x^t_{image}, y^t_{text})$. Per ogni coppia immagine-caption benigna, un'immagine trigger "straniera" viene sovrapposta su una specifica regione mascherata (ad esempio, l'angolo in alto a sinistra) dell'immagine di input. La caption originale viene sostituita con la caption corrispondente all'immagine del trigger.
• Obiettivo: Esponendo il modello a coppie diverse in cui la presenza di un'immagine straniera nella maschera determina l'output, il modello impara a ignorare il contenuto dell'immagine principale quando è presente un trigger e a generare invece la caption associata al contenuto semantico del trigger. Ciò sfrutta la capacità intrinseca di generalizzazione zero-shot del VLM, permettendogli di riconoscere trigger non visti come istruzioni implicite.

2. Steganografia del Trigger tramite Spazio delle Caratteristiche ($TS(\cdot)$)

Il trigger vanilla (una patch visibile di un'immagine naturale) è vistoso e facilmente rilevabile. Per garantire la furtività, gli autori propongono di mappare qualsiasi caption target $z$ in un trigger visivo furtivo $TS(z)$ che non contenga l'informazione semantica di $z$, ma che imiti la rappresentazione delle caratteristiche del trigger vanilla.

• Estrazione delle Caratteristiche: Viene utilizzato un encoder di visione pre-addestrato $\Phi$ per estrarre le caratteristiche.
• Ottimizzazione: Il metodo ottimizza un trigger che minimizza la distanza tra la rappresentazione delle caratteristiche dell'immagine avvelenata (con il trigger furtivo) e la rappresentazione delle caratteristiche dell'immagine con il trigger vanilla.
• Due Implementazioni:
  • Trigger Patch ($TS_{patch}$): Genera una patch non semantica che differisce visivamente dall'immagine target ma si allinea nello spazio delle caratteristiche.
  • Trigger a Norma Controllata ($TS_{norm}$): Genera un rumore impercettibile (perturbazione) con vincoli di norma $L_\infty$ ($\epsilon$) per attivare la backdoor.
• Raffinamento: Gli autori osservano che l'applicazione di una leggera sfocatura gaussiana alla regione mascherata prima di aggiungere il rumore migliora ulteriormente l'efficacia.

Contributi Chiave

1. Paradigma di Controllo della Caption Any-to-Any: Il documento anticipa un attacco di backdoor che scollega la selezione del target dalla fase di avvelenamento. Riutilizza la capacità zero-shot del VLM in una vulnerabilità controllata dall'attaccante, consentendo la selezione dinamica di caption target non viste senza ri-addestramento.
2. Avvelenamento Euristico e Steganografia: Gli autori progettano una strategia che sposta l'attenzione del modello verso il trigger come un'istruzione piuttosto che come un pattern fisso. Sviluppano inoltre un metodo di steganografia del trigger $TS(\cdot)$ che mappa target testuali arbitrari in trigger visivi furtivi (rumore o patch non semantiche).
3. Valutazione Esaustiva: Il lavoro fornisce esperimenti rigorosi che dimostrano alti tassi di successo dell'attacco (ASR) pur preservando l'utilità benigna del modello e mostrando robustezza contro le classiche difese da backdoor.

Risultati Sperimentali

Gli esperimenti sono stati condotti principalmente su LLaVA-1.6, con validazione aggiuntiva su Qwen3-VL e MiniGPT-v2, utilizzando dataset come Flickr8k, Flickr30k, Tiny-ImageNet e CIFAR-100.

• Tasso di Successo dell'Attacco (ASR): Il metodo proposto raggiunge un alto ASR sulle coppie trigger-target non viste.
  • Trigger Vanilla: ~92% ASR su Flickr8k (usando trigger Tiny-ImageNet).
  • Patch Trigger: ~87-89% ASR (usando trigger Tiny-ImageNet).
  • Trigger a Norma Controllata: Con $\epsilon = 16/255$ e trigger Tiny-ImageNet (64x64), l'ASR raggiunge il ~86% su Flickr8k. Tuttavia, utilizzando trigger a risoluzione inferiore CIFAR-100 (32x32), l'ASR scende significativamente al 55,00% su Flickr8k.
  • Generalizzazione: A differenza dei baseline (es. TrojVLM, MTAttack) che scendono allo 0% di ASR sui target non visti, il metodo proposto mantiene il 92% di ASR (vanilla) e l'86% di ASR ($L_\infty$ con Tiny-ImageNet) sulle coppie tenute fuori dal training.
• Utilità Benigna: I modelli avvelenati mantengono prestazioni comparabili ai modelli puliti sui benchmark standard (GQA e MME), con un degrado trascurabile nei punteggi di percezione e cognizione.
• Furtività: I modelli puliti non producono contenuti relativi al target quando presentati con i trigger furtivi, confermando che i trigger non attivano la backdoor nei modelli non avvelenati.
• Robustezza della Difesa: L'attacco rimane efficace contro difese come Shrinkpad, Flip e Scale-up, mentre le tradizionali backdoor a mappatura fissa (BadNets) vengono completamente neutralizzate da queste difese.
• Simulazione: In una simulazione in cui i target sono stati sintetizzati tramite Stable Diffusion (poiché non esistevano immagini di verità fondamentale), il patch trigger ha ottenuto un ASR normale dell'89,15% e un ASR a livello di trigger dell'86,50%, dimostrando la capacità di dirottare gli output per testi arbitrari.

Significato e Rivendicazioni

Il documento sostiene di presentare il primo attacco di backdoor any-to-any sui VLM. Il suo significato primario risiede nel dimostrare che una singola fase di avvelenamento può impiantare una vulnerabilità programmabile, permettendo agli attaccanti di controllare dinamicamente le semantiche delle caption target al momento dell'inferenza.

Gli autori sostengono che questa capacità sottovaluta fondamentalmente la minaccia attuale per la sicurezza dei VLM, poiché rimuove le barriere computazionali e logistiche del ri-addestramento per nuovi obiettivi maliziosi. Le scoperte espongono vulnerabilità critiche nelle pipeline di apprendimento multimodale, evidenziando l'urgenza di meccanismi di difesa in grado di rilevare e mitigare backdoor dinamiche basate su istruzioni piuttosto che sul semplice matching di pattern statici. Il documento conclude che i VLM attuali sono suscettibili di essere trasformati in strumenti flessibili, controllati dall'attaccante, per la generazione di contenuti maliziosi arbitrari.