PHANTOM: A Large-Scale Dataset of Multimodal Adversarial Attacks for Vision-Language Models

Sintesi Tecnica: PHANTOM – Un dataset su larga scala di attacchi avversari multimodali per i modelli Vision-Language

Problematica
Il rapido dispiegamento dei modelli Vision-Language (VLM) in applicazioni critiche per la sicurezza e rivolte agli utenti ha evidenziato una vulnerabilità significativa: nonostante il miglioramento dell'allineamento e della scalabilità, i modelli multimodali allo stato dell'arte rimangono suscettibili a attacchi di jailbreak accuratamente progettati. A differenza degli scenari unimodali, le violazioni della sicurezza multimodale sfruttano il ragionamento cross-modale e l'allineamento semantico, espandendo significativamente la superficie di attacco e complicando il rilevamento. Una barriera primaria nel affrontare questo problema è il costo computazionale e la complessità della generazione di campioni avversari multimodali su larga scala. La generazione di questi attacchi richiede spesso l'ottimizzazione delle perturbazioni attraverso molteplici spazi di input (immagine e testo) preservando al contempo l'allineamento semantico, il che comporta passaggi forward e backward attraverso molteplici encoder specifici per modalità. Di conseguenza, i gruppi di ricerca e i professionisti con risorse limitate faticano a riprodurre la generazione di attacchi su larga scala, ostacolando la valutazione sistematica della robustezza e lo sviluppo di sistemi di difesa.

Metodologia
Gli autori introducono PHANTOM, un dataset open-source su larga scala composto da 47.524 campioni avversari pre-generati progettati per abbassare la barriera alla ricerca avversaria. La costruzione del dataset ha previsto le seguenti fasi metodologiche chiave:

1. Tassonomia degli Intent e Curatela:

   • Gli autori hanno consolidato ed esteso i benchmark precedenti (inclusi HarmBench, AdvBench, JailBreakV-28K, MM-SafetyBench e altri) per creare un dataset radice di 7.826 intenti dannosi.
   • Questi intenti sono organizzati in 10 categorie di alto livello e 55 sottocategorie. In particolare, gli autori hanno introdotto una nuova categoria, Sicurezza dei Minori (J), per affrontare i rischi specifici per i minori, come l'elusione dei controlli genitoriali o il grooming, che erano sottorappresentati nelle tassonomie esistenti.
   • Per garantire la diversità, è stata eseguita un'analisi di similarità del coseno utilizzando sentence-transformers all-MiniLM-L6-v2. Gli intenti con un punteggio di similarità superiore al 90% sono stati filtrati per prevenire la ridondanza pur preservando una variazione semantica significativa.

2. Strategie di Attacco:
   Sono state selezionate cinque strategie di attacco allo stato dell'arte basate su un compromesso tra Tasso di Successo dell'Attacco (ASR) e costo computazionale (tempo di generazione):

   • BAP (Bi-modal Adversarial Prompt): Un attacco a turno singolo che ottimizza congiuntamente le perturbazioni visive (tramite Projected Gradient Descent) e i prompt testuali.
   • IDEATOR: Una strategia multi-turno che affina iterativamente i prompt di immagini e testo attraverso la conversazione.
   • MML (Multi-Modal Linkage): Un attacco tipografico che codifica il testo dannoso in immagini (ad esempio, tramite Base64, mirroring, rotazione) e utilizza un prompt di tipo "gioco" per guidare il modello nella ricostruzione dell'intento originale.
   • FC ATTACK (Flowchart Attack): Genera un diagramma di flusso che rappresenta i passaggi logici per raggiungere un intento dannoso, inducendo il modello a seguire il diagramma per aggirare i filtri di sicurezza.
   • CSDJ (Distraction/CS-DJ): Incorpora richieste dannose in immagini specifiche all'interno di un collage di 12 immagini, utilizzando la distrazione e l'embedding visivo per aggirare i filtri.

3. Pipeline di Generazione e Valutazione:

   • Modelli Target: Gli attacchi sono stati generati contro una suite di modelli open-source (DeepSeek-VL2, GLM-4.6V-Flash, Kimi-VL, serie Qwen3-VL, ecc.).
   • Valutazione: I campioni generati sono stati testati sia contro i modelli open-source (white-box) sia contro i modelli proprietari allo stato dell'arte (black-box) accessibili tramite API (GPT-5.4/5.5, Claude Opus 4.6–4.8, Gemini 3.1 Pro).
   • Giudice: È stato utilizzato un giudice automatizzato, Abel-24-HarmClassifier, per valutare le risposte dei modelli e determinare l'ASR. Questa scelta è stata fatta per garantire la riproducibilità ed evitare bias derivanti da giudizi umani ad hoc, in particolare per risposte parzialmente dannose o evasive.

Contributi Chiave

• Dataset PHANTOM: Il rilascio di una collezione su larga scala e open-source di 47.524 campioni avversari pronti all'uso (coppie immagine-testo).
• Tassonomia Espansa: Una tassonomia curata di 7.826 intenti dannosi che spaziano in 10 categorie e 55 sottocategorie, inclusa la nuova categoria "Sicurezza dei Minori".
• Diversità Strategica: Implementazione di cinque distinte strategie di attacco (BAP, IDEATOR, MML, FC ATTACK, CSDJ) che coprono tecniche a turno singolo, multi-turno e offuscamento tipografico/visivo.
• Analisi della Trasferibilità: Valutazione completa della trasferibilità degli attacchi tra VLM open-source e proprietari, fornendo approfondimenti sulle vulnerabilità cross-modello.
• Metadati Strutturati: Fornitura di metadati per supportare la riproducibilità, il benchmarking e la ricerca sulla sicurezza a valle.

Risultati
La valutazione di PHANTOM su vari modelli ha prodotto diverse scoperte critiche:

• Vulnerabilità Persistente: Nonostante l'addestramento alla sicurezza, tutti i sistemi valutati mostrano un ASR non trascurabile in più categorie, confermando che l'allineamento rimane fragile di fronte agli input multimodali.
• Efficacia delle Strategie di Attacco: Gli attacchi che incorporano richieste dannose direttamente nelle immagini (MML, FC ATTACK, CSDJ) hanno ottenuto tassi di successo costantemente più elevati. Ad esempio, l'attacco MML ha raggiunto ASR vicini al 100% su diversi modelli (es. Gemma-4-26B, GLM-4.6V-Flash) in categorie specifiche.
• Trasferibilità Cross-Modello: Le vulnerabilità scoperte nei modelli open-source si trasferiscono efficacemente ai sistemi closed-source e black-box. Gli ASR sono rimasti sopra il 20% nella maggior parte dei casi di trasferimento, con picchi vicini all'80% per l'attacco CSDJ su certi modelli.
• Debolezze Specifiche per Categoria: I modelli sono più vulnerabili ai Rischi Criminali ed Economici (D) e alle Minacce alla Cybersecurity (E), domini in cui ci si aspetta che i modelli forniscano risposte azionabili. Al contrario, alcuni modelli hanno mostrato maggiore robustezza in categorie come Privacy e Rischi dei Dati.
• Trend Specifici dei Modelli:
  • Gemma-4-26B ha mostrato un'alta vulnerabilità agli attacchi MML (100% ASR in alcune categorie), ma è stato generalmente robusto in altri contesti.
  • I modelli Claude Opus hanno mostrato alti tassi di "rifiuti duri" (risposte nulle), portando a ASR riportati inferiori rispetto ai modelli che tentano di rispondere includendo però contenuti dannosi.
  • GPT-5.5 ha mostrato un allineamento leggermente degradato rispetto a GPT-5.4, con tassi di rifiuto inferiori ma un ASR più alto in certe categorie.
• Sensibilità Linguistica: Gli esperimenti sulla traduzione linguistica hanno indicato che, sebbene le lingue a basse risorse possano talvolta aumentare la vulnerabilità, un'eccessiva ambiguità linguistica (es. contesti misti a basse risorse) può interrompere la comprensione dell'intento dell'attacco da parte del modello, portando a un drastico calo dell'ASR.

Significato e Rivendicazioni
Il paper posiziona PHANTOM come una risorsa pratica per abbassare la barriera alla ricerca avversaria e favorire valutazioni più riproducibili, complete e comparabili della sicurezza dei VLM. Gli autori affermano che il dataset affronta una lacuna chiave nel panorama attuale: la mancanza di risorse avversarie pre-generate accessibili che coprano un ampio spettro di strategie e domini di sicurezza.

Consolidando molteplici strategie di attacco e fornendo una valutazione strutturata su diversi VLM, PHANTOM consente ai ricercatori e ai professionisti di:

1. Valutare sistematicamente la robustezza e la sicurezza dei VLM.
2. Affinare i modelli di generazione di attacchi.
3. Sviluppare e testare sotto stress le difese (guardrail) in diverse condizioni avversarie.

Gli autori sottolineano che i risultati devono essere interpretati come indicatori relativi di robustezza basati sul giudice automatizzato scelto, piuttosto che come verità assoluta. Concludono che i jailbreak multimodali rimangono una minaccia persistente e trasferibile, e che un set diversificato di strategie di attacco è necessario per una valutazione affidabile. Il rilascio di PHANTOM mira a supportare lo sviluppo di sistemi di IA multimodale più sicuri e affidabili fornendo una base per lo studio della robustezza multimodale.