PHANTOM: A Large-Scale Dataset of Multimodal Adversarial Attacks for Vision-Language Models

Technische Samenvatting: PHANTOM – Een grootschalige dataset van multimodale adversariële aanvallen voor vision-language modellen

Probleemstelling
De snelle implementatie van Vision-Language Modellen (VLM's) in veiligheidskritische en door gebruikers beheerde toepassingen heeft een significante kwetsbaarheid blootgelegd: ondanks verbeterde alignment en schaling blijven state-of-the-art multimodale modellen vatbaar voor zorgvuldig vervaardigde jailbreak-aanvallen. In tegenstelling tot unimodale settings exploiteren multimodale veiligheidschendingen cross-modale redenering en semantische alignment, wat het aanvalsoppervlak aanzienlijk vergroot en detectie bemoeilijkt. Een primaire barrière bij het aanpakken van dit probleem is de computationele kosten en complexiteit van het genereren van grootschalige, diverse multimodale adversariële monsters. Het genereren van deze aanvallen vereist vaak het optimaliseren van perturbaties over meerdere inputruimtes (beeld en tekst) terwijl de semantische alignment behouden blijft, wat forward en backward passes door meerdere modalitiespecifieke encoders met zich meebrengt. Bijgevolg hebben onderzoeksgroepen en praktijkgebruikers met beperkte middelen moeite met het reproduceren van grootschalige aanvalgeneratie, wat systematische robuustheidsevaluatie en de ontwikkeling van defensieve guardrails belemmert.

Methodologie
De auteurs introduceren PHANTOM, een grootschalige, open-source dataset bestaande uit 47.524 vooraf gegenereerde adversariële monsters die ontworpen zijn om de drempel voor adversarieel onderzoek te verlagen. De constructie van de dataset omvatte de volgende belangrijke methodologische stappen:

1. Intent-taxonomie en Curatie:

   • De auteurs hebben eerdere benchmarks geconsolideerd en uitgebreid (inclusief HarmBench, AdvBench, JailBreakV-28K, MM-SafetyBench, en anderen) om een root-dataset van 7.826 schadelijke intenties te creëren.
   • Deze intenties zijn georganiseerd in 10 hooggelegen categorieën en 55 subcategorieën. Opvallend genoeg hebben de auteurs een nieuwe categorie geïntroduceerd, Kindveiligheid (J), om risico's die specifiek zijn voor minderjarigen aan te pakken, zoals het omzeilen van ouderlijk toezicht of grooming, die ondervertegenwoordigd waren in bestaande taxonomieën.
   • Om diversiteit te waarborgen, werd een cosine similarity-analyse uitgevoerd met behulp van sentence-transformers all-MiniLM-L6-v2. Intenties met een similarity score boven de 90% werden eruit gefilterd om redundantie te voorkomen terwijl betekenisvolle semantische variatie behouden bleef.

2. Aanvalsstrategieën:
   Vijf state-of-the-art aanvalsstrategieën zijn geselecteerd op basis van een afweging tussen de Attack Success Rate (ASR) en computationele kosten (generatietijd):

   • BAP (Bi-modal Adversarial Prompt): Een single-turn aanval die gezamenlijk visuele perturbaties (via Projected Gradient Descent) en tekstuele prompts optimaliseert.
   • IDEATOR: Een multi-turn strategie die beeld- en tekstprompts iteratief verfijnt via conversatie.
   • MML (Multi-Modal Linkage): Een typografische aanval die schadelijke tekst in afbeeldingen codeert (bijv. via Base64, spiegeling, rotatie) en een "game-achtige" prompt gebruikt om het model te begeleiden bij het reconstrueren van de oorspronkelijke intentie.
   • FC ATTACK (Flowchart Attack): Genereert een flowchart die de logische stappen representeert om een schadelijke intentie te bereiken, waarbij het model wordt geprompt de flowchart te volgen om veiligheidsfilters te omzeilen.
   • CSDJ (Distraction/CS-DJ): Embedt schadelijke sub-verzoeken in specifieke afbeeldingen binnen een collage van 12 afbeeldingen, gebruikmakend van afleiding en visuele embedding om filters te omzeilen.

3. Generatie- en Evaluatiepipeline:

   • Doelmodellen: Aanvallen werden gegenereerd tegen een suite van open-source modellen (DeepSeek-VL2, GLM-4.6V-Flash, Kimi-VL, Qwen3-VL serie, etc.).
   • Evaluatie: De gegenereerde monsters werden getest tegen zowel de open-source modellen (white-box) als state-of-the-art propriëtaire modellen (black-box) die via API worden ontsloten (GPT-5.4/5.5, Claude Opus 4.6–4.8, Gemini 3.1 Pro).
   • Judge: Een geautomatiseerde judge, Abel-24-HarmClassifier, werd gebruikt om de modelresponsen te beoordelen en de ASR te bepalen. Deze keuze werd gemaakt om reproduceerbaarheid te garanderen en bias van ad-hoc menselijke beoordeling te vermijden, met name voor responsen die gedeeltelijk schadelijk of ontwijkend zijn.

Belangrijkste Bijdragen

• PHANTOM Dataset: De release van een grootschalige, open-source collectie van 47.524 direct bruikbare multimodale adversariële monsters (afbeelding-tekst paren).
• Uitgebreide Taxonomie: Een gecureerde taxonomie van 7.826 schadelijke intenties verspreid over 10 categorieën en 55 subcategorieën, inclusief de nieuwe categorie "Kindveiligheid".
• Strategische Diversiteit: Implementatie van vijf verschillende aanvalsstrategieën (BAP, IDEATOR, MML, FC ATTACK, CSDJ) die single-turn, multi-turn en typografische/visuele obscuratie technieken dekken.
• Transferability Analyse: Uitgebreide evaluatie van de aanvalsoverdraagbaarheid (transferability) tussen zowel open-source als propriëtaire VLM's, wat inzichten biedt in cross-model kwetsbaarheden.
• Gestructureerde Metadata: Voorzienheid van metadata om reproduceerbaarheid, benchmarking en downstream veiligheidsonderzoek te ondersteunen.

Resultaten
De evaluatie van PHANTOM over diverse modellen leverde verschillende cruciale bevindingen op:

• Persistente Kwetsbaarheid: Ondanks veiligheidstraining vertonen alle geëvalueerde systemen een niet-verwaarloosbare ASR over meerdere categorieën, wat bevestigt dat alignment fragiel blijft tegenover multimodale inputs.
• Effectiviteit van Aanvalsstrategieën: Aanvallen die schadelijke verzoeken direct in afbeeldingen embedden (MML, FC ATTACK, CSDJ) behaalden consequent hogere succespercentages. Zo bereikte de MML-aanval in specifieke categorieën ASR's nabij de 100% op verschillende modellen (bijv. Gemma-4-26B, GLM-4.6V-Flash).
• Cross-Model Transferability: Ontdekte kwetsbaarheden in open-source modellen transfereren effectief naar closed-source, black-box systemen. ASR's bleven in de meeste transfergevallen boven de 20%, met pieken nabij de 80% voor de CSDJ-aanval op bepaalde modellen.
• Categorie-specifieke Zwakheden: Modellen waren het meest kwetsbaar voor Criminele en Economische Risico's (D) en Cybersecurity Bedreigingen (E), domeinen waar van modellen wordt verwacht dat ze actiegerichte antwoorden geven. Daarentegen vertoonden sommige modellen meer robuustheid in categorieën zoals Privacy en Datarisico's.
• Modelspecifieke Trends:
  • Gemma-4-26B vertoonde een hoge kwetsbaarheid voor MML-aanvallen (100% ASR in sommige categorieën), maar was over het algemeen robuust in andere settings.
  • Claude Opus modellen vertoonden een hoog percentage "harde weigeringen" (null-responsen), wat leidde tot lagere gerapporteerde ASR's vergeleken met modellen die proberen te antwoorden maar schadelijke inhoud bevatten.
  • GPT-5.5 vertoonde een licht gedegradeerde alignment vergeleken met GPT-5.4, met lagere weigeringspercentages maar een hogere ASR in bepaalde categorieën.
• Taalsensitiviteit: Experimenten met taalvertaling gaven aan dat hoewel low-resource talen soms de kwetsbaarheid kunnen vergroten, excessieve linguïstische ambiguïteit (bijv. gemengde low-resource settings) het begrip van de aanvalsintentie door het model kan verstoren, wat leidt tot een scherpe daling in ASR.

Betekenis en Claims
Het artikel positioneert PHANTOM als een praktisch middel om de drempel voor adversarieel onderzoek te verlagen en meer reproduceerbare, uitgebreide en vergelijkbare evaluaties van VLM-veiligheid mogelijk te maken. De auteurs beweren dat de dataset een cruciaal gat in het huidige landschap opvult: het gebrek aan toegankelijke, vooraf gegenereerde adversariële bronnen die een breed spectrum aan strategieën en veiligheidsdomeinen dekken.

Door meerdere aanvalsstrategieën te consolideren en gestructureerde evaluaties te bieden over diverse VLM's, stelt PHANTOM onderzoekers en praktijkgebruikers in staat om:

1. De robuustheid en veiligheid van VLM's systematisch te evalueren.
2. Aanval-genererende modellen te fine-tunen.
3. Defensieve guardrails te ontwikkelen en te testen onder diverse adversariële condities.

De auteurs benadrukken dat de resultaten moeten worden geïnterpreteerd als relatieve indicatoren van robuustheid op basis van de gekozen geautomatiseerde judge, in plaats van als absolute grondwaarheid. Zij concluderen dat multimodale jailbreaks een persistente en overdraagbare dreiging blijven, en dat een diverse set aanvalsstrategieën noodzakelijk is voor betrouwbare evaluatie. De release van PHANTOM heeft als doel de ontwikkeling van veiligere en betrouwbaardere multimodale AI-systemen te ondersteunen door een baseline te bieden voor het bestuderen van multimodale robuustheid.