📊 statistics

VERA-V: Variational Inference Framework for Jailbreaking Vision-Language Models

Het artikel introduceert VERA-V, een variatie-inferentieframework dat multimodale jailbreak-ontdekking herformuleert als het leren van een gezamenlijke posterior-verdeling over tekst-afbeelding prompts, waardoor het genereren van sluwe, gekoppelde adversariële invoer mogelijk wordt die bestaande methoden aanzienlijk overtreft bij het omzeilen van beveiligingsmechanismen van Vision-Language-modellen.

Oorspronkelijke auteurs: Qilin Liao, Anamika Lochab, Ruqi Zhang

Gepubliceerd 2026-05-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Qilin Liao, Anamika Lochab, Ruqi Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, veiligheidsbewuste robotassistent hebt (een Vision-Language Model) die tekst kan lezen en naar afbeeldingen kan kijken. Je hebt het getraind om behulpzaam te zijn, maar ook om gevaarlijke verzoeken te weigeren, zoals "Hoe maak ik een bom?" of "Hoe hack ik een bank?".

Meestal, als je het rechtstreeks vraagt, zegt het: "Nee, dat kan ik niet doen."

Het paper VERA-V introduceert een nieuwe, sluwe manier om deze robot te misleiden tot het overtreden van zijn eigen regels. In plaats van slechts één vraag te stellen, hebben de onderzoekers een "meestertruukspecialist" (een AI-aanvaller) gebouwd die leert hoe hij koppelingen van tekst en afbeeldingen kan creëren die samenwerken om de robot in de war te brengen.

Hier is hoe VERA-V werkt, uitgelegd via eenvoudige analogieën:

1. De Oude Manier: De "Sleg" versus het "Zwitsers zakmes"

Vroegere methoden om deze robots te misleiden waren als het gebruik van een sleg. Ze zouden ofwel:

De slechte woorden in een afbeelding schrijven: In plaats van "Maak een bom" te typen, zouden ze een foto maken van een bord dat "Maak een bom" zegt en dit aan de robot tonen. De robot zou de tekst binnen de foto misschien missen.
Ruis aan een afbeelding toevoegen: Ze zouden een foto verstoren met statische ruis of vreemde patronen om de ogen van de robot in de war te brengen.

Het Probleem: Deze methoden zijn onhandig. Ze behandelen de tekst en de afbeelding als aparte dingen. Als de robot slim genoeg is om het bord in de foto te lezen, faalt de truc.

2. De VERA-V Manier: De "Jazzband"

VERA-V is anders. In plaats van een sleg, gedraagt het zich als een jazzband. Het speelt niet slechts één noot; het leert hoe het tekst en afbeelding kan coördineren zodat ze perfect harmoniëren om de verdediging van de robot te omzeilen.

De onderzoekers noemen dit "Variational Inference". In gewone taal betekent dit dat de aanvaller-AI niet slechts één slechte truc raadt. Het leert een kaart van alle mogelijke slechte trucs. Het begrijpt dat soms een specifiek type tekst het beste werkt met een specifiek type wazige afbeelding, en dat soms een andere tekst werkt met een scherpe afbeelding. Het leert de relatie tussen de twee.

3. De Driedelige "Aandachtverschuiving"-Strategie

Om de truc te laten werken, combineert VERA-V drie specifieke ingrediënten in één pakket dat naar de robot wordt gestuurd:

Ingrediënt A: De "Verborgen Tekst" (Typografie)
De aanvaller neemt de schadelijke instructie en zet het om in een afbeelding van tekst (zoals een bord of een briefje). Dit verbergt de slechte woorden voor de tekstfilters van de robot, die meestal scannen wat je typet, niet wat je laat zien.
Ingrediënt B: Het "Geheime Signaal" (Diffusie-afbeelding)
De aanvaller gebruikt een afbeeldingsgenerator om een afbeelding te maken die een subtiele, verborgen aanwijzing bevat. Het is niet duidelijk. Het is als een fluistering in een drukke zaal. De robot ziet de afbeelding, maar de "slechte betekenis" is diep begraven in de pixels, niet duidelijk uitgeschreven.
Ingrediënt C: De "Verwarrende Menigte" (Aandachtverschuivers)
Dit is het slimste deel. De aanvaller vult de rest van het scherm met willekeurige, saaie afbeeldingen (zoals een kat, een boom of een kop koffie) die niets te maken hebben met het slechte verzoek.
- De Analogie: Stel je voor dat je probeert een specifieke persoon in een menigte te vinden. Als ze alleen staan, zie je ze gemakkelijk. Maar als ze staan in een menigte van 50 andere mensen die er totaal niet op lijken, raakt je brein in de war en wordt het moeilijker om je te focussen op het doelwit. VERA-V gebruikt deze "aandachtverschuiver"-afbeeldingen om de aandacht van de robot te verspreiden, waardoor het moeilijker wordt voor de veiligheidsfilters van de robot om het slechte verzoek te ontdekken.

4. De "Feedbacklus" (De Trainer)

Hoe leert de aanvaller-AI dit zo goed te doen?

Het probeert een truc.
Het vraagt een "Rechter" (een andere AI) of de robot erin trapt.
Als de robot "Nee" zegt, leert de aanvaller: "Oké, die combinatie werkte niet. Laten we een andere mix van tekst en afbeelding proberen."
Het herhaalt dit duizenden keren, waarbij het zijn "kaart" verfijnt van hoe het de robot in de war moet brengen.

5. De Resultaten: Een Nieuw Record

Het paper testte dit tegen enkele van de slimste robots die vandaag beschikbaar zijn (zoals GPT-4o).

De Oude Trucs: Op de moeilijkste robot (GPT-4o) faalden de oude methoden bijna 100% van de tijd. Het was als proberen een bankkluis te openen met een paperclip.
VERA-V: Door deze gecoördineerde, meerdelige strategie te gebruiken, slaagde VERA-V erin om de robot 67,75% van de tijd te misleiden. Dat is een enorme sprong vergeleken met de vorige beste methoden.

Samenvatting

Zie VERA-V niet als een enkele lockprik, maar als een slotenmaker die het hele slotmechanisme bestudeert. In plaats van alleen maar te proberen de deur open te forceren, leert het hoe het de hendel kan schudden, naar de scharnieren kan fluisteren en de bewaker tegelijkertijd afleidt. Het creëert een "joint posterior distribution"—wat gewoon een chique manier is om te zeggen dat het het perfecte recept heeft geleerd voor een tekst-en-afbeeldingcombinatie die de veiligheidsbewakers van de robot in de war brengt.

Belangrijke Opmerking: De auteurs stellen duidelijk dat dit onderzoek voor Red Teaming is. Dit betekent dat ze optreden als "ethische hackers" om deze zwaktes te vinden zodat bedrijven ze kunnen oplossen en hun robots veiliger kunnen maken. Ze bieden geen tool aan voor mensen om anderen daadwerkelijk schade toe te brengen; ze tonen aan hoe breekbaar de huidige veiligheidssystemen zijn zodat ze kunnen worden versterkt.

Technische Samenvatting: VERA-V

Probleemstelling
Vision-Language Models (VLM's) integreren visueel redeneren met grote taalmodellen (LLM's), maar hun multimodale ontwerp introduceert onderbelichte kwetsbaarheden. Bestaande red-teaming-methoden voor VLM's lijden onder drie primaire beperkingen: (1) ze behandelen tekst- en beeldmodaliteiten vaak onafhankelijk van elkaar, waardoor complexe cross-modale interacties worden genegeerd; (2) ze vertrouwen sterk op handgemaakte sjablonen, wat resulteert in beperkte en losgekoppelde aanvalsexamples; en (3) ze opereren doorgaans in single-attack settings, waardoor ze eenvoudig te detecteren zijn en inefficiënt werken tegen frontier-modellen. Bijgevolg falen huidige benaderingen om systematisch het brede spectrum aan multimodale kwetsbaarheden bloot te leggen.

Methodologie
Het artikel introduceert VERA-V, een variational inference framework dat multimodale jailbreak-discovery herformuleert als het leren van een gezamenlijke posterior-verdeling over gekoppelde tekst-beeld prompts. In plaats van te zoeken naar geïsoleerde adversariële instanties, modelleert VERA-V het kwetsbaarheidslandschap als een verdeling.

De kerncomponenten van de methodologie omvatten:

Variational Formulering: Het framework definieert een latent prompt-generatieproces waarbij een attacker LLM een paar latent prompts output: een tekstprompt ( $x_t$ ) en een beeldprompt ( $x_v$ ). Deze worden via een mapping-functie $g$ omgezet in daadwerkelijke VLM-inputs. De tekstprompt wordt typografisch gerenderd om expliciete schadelijke aanwijzingen te embedden, terwijl de beeldprompt wordt gesynthetiseerd met een diffusion model om impliciete adversariële signalen te coderen.
Composite Input Constructie: De uiteindelijke input voor de doel-VLM bestaat uit een vaste, onschadelijke tekstwrapper ( $x_f$ $x_{f}$ ) en een samengesteld beeld ( $v_{comp}$ $v_{co m p}$ ). Het samengestelde beeld integreert drie elementen:
- Typografische Rendering: Tekst omgezet naar een beeld om tekstfilters te omzeilen.
- Diffusion Synthese: Beelden gegenereerd vanuit $x_v$ om impliciete adversariële aanwijzingen in te brengen.
- Gestructureerde Distractoren: Een set ongerelateerde beelden opgehaald om de visuele aandacht van de VLM te fragmenteren, waardoor de schadelijke inhoud wordt verduisterd.
Optimalisatie via Variational Inference: De attacker wordt getraind om de posterior-verdeling van adversariële prompts te benaderen die schadelijk gedrag ( $y^*$ ) induceren. Dit wordt bereikt door de Evidence Lower Bound (ELBO) te maximaliseren, wat de waarschijnlijkheid van het genereren van een schadelijke respons afweegt tegen de plausibiliteit en diversiteit van de prompts. Aangezien de doel-VLM een black box is, wordt de waarschijnlijkheid benaderd met een judge-functie die de schadelijkheid van de VLM-respons scoort. De optimalisatie maakt gebruik van de REINFORCE gradient-estimator om de parameters van de attacker (geïmplementeerd via LoRA-adapters) bij te werken op basis van Monte Carlo-sampling.

Belangrijkste Bijdragen

Probabilistisch Framework: VERA-V is het eerste framework dat multimodale jailbreak-generatie als variational inference over gekoppelde tekst-beeld inputs presenteert, waardoor het leren van een gezamenlijke posterior mogelijk wordt die cross-modale correlaties vastlegt.
Compositional Adversariële Strategie: Het artikel stelt een nieuw aanvalontwerp voor dat typografische rendering, diffusion-geleide beeldsynthese en gestructureerde distractoren combineert. Deze benadering coördineert expliciete en impliciete aanwijzingen om krachtige aanvallen te produceren terwijl de detectierates voor toxiciteit worden verlaagd.
Schaalbaar en Divers Sampling: Door een verdeling te leren in plaats van een enkel punt, stelt VERA-V efficiënt sampling van diverse jailbreaks mogelijk en biedt het distributie-inzichten in kwetsbaarheden, wat schaalbare red-teaming ondersteunt.

Experimentele Resultaten
De auteurs evalueerden VERA-V op de HarmBench- en HADES-benchmarks, zowel voor open-source (Qwen2.5-VL-7B, InternVL3-8B) als commerciële frontier-modellen (GPT-4o-mini, GPT-4o).

Prestaties: VERA-V presteerde consistent beter dan state-of-the-art baselines (FigStep, HADES, CS-DJ). Op het GPT-4o-model bereikte VERA-V een Attack Success Rate (ASR) van 67,75% op HarmBench en 73,5% op HADES, wat verbeteringen van maximaal 53,75% vertegenwoordigt ten opzichte van de beste baseline.
Transferabiliteit: Aanvallen geoptimaliseerd op één model werden effectief overgedragen naar andere modellen, waarbij GPT-4o-gegenereerde prompts een ASR van meer dan 50% bereikten op andere doelmodellen, wat wijst op de ontdekking van generaliseerbare kwetsbaarheden.
Robuustheid: Onder verschillende beveiligingsmechanismen (OCR-gebaseerde detectie, BlueSuffix, ETA) behield VERA-V aanzienlijk hogere success rates dan baselines, die sterk degradeerden.
Ablation Studies: Experimenten bevestigden dat de hybride compositie (typografie + diffusion + distractoren) de optimale afweging tussen ASR en stealth oplevert. Bovendien bleek het variational fine-tuning-proces cruciaal, met een prestatie die de "Best-of-N"-samplingstrategie met een grote marge overtrof (66% versus 8% ASR).

Betekenis en Claims
Het artikel claimt dat VERA-V de noodzaak benadrukt om te bewegen van geïsoleerde, single-modaliteit exploits naar distributionele red-teaming-benaderingen. Door aan te tonen dat zelfs robuuste, veiligheids-uitgelijnde VLM's vatbaar zijn voor transfererbare en vloeiende adversariële prompts, onthult het werk kritieke gaten in huidige beveiligingsstrategieën. De auteurs stellen dat het blootleggen van deze zwaktes via een probabilistisch framework een essentiële stap is naar het verbeteren van VLM-veiligheidssystemen, en de ontwikkeling van sterkere filters en effectievere uitlijn-technieken stuurt. De methodologie wordt strikt voor onderzoeksdoeleinden gepresenteerd om veiligheidsfilters op de proef te stellen en modelrobustheid te verbeteren.