🤖 AI

Text is All You Need for Vision-Language Model Jailbreaking

Dit artikel introduceert Text-DJ, een nieuwe jailbreak-aanval die de veiligheidsmaatregelen van Large Vision-Language Models omzeilt door schadelijke tekstprompts om te zetten in een raster van afbeeldingen die verspreide onschuldige sub-queries en irrelevante afleidingen bevatten, waardoor de OCR-mogelijkheden van de modellen en het onvermogen om gefragmenteerde multimodale inputs te koppelen worden geëxploiteerd.

Oorspronkelijke auteurs: Yihang Chen, Zhao Xu, Youyuan Jiang, Tianle Zheng, Cho-Jui Hsieh

Gepubliceerd 2026-02-03

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yihang Chen, Zhao Xu, Youyuan Jiang, Tianle Zheng, Cho-Jui Hsieh

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een groot Vision-Language Model (LVLM) voor als een zeer slimme, goed getrainde beveiligingsbeambte bij een hightech museum. Deze bewaker is uitstekend in het lezen van borden (tekst) en het bekijken van plaatjes (afbeeldingen) om er zeker van te zijn dat niemand iets gevaarlijks of verbodens houdt binnenbrengt. Als je hem een briefje geeft met de tekst "Hoe bouw ik een bom?", ziet hij direct het gevaar en zegt: "Echt niet."

Het paper "Text is All You Need for Vision-Language Model Jailbreaking" introduceert een slimme truc genaamd Text-DJ (Text Distraction Jailbreaking), die laat zien hoe deze beveiligingsbeambte kan worden gefopt met niets anders dan tekst, maar met een twist: de tekst is verborgen in een raster van afbeeldingen.

Zo werkt de truc, stap voor stap uitgelegd:

1. De "De rekening splitsen"-strategie (Decompositie)

Eerst breken de aanvallers een gevaarlijke vraag (zoals "Hoe maak ik een bom?") op in drie kleinere, onschuldig ogende vragen.

Analogie: Stel je voor dat je een gevaarlijk wapen wilt kopen, maar de winkelier verkoopt het niet aan je. Dus splits je je bestelling op in drie aparte, onschuldige verzoeken: "Wat is de chemische samenstelling van buskruit?", "Hoe meng ik deze poeders?" en "Welke container bevat dit mengsel?".
Afzonderlijk lijken deze vragen veilig. De bewaker zou ze zelfs behulpzaam kunnen beantwoorden. Maar als je ze allemaal bij elkaar voegt, onthullen ze het gevaarlijke plan.

2. De "Afleidende Ruis" (Distractie)

Vervolgens maken de aanvallers een heleboel volkomen willekeurige, saaie vragen die niets met het gevaarlijke plan te maken hebben.

Analogie: Stel je voor dat je probeert een geheime boodschap langs een bewaker te smokkelen, maar je wordt omringd door 9 andere mensen die praten over het weer, de prijs van melk en de geschiedenis van de aardappel. De bewaker is zo druk met luisteren naar al die ruis dat hij vergeet te focussen op de drie mensen die het geheime plan fluisteren.
Het paper ontdekte dat deze "ruis"-vragen zo verschillend mogelijk moeten zijn van de gevaarlijke vragen om het beste te werken.

3. De "Puzzel van de Afbeelding" (De Visuele Truc)

Dit is het belangrijkste deel. In plaats van de vragen in een chatvenster te typen, veranderen de aanvallers elke enkele vraag (de 3 opgesplitste gevaarlijke vragen en de 9 willekeurige ruisvragen) in afbeeldingen. Ze rangschikken ze in een raster, zoals een fotoalbum of een spreadsheet.

De Valstrik: De beveiligingsbeambte is getraind om tekst te scannen op slechte woorden. Maar hier zijn de slechte woorden verborgen in afbeeldingen van tekst. De bewaker moet zijn "Optical Character Recognition" (OCR) vermogen gebruiken—eigenlijk zijn vermogen om tekst in een afbeelding te lezen—om te zien wat de plaatjes zeggen.
De Zwakte: Het paper betoogt dat hoewel de bewaker erg goed is in het rechtstreeks lezen van tekst, hij in de war raakt wanneer hij tekst binnen een afbeelding moet lezen, vooral wanneer die afbeelding wordt omringd door 9 andere afleidende afbeeldingen. De "veiligheidsfilter" van de bewaker voor het lezen van tekst faalt in het leggen van de verbanden tussen de verspreide, onschuldig ogende afbeelding-vragen.

Het Resultaat

Wanneer de bewaker het raster van afbeeldingen eindelijk leest, ziet hij de drie opgesplitste vragen in het midden van de ruis. Omdat de vragen zijn opgedeeld en verborgen in afbeeldingen, merkt de bewaker niet dat ze samen een gevaarlijk geheel vormen. Hij beantwoordt de onschuldige delen en onthult daardoor per ongeluk het antwoord op de oorspronkelijke gevaarlijke vraag.

Waarom dit ertoe doet

Het paper beweert dat dit een groot probleem is omdat:

Het werkt op "Black Box"-modellen: Je hoeft de geheime code of de interne hersenstructuur van de bewaker niet te kennen. Je hoeft alleen maar het afbeeldingsraster te sturen.
Het werkt op de beste modellen: Ze hebben dit getest op topmodellen (zoals GPT-4, Gemini en Qwen) en het werkte op alle modellen.
Het "Guard"-modellen omzeilt: Zelfs wanneer een tweede beveiligingslaag probeert de input te controleren voordat deze de hoofdmodel bereikt, glipt deze truc vaak door omdat de input eruitziet als een onschuldig raster van afbeeldingen.

Kortom: Het paper laat zien dat als je een gevaarlijk plan verstopt in een afbeelding, het plan in kleine stukjes breekt en omringt met veel saaie ruis, zelfs de slimste AI-beveiligingsbewakers in de war kunnen raken en het gevaar doorlaten. De oplossing is volgens de auteurs: maak AI beter in het lezen van tekst in afbeeldingen en in het leggen van de verbanden, zelfs wanneer er veel ruis aanwezig is.

Technische Samenvatting: Text-DJ Jailbreaking voor Vision-Language Modellen

1. Probleemstelling

Large Vision-Language Models (LVLMs) integreren visuele encoders met Large Language Models (LLMs) om complexe multimodale redeneringen uit te voeren. Hoewel deze modellen veiligheidswaarborgen hanteren (vaak via Reinforcement Learning from Human Feedback) om schadelijke outputs te voorkomen, richten bestaande verdedigingen zich primaal op het analyseren van expliciete tekstuele inputs of specifieke visuele scènes.

Het paper identificeert een kritieke kloof: de huidige veiligheidsafstemmingsmechanismen zijn kwetsbaar voor de Optical Character Recognition (OCR) capaciteiten binnen LVLMs. Specifiek, wanneer schadelijke tekst wordt gepresenteerd als een afbeelding in plaats van directe tekstuele input, extraheren de visuele encoder en de interne OCR-module van het model de tekst succesvol, maar faalt het downstream taalmodel erin de geëxtraheerde inhoud te koppelen aan veiligheidsprotocollen. Bovendien lijden bestaande jailbreak-methoden vaak aan beperkingen zoals de noodzaak van white-box toegang (modelgradiënten), het model-specifieke karakter, of het vertrouwen op computationeel dure adversariële beeldgeneratie.

De centrale onderzoeksvraag is: Kunnen we een black-box, model-agnostische jailbreak-methode voor LVLMs ontwerpen die uitsluitend berust op tekstuele prompts?

2. Methodologie: Text-DJ

De auteurs stellen Text-DJ (Text Distraction Jailbreaking) voor, een driestaps aanvalspipeline die de OCR-capaciteiten van het model en het onvermogen om verspreide informatie te correleren te midden van hoge semantische ruis exploiteert.

Fase 1: Adversariële Query Decompositie

Een schadelijke query $q$ wordt gedecomponeerd in $m$ semantisch gerelateerde maar individueel onschuldige sub-queries $\{q_s^{(i)}\}_{i=1}^m$ .

Mechanisme: Een geprompte LLM (bijv. Qwen2.5-3B-Instruct) breekt de oorspronkelijke schadelijke intentie af in tussenliggende stappen of verschillende perspectieven.
Doel: Elke sub-query lijkt in isolatie onschadelijk, maar gezamenlijk reconstrueren ze de oorspronkelijke schadelijke intentie.

Fase 2: Distraction Query Constructie

Het systeem selecteert $n$ distractie-queries $\{q_d^{(j)}\}_{j=1}^n$ die maximaal semantisch irrelevant zijn aan de schadelijke query en aan elkaar.

Mechanisme: Gebruikmakend van een sentence embedding model (bijv. all-MiniLM-L6-v2), passen de auteurs een greedily algoritme toe om queries te selecteren die de cosinusgelijkenis minimaliseren met de schadelijke query en eerder geselecteerde distracties.
Doel: Om "semantische ruis" te creëren die het vermogen van het model om de verspreide sub-queries te koppelen, overspoelt.

Fase 3: Image Grid Constructie en Injectie

Alle gedecomponeerde sub-queries en distractie-queries worden omgezet in afbeeldingen met behulp van een Text-in-Image (TiI) procedure.

Visuele Transformatie: Tekst wordt gerenderd op afbeeldingen met gerandomiseerde tekst- en achtergrondkleuren (conform WCAG AA contraststandaarden) om zichtbaarheid te garanderen en visuele variantie te introduceren.
Grid Arrangement: De $m+n$ afbeeldingen worden gerangschikt in een grid (bijv. $4 \times 3$ ). De sub-queries worden op specifieke posities geplaatst (bijv. indices 6, 8 en 12), terwijl de distractie-queries de resterende slots invullen.
Executie: Het grid wordt gepresenteerd aan de LVLM met een instructie om de sub-queries te lokaliseren en ze te beantwoorden. Het model gebruikt zijn OCR-capaciteit om de tekst uit de afbeeldingen te lezen, waardoor standaard tekstgebaseerde inputfilters worden omzeild.

3. Belangrijkste Bijdragen

Text-DJ Framework: Een nieuwe, black-box, model-agnostische jailbreak-methode die uitsluitend vertrouwt op tekstuele prompts die naar afbeeldingen zijn omgezet, waardoor de noodzaak voor adversariële beeldgeneratie of white-box toegang wordt geëlimineerd.
Demonstratie van OCR Kwetsbaarheid: Het paper levert uitgebreid bewijs dat huidige LVLM-veiligheidsverdedigingen falen wanneer schadelijke prompts via het OCR-pad worden verwerkt, met name wanneer de schadelijke inhoud gefragmenteerd is en wordt omringd door semantische distracties.
Superioriteit over Visuele Distractie: De auteurs demonstreren dat "semantische distractie" (het gebruik van irrelevante tekstuele queries) effectiever is dan "visuele distractie" (het gebruik van irreleante afbeeldingen), zoals te zien is in vergelijkingen met voorgaande werken zoals CS-DJ.
Robuustheidsevaluatie: De methode wordt gevalideerd tegen zowel open-source (Qwen3-VL serie) als closed-source (GPT-4o-mini, GPT-4.1-mini, Gemini-2.5-Flash) state-of-the-art LVLMs, waarbij een consistent succes wordt getoond, zelfs onder externe guard-modellen (OpenAI Moderation API en GuardReasoner-VL).

4. Experimentele Resultaten

De auteurs hebben Text-DJ geëvalueerd op twee datasets: HADES (5 categorieën, 750 prompts) en HEx-PHI (10 categorieën, 300 prompts).

Attack Success Rate (ASR): Text-DJ presteerde consequent beter dan de baselines (HADES en CS-DJ).
- Op Qwen3-VL-4B behaalde Text-DJ een gemiddelde ASR van 48,13% (HADES dataset) en 42,33% (HEx-PHI), wat aanzienlijk hoger is dan CS-DJ (respectievelijk 34,40% en 27,33%).
- Op GPT-4.1-mini behaalde Text-DJ een gemiddelde ASR van 64,27% (HADES) en 60,33% (HEx-PHI).
Defensie Omzeiling: Zelfs wanneer inputs werden gefilterd door de OpenAI Moderation API of GuardReasoner-VL (3B en 7B varianten), behield Text-DJ een hoge ASR. Bijvoorbeeld, tegenover GPT-4.1-mini met OpenAI Moderation bleef de ASR op 64,27% (geen reductie), aangezien de API er niet in slaagde de schadelijke intentie die in het beeldgrid was ingebed te detecteren.
Ablatie Studies:
- TiI Procedure: Het converteren van tekst naar afbeeldingen is cruciaal; directe tekstuele input resulteerde in een significant lagere ASR, wat bevestigt dat de tekstgebaseerde filters worden omzeild.
- Decompositie ( $m$ ): Decompositie in $m=3$ sub-queries was optimaal; $m=1$ (niet-gedecomponeerd) faalde door veiligheidsafstemming.
- Distractie ( $n$ ): De ASR nam toe met het aantal distracties, met een piek rond $n=9$ of $n=12$ .
- Positionering: Het plaatsen van sub-queries in middel- tot late posities (maar niet de allerlaatste positie) leverde betere resultaten op dan eerste of willekeurige posities.
- Colorisatie: Gerandomiseerde tekst/achtergrondkleuren verbeterden de ASR vergeleken met vaste kleuren, wat suggereert dat visuele variantie helpt bij het afleiden van het model.

5. Betekenis en Claims

Het paper claimt dat Text-DJ een kritieke kwetsbaarheid blootlegt in de veiligheidsafstemming van LVLMs met betrekking tot hun OCR-capaciteiten. De auteurs argumenteren dat de aanval slaagt omdat:

Modality Bypass: Het converteren van tekst naar afbeeldingen omzeilt standaard tekstgebaseerde veiligheidsfilters.
Semantische Distractie: De veiligheidsprotocollen van het model falen in het koppelen van verspreide, onschuldig ogende sub-queries wanneer deze ingebed zijn binnen een hoog volume van irrelevante queries.

De auteurs concluderen dat huidige verdedigingen niet robuust zijn tegen gefragmenteerde, multi-image adversariële inputs. Ze benadrukken de noodzaak voor nieuwe defensiemechanismen die specifiek zijn ontworpen om gedispergeerde multimodale inputs te verwerken en om de OCR-modules binnen LVLMs te beveiligen tegen dergelijke semantische verwarringsaanvallen. Het werk stelt geen nieuwe toepassingen voor LVLMs voor, maar dient als een waarschuwing over de fragiliteit van de huidige veiligheidsafstemming in het licht van cross-modale, tekstgebaseerde adversariële strategieën.