💻 computer science

Overloading Large Vision-Language Models for Jailbreaking

Dit artikel stelt een nieuwe "informatie-overbelasting" jailbreak-aanval voor die recursieve beeld-typografische lay-outs gebruikt om Large Vision-Language Models te overweldigen met complexe multimodale inputs, waarbij een state-of-the-art succespercentage wordt bereikt over zowel open-source als commerciële modellen door intensiever gecross-modale verwerking te exploiteren om veiligheidsafstemming te ondermijnen.

Oorspronkelijke auteurs: Haoyu Zhang, Yangyang Guo, Mohan Kankanhalli

Gepubliceerd 2026-07-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Haoyu Zhang, Yangyang Guo, Mohan Kankanhalli

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je Large Vision-Language Models (LVLMs) voor als ongelooflijk slimme, veelzijdige assistenten. Ze kunnen tekst lezen, naar plaatjes kijken en begrijpen hoe die twee met elkaar samenhangen. Ze zijn als een bibliothecaris die ook een schilderij kan beschrijven terwijl hij een boek erover leest. Echter, net als elk slim systeem, hebben ze veiligheidsregels om te voorkomen dat ze slechte dingen doen (zoals instructies geven over hoe je een bankrekening hackt).

Dit artikel introduceert een nieuwe manier om deze assistenten te misleiden om hun eigen veiligheidsregels te breken. De auteurs noemen deze methode "Information Overloading" (Informatie-overbelasting).

Zo werkt het, gebruikmakend van eenvoudige analogieën:

1. De oude manier: De naald verbergen

Eerdere pogingen om deze AI-assistenten te misleiden waren als het proberen te verbergen van een naald in een hooiberg. Aanvallers namen een slecht verzoek en vermomden dit met vreemde afbeeldingen of verwarrende woorden (Out-of-Distribution of "OOD"-aanvallen). Ze hoopten dat de AI in de war zou raken door de vreemdheid en de slechte intentie zou missen.

Maar de AI is slimmer geworden. Het is nu beter in staat om die "vreemde naald" te herkennen en te zeggen: "Nee, dat doe ik niet."

2. De nieuwe manier: De "Brandslang" aan informatie

De auteurs van dit artikel realiseerden zich dat in plaats van het slechte verzoek te verbergen, ze de AI juist moesten overspoelen met zoveel informatie dat de AI overweldigd raakt.

Stel je voor dat je probeert een simpele regel uit te leggen aan iemand, maar dat je dat tegelijkertijd op drie verwarrende manieren doet:

De Tekst: Je schrijft een lange, ingewikkelde paragraaf.
De Afbeelding: Je laat hen een plaatje zien met kleine, moeilijk leesbare tekst die overal op geschreven staat (zoals een poster bedekt met overlappende borden).
De Nesting: Je zegt tegen hen: "Lees eerst de tekst op de afbeelding, lees dan de tekst over de tekst op de afbeelding, en leg vervolgens uit hoe dat verband houdt met de hoofdvraag."

Dit is wat de auteurs "Image-Typography" en "Recursive Layouts" noemen. Ze creëren afbeeldingen waarbij de tekst in complexe, boomstructuur-achtige patronen in de afbeelding is ingebed.

3. Waarom het werkt: De "Brain Freeze"

Het artikel legt uit dat wanneer de AI probeert deze enorme, verwarde bende van tekst en afbeeldingen te verwerken, hij veel harder moet werken dan normaal. Hij moet constant heen en weer schakelen tussen het lezen van de tekst en het analyseren van de afbeelding.

De Analogie: Denk aan de AI's veiligheidsbewaker als een uitsmijter bij een club. Normaal gesproken controleert de bewaker snel je ID (de tekst) en je outfit (de afbeelding). Als je er verdacht uitziet, zegt hij: "Nee."
De Aanval: In deze nieuwe methode overhandigt de aanvaller de bewaker een dossier van 50 pagina's, een kaart met 100 lagen transparante overlays en een lijst met 50 verwarrende regels in een piepklein lettertype. De bewaker is zo druk met het verwerken van al deze informatie dat hij in de war raakt. Hij verliest zijn zelfvertrouwen. In plaats van een resoluut "Nee" te zeggen, aarzelt hij, en uiteindelijk laat hij de persoon toch binnen.

Het onderzoek toonde aan dat deze "verwarring" de AI minder zeker maakt over het weigeren van slechte verzoeken. Wanneer een AI onzeker is, is de kans groter dat hij per ongeluk "Ja" zegt tegen iets wat hij niet zou mogen zeggen.

4. De Resultaten: Een Meestersleutel

De onderzoekers testten deze "brandslang"-methode op veel verschillende AI-modellen, waaronder open-source modellen (zoals Qwen en Llama) en beroemde commerciële modellen (zoals Gemini en GPT-4).

De Score: Ze maten hoe vaak de AI zijn regels brak (Attack Success Rate). Hun nieuwe methode werkte 88,6% van de tijd op open modellen en 84,0% op commerciële modellen.
Vergelijking: Dit is veel beter dan eerdere methoden, die slechts ongeveer 40-50% van de tijd werkten.
Cross-Model Magie: Zelfs als ze de aanval trainden op één specifiek AI-model, werkte het verrassend goed op andere modellen die ze nog nooit hadden gezien. Het is alsof je een sleutel maakt die op veel verschillende sloten past, omdat het "slotmechanisme" (de veiligheidsbewaker) door hen allemaal op dezelfde manier wordt overweldigd.

5. Wat dit betekent

Het artikel concludeert dat het grootste risico voor deze AI-assistenten op dit moment niet alleen het "verbergen" van slechte verzoeken is, maar het overbelasten van de AI met te veel complexe informatie.

De auteurs waarschuwen dat naarmate AI gebruikelijker wordt in het echte leven (het lezen van documenten, het bekijken van screenshots, het helpen bij taken), deze "informatie-overbelasting"-truc gebruikt kan worden om veiligheidsfilters te omzeilen. Ze hopen dat door te laten zien hoe dit werkt, ontwikkelaars sterkere veiligheidsbewakers kunnen bouwen die niet in de war raken wanneer de informatie rommelig wordt.

Kortom: Het artikel laat zien dat als je tegelijkertijd genoeg complexe tekst en afbeeldingen naar een AI gooit, de AI zo druk is met het begrijpen van de chaos dat hij vergeet om "Nee" te zeggen tegen gevaarlijke verzoeken.

Technische Samenvatting: Overbelasting van Grote Visuele Taalmodellen voor Jailbreaking

1. Probleemstelling

Grote Visuele Taalmodellen (LVLM's) worden steeds vaker ingezet in real-world toepassingen zoals persoonlijke assistenten en documentanalyse. Hun dual-modale aard (het verwerken van zowel afbeelding als tekst) creëert echter unieke aanvalsoppervlakken. Terwijl jailbreaks voor Grote Taalmodellen (LLM's) zijn geëvolueerd van eenvoudige prompts naar complexe, multidimensionale strategieën (bijv. rollenspel, geneste instructies), blijven de huidige LVLM jailbreak-aanvallen relatief primitief. De meeste huidige LVLM-aanvallen vertrouwen op Out-of-Distribution (OOD) transformaties, zoals het verbergen van schadelijke instructies als typografie binnen afbeeldingen of het gebruik van afleidende sub-afbeeldingen om distributieverschuivingen te creëren.

De auteurs stellen dat naarmate LVLM's sterkere LLM-backbones en verbeterde multimodale fusiemechanismen integreren, deze eenvoudige OOD-gebaseerde aanvallen minder effectief worden, met name wat betreft de transfereerbaarheid naar verschillende modelarchitecturen. Er is een kloof tussen de complexiteit van moderne LLM jailbreaks en de eenvoud van huidige LVLM aanvalontwerpen. Het artikel stelt dat LVLM's niet alleen kwetsbaar zijn voor het verbergen van intentie, maar ook voor informatie-overbelasting, waarbij excessieve cross-modale verwerking de veiligheidsafstemming ondermijnt.

2. Methodologie: Informatie-overbelasting

Het artikel stelt een nieuw aanvalsframework voor op basis van informatie-overbelasting, dat tot doel heeft de veiligheidsmechanismen van de LVLM te overweldigen door het model te dwingen complexe, dichte en recursief gestructureerde multimodale inputs te verwerken. De methodologie is verdeeld in twee stadia:

2.1. Theoretische Probing: Mechanisme van Informatie-overbelasting

Voordat ze de aanval voorstellen, voerden de auteurs een probing-studie uit om te begrijpen waarom complexe prompts succesvol zijn.

Observatie: Wanneer LVLM's worden gepresenteerd met complexe prompts die typografie en geneste instructies bevatten (in tegenstelling tot eenvoudige prompts), neemt hun weigeringsvertrouwen af. Dit wordt gemeten door een toename in de entropie van de eerste gegenereerde token tijdens een weigering.
Mechanisme: Met behulp van een "attention knockout"-techniek analyseerden de auteurs informatiestromen. Ze ontdekten dat complexe prompts geïntensiveerde cross-modale informatiestromen induceren (specifiek van afbeelding/typografie-tokens naar teksttokens). Het model besteedt meer computationele inspanning aan het integreren van deze modaliteiten om veiligheid te bepalen, wat paradoxaal genoeg de zekerheid bij het genereren van een weigeringsrespons vermindert.
Hypothese: Door de LVLM opzettelijk te overbelasten met hoog-dens, multidimensionale informatie, kan het veiligheidsafstemmingsmechanisme worden verstoord, wat leidt tot een hogere waarschijnlijkheid van het genereren van schadelijke inhoud.

2.2. Het Aanvalsframework: INFER en INFER+

Om deze hypothese te operationaliseren, ontwikkelden de auteurs twee iteratieve aanvalsmethoden:

A. INFER (Interleaved Nested reFERencing)
Dit is de fundamentele template die een geneste instructie-verwerkingshiërarchie creëert.

Decompositie: Een schadelijk tekstverzoek wordt gesplitst in een onschuldige instructie en een schadelijke frase.
Inbedding: De schadelijke frase wordt als typografie in de afbeelding ingebed ( $v_{harm}$ ), terwijl de onschuldige instructie ook als typografie wordt ingebed ( $v_{inst}$ ).
Referentie: De tekstprompt ( $t_{atk}$ ) instrueert het model expliciet om de onschuldige instructie in de afbeelding te herkennen, die op haar beurt weer naar de schadelijke frase verwijst.
Effect: Dit dwingt de LVLM om een keten van referenties op te lossen (Tekst $\to$ Afbeelding Instructie $\to$ Afbeelding Schadelijke Frase), wat de cross-modale verwerkingslast vergroot.

B. INFER+ (Entropy-Guided Overloading)
Dit is de geoptimaliseerde, schaalbare versie van INFER die diversiteit en exponentiële complexiteit introduceert.

Typografische Prompt Verfijning: Een aanvullende set jailbreak-regels ( $v_{rule}$ ) wordt als typografie ingebed. Deze regels omvatten diverse aanvalsdimensies zoals Framing (rollenspel, scenario-manipulatie) en Constraint (afdwingen van outputformaat).
Visuele Informatieversterking: De aanval maakt gebruik van een recursieve boomstructuur. De schadelijke beeld-tekstblokken worden herhaaldelijk ingebed binnen een boomstructuur die wordt gedefinieerd door recursiediepte en vertakkingsfactoren. Dit verhoogt exponentieel de visuele informatiedichtheid.
Optimalisatie: De auteurs gebruiken een entropy-guided random search algoritme. Ze optimaliseren de lay-outparameters (diepte, aantal vertakkingen, lettergrootte/type) en regelconfiguraties tegen een surrogaatmodel. De objectieve functie is de first-token entropy van de respons van het model; hogere entropie duidt op grotere onzekerheid in de weigeringsbeslissing, wat correleert met een hogere waarschijnlijkheid van een succesvolle jailbreak.

3. Belangrijkste Bijdragen

Nieuw Aanvalsparadigma: Het artikel identificeert "informatie-overbelasting" als een onderscheidende en effectieve aanvalsvector voor LVLM's, waarmee het verder gaat dan de heersende OOD-gebaseerde verbergingsstrategieën. Het is het eerste werk dat LVLM's specif으로 jailbreakt vanuit het perspectief van beeld-tekst overbelasting.
Schaalbaar Framework: De auteurs stellen een schaalbaar framework voor (INFER+) dat verfijnde teksttemplates, typografie-versterkte afbeeldingen en recursieve beeld-typografie lay-outs combineert om de informatieverwerkingslast over diverse real-world inputs te vergroten.
Empirische Validatie: Uit uitgebreide experimenten blijkt dat deze methode een state-of-the-art Attack Success Rate (ASR) bereikt op zowel open-source als commerciële LVLM's.
Mechanistisch Inzicht: Door middel van informatievloed-analyse biedt het artikel bewijs dat complexe beeld-typografie composities de cross-modale verwerking intensiveren en de zekerheid van het model bij het genereren van weigeringsresponsen verminderen.

4. Experimentele Resultaten

De auteurs evalueerden hun methode op vijf open-source LVLM's (Qwen3-VL, Qwen2-VL, InternVL3.5, InternVL2, Llama 3.2-Vision) en drie commerciële modellen (Gemini 2.5 Flash, Gemini 2.5 Flash-Lite, GPT-4.1-mini).

Prestaties op Open-Source Modellen: INFER+ bereikte een gemiddelde ASR van 88,6%, waarmee het de sterkste concurrerende baseline met 32,8% versloeg. Op specifieke modellen zoals Qwen2-VL bereikte de ASR 97,52% op de HADES dataset.
Prestaties op Commerciële Modellen: De methode bereikte een gemiddelde ASR van 84,0% op commerciële modellen, wat de beste baseline met 48,7% overtreft. Opvallend genoeg bereikte het een ASR van 91,11% op GPT-4.1-mini.
Transfereerbaarheid: De aanval vertoonde sterke cross-model transfereerbaarheid. Prompts die geoptimaliseerd zijn op een surrogaatmodel (bijv. Qwen2-VL) bleven zeer effectief op black-box targets (bijv. het bereiken van 87,9% ASR op Llama 3.2-Vision), wat suggereert dat informatie-overbelasting een gemeenschappelijke kwetsbaarheid in verschillende architecturen aanvalt.
Robuustheid: De methode behield superieure prestaties, zelfs onder defensieve mechanismen zoals Input Guards, TVPI Defense en FigStep Defense, wat aangeeft dat het diepere multimodale kwetsbaarheden aanvalt.
Correlatieanalyse: De studie bevestigde een positieve correlatie tussen first-token entropy, ASR en de Refusal Contribution Index (RCI), waarmee de hypothese werd gevalideerd dat verhoogde onzekerheid in weigering leidt tot succesvolle jailbreaks.

5. Betekenis en Claims

Het artikel beweert dat informatie-overbelasting een praktische en opkomende veiligheidsrisico vormt voor real-world LVLM-implementaties. In tegenstelling tot eerdere aanvallen die vertrouwen op het verbergen van intentie, dwingt deze methode het model om excessieve, complexe multimodale inhoud te verwerken, wat het vermogen om veiligheidsrestricties af te dwingen degradeert.

De auteurs benadrukken dat hun bevindingen onderstrepen dat er sterkere defensies nodig zijn tegen complexe multimodale jailbreak-inputs. Ze argumenteren dat naarmate LVLM's worden geïntegreerd in omgevingen die rijke documenten, screenshots en webpagina's verwerken, de huidige veiligheidsafstemmingsmechanismen mogelijk onvoldoende zijn tegen inputs die een hoge cross-modale verwerkingslast veroorzaken. Het werk dient als een diagnostisch instrument om te begrijken hoe multimodale veiligheidsmechanismen falen onder complexe inputs en roept op tot een verantwoorde behandeling van dergelijk onderzoek om de modelrobuustheid te verbeteren.