PolyJailbreak: Cross-Modal Jailbreaking Attacks on Black-Box Multimodal LLMs

Dit paper introduceert PolyJailbreak, een nieuw black-box raamwerk dat gebruikmaakt van het verschijnsel van multimodale veiligheidsasymmetrie en versterkt leren om multimodale grote taalmodellen succesvol te omzeilen met een aanvalssuccespercentage van meer dan 95%.

De kern

De Kern: Een Nieuwe Manier om AI's "Slot" te Openen

Stel je voor dat Multimodale Large Language Models (MLLMs) – zoals de slimme AI's die je kunt zien en lezen – als een superveilig huis zijn. Ze hebben een dichte deur (de tekst) en een raam (de beelden). De bewakers (de veiligheidsprogramma's) staan op hun hoede om te voorkomen dat er gevaarlijke dingen naar binnen komen.

De onderzoekers van dit paper hebben ontdekt dat deze bewakers een groot zwak punt hebben: ze zijn niet even streng voor de deur als voor het raam.

1. Het Probleem: De "Onbalans" in Veiligheid

De onderzoekers noemen dit multimodale veiligheidsasymmetrie.

• De Analogie: Stel je voor dat je een huis hebt met een zware, onbreekbare deur (tekst), maar een raam dat slechts een dunne plastic folie is (beelden). Als iemand een gevaarlijk voorwerp probeert binnen te krijgen, kijken de bewakers heel streng naar de deur. Maar als ze datzelfde voorwerp door het raam proberen te duwen, kijken ze minder goed.
• Wat ze vonden: Door de AI beelden te laten "zien", wordt de AI eigenlijk een beetje slordiger met het controleren van de tekst. Het raam (beeld) verstoort de concentratie van de bewaker, waardoor de deur (tekst) minder goed wordt afgesloten. Zelfs als je alleen maar tekst gebruikt, werkt de AI minder goed als hij "gewend" is om ook naar beelden te kijken.

2. De Oplossing: PolyJailbreak (De "Meesterdief")

Om dit te testen, hebben de onderzoekers een nieuw gereedschap bedacht genaamd PolyJailbreak.

• De Analogie: Stel je voor dat je een dief bent die een huis wil inbreken. In plaats van één keer tegen de deur te trappen, heeft deze dief een magische gereedschapskist met honderden kleine, herbruikbare trucs.
  • Truc 1: Een rol spelen (bijv. "Ik ben een docent").
  • Truc 2: Een raam verven (een beeld maken dat er onschuldig uitziet maar een geheime boodschap bevat).
  • Truc 3: De bewaker afleiden met een grappig verhaal.

PolyJailbreak gebruikt deze trucs niet willekeurig. Het werkt als een slimme robot-dief die continu leert:

1. Hij probeert een truc.
2. Kijkt of de AI het antwoord geeft (of de deur open doet).
3. Als het niet lukt, past hij de truc aan (bijv. "Oh, die bewaker reageert op grappen, ik ga meer grappen gebruiken").
4. Hij combineert tekst en beeld op een manier die de AI niet verwacht.

3. Hoe Werkt Het? (Stap voor Stap)

Het proces ziet eruit als een spelletje "Probeer het nog eens":

1. De Profiler: Eerst kijkt de AI-dief naar het doelwit. Wat zijn de regels? Hoe spreekt de AI? (Net als een inbreker die eerst het huis verkent).
2. De Bouwer: De AI pakt uit zijn gereedschapskist (de Atomic Strategy Primitives) een paar trucs. Hij maakt een vraag die klinkt alsof het onschuldig is, maar verbergt er een gevaarlijke opdracht in. Hij voegt hier een beeld aan toe dat de AI in de war brengt.
3. De Test: Hij stuurt dit naar de AI.
   • Antwoord: "Sorry, dat kan ik niet." -> De AI-dief denkt: "Oké, die truc werkte niet. Laten we de tekst iets anders maken of een ander beeld proberen."
   • Antwoord: "Hier is hoe je dat doet." -> Succes! De AI is gehackt.
4. De Leerling: De AI-dief gebruikt een slim algoritme (versterkende leer) om te onthouden welke combinaties werken. Na een tijdje is hij zo goed dat hij bijna elk AI-systeem (zelfs de duurste, gesloten systemen van bedrijven) kan overtuigen om gevaarlijke dingen te doen.

4. Wat Vonden Ze? (De Resultaten)

De onderzoekers hebben dit uitgetest op veel verschillende AI's, waaronder de beroemde GPT-4o en Gemini.

• Het resultaat: PolyJailbreak was veel succesvoller dan alle vorige methoden.
• De cijfers: Het slaagde in meer dan 95% van de gevallen bij commerciële AI's. Dat betekent dat bijna elke poging om een AI te misleiden, lukte.
• De les: Het is niet genoeg om alleen tekst te controleren. Als een AI ook naar beelden kijkt, moet de veiligheid voor beide kanalen even streng zijn. Nu is dat niet zo, en dat is gevaarlijk.

Conclusie in Eén Zin

Deze studie toont aan dat AI's die zowel tekst als beelden begrijpen, een "zwakke link" hebben: het zien van beelden maakt ze minder alert op gevaarlijke tekst. De onderzoekers hebben een slimme methode (PolyJailbreak) bedacht om dit zwakke punt te gebruiken, zodat ontwikkelaars kunnen zien hoe ze hun AI's veiliger kunnen maken.

Belangrijke noot: Dit onderzoek is gedaan om de veiligheid te verbeteren (zoals een slotenmaker die een nieuw slot test om te zien of het wel degelijk veilig is), niet om mensen aan te moedigen om AI's te misbruiken.

Technische samenvatting

Probleemstelling

Multimodale Large Language Models (MLLMs), zoals GPT-4o en Gemini, integreren visuele en tekstuele invoer om complexe taken uit te voeren. Ondanks vooruitgang in veiligheidsuitlijning (safety alignment) via technieken zoals RLHF, blijken deze modellen kwetsbaar voor "jailbreak"-aanvallen. De auteurs identificeren een fundamenteel veiligheidsprobleem: multimodale veiligheidsasymmetrie.

Deze asymmetrie houdt in dat de veiligheidsuitlijning voor visuele invoer ongelijk is ten opzichte van tekstuele invoer. Visuele input kan de robuustheid van de oorspronkelijke tekstuele veiligheidsmechanismen verzwakken en leidt tot ongelijke veiligheidsgrenzen. Bestaande aanvalsmethoden zijn vaak handgemaakt, gebaseerd op geïsoleerde casestudies of beperkt tot specifieke modellen, en missen een systematische benadering om deze kwetsbaarheden op schaal te exploiteren bij zwarte-doos (black-box) modellen.

Methodologie: PolyJailbreak

De auteurs stellen PolyJailbreak voor, een black-box jailbreak-framework dat gebruikmaakt van versterkt leren (Reinforcement Learning - RL) om kwetsbaarheden systematisch te exploiteren. De kern van de methode bestaat uit drie fasen:

1. Analyse van Veiligheidsasymmetrie:

   • De auteurs tonen aan dat bij "trainable alignment" (waarbij de backbone-LLM wordt aangepast tijdens visuele uitlijning) de interne representaties van tekstuele veiligheid worden verstoord. Dit vermindert de aandacht voor schadelijke sleutelwoorden, zelfs bij tekst-only queries.
   • Visuele input fungeert als een "trigger" en "versterker" voor jailbreaks. Het verstoort de kruismodale informatiestroom en maakt het voor het model moeilijker om schadelijke intenties te scheiden van onschadelijke, wat leidt tot een daling van de scheiding tussen veilige en onveilige semantische clusters in de verborgen lagen van het model.

2. Atomaire Strategie Primitieven (ASPs):

   • Om deze kwetsbaarheden te exploiteren, hebben de auteurs een bibliotheek ontwikkeld van Atomic Strategy Primitives (ASPs). Dit zijn herbruikbare operationele regels die kwetsbaarheden vertalen naar stap-voor-stap acties.
   • De ASP's zijn onderverdeeld in drie dimensies:
     • Tekstuele manipulatie: Obfuscatie, rollenspellen, logica-traps, en het injecteren van systeem-instructies.
     • Visuele manipulatie: Generatie van semantisch tegenstrijdige afbeeldingen, typografische afbeeldingen (zoals FigStep), ruisinjectie en blokken die worden geschud.
     • Prompt-versterking: Het gebruik van overtuigingsstrategieën (bijv. autoriteitsclaims, sociale bewijskracht) om de ethische weerstand van het model te omzeilen.

3. RL-gedreven Multi-Agent Optimalisatie:

   • Het framework gebruikt een Soft Actor-Critic (SAC) algoritme in een multi-agent setting.
   • Een Attack Agent profileert het doelmodel (door directe vragen en online zoekopdrachten) en selecteert vervolgens een combinatie van ASP's.
   • Een Judging Agent evalueert de output van het doelmodel op schadelijkheid.
   • Het systeem optimaliseert iteratief de prompts (zowel tekst als afbeelding) om de kans op succes te maximaliseren, zonder toegang te hebben tot de interne parameters van het doelmodel.

Belangrijkste Bijdragen

• Identificatie van Asymmetrie: Het paper is het eerste dat systematisch de "multimodale veiligheidsasymmetrie" kwantificeert en aantoont dat visuele uitlijning de tekstuele veiligheidsmechanismen van de backbone-LLM kan ondermijnen.
• PolyJailbreak Framework: Een nieuw, automatisch framework dat kwetsbaarheden consolideert in een composable library van ASP's, waardoor het mogelijk is om jailbreaks te genereren die specifiek zijn afgestemd op verschillende zwarte-doos modellen.
• Empirische Validatie: Uitgebreide experimenten die aantonen dat visuele input niet alleen een aanvullende invoermodus is, maar een actieve rol speelt bij het verzwakken van veiligheidsgrenzen.

Resultaten

De auteurs hebben PolyJailbreak getest op een breed scala aan state-of-the-art MLLMs, waaronder open-source modellen (LLaVA, LLaMA 3.2-Vision, Qwen) en gesloten commerciële modellen (GPT-4o, GPT-4.1, Gemini-2.5, Claude-3.7).

• Aanvalsucces (ASR): PolyJailbreak presteert consistent beter dan bestaande state-of-the-art methoden (zoals FigStep, Hades, DRA, FlipAttack).
  • Gemiddelde verbetering in Attack Success Rate (ASR) van 18,15% ten opzichte van de beste bestaande methoden.
  • Op commerciële zwarte-doos modellen (zoals GPT-4o en Gemini) wordt een succesratio van meer dan 95% bereikt.
  • De gemiddelde ASR over alle geteste modellen bedraagt 83,34%.
• Generalisatie: Het framework werkt effectief op zowel open-source als gesloten modellen en toont sterke transferability (aanvallen die op het ene model zijn getraind, werken vaak ook op andere).
• Robuustheid tegen Defensies: Zelfs onder bestaande defensiemethoden (zoals SmoothLLM, AdaShield en ECSO) behoudt PolyJailbreak een aanzienlijk succespercentage, hoewel dit lager is dan zonder defensie.

Betekenis en Conclusie

De studie benadrukt dat de huidige veiligheidsuitlijning van MLLMs structureel gebrekkig is door de asymmetrische behandeling van tekst en beeld. Visuele input fungeert als een "zwakke schakel" die de algehele veiligheid van het model kan compromitteren.

De implicaties zijn aanzienlijk:

1. Systeemrisico: Zelfs de meest geavanceerde commerciële modellen zijn kwetsbaar voor gecoördineerde multimodale aanvallen.
2. Noodzaak voor nieuwe Defensies: Bestaande defensies die zich richten op tekst of afbeeldingen afzonderlijk, zijn ontoereikend. Er is behoefte aan uitlijningstechnieken die tekst en visuele input gezamenlijk redeneren en begrijpen.
3. Roodteamen: Het paper pleit voor het integreren van dergelijke cross-modale jailbreak-tests in de standaard veiligheidsbeoordeling van AI-systemen voordat deze worden ingezet in de praktijk.

Kortom, PolyJailbreak demonstreert dat de veiligheid van multimodale AI-systemen fundamenteel moet worden herzien om rekening te houden met de interactie tussen verschillende modaliteiten, en niet alleen met de individuele componenten.