FORCE: Transferable Visual Jailbreaking Attacks via Feature Over-Reliance CorrEction

Dit paper introduceert FORCE, een methode die de transferability van visuele jailbreaking-aanvallen op multimodale grote taalmodellen verbetert door de overmatige afhankelijkheid van specifieke laag- en frequentiekenmerken te corrigeren en zo de aanval te stabiliseren in bredere, minder scherpe gebieden van de verlieslandschap.

De kern

Het Grote Probleem: De "Slimme" maar "Kwetsbare" Hack

Stel je voor dat Multimodale Large Language Models (MLLM's) superintelligente robots zijn die zowel kunnen lezen als kijken. Ze zijn ontworpen om veilig te zijn; ze weigeren bijvoorbeeld om je te vertellen hoe je een bom bouwt of hoe je iemand vergiftigt.

Maar hackers hebben ontdekt dat je deze robots om de tuin kunt leiden door een speciale afbeelding te tonen. Als je een normaal ogend plaatje toont met een heel klein, onzichtbaar verstoringetje (een "perturbatie"), kan de robot plotseling denken: "Oh, dit is een grapje! Hier is de handleiding voor het bouwen van een bom!"

Het probleem is echter dat deze hacks niet overdraagbaar zijn.

• De metafoor: Stel je voor dat je een sleutel hebt die perfect past in het slot van Robot A. Maar als je diezelfde sleutel probeert te gebruiken in Robot B, past hij niet meer.
• De realiteit: Als je een hack maakt voor een open-source model (zoals LLaVA), werkt die hack bijna nooit op een gesloten, commerciële model (zoals GPT-5 of Claude). De hackers kunnen dus de echte, dure robots niet testen op zwakke plekken.

Waarom werkt dit niet? (De "Scherpheid" van de Landkaart)

De auteurs van dit paper hebben onderzocht waarom deze sleutels niet werken. Ze keken naar de "landkaart" van de fouten (de loss landscape).

• De metafoor: Stel je voor dat je een bal op een berg moet laten rollen om een doel te raken.
  • Bij de huidige hacks zit de bal op een extreem smal bergtopje. Als je de bal ook maar een haarbreedje verschuift (of als de robot een klein beetje anders is opgebouwd), rolt de bal direct naar beneden en faalt de hack.
  • De hack is te afhankelijk van heel specifieke, kleine details van de ene robot. Het is alsof je een sleutel maakt die precies past in de krassen van één specifiek slot, maar niet in het mechanisme zelf.

Ze ontdekten twee redenen voor deze "smalle bergtop":

1. Te afhankelijk van de "beginlaag": De hack vertrouwt te veel op de eerste, ruwe verwerking van het beeld in de robot. Dat is vaak heel specifiek voor dat ene model.
2. Te afhankelijk van "ruis" (hoge frequenties): De hack vertrouwt op heel fijne details in het beeld (zoals ruis of patronen die voor mensen onzichtbaar zijn), in plaats van op de echte betekenis van het plaatje. Het is alsof je een code maakt die werkt omdat er een heel klein stipje op een verkeerde plek staat, in plaats van omdat de code logisch is.

De Oplossing: FORCE (De "Alles-in-Één" Sleutel)

De auteurs hebben een nieuwe methode bedacht, genaamd FORCE (Feature Over-Reliance CorrEction). Het doel is om de hack te maken die werkt op elk slot, niet alleen op één.

Ze doen dit op twee manieren:

1. De "Brede Weg" (Layer Correction)
In plaats van de hack te laten rusten op dat smalle bergtopje in de beginlaag, dwingen ze de hack om een breder pad te zoeken.

• De analogie: In plaats van te proberen een sleutel te maken die past in de krassen van één slot, maken ze een "meester-sleutel" die past in het algemene mechanisme van alle sloten. Ze zorgen ervoor dat de hack werkt, zelfs als je het plaatje een beetje verwisselt met een normaal plaatje. Dit maakt de hack robuuster.

2. De "Schoonmaak" (Spectral Correction)
Ze kijken naar de "frequentie" van het beeld (de details). Ze merken dat de hack te veel vertrouwen heeft in de "ruis" (hoge frequenties) en te weinig in de echte inhoud (lage frequenties).

• De analogie: Stel je voor dat je een liedje hoort dat alleen uit piepende geluiden bestaat. Als je dat liedje op een andere speaker afspeelt, klinkt het als ruis. FORCE "dempt" die piepende geluiden en zorgt dat het liedje weer klinkt als een normaal, herkenbaar liedje. Ze zorgen dat de hack werkt op de betekenis van het plaatje, niet op de ruis.

Wat levert dit op?

Door deze twee dingen te doen, vinden ze een vlakke, brede vallei in plaats van een smal bergtopje.

• Het resultaat: Een hack die op de ene robot werkt, werkt nu ook op de andere robot.
• De test: Ze hebben getest op de slimste robots ter wereld (GPT-5, Claude, Gemini). Waar de oude methoden faalden (soms 0% succes), slaagde FORCE erin om deze robots te omzeilen.

Waarom is dit belangrijk?

Dit klinkt misschien eng (hackers kunnen nu meer doen), maar het is eigenlijk heel goed nieuws voor de veiligheid.

• De "Rood Team" (Red Teaming): Bedrijven moeten hun robots testen op zwakke plekken voordat ze ze uitbrengen. Vroeger konden ze dit alleen doen met hun eigen robots. Nu kunnen ze met deze "FORCE"-hack zien of hun dure, gesloten robots ook kwetsbaar zijn.
• De conclusie: Het helpt ontwikkelaars om hun robots veiliger te maken, zodat ze niet per ongeluk gevaarlijke instructies gaan uitvoeren.

Kort samengevat:
FORCE is een slimme methode om "onzichtbare hack-pictogrammen" te maken die niet alleen werken op één specifiek model, maar op bijna alle slimme beeld-sprekende robots. Ze doen dit door de hack minder afhankelijk te maken van specifieke ruis en meer van de echte betekenis, waardoor de hack "overdraagbaar" wordt.

Technische samenvatting

Probleemstelling

Multimodale Large Language Models (MLLMs) zijn krachtig geworden, maar ze introduceren nieuwe kwetsbaarheden. Hoewel tekstuele "jailbreaking"-aanvallen (het omzeilen van veiligheidsfilters) vaak effectief zijn, hebben visuele jailbreaking-aanvallen, die gebruikmaken van geoptimaliseerde perturbaties in afbeeldingen, een groot nadeel: ze hebben een zeer beperkte overdraagbaarheid (transferability).

Aanvallen die succesvol zijn op een bronmodel (bijv. een open-source MLLM) falen vaak wanneer ze worden toegepast op een doelmodel (bijv. een gesloten, commercieel model). De auteurs analyseren dit fenomeen en ontdekken dat geoptimaliseerde visuele aanvallen zich bevinden in gebieden met een hoge scherpte (high-sharpness regions) in de verlieslandschap (loss landscape). Dit betekent dat de aanvallen extreem gevoelig zijn voor kleine veranderingen in modelparameters.

De onderliggende oorzaken van deze gebrekkige overdraagbaarheid zijn tweeërlei:

1. Laag-afhankelijkheid: Aanvallen vertrouwen te sterk op specifieke kenmerken van de vroege lagen van het model, wat resulteert in smalle en fragiele "haalbare gebieden" (feasible regions).
2. Spectrale afhankelijkheid: Tijdens optimalisatie verschuift de focus van aanvallen naar semantisch arme, hoogfrequente informatie (ruis/patronen) in plaats van semantisch rijke, laagfrequente informatie. Dit maakt de aanvallen model-specifiek en niet-generiek.

Methodologie: FORCE

Om dit probleem op te lossen, stellen de auteurs FORCE (Feature Over-Reliance CorrEction) voor. Deze methode corrigeert de onjuiste afhankelijkheden van het model door twee componenten te integreren in een standaard Projected Gradient Descent (PGD) optimalisatieproces:

1. Laagbewuste Regularisatie (Layer-aware Regularization):

   • Doel: Het uitbreiden van de haalbare gebieden in de vroege lagen van het model.
   • Techniek: De methode introduceert een regularisatieterm die de $L_2$-afstand maximaliseert tussen de kenmerken van de aanval en die van een referentiepunt (een licht verstoord voorbeeld) in elke laag.
   • Strategie: De regularisatiesterkte ($\lambda$) is sterker voor vroege lagen en neemt af naar diepere lagen. Dit dwingt de aanval om bredere, gladdere representaties te vinden die minder afhankelijk zijn van specifieke modeldetails van de vroege lagen.

2. Spectrale Rescaling (Spectral Rescaling):

   • Doel: Het onderdrukken van de overmatige invloed van semantisch arme hoogfrequente componenten.
   • Techniek: De aanval wordt getransformeerd naar het frequentiedomein (via Fourier-transformatie). De frequentiebanden worden geanalyseerd op hun invloed op de aanvalssucces.
   • Strategie: Als hoogfrequente banden een disproportioneel grote invloed hebben (wat wijst op overfitting op ruis), worden deze schaalverkleind. Dit herstelt een natuurlijke frequentieverdeling die meer lijkt op natuurlijke afbeeldingen en semantisch rijkere informatie prioriteert.

Deze twee componenten worden gecombineerd in een geoptimaliseerd algoritme dat de aanval leidt naar geflattende verlieslandschappen, waardoor de aanval robuuster wordt tegenover modelvariaties.

Belangrijkste Bijdragen

• Analyse van Verlieslandschappen: Het paper biedt een diepgaande analyse die aantoont dat visuele jailbreaking-aanvallen vastzitten in scherpe lokale minima, veroorzaakt door overmatige afhankelijkheid van vroege lagen en hoogfrequente patronen.
• Nieuwe Methode (FORCE): Een innovatieve aanpak die zowel de ruimtelijke (laag-gebaseerde) als de spectrale afhankelijkheden corrigeert om overdraagbaarheid te verbeteren.
• Empirische Validatie: Uitgebreide experimenten tonen aan dat FORCE aanzienlijk betere resultaten levert dan bestaande methoden (zoals standaard PGD) bij het jailbreaken van diverse doelmodellen, inclusief gesloten, commerciële systemen.

Resultaten

De auteurs hebben FORCE getest op een breed scala aan doelmodellen, waaronder:

• Adapter-gebaseerde MLLMs: (bijv. LLaVA-v1.6, InstructBlip, Idefics3).
• Early-Fusion MLLMs: (bijv. Llama-3.2-Vision, Qwen2.5-VL).
• Commerciële API-modellen: (bijv. Claude-Sonnet-4, Gemini-2.5-Pro, GPT-5).

Kernresultaten:

• Verbeterde Overdraagbaarheid: FORCE verbeterde de Aanvals-Succes-Ratio (ASR) met gemiddeld 12% voor adapter-gebaseerde modellen en bijna 100% voor early-fusion modellen ten opzichte van de baseline.
• Commerciële Modellen: Zelfs voor sterk beveiligde commerciële modellen zoals GPT-5 en Claude, toonde FORCE aanzienlijke verbeteringen (bijv. een stijging van 1% naar 2% ASR op GPT-5, wat in absolute termen een verdubbeling is, en een stijging van 16% naar 19% op Gemini).
• Efficiëntie: De methode vereist minder queries om een succesvolle aanval te genereren, wat de efficiëntie van "red-teaming" (veiligheidstesten) verhoogt.
• Robuustheid: De aanval blijft effectief zelfs onder toevoeging van ruis (defensieve pre-processing), wat aantoont dat de gevonden kwetsbaarheden fundamenteel zijn en niet puur gebaseerd op specifieke pixelpatronen.

Betekenis en Impact

Dit werk is van cruciaal belang voor de veiligheid van AI-systemen:

1. Praktische Red-Teaming: Het maakt het mogelijk om kwetsbaarheden in gesloten, commerciële MLLMs te evalueren zonder toegang tot hun interne parameters, wat essentieel is voor veiligheidsaudits.
2. Fundamenteel Inzicht: Het onthult dat de beperkte overdraagbaarheid van visuele aanvallen niet alleen een technisch obstakel is, maar het gevolg is van fundamentele eigenschappen van hoe MLLMs leren (afhankelijkheid van ruis en vroege lagen).
3. Toekomstige Richting: Het paper legt de basis voor het ontwikkelen van robuustere MLLMs en betere verdedigingsmechanismen die specifiek gericht zijn op het elimineren van deze "over-reliance" op niet-generieke kenmerken.

Samenvattend biedt FORCE een krachtig instrument om de veiligheid van multimodale AI-systemen te testen en inzicht te geven in de onderliggende mechanismen van hun kwetsbaarheden.