The Boy Who Cried Wolf: Adversarial Misclassification of Safe Inputs as Unsafe in Multimodal Guardrails

Stel je een wereld voor waarin je favoriete AI-assistent een soort superintelligente bibliothecaris is die plaatjes kan zien en je gedachten kan lezen. Je vraagt: "Kun je deze kat wit maken?" en de bibliothecaris controleert je foto en je vraag om er zeker van te zijn dat je niet de regels probeert te breken. Deze bibliothecaris wordt een "guard model" genoemd, en zijn taak is om slecht spul — zoals geweld of enge afbeeldingen — tegen te houden. Meestal maken we ons zorgen over bedriegers die slechte ideeën langs de bibliothecaris proberen te smokkelen (zoals het fluisteren van een geheime code zodat de bibliothecaris het gevaar mist). Maar wat als de bedrieger niet probeerde om slecht spul naar binnen te smokkelen? Wat als ze de bibliothecaris wilden misleiden om te denken dat goed spul slecht is?

Dit artikel onderzoekt een nieuw soort truc genaamd de "The Boy Who Cried Wolf"-aanval. In plaats van een wolf te verbergen, schildert de aanvaller een onschuldig beeld van een schaap met onzichtbare inkt die alleen de bibliothecaris kan zien. Wanneer je deze foto aan de bibliothecaris laat zien, roept hij: "Wolf! Wolf!" en weigert je te helpen, ook al is het gewoon een schattig schaap. Het artikel laat zien hoe hackers dit kunnen gebruiken om de bibliothecaris zo verward en overdreven beschermend te maken dat hij niemand meer helpt, wat het plezier voor iedereen verpest. Het gaat niet om het breken van de regels; het gaat erom de regelbewaker zo paranoïde te maken dat hij stopt met werken.

De "Boy Who Cried Wolf" in de AI-wereld

In de wereld van Kunstmatige Intelligentie, specifiek bij modellen die plaatjes kunnen zien en tekst kunnen lezen (genaamd Multimodal Large Language Models), zijn er veiligheidsbewakers. Dit zijn als uitsmijters bij een club. Hun taak is om te kijken naar wat je meebrengt (een plaatje en een vraag) en te beslissen of het veilig is. Als het veilig is, mag je naar binnen. Als het onveilig is, word je eruit gekickt.

Een tijdje lang maakten onderzoekers zich zorgen over "jailbreaking". Dat is wanneer iemand de uitsmijter probeert te misleiden om een gevaarlijk persoon binnen te laten door hem te vermommen als een VIP. Maar dit artikel stelt een andere vraag: Wat als iemand de uitsmijter misleidt om een volkomen onschuldige persoon eruit te kicken?

De auteurs noemen dit een Unsafe Induction Attack. Stel je hebt een foto van een pluizige witte kat. Het is volkomen veilig. Maar een aanvaller voegt een piepkleine, onzichtbare verandering toe aan de foto — zo klein dat je ogen het niet kunnen zien. Voor een mens is het nog steeds gewoon een schattige kat. Maar voor de AI-uitsmijter ziet die onzichtbare verandering eruit als een enorme rode vlag met de tekst "GEVAAR!". Dus wanneer je de AI vraagt om "de kat wit te maken", weigert de AI: "Ik kan dat niet doen, deze afbeelding is onveilig!"

Het enge is dat de aanvaller niet hoeft te weten welke vraag je gaat stellen. Ze hoeven alleen de foto er zo uit te laten zien dat deze "onveilig" is voor de AI, ongeacht wat je zegt. Als ze dit kunnen doen, kunnen ze het internet overspoelen met deze "vergiftigde" plaatjes. Wanneer gewone mensen deze downloaden en proberen te gebruiken, blijft de AI steeds weer "Nee!" zeggen. Uiteindelijk raken mensen gefrustreerd, verliezen ze het vertrouwen in de AI, en zetten ze misschien zelfs de veiligheidsfuncties volledig uit. Dat is het "Boy Who Cried Wolf"-effect: de bewaker geeft zoveel valse alarmen dat niemand het er meer mee eens is.

Hoe ze het deden: De magie van "Distillatie"

De onderzoekers ontdekten dat eerdere pogingen om dit te doen faalden omdat ze te specifiek waren. Als je probeerde de AI te misleiden door een plaatje er precies als een specif kind "slecht" beeld uit te laten zien (zoals een specifiek wapen), zou het alleen werken als de gebruiker een vraag stelde die gerelateerd was aan dat exacte wapen. Maar echte gebruikers stellen allerlei willekeurige vragen.

Om dit op te lossen, creëerde het team een nieuwe methode genaamd Unsafe Semantic Distillation (USD). Denk er zo over: in plaats van te proberen één specif kind "slecht" beeld na te bootsen, leert de AI de vibe van het slechte.

1. De oude manier (Instance Mimicry): Stel je voor dat je een beveiligingsbeambte probeert te misleiden door je exact te kleden als één specifieke crimineel. Als de bewaker jou ziet, herkent hij die man. Maar als de crimineel van hoed wisselt, herkent de bewaker je misschien niet meer.
2. De nieuwe manier (USD): De onderzoekers namen honderden verschillende "slechte" afbeeldingen (geweld, wapens, enz.) en vroegen de AI: "Wat hebben al deze slechte dingen gemeen?" De AI vond de verborgen, onzichtbare patronen die iets "onveilig" maken. Vervolgens leerden ze de onschuldige katenfoto om die onzichtbare patronen te dragen.

Ze kopieerden niet zomaar één slecht ding; ze destilleerden de essentie van het slechte. Dit betekent dat de katenfoto niet lijkt op een specifiek wapen of een specifiek gevecht; het draagt gewoon de "geur" van gevaar die het brein van de AI herkent, ongeacht welke vraag je stelt.

De resultaten: Een zeer effectieve truc

Het team testte deze nieuwe methode op vier van de slimste veiligheidsbewakers die momenteel beschikbaar zijn (waaronder modellen van Meta, LLaVA en anderen). Ze gebruikten een enorme verzameling nep-gebruikersvragen om te zien of de truc zou werken op verschillende soorten verzoeken.

De resultaten waren verrassend hoog. Wanneer ze hun nieuwe "distillatie"-methode gebruikten:

• Bereikten ze een succespercentage van 84% in het laten afwijzen van veilige afbeeldingen door de AI, zelfs wanneer de vraag van de gebruiker volledig onbekend was aan de aanvaller.
• Dit was veel beter dan oudere methoden, die slechts rond de 60% tot 70% succes behaalden.
• Ze konden zelfs specifieke soorten "slechtheid" targeten. Ze konden de AI laten denken dat een foto van een auto "gewelddadig" was of een foto van een speelgoedje "seksueel", simpelweg door de onzichtbare inkt aan te passen.

Het artikel laat zien dat dit een echt probleem is. Aanvallers hoeven niet te weten wat je gaat vragen; ze hoeven alleen de afbeelding te vergiftigen. En omdat de aanval zo goed werkt over verschillende vragen heen, bewijst het dat huidige veiligheidssystemen een verborgen zwakte hebben: ze kunnen worden misleid om te veilig te zijn, wat uiteindelijk de dienstverlening voor iedereen schaadt.

Waarom dit belangrijk is

Dit is niet alleen een theoretisch spelletje. Het artikel suggereert dat als kwaadwillenden deze "vergiftigde" afbeeldingen gaan verspreiden op sociale media of in publieke datasets, gewone gebruikers plotseling hun favoriete AI-tools niet meer werkend zullen vinden. De AI zal steeds blijven zeggen "Ik kan dat niet doen", niet omdat de gebruiker iets fout heeft gedaan, maar omdat de afbeelding die ze uploadden stiekem gemarkeerd is door de onzichtbare inkt.

De auteurs concluderen dat, hoewel we erg goed zijn geworden in het stoppen van AI om slechte dingen te zeggen, we niet genoeg aandacht hebben besteed aan het stoppen van AI om goede dingen onterecht te beschuldigen. Ze noemen dit een "beschikbaarheidsfalen" (availability failure): het systeem is er nog wel, maar het is zo druk met het schreeuwen van "Wolf!" naar schapen, dat het eigenlijk niemand meer kan helpen. Het is een herinnering dat veiligheid niet alleen gaat over het buitenhouden van de slechteriken; het gaat er ook om te zorgen dat de bewakers niet per ongeluk de goede mensen eruit trappen.