Are LLMs Safe Beyond Text: Do Emojis Expose Gaps in Safety Evaluation

In de snel evoluerende wereld van kunstmatige intelligentie zijn computerprogramma's die bekend staan als grote taalmodellen krachtige hulpmiddelen geworden voor het schrijven, redeneren en beantwoorden van vragen. Deze systemen worden getraind op enorme hoeveelheden tekst van het internet, waarbij ze leren voorspellen welke woorden als volgende in een zin moeten komen. Omdat ze zo bekwaam zijn, besteden ontwikkelaars veel moeite aan het waarborgen dat ze veilig zijn, wat betekent dat ze weigeren schadelijke instructies, gewelddadige inhoud of gevaarlijk advies te genereren. Om deze veiligheid te testen, proberen onderzoekers de modellen doorgaans te misleiden met slimme tekstprompts, waarbij ze vragen om hun regels op verschillende manieren te omzeilen. Menselijke communicatie is echter zelden alleen maar gewone tekst; we gebruiken vaak afbeeldingen, symbolen en emoji's om betekenis, emotie en context over te brengen. Deze kleine icoontjes zijn een standaardonderdeel van moderne gesprekken, maar de vraag blijft of de veiligheidssystemen die deze AI-modellen beschermen even effectief zijn wanneer de input deze visuele symbolen bevat in plaats van alleen woorden.

Een recente studie door een onafhankelijke onderzoeker zette zich af om precies dit gat te onderzoeken. De onderzoeker vroeg zich af of de veiligheidsevaluaties die worden gebruikt om deze modellen te beschermen, een cruciaal deel van de puzzel misten door zich bijna volledig te concentreren op standaardtekst. Om dit te ontdekken, ontwierp de onderzoeker een experiment met gebruik van vier verschillende open-source taalmodellen, wat versies van de technologie zijn die voor iedereen toegankelijk zijn en bestudeerd kunnen worden. De onderzoeker creëerde een specifieke set van vijftig prompts die bedoeld waren om beperkte of schadelijke inhoud op te vragen, zoals instructies over geweld of gevaarlijke daden. In plaats van alleen woorden te gebruiken, werden deze prompts aangepast om emoji's toe te voegen. De aanpak omvatte twee hoofdstrategieën: één waarbij emoji's direct in de zinnen werden gemengd om de tekst te verstoren, en een andere waarbij een reeks emoji's werd gebruikt om de schadelijke intentie impliciet te suggereren zonder deze duidelijk te benoemen.

De resultaten van dit experiment lieten zien dat de modellen niet allemaal op dezelfde manier reageerden. Wanneer zij werden geconfronteerd met deze met emoji's verrijkte verzoeken, vertoonden de modellen een breed scala aan gedragingen. Een van de geteste modellen, Qwen 2 7B, bleek volledig resistent en weigerde elke vorm van schadelijke inhoud te genereren, ongeacht de gebruikte emoji's. Een ander model, Llama 3 8B, slaagde er in een klein aantal gevallen niet in om de schadelijke verzoeken te blokkeren. Twee andere modellen, Gemma 2 9B en Mistral 7B, waren minder robuust en lieten de schadelijke inhoud in tien procent van de pogingen toe. Deze variatie suggereert dat het vermogen van een model om veilig te blijven geen vaste eigenschap is, maar sterk afhangt van hoe de input wordt gepresenteerd. De studie vond ook dat zelfs wanneer modellen geen schadelijke inhoud genereerden, ze vaak op een ambigue of slechts gedeeltelijk behulpzame manier reageerden, wat erop wijst dat de emoji's voor verwarring zorgden in plaats van voor een duidelijke weigering.

De onderzoeker analyseerde deze uitkomsten met statistische methoden om te bevestigen dat de verschillen tussen de modellen niet louter op toeval berustten. De gegevens toonden een duidelijk patroon: de manier waarop een model met veiligheid omgaat, hangt af van het formaat van de vraag. Wanneer de input emoji's bevatte, gedroegen de modellen zich anders dan bij standaardtekst. Sommige modellen interpreteerden de emoji-sequenties als onduidelijke of onvolledige verzoeken in plaats van gevaarlijke verzoeken, terwijl anderen erin slaagden de veiligheidsregels volledig te negeren. Dit suggereert dat de huidige methoden die worden gebruikt om AI-veiligheid te testen, die bijna uitsluitend vertrouwen op tekstgebaseerde vragen, mogelijk niet het volledige bereik van manieren vatten waarop deze systemen kunnen worden misleid. Als veiligheidsevaluaties geen rekening houden met hoe emoji's en andere niet-tekstuele symbolen de betekenis van een verzoek veranderen, kunnen ze een vals gevoel van veiligheid geven over hoe goed deze modellen beschermd zijn.

Uiteindelijk benadrukt dit werk een specifieke kwetsbaarheid in hoe we kunstmatige intelligentie testen. De studie beweert niet dat emoji's een magische sleutel zijn die alle AI-veiligheid breekt, noch suggereert het dat deze modellen fundamenteel defect zijn. In plaats daarvan wijst het erop dat veiligheid gevoelig is voor de vorm van de input. Net zoals een slot perfect kan werken voor een standaard sleutel, maar kan falen voor een iets andere vorm, lijken deze modellen blinde vlekken te hebben wanneer de input symbolen bevat die betekenis dragen maar er anders uitzien dan woorden. De bevindingen dienen als een herinnering dat naarmate menselijke communicatie zich blijft ontwikkelen met nieuwe symbolen en formaten, de methoden die we gebruiken om AI-veiligheid te waarborgen, mee moeten evolueren om effectief te blijven.