💬 NLP

Multilingual jailbreaking of LLMs using low-resource languages

Deze studie toont aan dat, terwijl enkelvoudige vertalingen van schadelijke prompts naar taalkundig minder vertegenwoordigde Afrikaanse talen de veiligheidsmechanismen van grote taalmodellen niet omzeilen, meervoudige gesprekken de succeskans van jailbreaks aanzienlijk verhogen, waarbij menselijke red-teaming en vertaalkwaliteit als kritieke factoren worden geïdentificeerd bij het exploiteren van deze kwetsbaarheden.

Oorspronkelijke auteurs: Dylan Marx, Marcel Dunaiski

Gepubliceerd 2026-05-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Dylan Marx, Marcel Dunaiski

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je Large Language Models (LLM's) zoals ChatGPT of Claude voor als zeer beleefde, hoogopgeleide beveiligingsagenten bij een chique club. Hun taak is om het feest veilig te houden door te weigeren dat iemand gevaarlijke spullen (schadelijke inhoud, oplichting of cyberaanvallen) binnenbrengt. Al lang proberen kwaadwillenden deze agenten te bedriegen met "jailbreak"-technieken – in wezen het vinden van gaten in de regels om het slechte spul binnen te smokkelen.

Dit artikel is als een beveiligingsaudit die vraagt: "Wat gebeurt er als de kwaadwillenden stoppen met Engels te spreken en beginnen met het spreken van Afrikaanse talen die de agenten niet goed kennen?"

Hier is de uitleg van hun bevindingen met eenvoudige analogieën:

1. De "Eén Woord"-Truc Werkt Niet Meer

In het verleden probeerden aanvallers een simpele truc: een slechte aanvraag in het Engels vertalen naar een taal met weinig bronnen (zoals isiXhosa of Afrikaans) en deze naar de agent sturen.

Het Resultaat: Het werkte niet meer. De beveiligingsagenten (de AI-modellen) zijn slim genoeg om te beseffen: "Hé, dit klinkt als een slechte aanvraag, zelfs als het in een taal is waar ik niet vloeiend in ben."
De Analogie: Het is alsof je probeert een mes de club binnen te smokkelen door het te verpakken in een ander taal-etiket. De agent ziet nog steeds de vorm van het mes en stopt je.

2. De "Lange Conversatie"-Truc Werkt Nog Steeds

De onderzoekers ontdekten dat terwijl de "één woord"-truc faalde, een complexere strategie zeer goed werkte. In plaats van direct om het slechte ding te vragen, begint de aanvaller een lange, vriendelijke conversatie. Ze bouwen vertrouwen op, stellen onschadelijke vragen en sturen de conversatie langzaam, over vele beurten heen, naar het slechte doel.

Het Resultaat: Deze "multi-turn"-aanpak was zeer succesvol. In het Engels omzeilde het de agenten ongeveer 53% tot 84% van de tijd, afhankelijk van welk AI-model werd getest.
De Analogie: In plaats van te proberen met een wapen door de voordeur te lopen, gaat de aanvaller aan de bar zitten, trakteert de agent op een drankje, vertelt een lang verhaal en overtuigt de agent langzaam om de achterdeur te openen. De agent raakt afgeleid door het gesprek en vergeet het wapen te controleren.

3. Het Probleem met de "Slechte Vertaler"

De onderzoekers testten vier Afrikaanse talen: Afrikaans, Kiswahili, isiXhosa en isiZulu. Ze ontdekten een verrassend patroon:

Afrikaans & Kiswahili: Deze talen hadden hogere succespercentages voor de aanvallers.
isiXhosa & isiZulu: Deze talen hadden veel lagere succespercentages.

Waarom? Het was niet omdat de AI-agenten beter waren in het beschermen van isiXhosa of isiZulu. Het was omdat het Google Translate-hulpmiddel dat werd gebruikt om de aanvallen te creëren, een slechte job deed bij het vertalen van het complexe gesprek naar die specifieke talen.

De Analogie: Stel je voor dat de aanvaller probeert een geheim plan via een vertaler fluisterend aan de agent door te geven.
- Voor Afrikaans fluisterde de vertaler het plan duidelijk. De agent hoorde het en raakte in de war.
- Voor isiXhosa mompelde en verdraaide de vertaler de woorden. De agent dacht: "Ik begrijp niet wat je zegt," en negeerde gewoon de aanvraag. De aanval faalde niet omdat de agent sterker was, maar omdat het bericht te rommelig was om te begrijpen.

4. Mensen versus Robots (De "Red Teaming"-Test)

Om hun theorie over de "slechte vertaler" te bewijzen, haalden de onderzoekers echte moedertaalsprekers van deze talen erbij. Deze mensen namen de rommelige, door machines vertaalde gesprekken en repareerden ze, waardoor ze natuurlijk en duidelijk klonken.

Het Resultaat: Toen mensen de taal repareerden, schoot het succespercentage van de aanvallen omhoog.
- Voor isiZulu steeg het succespercentage met meer dan 300% toen mensen de vertaling repareerden.
- Voor isiXhosa steeg het met ongeveer 12%.
De Conclusie: De AI-modellen zijn niet daadwerkelijk veiliger voor deze talen; ze faalden gewoon om de "gebroken" vertalingen te begrijpen. Zodra de taal werd gerepareerd, waren de modellen net zo kwetsbaar als in het Engels.

5. Welke Agenten Waren Het Zwakst?

De studie testte verschillende AI-modellen (zoals GPT-4o, Claude, DeepSeek, enz.).

De Sterkste Agent: Claude 3.5 Haiku was het moeilijkst te bedriegen, zelfs met lange conversaties.
De Zwakste Agenten: DeepSeek en GPT-4o-mini waren het makkelijkst te bedriegen, waarbij schadelijke inhoud in sommige talen meer dan 70% van de tijd doorgelaten werd.

Samenvatting

Het artikel concludeert dat vertalkwaliteit de sleutel is.
Als je een moderne AI probeert aan te vallen door gewoon een slechte prompt te vertalen naar een taal met weinig bronnen, zal het waarschijnlijk niet meer werken. Als je echter een moedertaalspreker hebt die een lange, natuurlijke, meerstaps conversatie in die taal kan opzetten, kunnen de veiligheidsfilters van de AI nog steeds worden omzeild. De modellen zijn niet van nature veiliger voor deze talen; ze worstelen gewoon met het begrijpen van de "gebroken" versies ervan die machines produceren.

Technische Samenvatting: Meertalige Jailbreaking van LLM's met Lage-Resource Talen

Probleemstelling
Grote Taalmodellen (LLM's) blijven kwetsbaar voor "jailbreaking"-pogingen die zijn ontworpen om veiligheidsbeveiligingen te omzeilen. Hoewel veiligheidsmechanismen zijn verbeterd tegen eenvoudige single-turn-aanvallen, blijven multi-turn conversational jailbreaks een effectieve vector. Er bestaat een kritieke kennislacune over hoe deze kwetsbaarheden zich manifesteren in lage-resource talen. De huidige veiligheidstraining richt zich voornamelijk op Engelstalige inhoud, waardoor modellen mogelijk blootgesteld blijven wanneer ze worden bevraagd in talen met beperkte trainingsdata. Dit paper onderzoekt of multi-turn-conversaties met lage-resource Afrikaanse talen (Afrikaans, Kiswahili, isiXhosa en isiZulu) veiligheidsmechanismen in commerciële LLM's kunnen omzeilen, met name door de rol van vertaalkwaliteit bij het slagen van de aanval te onderzoeken.

Methodologie
De studie hanteerde een tweefasige experimentele aanpak om vijf commerciële LLM's te evalueren: ChatGPT (GPT-4o-mini, GPT-4o), Claude (3.5 Haiku), DeepSeek (V3), Gemini (2.0 flash-lite, 2.0 flash) en Grok (3-mini).

Datasetconstructie: De onderzoekers gebruikten twee bestaande datasets: de MultiJail-dataset (314 schadelijke single-turn prompts) en de Multi-turn Human Jailbreak (MHJ)-dataset (537 succesvolle multi-turn-conversaties). Deze werden vertaald naar de vier doeltalen met Google Translate.
Kwaliteitsfiltering: Om semantische integriteit te waarborgen, paste het team strenge vertaalkwaliteitsthrsholds toe met drie metrieken: BERTScore, METEOR en BLEU. Prompts werden terugvertaald naar het Engels om afwijkingen van het origineel te meten. Alleen hoogwaardige vertalingen (die de taalspecifieke drempels overschreden) werden behouden, wat resulteerde in een gefilterde set van 47 prompts uit MultiJail en 55 uit MHJ.
Automatische Evaluatie: De gefilterde, door machines vertaalde prompts werden programmatisch naar de doelmodellen verzonden via officiële API's. Conversaties vonden plaats in geïsoleerde sessies om contextlekken te voorkomen.
Menselijke Red-Teaming: Om de impact van vertaalkwaliteit en conversatienuances te beoordelen, werden native sprekers die vloeiend Engels spraken gerekruteerd om de door machines vertaalde prompts te verfijnen. Deze vertalers engageerden zich in multi-turn-dialogen met de modellen, pasten hun strategieën aan op basis van modelreacties en behielden tegelijkertijd de oorspronkelijke schadelijke intentie.
Evaluatie: Alle modelreacties werden handmatig geannoteerd en gecategoriseerd in drie groepen: Veilig (weigeren of onschadelijk), Schadelijk (bevat onveilige inhoud) en Niet-gerelateerd/Ongeldig.

Belangrijkste Resultaten

Ondoeltreffendheid van Single-Turn-aanvallen: Single-turn vertaalaanvallen bleken voor alle modellen grotendeels ineffectief. De algehele jailbreak-rate was laag, waarbij alleen DeepSeek voor specifieke talen boven de 10% uitkwam (17,4% voor isiZulu, 13,0% voor Kiswahili). Dit staat in contrast met bevindingen uit 2023, wat suggereert dat recente beveiligingsupdates eenvoudige op vertaling gebaseerde omzeilingen hebben genutraliseerd.
Succes van Multi-Turn-aanvallen: Multi-turn-conversaties bereikten aanzienlijk hogere rates van schadelijke reacties. In Engelstalige baselines varieerden de rates van 52,7% (Claude 3.5 Haiku) tot 83,6% (GPT-4o-mini).
- Afrikaans: 60,0% (Claude) tot 78,2% (GPT-4o-mini).
- Kiswahili: 41,8% (Claude) tot 70,9% (DeepSeek).
- isiXhosa en isiZulu: Toonden lagere geautomatiseerde success rates (bijvoorbeeld 21,8% tot 58,2%, afhankelijk van het model), maar statistische analyse suggereerde dat dit niet het gevolg was van sterkere veiligheidsbeveiligingen.
De Rol van Vertaalkwaliteit: Er werd een sterke positieve correlatie gevonden tussen vertaalkwaliteitsmetrieken (vooral BLEU, $r=0,92$ ) en jailbreak-succes. De lagere success rates voor isiXhosa en isiZulu in geautomatiseerde tests werden toegeschreven aan slechte machinevertaling die de semantische betekenis verstoort, en niet aan inherent modelrobuustheid in die talen.
Superioriteit van Menselijke Red-Teaming: Menselijke vertalers presteerden aanzienlijk beter dan geautomatiseerde methoden. De gemiddelde jailbreak-rate steeg van 59,8% (geautomatiseerd) naar 75,8% (menselijk).
- Afrikaans: +20,0% verbetering.
- isiZulu: +12,65% verbetering.
- isiXhosa: +12,31% verbetering.
- Kiswahili: +1,0% verbetering (beperkt door één vertaler).
- Engels: +15,32% verbetering.

Belangrijkste Bijdragen

Empirisch Bewijs over Lage-Resource Talen: De studie levert kwantitatieve data die aantoont dat, hoewel single-turn vertaalaanvallen niet langer effectief zijn, multi-turn conversational jailbreaks een krachtige bedreiging blijven in lage-resource Afrikaanse talen.
Vertaalkwaliteit als Kritieke Factor: Het paper stelt vast dat de waargenomen "veiligheid" van modellen in talen zoals isiXhosa en isiZulu vaak een artefact is van slechte machinevertaalkwaliteit. Wanneer menselijke vertalers de prompts verfijnen om de semantische intentie te behouden, stijgen de jailbreak-succespercentages aanzienlijk, wat aangeeft dat de kwetsbaarheid in deze talen blijft bestaan.
Variatie in Modelkwetsbaarheid: Het onderzoek benadrukt aanzienlijke verschillen in modelrobuustheid. Claude 3.5 Haiku toonde de sterkste weerstand tegen meertalige multi-turn jailbreaks, terwijl DeepSeek-V3 en GPT-4o-mini de grootste kwetsbaarheid vertoonden.

Betekenis en Claims
De auteurs claimen dat kwetsbaarheden in LLM's voortduren in meertalige contexten, vooral wanneer aanvallen multi-turn-strategieën gebruiken die schadelijke intentie over een conversatieketen verdelen. Het paper stelt dat vertaalkwaliteit de bepalende factor is voor jailbreak-succes in lage-resource talen; slechte vertaling maskeert de ware kwetsbaarheid van het model. Bijgevolg suggereert de studie dat veiligheidsevaluaties die uitsluitend vertrouwen op geautomatiseerde machinevertaling, de risico's van lage-resource talen kunnen onderschatten. De bevindingen onderstrepen de noodzaak van veiligheidsbeveiligingen die niet alleen robuust zijn over talen heen, maar ook bestand tegen de nuances van menselijke conversatieve aanpassing in die talen.