Technische Samenvatting: TukaBench

Probleemstelling

De veiligheidsevaluatie voor Large Language Models (LLM's) blijft sterk Engels-gecentreerd, waardoor talen met lage middelen (Low-Resource Languages, LRL's), met name Afrikaanse talen, kritiek onderbelicht blijven. Terwijl bestaande jailbreak-benchmarks (bijv. JailbreakBench) en veiligheidsevaluaties talen met veel middelen dekken, houden zij geen rekening met de linguïstische en culturele nuances van LRL's. Eerder werk heeft aangetoond dat het vertalen van onveilige prompts naar talen met lage middelen de veiligheidsmaatregelen kan omzeilen, maar er is een gebrek aan door mensen gecureerde benchmarks specifiek voor Afrikaanse talen om systematisch te bestuderen hoe taal, culturele verankering en de evasiviteit van prompts de modelveiligheid beïnvloeden. Bovendien leunen huidige evaluatiemethoden vaak op "LLM-as-a-judge"-frameworks, die kunnen lijden onder verminderde betrouwbaarheid in settings met lage middelen en er niet in slagen om een onderscheid te maken tussen echte veiligheidsweigeringen en falende modelbegrip.

Methodologie

De auteurs introduceren TukaBench, een jailbreak-benchmark ontworpen voor zeven Afrikaanse talen: Amhaars, Hausa, Igbo, Chichewa, Kiswahili, Yorùbá en isiXhosa. De benchmark breidt JailbreakBench (JBB) uit via vier complementaire instellingen om de effecten van taal, cultuur en code-switching te isoleren:

1. Afri-JBB-Harm/Benign: Directe menselijke vertalingen van JBB schadelijke en onschadelijke prompts naar de doeltalen, waarbij de oorspronkelijke Westerse contexten en benoemde entiteiten behouden blijven.
2. Afri-JBB-Culture: JBB schadelijke prompts aangepast aan Afrikaanse contexten (het introduceren van cultureel relevante benoemde entiteiten en referenties) vóór de menselijke vertaling.
3. AfriJail-Mono: 343 cultureel verankerde adversariële prompts, oorspronkelijk in het Engels geschreven door dataverzamelaars in Nigeria via interactie met GPT-5.2, die lokale governance, regionale conflicten en specifieke sociale schade dekken. Deze werden vervolgens vertaald en cultureel gelokaliseerd.
4. AfriJail-CS: Code-switched versies van AfriJail-Mono, waarbij Afrikaanse talen binnen enkele uitingen worden gemengd met Engels, om veelvoorkomende meertalige spraakpatronen te reflecteren.

Constructie-pipeline:
Alle prompts ondergingen een driefasige pipeline: machinevertaling (met behulp van Google Translate of AfriqueQwen-8B voor Yorùbá), automatische kwaliteitsinschatting (met behulp van SSA-COMET-QE) en menselijke post-editing door moedertaalsprekers. Post-editors corrigeerden fouten en voerden waar nodig culturele lokalisatie uit.

Evaluatieprotocol:

• Modellen: Dertien LLM's werden geëvalueerd, waaronder closed-source modellen (GPT-3.5, 4o, 5.2, Grok-3/4/4.3, Gemini-2.5/3.1) en open-weight modellen (Gemma, Llama, DeepSeek, Qwen, GPT-OSS).
• Attack Strategies: Modellen werden getest onder Direct Prompting en Boundary Point Jailbreaking (BPJ), een black-box aanval die karakterniveau-ruis toevoegt om niet-weigerende reacties uit te lokken.
• Labelingschema: Een drievoudig evaluatieschema werd geïntroduceerd:
  • Jailbroken: Het model vervult de schadelijke intentie.
  • Refused: Het model weigert expliciet.
  • Deflected: Het model reageert off-target of faalt in het begrijpen van de prompt (noch een weigering, noch een schadelijke voltooiing).
• Validatie: Om de betrouwbaarheid van LLM-as-a-judge in LRL's aan te pakken, werd een subset van 1.500 modelreacties gevalideerd door menselijke annotatoren die moedertaalspreker zijn.

Belangrijkste Resultaten

1. Impact van Taal en Culturele Verankering:

• Deflection vs. Attack Success: De overstap van Engels naar Afrikaanse talen verhoogt de Attack Success Rate (ASR) niet consistent. In plaats daarvan verhoogt het de Deflection Rate aanzienlijk. Modellen falen vaak in het begrijpen van prompts, waarbij ze off-target reageren in plaats van te weigeren of te voldoen.
• Culturele Verankering: Cultureel aangepaste prompts (Afri-JBB-Culture en AfriJail-Mono) resulteerden in hogere percentages zowel Jailbroken als Deflected reacties vergeleken met directe vertalingen. Dit suggereert dat benchmarks die enkel op vertaling gebaseerd zijn, de implementatierisico's systematisch onderschatten, aangezien cultureel verankerde prompts beter aansluiten bij de werkelijke context en de kwetsbaarheden van modellen exploiteren.
• Resources en Script-effecten: Talen met meer middelen (bijv. Swahili) vertoonden over het algemeen lagere foutpercentages (zowel Jailbroken als Deflected). Amhaars (geschreven in het niet-Latijnse Ge'ez-schrift) vertoonde echter aanzienlijk hogere deflection rates dan andere talen met een vergelijkbaar niveau van middelen, wat suggereert dat tokenisatie-inefficiënties ("token tax") het begrip aantasten.

2. Aanvalsstrategieën:

• BPJ: Boundary Point Jailbreaking verhoogde de ASR, maar elimineerde deflection niet, wat aangeeft dat hoewel ruis filters kan omzeilen, begrip een bottleneck blijft.
• Code-Switching: Code-switched prompts (AfriJail-CS) verminderden de deflection rates vergeleken met monolinguale Afrikaanse prompts, wat suggereert dat Engelse fragmenten modellen helpen de aanvraag te begrijpen. Dit leidde echter niet uniform tot een hogere ASR; verbeterd begrip leidde soms tot weigering in plaats van naleving, afhankelijk van het onderliggende veiligheidsgedrag van het model.

3. Betrouwbaarheid van Evaluatie:

• Judge-Human Agreement: De betrouwbaarheid van LLM-as-a-judge nam af voor talen met minder middelen en niet-Latijnse scripts. De overeenstemming was het hoogst voor Swahili (~80%) en het laagst voor Amhaars en talen met minder middelen met een Latijns schrift zoals Yorùbá en Igbo (<60%).
• Begripsfalen: De introductie van de Deflection categorie onthulde dat veel reacties die voorheen als "veilig" of "geweigerd" werden geclassificeerd, eigenlijk begripsfalen waren. Wanneer Deflection en Jailbroken rates gezamenlijk worden beschouwd, komt er een duidelijker resource-gebaseerd patroon naar voren: talen met minder middelen vertonen hogere gecombineerde foutpercentages.

Betekenis en Claims

Het artikel beweert dat TukaBench de eerste door mensen gecureerde jailbreak-benchmark voor Afrikaanse talen biedt, die verder gaat dan directe vertaling door culturele adaptatie en code-switching te includeren. De primaire bijdragen zijn:

1. Onthullen van Begripsbottlenecks: De studie toont aan dat veiligheidsevaluatie in LRL's niet alleen wordt beperkt door model alignment, maar ook door fundamentele begripsproblemen. Hoge deflection rates wijzen erop dat modellen prompts vaak niet begrijpen, waardoor standaard ASR-metrieken ontoereikend zijn.
2. Culturele Verankering als Kwetsbaarheid: De resultaten tonen aan dat cultureel verankerde prompts hogere foutpercentages oproepen dan directe vertalingen, wat suggereert dat veiligheidsevaluaties rekening moeten houden met de lokale context en benoemde entiteiten om accuraat te zijn.
3. Methodologische Verbetering: Door de introductie van de Deflection categorie en het valideren van LLM-as-a-judge outputs met menselijke annotaties, benadrukt het papier de beperkingen van de huidige geautomatiseerde evaluatie in settings met lage middelen en stelt het een genuanceerder framework voor om veiligheid te beoordelen.

De auteurs concluderen dat hoewel nieuwere modelgeneraties verbeteringen laten zien, er aanzienlijke tekortkomingen blijven bestaan in begrip en veiligheid voor Afrikaanse talen, met name voor niet-Latijnse scripts en talen met minder middelen. Ze benadrukken dat veiligheidsbeoordeling in deze regio's vereist dat men verder kijkt dan eenvoudige vertaling naar cultureel verankerde evaluatie.