JUBAKU: An Adversarial Benchmark for Exposing Culturally Grounded Stereotypes in Japanese LLMs

Probleemstelling

Bestaande evaluaties voor sociale vooroordelen in Large Language Models (LLMs) zijn overwegend gebaseerd op Engelstalige benchmarks (zoals CrowS-Pairs, BBQ, StereoSet). Wanneer deze benchmarks voor niet-Engelse contexten, zoals het Japans, worden gebruikt, gebeurt dit vaak via vertaling. Dit benadert de problematiek onvoldoende omdat sociale vooroordelen diep geworteld zijn in culturele normen die per regio sterk verschillen.

• Culturele mismatch: Westerse benchmarks missen Japans-specifieke stereotypen gerelateerd aan hiërarchische relaties, regionale dialecten, traditionele genderrollen en indirecte communicatiestijlen.
• Gebrek aan adversarialiteit: Bestaande Japans benchmarks zijn vaak niet ontworpen om latent (verborgen) vooroordeel op te wekken. Ze testen vaak of een model "veilig" reageert op expliciete vragen, maar falen in het detecteren van vooroordelen die alleen naar boven komen onder geavanceerde, tegenstrijdige (adversarial) prompts.
• Cirkelredenering: Het gebruik van LLMs om evaluatiegegevens te genereren kan leiden tot cirkelredenering en de eigen vooroordelen van het genererende model versterken in plaats van blootleggen.

Methodologie: De JUBAKU Benchmark

De auteurs introduceren JUBAKU (Japanese cUlture adversarial BiAs benchmarK Under handcrafted creation), een benchmark die specifiek is ontworpen voor de Japanse culturele context.

1. Definities en Categorieën
De benchmark is gebaseerd op tien culturele categorieën, afgeleid van een survey van Adilazuarda et al. (2024):

• Geslacht, Religie, Etniciteit, Onderwijs, Ras, Regio, Emoties & Waarden, Eten & Drinken, Basisacties en Namen.

2. Data Creatie Proces (Handgemaakt & Adversariaal)
In tegenstelling tot veel andere datasets, zijn de JUBAKU-voorbeelden handgemaakt door native Japanse annotatoren en vervolgens adversariaal verfijnd:

• Stap 1: Annotatoren schreven dialoogscenario's met twee mogelijke antwoorden: één met een cultureel vooroordeel (biased) en één neutraal (unbiased).
• Stap 2 (Adversariale Constructie): De auteurs gebruikten GPT-4o om te testen welke van de twee antwoorden het model zou kiezen.
• Iteratief Verfijnen: Als GPT-4o het neutrale antwoord koos, werd de context van de dialoog handmatig aangepast (geëdit) totdat GPT-4o het vooroordeel-bevattende antwoord koos.
• Doel: Het creëren van prompts die zo subtiel zijn dat zelfs een krachtig model als GPT-4o "struikelt" en het stereotype antwoord kiest. Dit garandeert dat de dataset effectief latent vooroordeel blootlegt.
• Dataset Statistieken: De dataset bevat 152 basisvoorbeelden, die zijn uitgebreid tot 1.216 instances door variaties in instructies en volgorde van antwoorden (om positionele bias te minimaliseren).

3. Evaluatie Opzet

• Modellen: Negen Japanse LLMs werden getest (o.a. Sarashina2, Qwen2.5, Swallow, calm3) met verschillende parametergroottes.
• Vergelijking: De prestaties op JUBAKU werden vergeleken met drie bestaande Japanse benchmarks: JBNLI, JBBQ en SSQA-JA.
• Methode: Het model moest kiezen tussen een biased en een unbiased antwoord. De nauwkeurigheid (accuracy) werd gemeten als het percentage keren dat het model het neutrale antwoord correct koos. Een lage nauwkeurigheid duidt op een hoge mate van vooroordeel.

Belangrijkste Resultaten

De resultaten tonen een scherp contrast tussen de prestaties op bestaande benchmarks en JUBAKU:

1. Falend op JUBAKU: Alle negen geteste Japanse LLMs scoorden onder de willekeurige baseline van 50% op JUBAKU. De gemiddelde nauwkeurigheid lag tussen de 13% en 33%. Dit betekent dat de modellen systematisch de vooroordeel-bevattende antwoorden kozen in plaats van de neutrale.
2. Goede prestaties op bestaande benchmarks: Dezelfde modellen presteerden aanzienlijk beter op de bestaande benchmarks (JBNLI, JBBQ, SSQA-JA), met nauwkeurigheden vaak tussen de 50% en 80%. Dit suggereert dat bestaande benchmarks de latent vooroordelen in Japanse LLMs niet effectief detecteren.
3. Menselijke Validatie: Menselijke annotatoren bereikten een nauwkeurigheid van 91% bij het identificeren van de neutrale antwoorden. Dit bevestigt dat de JUBAKU-voorbeelden duidelijk zijn en dat de lage scores van de LLMs echt wijzen op vooroordelen en niet op ambiguïteit in de dataset.
4. Categorie-specifieke bevindingen: Categorieën zoals "Religie" en "Ras" vereisten meer edits om GPT-4o te laten falen (wat suggereert dat de veiligheidsafstemming hier sterker is), terwijl categorieën als "Etniciteit" en "Regio" sneller tot fouten leidden.
5. Generalisatie: Adversariaal gegenereerde data, oorspronkelijk getuned op GPT-4o, bleek ook effectief om vooroordelen in andere, kleinere modellen bloot te leggen.

Bijdragen en Significantie

• Eerste Cultureel Gegrond Adversariaal Benchmark: JUBAKU is de eerste benchmark die specifiek is ontworpen om Japanse culturele normen en de daaruit voortvloeiende stereotypen te testen, zonder afhankelijk te zijn van vertalingen van Westerse datasets.
• Effectiviteit van Adversariale Constructie: Het paper demonstreert dat handgemaakte, iteratief verfijnde prompts (adversarial examples) veel effectiever zijn in het blootleggen van latent vooroordeel dan standaard evaluatiebenchmarks.
• Inzicht in Veiligheid vs. Realiteit: Het onderzoek toont aan dat modellen die in conventionele tests als "veilig" worden beschouwd, in feite kwetsbaar zijn voor cultureel specifieke vooroordelen wanneer ze onder druk worden gezet met realistische, cultureel ingebedde scenario's.
• Open Science: De dataset en code zijn openbaar gemaakt om verdere research naar culturele bias in LLMs te stimuleren.

Beperkingen en Toekomstig Werk

De auteurs erkennen dat de dataset niet alle mogelijke culturele vooroordelen dekt (bijv. leeftijd, beroep, seksuele geaardheid zijn niet expliciet opgenomen). Daarnaast is de evaluatie gericht op "veiligheid" (het vermijden van vooroordelen) en niet op de balans tussen veiligheid en "nut" (helpzame antwoorden). De dataset is ook beperkt tot de interpretaties van de annotatoren, hoewel er zorgvuldig is geprobeerd objectiviteit te waarborgen.

Conclusie: JUBAKU biedt een cruciaal nieuw perspectief op de evaluatie van LLMs in niet-Engelse contexten en onderstreept dat het simpelweg vertalen van Westerse benchmarks ontoereikend is voor het garanderen van veilige en eerlijke AI in cultureel diverse samenlevingen.