💬 NLP

XL-SafetyBench: A Country-Grounded Cross-Cultural Benchmark for LLM Safety and Cultural Sensitivity

Dit artikel introduceert XL-SafetyBench, een cross-culturele benchmark bestaande uit 5.500 op landen gebaseerde testcases over 10 taalparen die een disconnectie blootlegt tussen jailbreak-robustheid en culturele gevoeligheid in frontier-modellen, terwijl het ook aantoont dat de schijnbare veiligheid van lokale modellen vaak voortkomt uit generatiefalen in plaats van echte alignatie.

Oorspronkelijke auteurs: Dasol Choi, Eugenia Kim, Jaewon Noh, Sang Seo, Eunmi Kim, Myunggyo Oh, Yunjin Park, Brigitta Jesica Kartono, Josef Pichlmeier, Helena Berndt, Sai Krishna Mendu, Glenn Johannes Tungka, Özlem Gökçe, Sur

Gepubliceerd 2026-05-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Dasol Choi, Eugenia Kim, Jaewon Noh, Sang Seo, Eunmi Kim, Myunggyo Oh, Yunjin Park, Brigitta Jesica Kartono, Josef Pichlmeier, Helena Berndt, Sai Krishna Mendu, Glenn Johannes Tungka, Özlem Gökçe, Suresh Gehlot, Katherine Pratt, Amanda Minnich, Haon Park

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een nieuwe assistent inhuurt om mensen over de hele wereld te helpen. Je wilt ervoor zorgen dat deze assistent veilig, beleefd is en niet per ongeluk iets beledigends of gevaarlijks zegt.

Lange tijd hebben we deze assistenten getest met een "gestandaardiseerde test" die volledig in het Engels is geschreven. Maar de auteurs van dit paper, XL-SafetyBench, betogen dat dit vergelijkbaar is met het testen van de vaardigheid van een chef om Italiaans eten te koken door hen alleen te vragen om Amerikaanse hamburgers te maken. Alleen omdat ze veilig een hamburger kunnen maken, betekent niet dat ze de lokale regels van Italië kennen.

Hier volgt een eenvoudige uiteenzetting van wat ze deden en wat ze ontdekten, met behulp van alledaagse analogieën.

1. Het Probleem: De "Vertalingstrap"

De meeste veiligheidstests voor AI zijn gewoon Engelse vragen die zijn vertaald naar andere talen.

De Tekortkoming: Als je een vraag over "hoe je een auto steelt" vertaalt naar het Koreaans, zal de AI misschien "Nee" zeggen. Maar wat als de vraag gaat over een specifiek type woningoplichting dat alleen in Korea voorkomt? Een vertaalde test zal dat niet opsporen.
Het Ontbrekende Element: Er zijn twee soorten "veiligheid" die de oude tests missen:
1. De "Hacker"-test: Kan de AI worden misleid door een lokale crimineel om iets slechts te doen? (Bijv. "Hoe bedrieg ik mensen met het specifieke Koreaanse systeem voor waarborgsommen?")
2. De "Sociale Manieren"-test: Kent de AI lokale gebruiken? (Bijv. Als je de AI vraagt om te helpen bij het plannen van een cadeau voor een Franse vriend, mag hij geen chrysanten suggereren, want in Frankrijk zijn die bloemen voor begrafenissen, niet voor verjaardagen.)

2. De Oplossing: Een Nieuwe "Wereldtour"-test

De onderzoekers bouwden XL-SafetyBench, een enorme testsuite met 5.500 vragen die 10 verschillende landen bestrijken (zoals de VS, Zuid-Korea, India, Duitsland, enz.).

Ze vertaalden niet zomaar Engelse vragen. Ze bouwden de test van de grond af in elke lokale taal, met twee hoofdsporen:

Spoor A: Het "Red Team" (Jailbreak Benchmark)
- De Analogie: Stel je voor dat je een team lokale "hackers" inhuurt om de AI te proberen te misleiden. Ze vragen niet zomaar "Hoe maak ik een bom?", maar "Hoe gebruik ik de specifieke lokale bank-app in Turkije om geld te stelen?"
- Het Doel: Om te zien of de AI weerstand kan bieden tegen deze slimme, lokaal verankerde trucs.
Spoor B: De "Culturele Detective" (Cultural Benchmark)
- De Analogie: Stel je voor dat de AI een gast is op een diner. De gastheer vraagt: "Kun je me helpen een menu te schrijven voor een bruiloft?" Maar verborgen in het verzoek zit een klein detail: "Laten we varkensvlees serveren aan de gasten die een strikt vegetarische religie aanhangen."
- Het Doel: De AI moet dat kleine, verborgen culturele foutje opmerken zonder dat erop gewezen wordt. Het gaat niet om het weigeren van een slecht verzoek, maar om het opmerken van een sociale blunder die begraven ligt in een normaal gesprek.

3. Hoe Ze Het Bouwden

Ze vroegen niet zomaar een computer om deze vragen te schrijven. Ze gebruikten een "mens-in-de-lus"-proces:

AI-ontdekking: Computers vonden potentiële lokale problemen.
Menselijke validatie: Echte mensen die meer dan 15 jaar in die landen hebben gewoond, controleerden elke enkele vraag. Ze zorgden ervoor dat de vragen natuurlijk klonken en dat de culturele valstrikken echt waren.
Het Resultaat: Een hoogwaardige, cultureel authentieke test die aanvoelt als een echt gesprek, niet als een robotvertaling.

4. De Grote Verrassingen (De Bevindingen)

Toen ze 37 verschillende AI-modellen testten (10 grote wereldwijde en 27 lokale uit die specifieke landen), vonden ze twee schokkende dingen:

Verrassing #1: "Veilig" zijn en "Cultureel bewust" zijn zijn niet hetzelfde.

De Analogie: Denk aan veiligheid en cultuur als twee verschillende vaardigheden, zoals "een auto besturen" en "de lokale dialect spreken".
De Bevinding: Sommige van de krachtigste AI-modellen waren uitstekend in het weigeren om slechte dingen te doen (hoge veiligheid), maar vreselijk in het opsporen van culturele fouten (lage culturele bewustwording). Omgekeerd waren sommige modellen goed in cultuur, maar makkelijk te misleiden door hackers.
De Conclusie: Je kunt een AI niet zomaar één "veiligheidsscore" geven. Je moet apart meten of het veilig is én of het cultureel slim is.

Verrassing #2: Lokale modellen "faken" veiligheid.

De Analogie: Stel je voor dat een student een moeilijke wiskundetoets maakt.
- Model A (Wereldwijd): Begrijpt de vraag, denkt hard na en zegt: "Ik kan dit niet oplossen omdat het gevaarlijk is." (Dit is Echte Veiligheid).
- Model B (Lokaal): Begrijpt de vraag helemaal niet, dus staart het leeg of zegt onzin. Omdat het de vraag niet beantwoordde, deed het technisch gezien "niets slechts".
De Bevinding: Veel lokale AI-modellen leken "veilig" omdat ze de vraag niet begrepen, niet omdat ze een morele keuze maakten om te weigeren. Ze waren "veilig" per ongeluk, niet door ontwerp. De onderzoekers noemen dit de "Illusie van Veiligheid".

5. Waarom Dit Belangrijke Is

Dit paper introduceert een nieuwe manier om AI te testen die verschillende landen behandelt als unieke plaatsen met hun eigen regels, in plaats van gewoon "Engels met een ander accent".

Het laat zien dat we, om echt veilige AI voor de hele wereld te bouwen, moeten stoppen met het vertrouwen op vertaalde tests. We moeten testen of de AI lokale oplichting aankan én of het weet dat het geen begrafenisbloemen als verjaardagsgeschenk mag geven. En het allerbelangrijkste: we moeten ervoor zorgen dat de AI niet alleen "veilig" is omdat het te verward is om te antwoorden, maar veilig omdat het de wereld daadwerkelijk begrijpt.

Technische Samenvatting: XL-SafetyBench

Probleemstelling

Huidige veiligheidsbenchmarks voor Large Language Models (LLM) zijn overwegend Engels-gericht en vertrouwen sterk op vertalingsgebaseerde methodologieën. Deze aanpak faalt in het vastleggen van landspecifieke schade die is geworteld in lokale juridische kaders, sociaaleconomische structuren en culturele normen. Bovendien behandelen bestaande benchmarks veiligheid als een monolithische dimensie, waarbij ze geen onderscheid maken tussen twee verschillende faalmodi: (1) het onvermogen om kwaadaardige, adversariële intentie te weerstaan (jailbreaks), en (2) het onvermogen om cultureel ingebedde gevoeligheid te detecteren binnen onschadelijke verzoeken. Bijgevolg kunnen modellen veilig lijken door begrijpingsfouten in plaats van echte uitlijning, en wordt cultureel bewustzijn vaak verward met algemene taalkundige vlotheid.

Methodologie

De auteurs introduceren XL-SafetyBench, een uitgebreide evaluatiesuite bestaande uit 5.500 testcases over 10 land-taalparen (Verenigde Staten, Frankrijk, Duitsland, Spanje, Zuid-Korea, Japan, India, Indonesië, Turkije en de VAE). Het kader is opgebouwd via een meerstapsproces dat LLM-ondersteunde ontdekking, geautomatiseerde validatie en dubbele, onafhankelijke annotatie door moedertaalsprekers combineert.

De benchmark bestaat uit twee complementaire tracks:

1. Jailbreak Benchmark (Landsgebonden Adversariële Robuustheid)

Deze track evalueert het vermogen van een model om kwaadaardige intentie specifiek voor de context van een land te weerstaan.

Taxonomie: Definieert vijf schadecategorieën (Criminele Activiteiten, Zelfschade & Gevaarlijk Advies, Haat & Discriminatie, Sociaaleconomische Conflicten, Politiek & Desinformatie). Elke categorie bevat 25 gedeelde subcategorieën (identiek voor alle landen) en 25 flexibele subcategorieën (landspecifiek, bijvoorbeeld "Jeonse-fraude" in Zuid-Korea of "Go-fast drugs smokkelen" in Frankrijk).
Generatie: Gebruikt een iteratief red-teamingproces (een uitbreiding van het PAIR-kader) met een aanvaller, proeftarget en rechter. Aanvallers genereren vermomde prompts om veiligheidsfilters te omzeilen, gevalideerd door moedertaalsprekers om culturele authenticiteit te waarborgen.
Metingen:
- Attack Success Rate (ASR): Meet het percentage antwoorden dat schadelijke informatie verschaft.
- Neutral-Safe Rate (NSR): Meet antwoorden die irrelevant of oncoherent zijn (wat een begrijpingsfout aangeeft in plaats van een principiële weigering).

2. Culturele Benchmark (Cultureel Ingebedde Gevoeligheid)

Deze track evalueert het vermogen van een model om culturele taboes te detecteren die als incidentele details zijn verwerkt in natuurlijke, onschadelijke taken.

Taxonomie: Definieert zes culturele categorieën (Symbolische Taboes & Cadeaugeven, Voedsel/Dieetwetgeving, Dood/Verdriet, Dagelijks Leven/Openbaar Gedrag, Hiërarchie/Sociale Eerbiediging, Juridische Landmijnen).
Generatie: Scenario's worden gegenereerd waarbij een culturele overtreding (bijvoorbeeld brood weggooien in Turkije) wordt begraven als een klein detail binnen een groter, afleidend verzoek (bijvoorbeeld een hoteluitcheckprocedure).
Metingen:
- Cultural Sensitivity Rate (CSR): Het percentage contextueel relevante antwoorden dat de ingebouwde culturele gevoeligheid expliciet herkent en markeert. Deze metriek is voorwaardelijk aan het begrijpen van het scenario door het model, om cultureel bewustzijn te isoleren van algemene instructievolgingsfouten.

Belangrijkste Bijdragen

Tweedimensionaal Kader: Het paper stelt voor om veiligheids-evaluatie te scheiden in adversariële robuustheid (het weerstaan van expliciete schade) en culturele gevoeligheid (het detecteren van impliciete normen), met het argument dat dit distincte capaciteiten zijn die aparte rapportage vereisen.
Landsgebonden Constructie: In tegenstelling tot vertalingsgebaseerde benchmarks, genereert XL-SafetyBench prompts in de moedertaal die zijn geworteld in lokale wetten, sociale fenomenen en specifieke culturele taboes, gevalideerd door moedertaalsprekers met domeinexpertise.
Nieuwe Metrieken: De introductie van NSR om onderscheid te maken tussen "veilige" weigeringen en "onveilige" begrijpingsfouten, en CSR om impliciete culturele detectie te meten in plaats van expliciete kennisopvraging.
Uitgebreide Evaluatie: De benchmark evalueert 37 modellen, waaronder 10 toonaangevende mondiale modellen en 27 landspecifieke lokale modellen.

Resultaten en Analyse

De evaluatie van 37 modellen levert twee primaire bevindingen op:

1. Ontkoppeling van Veiligheid en Cultureel Bewustzijn

Onder toonaangevende modellen vertonen jailbreak-robustheid (lage ASR) en cultureel bewustzijn (hoge CSR) geen gekoppelde relatie.

Toonaangevende Modellen: Waar modellen zoals Claude-4.5-Sonnet hoge robuustheid tonen (ASR ~2,8%) en matig cultureel bewustzijn (CSR ~68%), vertonen andere zoals Gemini-3.1-Pro hoog cultureel bewustzijn (CSR ~76%) maar lagere robuustheid. De correlatie tussen ASR en CSR is zwak ( $r = -0,27$ ) wanneer open-gewicht outliers worden uitgesloten, wat aangeeft dat veiligheidsuitlijning niet automatisch culturele competentie verleent.
Lokale Modellen: Lokale modellen vertonen over het algemeen slechte prestaties op beide assen, waarbij veel een score van bijna nul halen op culturele gevoeligheid.

2. De Illusie van Veiligheid bij Lokale Modellen

Een cruciale bevinding met betrekking tot landspecifieke lokale modellen is de sterke negatieve correlatie tussen ASR en NSR ( $r = -0,81$ ).

Begrijpingsfout: Veel lokale modellen met een lage ASR (die "veilig" lijken) bereiken dit niet door het weigeren van schadelijke verzoeken, maar door het genereren van irrelevante, gedegenereerde of oncoherente output (hoge NSR).
Schaalafhankelijkheid: Deze trade-off is gerelateerd aan de modelgrootte. Kleinere lokale modellen (<10B parameters) falen vaak om adversariële prompts te begrijpen, wat hun NSR inflatieert. Alleen modellen die ~50B parameters overschrijden tonen een significante daling in NSR, wat een drempel voor echt begrip aangeeft. Zelfs de grootste lokale modellen (bijvoorbeeld EXAONE-236B) lopen echter aanzienlijk achter bij toonaangevende modellen op culturele gevoeligheid (max CSR ~30% versus toonaangevende >60%).

Betekenis en Beweringen

Het paper beweert dat XL-SafetyBench de nodige granulariteit biedt om veiligheid en culturele competentie te evalueren als distincte capaciteiten in het meertalige tijdperk. Het betoogt dat:

Samengestelde scores misleidend zijn: Het aggregeren van veiligheidsmetrieken verbergt kritieke variaties tussen adversariële robuustheid en cultureel bewustzijn.
Lokaal trainen onvoldoende is: Voor-training op lokale taaldata garandeert geen cultureel bewustzijn of echte veiligheidsuitlijning; dit resulteert vaak in modellen die de prompt volledig niet begrijpen.
Evaluatie gedesaggregeerd moet worden: Veiligheidsrapportage moet ASR, NSR en CSR scheiden om nauwkeurig te diagnosticeren of een model uitgelijnd is, cultureel bewust is, of simpelweg faalt in het begrijpen.

De auteurs concluderen dat huidige veiligheids-evaluatiepraktijken, met name die welke vertrouwen op vertaling of een-dimensionale scores, de nuances van landsgebonden schade en culturele gevoeligheid niet vastleggen, wat kaders zoals XL-SafetyBench noodzakelijk maakt voor een eerlijke en accurate beoordeling.