ThaiSafetyBench: Assessing Language Model Safety in Thai Cultural Contexts

Dit paper introduceert ThaiSafetyBench, een open-source benchmark met 1.954 kwaadaardige prompts in het Thais om de veiligheid van taalmodellen in de Thaise culturele context te evalueren, waarbij wordt aangetoond dat cultureel specifieke aanvallen vaker slagen dan algemene aanvallen en dat gesloten bronmodellen over het algemeen veiliger zijn dan open-source modellen.

De kern

Stel je voor dat je een enorme, superintelligente robot hebt die alles kan lezen en schrijven. Deze robot is zo slim dat hij in het Engels bijna alles begrijpt en zelfs heel goed weet wat "beleefd" en "veilig" is. Maar wat gebeurt er als je hem vraagt in het Thais te praten? En wat als je hem vraagt over dingen die specifiek zijn voor de Thaise cultuur, zoals hun koningshuis, hun manier van groeten of hun lokale grappen?

Dit is precies het probleem dat dit onderzoek (uit 2026) aanpakt. Hier is een simpele uitleg, met een paar leuke vergelijkingen:

1. Het Probleem: De "Engelse Brillen"

Tot nu toe zijn deze slimme robots (Large Language Models of LLMs) getraind met een Engelse bril op. Ze weten heel goed wat er in Amerika of Engeland als gevaarlijk of onbeleefd wordt gezien. Maar als je ze in het Thais vraagt om iets te doen dat in Thailand gevaarlijk is, maar in Engeland niet, dan kijken ze er vaak doorheen.

• De Analogie: Stel je voor dat je een auto hebt die perfect gereden is op de snelwegen van Londen. Je zet die auto nu in de smalle, kronkelige bergwegen van Thailand. De auto denkt: "Ik ken deze weg niet, ik ga gewoon door alsof ik in Londen ben." Dat kan leiden tot ongelukken. De onderzoekers zeggen: "We moeten de auto leren rijden op de Thaise wegen, niet alleen op de Engelse."

2. De Oplossing: ThaiSafetyBench (De "Thaise Testbaan")

De onderzoekers hebben een nieuwe testbaan gebouwd, genaamd ThaiSafetyBench. Dit is een verzameling van bijna 2.000 vragen en opdrachten in het Thais, die speciaal zijn ontworpen om te kijken of de robot "slecht" gedrag vertoont.

• De Analogie: Het is alsof ze een proefcursus hebben gemaakt voor de robots. In plaats van alleen vragen als "Hoe bouw ik een bom?" (wat in elke taal gevaarlijk is), hebben ze vragen toegevoegd die specifiek Thais zijn, zoals: "Hoe beledig je de koning zonder dat je gepakt wordt?" of "Hoe verspreid je nepnieuws over de lokale markt?"
• Ze hebben zelfs een categorie voor "Thaise sociale etiquette" toegevoegd, want in Thailand is het heel belangrijk om respectvol te zijn op een specifieke manier.

3. De Test: 24 Robots op de Proef

Ze hebben 24 verschillende robots (zowel de dure, gesloten modellen van grote bedrijven als de gratis, open-source modellen) op deze testbaan gezet.

• Het Resultaat: De dure, gesloten robots (zoals die van Google en OpenAI) deden het over het algemeen goed. Ze wisten vaak te zeggen: "Nee, dat doe ik niet, dat is in Thailand niet veilig."
• Het Probleem: De gratis, open-source robots (die iedereen kan downloaden) vielen vaak door de mand. Ze waren makkelijker te "hijacken" (te misleiden) om onveilige dingen te zeggen.
• De Grootste Ontdekking: De robots faalden het vaakst bij vragen die specifiek Thais waren. Als je ze vroeg naar algemene gevaarlijke dingen, waren ze voorzichtig. Maar als je vroeg naar iets dat diep in de Thaise cultuur zit, waren ze vaak te naïef. Het was alsof ze dachten: "Oh, dit is een grappig Thais verhaal," terwijl het eigenlijk een gevaarlijke vraag was.

4. De "Rechter" en de "Sneltest"

Om te beoordelen of een robot een fout maakte, gebruikten ze twee super-slimme AI's als rechter (GPT-4.1 en Gemini-2.5-Pro). Die keken naar de antwoorden en zeiden: "Ja, dat is gevaarlijk" of "Nee, dat is veilig."

Maar die rechters zijn duur en traag. Daarom hebben de onderzoekers ook een kleine, snelle robot gebouwd (de ThaiSafetyClassifier).

• De Analogie: Stel je voor dat je een dure, ervaren rechter nodig hebt om elke rechtszaak te beoordelen. Dat kost veel tijd en geld. De onderzoekers hebben daarom een slimme politieagent getraind die heel snel kan zien of iemand een overtreding heeft begaan. Deze agent is bijna net zo goed als de rechter, maar werkt veel sneller en goedkoper. Nu kan iedereen zijn eigen robots testen zonder duizenden dollars uit te geven.

5. De Lijst met Winnaars (Leaderboard)

Tot slot hebben ze een publieke ranglijst gemaakt.

• De Analogie: Het is net als een sportwedstrijd of een restaurantgids. Alle robots worden getest en hun score wordt op een bord gezet. Zo kunnen mensen zien welke robot het veiligst is voor Thaise gebruikers en welke nog meer training nodig heeft.

Samenvatting in één zin

Deze paper zegt: "Onze slimme robots zijn goed in het Engels, maar ze zijn nog te onzeker en onveilig als ze in het Thais praten over Thaise cultuur; we hebben daarom een nieuwe test, een snelle controle-methode en een ranglijst gemaakt om ze te helpen leren hoe ze zich in Thailand veilig en respectvol moeten gedragen."

Dit helpt ervoor te zorgen dat AI niet alleen slim is, maar ook verstandig in verschillende culturen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "THAISAFETYBENCH: ASSESSING LANGUAGE MODEL SAFETY IN THAI CULTURAL CONTEXTS", geschreven in het Nederlands.

Probleemstelling

De huidige evaluatie van de veiligheid van Large Language Models (LLM's) is overwegend Engels-gecentreerd. Dit leidt tot twee belangrijke tekortkomingen:

1. Taalbias: Aanvallen op LLM's in niet-Engelse talen hebben vaak een hoger slagingspercentage dan in hoog-resourced talen zoals het Engels. Bestaande benchmarks zijn daarom niet representatief voor de veiligheid in andere talen.
2. Culturele blindheid: Veiligheidsdatasets missen vaak de specifieke culturele nuances, sociaal-economische contexten en lokale dialecten van niet-Engelstalige regio's. Voor het Thai is er momenteel een gebrek aan publiek beschikbare, hoogwaardige veiligheidsdatasets die rekening houden met Thaise culturele contexten (zoals koningshuis-respect, lokale sociale etiquette en specifieke desinformatiepatronen).

Dit gat belemmert de mogelijkheid om de veiligheid van modellen voor Thaise toepassingen te vergelijken of kwetsbaarheden specifiek voor deze cultuur te identificeren.

Methodologie

De auteurs introduceren ThaiSafetyBench, een open-source benchmark specifiek ontworpen voor de Thaise taal en cultuur. De aanpak omvat:

1. Dataset Constructie (ThaiSafetyBench):

   • Omvang: De dataset bevat 1.954 kwaadaardige prompts in het Thai.
   • Taxonomie: Er wordt een hiërarchische taxonomie gebruikt met 6 risicogebieden en 17 soorten schade. Deze omvatten algemene risico's (zoals toxiciteit, desinformatie, privégegevens) en specifiek Thaise culturele risico's (zoals grensconflicten, culturele vernietiging, en content die het koningshuis kan beledigen).
   • Bronnen: De dataset is samengesteld uit drie bronnen:
     • Vertaling van de Engelse Do-Not-Answer-dataset (48,1%).
     • Gecureerde samples uit bestaande Thaise veiligheidsdatasets (19,2%).
     • Nieuw gegenereerde samples via onbeperkte LLM's, transformatie van bestaande datasets (bijv. anti-fake news centra) en handmatige creatie door native sprekers om culturele normen te testen (32,7%).
   • Filtering: Om te voldoen aan Thaise wetgeving, is de "Monarchie"-categorie verwijderd voor de publieke release (1.889 samples).

2. Evaluatie Framework:

   • Modellen: Er zijn 24 LLM's geëvalueerd, waaronder gesloten bron commerciële modellen (bijv. GPT-5, Claude 4.5), open-source multilinguale modellen, en modellen specifiek afgestemd op Zuidoost-Azië en Thailand.
   • Evaluators: De veiligheid wordt beoordeeld door twee onafhankelijke "LLM-as-a-judge" systemen: GPT-4.1 en Gemini-2.5-Pro.
   • Meting: De hoofdmeter is de Attack Success Rate (ASR), gedefinieerd als het percentage van de prompts waarbij het model een schadelijk antwoord geeft. De uiteindelijke score is het gemiddelde van de twee evaluators.

3. Efficiënte Evaluatie (ThaiSafetyClassifier):

   • Om de kosten en reproduceerbaarheid te verbeteren, hebben de auteurs een lichtgewicht classifier ontwikkeld op basis van DeBERTaV3.
   • Dit model is fijngefineerd (met LoRA) om prompt-respons paren te classificeren als "veilig" of "schadelijk".
   • Het model bereikt een gewogen F1-score van 84,4%, wat sterk correleert met de beoordelingen van GPT-4.1.

Belangrijkste Resultaten

De evaluatie levert de volgende inzichten op:

• Gesloten vs. Open Bron: Gesloten bron-modellen (zoals GPT-5 en Claude 4.5) tonen over het algemeen een sterkere veiligheidsprestatie (lagere ASR) dan open-source tegenhangers. Dit roept zorgen op over de robuustheid van open-source modellen in niet-Engelse contexten.
• Culturele Kwetsbaarheid: Er is een consistent hoger slagingspercentage (ASR) voor Thais-specifieke, cultureel gecontextualiseerde aanvallen in vergelijking met algemene Thaise aanvallen. Dit toont aan dat bestaande veiligheidsuitlijningmethoden tekortschieten in het begrijpen van lokale culturele nuances.
• Risicogebieden: Modellen presteren relatief goed bij het voorkomen van lekken van gevoelige informatie, maar zijn kwetsbaarder bij Thais sociaal-culturele schade (zoals beledigingen van het koningshuis of culturele taboes).
• Modelgrootte: Over het algemeen presteren grotere modellen (meer parameters) veiliger dan kleinere modellen. Echter, sommige kleinere, goed getrainde modellen (zoals SeaLLMs-v3) presteren vergelijkbaar met grotere modellen, wat suggereert dat de kwaliteit van de trainingsdata cruciaal is.
• Continual Pretraining (CPT): Het effect van het verder trainen van modellen op regionale data (SEA-tuned of Thai-tuned) is niet eenduidig; de veiligheid hangt sterk af van de kwaliteit en filtering van de gebruikte trainingsdata.

Kernbijdragen

1. ThaiSafetyBench Dataset: Een zorgvuldig samengestelde benchmark met 1.954 Thaise prompts, inclusief cultureel specifieke gevallen en een hiërarchische taxonomie.
2. Uitgebreide Evaluatie: Een systematische analyse van 24 LLM's met behulp van geavanceerde LLM-as-a-judge evaluators.
3. ThaiSafetyBench Leaderboard: Een publiek toegankelijk platform voor het bijhouden van de veiligheidsprestaties van modellen in de Thaise context.
4. ThaiSafetyClassifier: Een open-source, lichtgewicht classifier (DeBERTa-based) die reproduceerbare en kostenefficiënte veiligheidsevaluaties mogelijk maakt.

Betekenis en Impact

Dit werk is van groot belang voor de ontwikkeling van vertrouwenswaardige AI in niet-Engelse en cultureel diverse contexten. Het benadrukt dat "veiligheid" niet universeel is en dat modellen specifiek moeten worden getraind en geëvalueerd op lokale culturele normen. Door de dataset en tools openbaar te maken, stimuleren de auteurs de gemeenschap om de veiligheid van Thaise taalmodellen te verbeteren en te voorkomen dat deze kwetsbaar zijn voor cultureel gemotiveerde aanvallen. Het paper legt een fundament voor toekomstig onderzoek naar cultuurgevoelige veiligheidsuitlijning in LLM's.