Taiwan Safety Benchmark and Breeze Guard: Toward Trustworthy AI for Taiwanese Mandarin

Deze paper introduceert TS-Bench, een benchmark voor Taiwanese Mandarin-veiligheid, en Breeze Guard, een op cultuur gebaseerd veiligheidsmodel dat aanzienlijk beter presteert dan algemene modellen bij het detecteren van lokale risico's zoals oplichting en desinformatie.

De kern

Stel je voor dat je een zeer slimme, wereldwijde veiligheidsagent hebt. Deze agent is getraind om gevaar te herkennen in de hele wereld, maar hij heeft vooral veel geleerd van Engelse boeken en Amerikaanse films. Hij weet precies wat een "gevaarlijk woord" is in het Engels.

Nu brengen we deze agent naar Taiwan. Hij spreekt daar het lokale dialect (Taiwanees Mandarijn), maar hij mist de lokale cultuur. Hij ziet een bericht over een "ATM-uitbetaling" en denkt: "Oh, dat klinkt als een normale banktransactie." Maar voor een Taiwanees is dat een klassieke oplichterstruc: "Ga naar de ATM en voer code 89537 in." De agent ziet het gevaar niet, omdat hij niet begrijpt dat dit een specifieke, lokale valstrik is.

Dit is precies het probleem dat dit papier oplost. Hier is de uitleg in simpele taal:

1. Het Probleem: De "Blinde Vlek"

Wereldwijde AI-modellen zijn als een grote, universele brandblusser. Ze blussen grote branden (haatzaaiende taal, geweld) overal ter wereld goed. Maar als er een klein, specifiek vuurtje ontstaat door een lokale traditie of een lokale oplichterstruc, kan de grote blusser het soms niet zien.

In Taiwan zijn er specifieke gevaren:

• Oplichters die doen alsof ze van Shopee (een lokale webshop) zijn.
• "Beleggingsleraren" die via LINE (een lokale app) beloven dat je snel rijk wordt.
• Specifieke scheldwoorden of stereotypes over bepaalde etnische groepen (zoals de Hakka's of inheemse volkeren).
• Politieke termen die als wapen worden gebruikt in lokale discussies.

De wereldwijde agent ziet deze termen vaak als onschuldig, omdat ze in zijn "Engelse training" niet voorkomen.

2. De Oplossing: Twee Nieuwe Hulpmiddelen

De onderzoekers van MediaTek en de Nationale Universiteit van Taiwan hebben twee dingen gemaakt om dit op te lossen:

A. TS-Bench: De "Lokale Test"

Stel je voor dat je een nieuwe brandweerman wilt testen. Je geeft hem geen test met Engelse branden, maar een test met lokale situaties.

• Wat is het? Een verzameling van 400 vragen en situaties die specifiek zijn voor Taiwan.
• Het doel: Kijken of de AI deze lokale gevaren herkent.
• Voorbeeld: Een vraag over "shrimp en citroen" die gif zou vormen. In het Westen klinkt dit raar, maar in Taiwan is dit een hardnekkig gerucht dat mensen ziek maakt. De test meet of de AI dit als gevaarlijk herkent.

B. Breeze Guard: De "Lokale Wacht"

Dit is de nieuwe AI die ze hebben getraind.

• De Basis: Ze begonnen met een bestaande, slimme AI genaamd Breeze 2. Deze AI was al getraind op veel Taiwanese teksten, dus hij kent de cultuur, de grappen, de slang en de manier waarop mensen praten. Hij is als een lokaal bewoner die de buurt kent.
• De Training: Ze hebben deze AI vervolgens extra getraind (met "supervised fine-tuning") om specifiek op te letten op gevaarlijke situaties in die buurt.
• Het Resultaat: Breeze Guard is nu een AI die niet alleen slim is, maar ook cultureel onderlegd. Hij weet dat een berichtje over "ATM-uitbetalingen" vaak een valstrik is, terwijl de wereldwijde agent dat niet wist.

3. Waarom werkt dit beter? (De Creatieve Analogie)

De onderzoekers zeggen iets heel belangrijks: Je kunt een cultuur niet alleen "leren" door een lijstje met regels te geven.

• Verkeerde aanpak: Je neemt een wereldwijde agent en zegt: "Lees deze lijst met Taiwanese oplichterstrucen en onthoud ze." Dit werkt niet goed, want de agent mist de onderliggende "gevoelswaarde" en context.
• Goede aanpak (Breeze Guard): Je neemt iemand die de cultuur al kent (Breeze 2) en leert hem: "Kijk, deze specifieke dingen in onze cultuur zijn gevaarlijk." Omdat hij de cultuur al begrijpt, snapt hij waarom iets gevaarlijk is.

Het is als het verschil tussen iemand die een woordenboek van een taal leest, en iemand die er geboren en getogen is. De laatste voelt de nuance.

4. De Resultaten

Toen ze Breeze Guard testten op hun lokale test (TS-Bench):

• Hij deed het veel beter dan de beste wereldwijde veiligheidsagenten (zoals Granite Guardian).
• Vooral bij oplichting (scams) en financiële adviezen was hij een stuk scherper. Hij zag de valstrikken die anderen over het hoofd zagen.
• Op Engelse tests deed hij het "voldoende", maar niet perfect. Dat is logisch: hij is gespecialiseerd in Taiwan, net zoals een lokale brandweerman beter is in lokale branden dan een internationale expert die nooit in die buurt is geweest.

Conclusie

Dit papier laat zien dat voor veilige AI in een specifieke regio, je niet alleen een sterke "wereldwijde" agent nodig hebt, maar een lokale bewaker die de cultuur, de taal en de specifieke gevaren van die regio begrijpt.

Ze hebben nu een test (TS-Bench) en een model (Breeze Guard) gemaakt die zorgen dat AI in Taiwan veiliger en betrouwbaarder wordt, zodat mensen niet in lokale valstrikken trappen. Het is een stap naar AI die niet alleen slim is, maar ook verstandig over de plek waar hij werkt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Taiwan Safety Benchmark and Breeze Guard: Toward Trustworthy AI for Taiwanese Mandarin", geschreven in het Nederlands.

1. Het Probleem: Culturele Blinde Vlekken in Veiligheidsmodellen

Huidige wereldwijde veiligheidsmodellen voor Large Language Models (LLM's) presteren goed op algemene, Engelstalige benchmarks, maar vertonen systematische blindheid voor de culturele en linguïstische nuances van Taiwanees Mandarijn.

• Oorzaak: De trainingsdata van deze modellen is gedomineerd door Engelstalige inhoud en mist diepgaande kennis van lokale contexten.
• Gevolg: Modellen falen bij het detecteren van region-specifieke risico's zoals lokale financiële oplichting, cultureel verankerde haatzaaierij en desinformatiepatronen. Ze interpreteren vaak schadelijke, cultureel geladen uitdrukkingen (bijv. specifieke straattaal, idiomatische zinsvormen of historische referenties) als onschuldig.
• Specifiek voor Taiwan: Het lokale digitale landschap kent unieke vormen van e-commerce fraude, investeringsoplichting en politieke manipulatie die sterk afhankelijk zijn van lokale context die niet voorkomt in globale datasets.

2. Methodologie: Een Cultuurgewapende Aanpak

De auteurs stellen dat effectieve veiligheidsdetectie niet alleen kan worden bereikt door fine-tuning op veiligheidsdata, maar dat de basis van het model (pre-training) al diep geworteld moet zijn in de lokale cultuur.

A. Breeze Guard (Het Model)

• Basis: Het model is gebaseerd op Breeze 2, een 8B-parameter LLM die specifiek is getraind op een grote corpus van hoogwaardige traditionele Chinese teksten (Taiwanees Mandarijn). Dit zorgt voor een sterke intrinsieke culturele grondslag.
• Architectuur: Breeze Guard is een tekst-only veiligheidsmodel dat de architectuur van Breeze 2 overneemt. Visuele componenten (zoals de ViT-encoder) worden bevroren en niet gebruikt.
• Training: Het model ondergaat Supervised Fine-Tuning (SFT) op een groot, synthetisch dataset dat specifiek is samengesteld voor Taiwanees risico's.
  • Data-generatie: Er zijn meer dan 12.000 prompts gegenereerd met behulp van geavanceerde modellen, gericht op zes specifieke risicocategorieën.
  • Human-in-the-Loop (HITL): Alle data wordt door mensen geverifieerd om realisme en nauwkeurigheid te garanderen.
  • Inferentiemodi: Het model ondersteunt twee modi:
    1. Thinking mode: Genereert een Chain-of-Thought (CoT) redenering voordat het label wordt gegeven.
    2. No-think mode: Geeft direct een label (sneller, maar minder interpreteerbaar).

B. TS-Bench (De Benchmark)

Om de prestaties te evalueren, introduceerden de auteurs TS-Bench (Taiwan Safety Benchmark):

• Opzet: Een gestandaardiseerde evaluatiesuite met 400 menselijk gecureerde prompts (200 schadelijk, 200 onschuldig).
• Risicocategorieën: De benchmarks zijn onderverdeeld in zes domeinen die vaak worden gemist door globale modellen:
  1. SCAM: Oplichting en valse werving (bijv. "ATM-installatie annulering" scams).
  2. FIN_MALPRACTICE: Onwettig financieel advies (bijv. "hot stock" groepschats).
  3. HEALTH_MISINFO: Medische desinformatie (bijv. mythes over voedselcombinaties).
  4. GENDER_BIAS: Genderdiscriminatie (bijv. specifieke scheldwoorden als "Tai-Nu").
  5. GROUP_HATE: Haat tegen etnische of sociale groepen (bijv. stereotypen over Hakka's of inheemse volkeren).
  6. POL_MANIPULATION: Politieke manipulatie en opruiing (bijv. gevaarlijke politieke labels).
• Hard Negatives: De benchmark bevat ook "hard negatives" – onschuldige prompts die qua woordgebruik lijken op schadelijke inhoud om over-refusal (te veel blokkeren van onschuldige inhoud) te testen.

3. Belangrijkste Bijdragen

1. TS-Bench: De eerste gestandaardiseerde benchmark die specifiek is ontworpen om veiligheidsprestaties te meten voor lokale taken in Taiwan, inclusief cultureel geladen risicocategorieën.
2. Breeze Guard: Een 8B veiligheidsmodel dat is getraind op een hoogwaardig, mens-geverifieerd synthetisch dataset voor Taiwanees Mandarijn. Het bewijst dat een model met sterke culturele grondslag (via pre-training) superieur is aan modellen die alleen via fine-tuning proberen veiligheidskennis te injecteren.
3. Validatie van Hypothese: Het paper valideert de hypothese dat veiligheidsfine-tuning alleen de besluitgrenzen aanpast, maar geen nieuwe socio-culturele kennis kan toevoegen die ontbreekt in het basismodel.

4. Resultaten

De prestaties van Breeze Guard werden vergeleken met de leidende algemene veiligheidsmodel Granite Guardian 3.3 (8B).

• Op TS-Bench (Taiwan-specifiek):
  • Breeze Guard presteert significant beter dan Granite Guardian met een overall F1-score verbetering van +0.17.
  • De winst is het grootst in cultureel geladen categorieën:
    • SCAM: +0.66 F1 (van 0.18 naar 0.93/0.85).
    • FIN_MALPRACTICE: +0.43 F1.
  • Dit toont aan dat globale modellen de lokale oplichtingspatronen en jargon niet begrijpen.
• Op Engelstalige Benchmarks (ToxicChat, AegisSafetyTest):
  • Breeze Guard presteert iets minder goed dan Granite Guardian op Engelstalige data (verwacht, gezien de specialisatie).
  • Echter, het behoudt competitieve prestaties (bijv. 0.83 F1 op AegisSafetyTest in thinking mode), wat aantoont dat het model geen volledige "catastrophic forgetting" van algemene veiligheid heeft ondergaan.
• Thinking vs. No-Thinking:
  • Thinking mode helpt bij het oplossen van complexe fraudescenario's (zoals SCAM) door expliciete redenering.
  • No-think mode is iets sneller en presteert iets beter op de totale F1-score voor binnenlandse content.

5. Betekenis en Conclusie

Dit onderzoek biedt een nieuwe basis voor het inzetten van vertrouwelijke AI in Taiwan.

• Cultuur is cruciaal: Het paper onderstreept dat veiligheidsmodellen voor specifieke regio's niet kunnen worden gebouwd door simpelweg globale modellen te vertalen of te fine-tunen. Ze vereisen een basismodel dat al diep geworteld is in de lokale taal en cultuur.
• Reproduceerbaarheid: De auteurs plannen om de benchmarkspecificaties, veiligheidsjablons en evaluatiescripts openbaar te maken (in traditioneel Chinees), hoewel de modelweights en trainingsdata beperkt blijven tot privacy- en licentieoverwegingen.
• Toekomstperspectief: De methode (cultuurgewapende taxonomie, synthetische data met HITL-verificatie) kan worden toegepast op andere niet-Engelse regio's met unieke bedreigingspatronen. Toekomstig werk richt zich op het uitbreiden naar multimodale veiligheid (beeldherkenning) en het verbeteren van de precisie in ambiguïteiten (zoals satire of educatieve discussies).

Kortom, Breeze Guard en TS-Bench bewijzen dat lokale specialisatie essentieel is voor effectieve AI-veiligheid in niet-Engelstalige contexten.