Technische Samenvatting: RABAKBENCH

Probleemstelling

Large Language Models (LLM's) vertonen vaak significante fouten in de veiligheidsafstemming (safety alignment) bij het verwerken van laag-resource taalvariëteiten, waaronder code-mixed vernaculars, regionale dialecten en straattaal. Hoewel huidige beveiligingsmaatregelen vaak robuust zijn in standaard Engels, lijden ze aan een "lokalisatie blinde vlek", waarbij ze lokale schade niet detecteren terwijl ze tegelijkertijd onschuldige culturele vernaculars als onveilig markeren. Dit probleem is bijzonder acuut in zeer meertalige samenlevingen zoals Singapore, waar gebruikers vloeiend schakelen tussen Singlish (een creool die Engels mengt met Maleis, Hokkien en Tamil), Chinees, Maleis en Tamil. Het construeren van veiligheidsbenchmarks voor deze contexten wordt historisch gezien gehinderd door de hoge kosten van handmatige annotatie en de noodzaak van diepe, gelokaliseerde culturele vloeiendheid.

Methodologie

De auteurs introduceren RABAKBENCH, een meertalige veiligheidsbenchmark en een schaalbare, driefasige pijplijn ontworpen om veiligheidsdata voor het taallandschap van Singapore te genereren, te annoteren en uit te breiden. Het framework integreert human-in-the-loop validatie op kritieke momenten om culturele nauwkeurigheid en toxiciteitspreservatie te waarborgen.

1. Genereren: Adversarial Example Generation

De pijplijn begint met het construeren van een hoogwaardige corpus van Singlish testgevallen via een hybride aanpak:

• Lokale Inhoud Transformatie: Organische, ongestructureerde Singlish-commentaren van lokale webfora worden gecureerd en gestandaardiseerd naar instructie-stijl queries via template-gebaseerde transformaties.
• Geautomatiseerde Guardrail Red-Teaming: Een iteratieve multi-agent loop (geïnspireerd door PAIR) wordt ingezet tegen vijf baseline guardrails (waaronder LionGuard, OpenAI Moderation, en LlamaGuard 3). Een Attack LLM genereert kandidaat-Singlish prompts, terwijl een Critic LLM de output van de doelclassifier analyseert om misclassificaties (false negatives en false positives) te identificeren.
• Menselijke Verificatie: Een menselijke reviewer filtert alle kandidaat-outputs om authenticiteit en consistentie met lokaal gebruik te garanderen, waarbij betekenisloze invoer wordt weggegooid.

2. Labelen: Weak-Supervision via LLM Agreement

Om de hoge kosten van handmatige annotatie voor Singlish aan te pakken, gebruiken de auteurs een weak-supervision strategie:

• LLM Selectie: Zes kandidaat-LLM's werden geëvalueerd tegen een gold-standard set van 50 voorbeelden die door zes menselijke experts vloeiend in Singlish zijn gelabeld. Met behulp van de Alt-Test methodologie hebben de auteurs statistisch gevalideerd dat specifieke modellen (Gemini 2.0 Flash, o3-mini-low, en Claude 3.5 Haiku) significant overeenstemmen met menselijke oordelen.
• Majority Voting: De drie geselecteerde modellen wijzen onafhankelijk binaire labels toe over zes fijnmazige schadecategorieën. De definitieve labels worden bepaald door een meerderheidsstemming om stabiliteit te garanderen.
• Validatie: De geselecteerde modellen behaalden Cohen's kappa-scores tussen 0,68 en 0,72 ten opzichte van de menselijke consensus, wat duidt op substantiële overeenstemming.

3. Vertalen: Toxicity-Preserving Multilingual Extension

De Singlish-corpus wordt uitgebreid naar Chinees, Maleis en Tamil met behulp van een vertalingsopstelling die is ontworpen om zowel de semantische betekenis als het beoogde niveau van toxiciteit te behouden:

• Expert-Curated Few-Shot Construction: Een pool van 20 handmatig geverifieerde, hoogwaardige voorbeelden per taal werd gecreëerd via iteratieve workshops met in Singapore gevestigde taalprofessionals. Deze voorbeelden werden geselecteerd via een driefasenproces bestaande uit LLM-kandidaten en menselijke verfijning.
• Model Selectie en Optimalisatie: Verschillende state-of-the-art LLM's werden gebenchmarkt voor vertaalgetrouwheid met behulp van directe semantische gelijkenis en back-translation consistentie. GPT-4o mini werd gekozen als het optimale model.
• Dynamische Prompting: Het aantal few-shot voorbeelden ($k$) werd dynamisch gerangschikt op basis van semantische gelijkenis met de doelinput ($k=15$ voor Chinees, $k=10$ voor Maleis, $k=20$ voor Tamil) om ervoor te zorgen dat het model contextueel relevante demonstraties van slang en toxiciteit ontvangt.
• Finale Validatie: Een secundaire groep taalexperts beoordeelde een gestratificeerde steekproef van de vertaalde corpus, waarmee werd bevestigd dat de machinevertalingen vergelijkbaar waren met de door mensen geverifieerde baselines.

Belangrijkste Bijdragen

1. RABAKBENCH Dataset: De release van de eerste open veiligheidsbenchmark die Singaporeanse taalvarianten (Singlish, Chinees, Maleis, Tamil) dekt met meer dan 5.000 voorbeelden. Het bevat een fijnmazige schade-taxonomie met ernstniveaus (Niveau 1 en Niveau 2) over zes categorieën: Hateful, Insults, Sexual, Physical Violence, Self-Harm, en All Other Misconduct.
2. Generate-Label-Translate Framework: Een reproduceerbare pijplijn die schaalbare LLM-generatie, efficiënte weak supervision via majority voting en hoogwaardige vertaling combineert, ondersteund door menselijke verificatie op kritieke fasen.
3. Toxicity-Preserving Translation Method: Een systematische aanpak om veiligheidsdatasets uit te breiden naar nieuwe talen terwijl de oorspronkelijke schadelijke intentie en emotionele intensiteit behouden blijven, wat een veelvoorkomende fout van standaard vertaalmodellen aanpakt waarbij regionale idiomen worden gesaniteerd of verkeerd vertaald.
4. Uitgebreide Evaluatie: Een benchmarking van 13 hedendaagse moderatiesystemen (zowel commercieel als open-source) tegen de dataset.

Experimentele Resultaten

Evaluaties van 13 guardrails op RABAKBENCH toonden een significante prestatiedegradatie aan vergeleken met standaard Engels-gecentreerde benchmarks:

• Prestatiekloof: Modellen met hoge F1-scores op standaard Engelse datasets (bijv. WildGuard op 86,1%, DuoGuard op 74,9%) zagen hun scores drastisch dalen op RABAKBENCH (naar respectievelijk 47,27% en 45,03%).
• Linguïstische Bottlenecks: Prestaties varieerden sterk per taal. Terwijl sommige modellen (bijv. Qwen3Guard, gpt-oss-safeguard) F1-scores boven de 80% behaalden in het Chinees en Maleis, was de prestatie in Tamil bijzonder slecht, waarbij veel modellen onder de 30% scoorden.
• Commercieel vs. Open Source: Veelgebruikte commerciële tools zoals Perspective API behaalden een gemiddelde F1 van slechts 28,40%, terwijl nieuwere open-source modellen zoals Qwen3Guard en gpt-oss-safeguard superieure meertalige capaciteiten demonstreerden, hoewel ze nog steeds worstelden met specifieke gelokaliseerde nuances.

Betekenis en Claims

Het paper claimt dat RABAKBENCH een reproduceerbaar framework biedt voor het bouwen van veiligheidsbenchmarks in onderbediende gemeenschappen, waarbij men verder kijkt dan de "one-size-fits-all" veiligheidsbeleid die faalt in wereldwijde implementaties. De auteurs stellen dat de geobserveerde prestatiekloven wijzen op een kritieke "lokalisatie blinde vlek", waarbij huidige afstemmingstechnieken overgevoelig zijn voor trefwoorden maar ondergevoelig voor de pragmatische intentie van regionale vernaculars. Deze overmatige censuur brengt het risico op "digitale marginalisering" met zich mee, waardoor gebruikers worden gedwongen terug te vallen op standaard Engels, wat het vertrouwen in gelokaliseerde AI ondermijnt.

De auteurs positioneren RABAKBENCH niet enkel als een dataset voor Singapore, maar als een taak-agnostisch blauwdruk voor het evalueren van veiligheid in code-mixed en laag-resource omgevingen wereldwijd. Door de Alt-Test te gebruiken om hoogwaardige datasets te bouwen zonder enorme menselijke annotatieteams te vereisen, biedt het framework een schaalbaar model voor het bevorderen van meertalige AI-veiligheid. De dataset en de evaluatiecode zijn publiekelijk beschikbaar om verdere research te faciliteren.