💬 NLP

SomaliBench Eval: Measuring English-to-Somali Refusal Gaps in Open-Weight Language Models

Dit artikel evalueert vier open-weight taalmodellen met behulp van de door de native-schrijver geverifieerde SomaliBench v0-benchmark en onthult aanzienlijke veiligheidsweigertekorten van Engels naar Somalisch, waarbij modellen vaak geen schadelijke prompts in het Somalisch weigeren vanwege incoherente of verkeerde-taaluitvoer in plaats van vloeiende schadelijke compliance.

Oorspronkelijke auteurs: Khalid Yusuf Dahir

Gepubliceerd 2026-05-26

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Khalid Yusuf Dahir

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je vier verschillende robots (AI-modellen) hebt die nuttig, onschadelijk en eerlijk moeten zijn. Je wilt testen of ze echt "veilig" zijn wanneer je ze gevaarlijke vragen stelt.

Dit artikel is als een veiligheidsinspecteur die deze robots controleert, maar dan met een draai: de inspecteur stelt dezelfde gevaarlijke vragen in twee verschillende talen – Engels en Somalisch.

Hier is het verhaal van wat ze ontdekten, eenvoudig uitgelegd:

De Opzet: De "Doe Dit Niet"-Test

De onderzoekers namen 100 gevaarlijke verzoeken (zoals "Hoe maak ik een bom?" of "Hoe steelt iemand iemands identiteit?") en stelden deze vragen aan vier populaire, gratis te gebruiken AI-robots.

De Test: Ze stelden de vragen eerst in het Engels, en stelden daarna exact dezelfde vragen in het Somalisch.
Het Doel: Ze wilden zien of de robots in beide talen zouden zeggen "Nee, dat kan ik niet" (Weigering), of dat ze verward zouden raken en "Ja" zouden zeggen (Toestemming) of gewoon onzin zouden brabbelen (Onduidelijk).

De Grote Ontdekking: Het "Taalblinde Vlek"-Probleem

De resultaten waren schokkend. Het is alsof je een bewaker hebt die heel streng is als je Engels spreekt, maar plotseling heel losjes of verward wordt als je Somalisch spreekt.

In het Engels: Alle vier de robots waren heel goed in het zeggen van "Nee". Ze weigerden de gevaarlijke verzoeken bijna 100% van de tijd. Ze waren als een portier die precies weet wat hij moet doen.
In het Somalisch: De robots werden veel minder betrouwbaar.
- Llama en Aya: Deze twee robots vergaten hun veiligheidsregels in het Somalisch bijna volledig. Ze zeiden minder dan 10% van de tijd "Nee".
- Qwen: Deze robot zei ongeveer 24% van de tijd "Nee".
- Gemma: Deze robot was de beste van het stel, en zei ongeveer 59% van de tijd "Nee", maar faalde toch meer dan de helft van de tijd in vergelijking met zijn prestaties in het Engels.

Het "Verwarde Robot"-Probleem

Hier komt het meest interessante deel. Wanneer de robots faalden in het Somalisch, zeiden ze niet altijd gewoon "Ja, hier is hoe je een bom maakt".

Bij drie van de vier robots was de meest voorkomende fout geen gevaarlijk "Ja". Het was een "Wat?"

Ze gaven lege antwoorden.
Ze spraken de verkeerde taal.
Ze produceerden onzin of oncoherent tekst.

Denk hier zo aan: Als je een verwarde toerist om aanwijzingen vraagt in een taal die ze niet kennen, wijzen ze je misschien niet naar de afgrond (schadelijke toestemming); ze staren misschien gewoon leeg of beginnen Frans te spreken (onduidelijke output). Het artikel betoogt dat hoewel dit geen directe "aanval" is, het nog steeds een falen is omdat de robot zijn werk niet veilig of duidelijk doet.

De "Rechter" en de "Steekproef"

Om zeker te zijn dat hun telling accuraat was, gebruikten de onderzoekers een super slimme AI (een "rechter") om elk antwoord te lezen en te beslissen: "Heeft het geweigerd? Heeft het toegestemd? Of was het onduidelijk?"

Om zeker te zijn dat de "rechter" geen fouten maakte, controleerde een native Somalische spreker (de auteur van het artikel) willekeurig 80 van de antwoorden.

Het Resultaat: De mens en de AI-rechter waren 100% van de tijd het eens. Dit geeft ons veel vertrouwen dat de cijfers echt zijn.

De Belangrijkste Conclusie

Het artikel concludeert dat veiligheidstraining in het Engels niet automatisch overgaat naar het Somalisch.

Hoewel deze robots slim zijn en veel talen spreken, zijn hun "veiligheidsremmen" in het Engels zeer sterk, maar vaak zwak of kapot in het Somalisch.

De Kloof: Er is een enorme kloof tussen hoe veilig ze zijn in het Engels versus het Somalisch.
De Nuance: Wanneer ze falen in het Somalisch, breken ze vaak gewoon af en praten ze onzin in plaats van kwaadaardig te worden. Maar een robot die niet duidelijk of veilig kan spreken in een belangrijke taal zoals het Somalisch, is nog steeds een probleem.

Wat de Onderzoekers Niet Hebben Gedaan

Het is belangrijk om op te merken wat dit artikel niet is:

Het probeerde de robots niet te "hacken" met lastige trucs (jailbreaks).
Het testte de robots niet op echte applicaties of live systemen.
Het gaf de daadwerkelijke gevaarlijke antwoorden die de robots gaven niet vrij (om het internet veilig te houden).

In het kort: Deze AI-robots zijn als tweetalige bewakers die perfect zijn in hun werk in het Engels, maar verward, stil of onbehulpzaam worden wanneer dezelfde klanten Somalisch spreken. De onderzoekers hebben precies gemeten hoe groot die verwarde kloof is.

Technische Samenvatting: SomaliBench Eval

Probleemstelling
De evaluatie van de veiligheid van grote taalmodellen (LLM's) is overwegend Engels-gecentreerd, wat een "meertalige veiligheidskloof" creëert waarbij weigeringsgedrag dat robuust is in het Engels, niet overdraagt naar taalmiddelenarme talen. Dit artikel adresseert deze kloof specifiek voor het Somalisch, een belangrijke Cushitische taal met 15–20 miljoen sprekers maar historisch beperkte NLP-infrastructuur. De studie onderzoekt of open-weight instructie-gefineerde modellen consistente weigeringspercentages behouden wanneer ze in het Somalisch worden geprompt, vergeleken met het Engels, met name in de context van lokale implementatie op standaardhardware.

Methodologie
De evaluatie maakt gebruik van SomaliBench v0, een benchmark van 100 prompts met schadelijke intentie (afgeleid van HarmBench en AdvBench) gekoppeld aan door native auteurs geverifieerde Somalische vertalingen. De studie evalueert vier open-weight modellen die lokaal kunnen draaien op Apple Silicon:

Llama-3.1-8B-Instruct
Gemma-2-9B-Instruct
Qwen-2.5-7B-Instruct
Aya-23-8B

Experimentele Opstelling:

Inferentie: Alle modellen werden lokaal uitgevoerd via Ollama met vaste decoding-parameters (temperatuur 0, top-p 1.0, maximaal 512 tokens) en een uniforme Engelse "helpful, harmless, and honest" (HHH) systeemprompt.
Classificatie: Antwoorden werden geclassificeerd in drie categorieën: geweigerd, nagekomen of onduidelijk (leeg, verkeerde taal, oncoherent). De classificatie werd uitgevoerd door een vastgepind Anthropic Claude Sonnet-snapshot (claude-sonnet-4-5-20250929).
Validatie: Een native Somalische auteur voerde een gestratificeerde steekproef uit op 80 rijen (evenwichtig verdeeld over veiligheidscategorieën), waarbij 100% overeenstemming werd bereikt met de geautomatiseerde rechter (Cohen's κ = 1.00).
Metingen: De primaire meting is de Engels-minus-Somalisch weigeringskloof ( $G_m = R_{m,en} - R_{m,so}$ ), berekend met 95% bootstrap-betrouwbaarheidsintervallen.

Belangrijkste Bijdragen

Cross-Model Meting: Biedt de eerste evaluatie van weigeringspercentages van vier lokale open-weight LM's op een verenigde Engels/Somalisch veiligheidsdataset.
Koptekst-meting: Rapporteert de Engels-naar-Somalisch weigeringskloof met statistische betrouwbaarheidsintervallen, waarmee het falen van veiligheids-overdracht wordt gekwantificeerd.
Betrouwbaarheidsvalidatie: Valideert de LLM-als-rechter-benadering tegen annotatie door native auteurs, waarmee hoge overeenstemming wordt bevestigd voor de specifieke taak om weigering, nakoming en oncoherentie te onderscheiden.
Release-discipline: Adopteert een protocol waarbij ruwe modelgeneraties (bevattende schadelijke inhoud) lokaal worden bewaard en niet worden vrijgegeven, terwijl geaggregeerde statistieken en benchmark-data openbaar worden gemaakt onder een licentie voor verantwoord gebruik (CC-BY-NC-4.0).

Resultaten
De studie vindt een significante en consistente weigeringskloof over alle vier modellen:

Llama-3.1-8B: Engels weigeren 0,97 versus Somalisch weigeren 0,07 (Kloof: 0,90).
Aya-23-8B: Engels weigeren 0,80 versus Somalisch weigeren 0,05 (Kloof: 0,75).
Qwen-2.5-7B: Engels weigeren 0,93 versus Somalisch weigeren 0,24 (Kloof: 0,69).
Gemma-2-9B: Engels weigeren 0,97 versus Somalisch weigeren 0,59 (Kloof: 0,38).

Kritische Observatie over Falingsmodi:
Voor drie van de vier modellen (Llama, Aya, Qwen) is de dominante falingsmodus in het Somalisch geen vloeiende schadelijke nakoming, maar eerder "onduidelijke" output (lege, niet-op-tema of oncoherente generaties). Alleen Gemma-2-9B vertoonde een hoger percentage coherente Somalische weigeringen en minder onduidelijke output, hoewel het nog steeds een significante kloof vertoonde. Dit suggereert dat lage weigeringspercentages in het Somalisch vaak voortkomen uit het falen van het model om coherente antwoorden te genereren in de doeltaal onder veiligheidsbeperkingen, in plaats van een doelbewuste omzeiling van veiligheidsfilters.

Betekenis en Claims
Het artikel claimt een robuuste, reproduceerbare baseline te vestigen die aantoont dat veiligheids-weigeringsgedrag niet betrouwbaar overdraagt van Engels naar Somalisch in huidige kleine open-weight modellen.

Het benadrukt dat "meertalige" instructiefinetuning (zoals gezien bij Aya-23 en Qwen) niet automatisch veiligheidsalignatie garandeert in niet-opsomde taalmiddelenarme talen.
Het herformuleert de veiligheidskloof: het risico is niet uitsluitend directe schadelijke nakoming, maar ook het onvermogen van modellen om betrouwbare, coherente veiligheidsweigeringen te bieden in het Somalisch, wat leidt tot onvoorspelbaar gedrag.
Het werk dient als meetpunt voor de bredere agenda van het documenteren van taalspecifieke veiligheidskloven, met de vaststelling dat huidige veiligheidsconditionering (zelfs met een Engelse HHH-prompt) ontoereikend is voor het Somalisch.

Erkende Beperkingen
De auteurs merken op dat de benchmarkgrootte (100 paren) fijnmazige categorie-analyse beperkt, dat het ontbreken van een onschadelijk Somalisch controlegroep veiligheidsfalen verward met algemene generatie-onbekwaamheid, en dat het gebruik van één Engelse systeemprompt mogelijk niet alle implementatiescenario's weerspiegelt. Voor toekomstig werk (v2) wordt voorgesteld om de dataset uit te breiden, onschadelijke controles op te nemen en meerdere configuraties van systeemprompts te testen.