SalamahBench: Toward Standardized Safety Evaluation for Arabic Language Models

Dit paper introduceert SalamahBench, een gestandaardiseerd veiligheidsbenchmark voor Arabische taalmodellen bestaande uit 8.170 prompts in 12 categorieën, waarmee wordt aangetoond dat bestaande Arabische modellen aanzienlijke veiligheidskwetsbaarheden vertonen en dat gespecialiseerde bewakingsmodellen superieur zijn aan native modellen voor het detecteren van schadelijke inhoud.

De kern

SalamahBench: De "Rijbewijstest" voor Arabische AI's

Stel je voor dat je een nieuwe auto koopt. Voordat je die op de openbare weg mag zetten, moet hij eerst een strenge veiligheidstest ondergaan. Hij moet remmen, uitwijken en niet plotseling in de gracht belanden. In de wereld van kunstmatige intelligentie (AI) is dat precies hetzelfde. Maar tot nu toe was die test vooral in het Engels beschikbaar.

De auteurs van dit paper zeggen: "Wacht even, wat gebeurt er als we die auto in een ander landschap rijden, met andere regels en een andere cultuur? Dan kan de test wel eens falen."

Hier is wat ze hebben gedaan, vertaald naar simpele taal:

1. Het Probleem: De "Vertaal-Valstrik"

Veel Arabische AI-modellen zijn getraind op Engelse data. Het is alsof je een auto hebt die perfect rijdt in Londen, maar als je hem naar een dorp in Marokko of Saoedi-Arabië brengt, begint hij verkeerde bochten te nemen.

• De valstrik: Als je een gevaarlijke vraag in het Engels stelt, zegt de AI: "Nee, dat mag niet." Maar als je dezelfde vraag in het Arabisch stelt (misschien met een lokale uitdrukking of dialect), denkt de AI misschien: "Oh, dat klinkt onschuldig," en geeft hij toch het gevaarlijke antwoord.
• Het gebrek: Er was geen standaardtest om te zien of deze Arabische AI's veilig zijn. Bestaande tests waren ofwel vertaald (wat de betekenis verandert) ofwel te simpel.

2. De Oplossing: SalamahBench (De Nieuwe Testbaan)

De onderzoekers hebben SalamahBench bedacht. "Salamah" betekent "veiligheid" in het Arabisch.

• Wat is het? Het is een enorme verzameling van 8.170 vragen in het Arabisch.
• De indeling: Ze hebben deze vragen ingedeeld in 12 categorieën, zoals een "veiligheidstaxonomie". Denk aan categorieën als:
  • Gevaarlijke wapens maken
  • Haatzaaien
  • Zelfkwesties
  • Bedrog en oplichting
  • Privégegevens lekken
• Hoe maakten ze het? Ze hebben niet zomaar vragen opgehaald. Ze hebben bestaande datasets samengevoegd, ze door een AI-filter gestuurd, en daarna door mensen laten nakijken. Het is alsof ze eerst een ruwe steen hebben gepolijst en daarna door een juwelier hebben laten inspecteren om zeker te zijn dat er geen gebreken in zitten.

3. De Test: Wie rijdt het veiligst?

Ze hebben 5 populaire Arabische AI-modellen (zoals Fanar, Jais en ALLaM) op deze testbaan gereden. Ze hebben gekeken: "Hoe vaak geeft deze AI een gevaarlijk antwoord als je een gevaarlijke vraag stelt?"

De resultaten:

• De winnaar: Fanar 2 deed het het beste. Hij weigerde de meeste gevaarlijke vragen en gaf zelden foutieve antwoorden. Hij lijkt de veiligste auto.
• De zwakke schakel: Jais 2 deed het het slechtst. Hij gaf veel vaker gevaarlijke antwoorden. Het is alsof deze auto soms gewoon doorrijdt op een rood licht.
• De verrassing: Zelfs de beste modellen waren niet overal even goed. Fanar 2 was superveilig tegen "moord", maar soms wat slordig bij "intellectueel eigendom" (bijv. auteursrechten). Dit laat zien dat je niet kunt zeggen "deze AI is veilig", maar je moet zeggen "deze AI is veilig voor dit specifieke type gevaar".

4. De "Eigen Veiligheidswacht" (Self-Guards)

Een interessante vraag was: "Kunnen de AI's zichzelf controleren?"
Stel je voor dat de AI zelf ook een politiemotor is die moet oordelen of zijn eigen antwoord veilig is.

• Het resultaat: Dit werkte niet goed. De AI's waren slecht in het beoordelen van hun eigen fouten. Ze waren als een auto die denkt dat hij veilig rijdt, terwijl hij eigenlijk in de berm zit.
• Conclusie: Je hebt een aparte, speciale "veiligheidsagent" (een gespecialiseerd model) nodig om de AI in de gaten te houden. Je kunt niet vertrouwen op de AI om zichzelf te controleren.

5. Waarom is dit belangrijk?

Dit paper is een wake-up call.

• Geen "één maat past iedereen": Wat veilig is in het Engels, is niet per se veilig in het Arabisch. Cultuur, dialecten en uitdrukkingen maken het lastig.
• Vertrouwen: Als we AI willen gebruiken in ziekenhuizen, scholen of overheden in het Midden-Oosten, moeten we zeker weten dat ze niet per ongeluk gevaarlijk advies geven.
• De toekomst: SalamahBench is nu de standaardtest. Net zoals een rijbewijs nodig is om te autorijden, moeten Arabische AI's nu deze test bestaan om als "veilig" te worden beschouwd.

Kortom: De onderzoekers hebben een nieuwe, eerlijke en strenge testbaan gebouwd voor Arabische AI's. Ze hebben ontdekt dat sommige modellen al best veilig zijn, maar dat we nog steeds speciale "veiligheidsagenten" nodig hebben om ze in de gaten te houden, en dat we niet kunnen vertrouwen op vertalingen uit het Engels.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "SalamahBench: Toward Standardized Safety Evaluation for Arabic Language Models" in het Nederlands.

Probleemstelling

De veiligheid van Taalmodellen (LM's) is fundamenteel voor betrouwbaar AI, maar de systematische evaluatie van Arabisch-talige Taalmodellen (ALM's) blijft onderontwikkeld. Bestaande veiligheidsbenchmarks en beveiligingsmodellen zijn overwegend Engels-gecentreerd. Dit leidt tot twee kritieke problemen:

1. Gebrek aan generalisatie: Modellen die veilig presteren in het Engels, vertonen vaak aanzienlijke veiligheidskloven in het Arabisch. Dit komt door verschillen in linguïstische structuur (bijv. rijke morfologie, diglossie tussen Standaard-Arabisch en dialecten), culturele context en indirecte uitdrukkingswijzen die schadelijke intenties kunnen maskeren.
2. Fragmentatie: Bestaande Arabische datasets zijn vaak vertaald (wat semantische nuances verliest), onvolledig gedekt qua schadelijkheidscategorieën, of gebaseerd op ruwe, niet-gestandaardiseerde annotaties. Er ontbreekt een gestandaardiseerde, categorie-bewuste benchmark om de veiligheid van ALM's nauwkeurig te meten.

Methodologie

De auteurs introduceren SalamahBench, een unificerend benchmark voor de veiligheidsevaluatie van ALM's. De methodologie omvat drie hoofdfasen:

1. Dataset Constructie (Salamah Dataset):

• Bronnen: Het dataset is samengesteld uit 8.170 prompts afkomstig van diverse bestaande datasets (zoals RTP-LX, PGPrompts, AraSafe, X-SAFETY, LinguaSafe, en andere).
• Harmonisatie: Alle prompts zijn gemapped naar de MLCommons Safety Hazard Taxonomy, een gestandaardiseerde indeling van 12 categorieën voor schadelijk gedrag (bijv. Geweldsmisdrijven, Haatzaaiende taal, Privacyschending, Zelfmord).
• Voorverwerking: Een strikte pijplijn is toegepast:
  • Preprocessing: Verwijdering van dubbelzinnige labels en mapping naar de MLCommons-taxonomie.
  • AI-filtering: Twee onafhankelijke AI-judges (Claude Sonnet 4.5 en GPT-5) filteren onduidelijke of misplaatste samples.
  • Menselijke validatie: Een multi-stap proces met menselijke annotatoren voor het oplossen van meningsverschillen, het verifiëren van de potentieel schadelijke aard van prompts, en het valideren van de categorie-indeling.
• Uitsluiting: De categorie "Specialized Advice" (gespecialiseerd advies) is bewust weggelaten omdat automatische beoordeling van disclaimers onbetrouwbaar is.

2. Evaluatie Protocol:

• Doelmodellen: Vijf state-of-the-art ALM's werden getest: Fanar 1 & 2, ALLaM 2, Falcon H1R, en Jais 2.
• Beveiligingsconfiguraties: De modellen werden getest onder verschillende beveiligingsinstellingen:
  • Individuele guard-modellen (Qwen3Guard, Llama Guard 4, PolyGuard).
  • Een "Majority Vote" ensemble (waarbij drie guards stemmen).
  • Validatie tegen menselijke "gold labels".
• Metriek: De primaire metriek is de Attack Success Rate (ASR), gedefinieerd als het percentage antwoorden dat door de guard als "onveilig" wordt geclassificeerd. Er wordt onderscheid gemaakt tussen een strikte ASR (inclusief controversiële antwoorden) en een losse ASR.

3. Self-Guard Evaluatie:

• De auteurs testten of de ALM's zelf konden fungeren als beveiligingsmodellen (door hun eigen of andermans antwoorden te beoordelen) in plaats van gespecialiseerde guards.

Belangrijkste Bijdragen

1. Salamah Dataset: Een nieuw, uitgebreid dataset van 8.170 prompts die specifiek is ontworpen om veiligheidsfouten bloot te leggen die uniek zijn voor het Arabisch, gedekt over alle 12 MLCommons-gevaarcategorieën.
2. Eerste Categorie-bewuste Evaluatie: De eerste systematische, categorie-gespecificeerde veiligheidsevaluatie van vijf toonaangevende ALM's, wat inzicht geeft in heterogeniteit in veiligheidsprestaties die door globale metrics wordt gemaskeerd.
3. Native Evaluatie Protocol: Een evaluatiepijplijn die Arabische modellen direct in het Arabisch laat beoordelen, waardoor vertaalartefacten worden vermeden en cultureel onderbouwde oordelen mogelijk zijn.
4. Empirische Validatie: Een vergelijking van gespecialiseerde guards versus native ALM's als beoordelaars, wat de superioriteit van dedicated beveiligingsmodellen aantoont.

Resultaten

De experimentele resultaten tonen aanzienlijke variatie in veiligheidsuitlijning tussen de modellen:

• Modelprestaties:
  • Fanar 2 presteert het beste met de laagste geaggregeerde aanvalssuccesratio (ASR) van 0,8% (onder het Majority Vote ensemble) en 3,4% (onder strikte Qwen3Guard).
  • Jais 2 toont de grootste kwetsbaarheid, met een ASR van 24,2% (strikt) en 11,9% (ensemble), wat wijst op zwakke intrinsieke veiligheidsuitlijning.
  • Falcon H1R presteert ook sterk (0,8% ASR), maar vertoont variatie per categorie.
• Categorie-afhankelijkheid: Veiligheid is niet uniform. Modellen met een lage globale ASR (zoals Fanar 2 en Falcon H1R) vertonen nog steeds hoge kwetsbaarheid in specifieke domeinen zoals Intellectueel Eigendom en Seksuele Inhoud. Dit benadrukt dat een goede algemene score niet betekent dat een model overal veilig is.
• Guard Validatie: Qwen3Guard behaalde de hoogste nauwkeurigheid (90,8%) in vergelijking met menselijke gold labels, gevolgd door Llama Guard 4 en PolyGuard.
• Native Models als Guards: Wanneer ALM's (zoals Fanar 2) werden gebruikt als hun eigen beveiligingsmodellen, presteerden ze aanzienlijk slechter dan gespecialiseerde guards. De beste native model (Fanar 2) haalde slechts 48,3% nauwkeurigheid. Dit toont aan dat generatieve competentie niet gelijkstaat aan veiligheidsbeoordelingsvermogen.

Betekenis en Conclusie

Dit paper legt een cruciale basis voor de veilige implementatie van AI in de Arabische wereld. De belangrijkste inzichten zijn:

1. Noodzaak van Categorie-bewuste Evaluatie: Globale veiligheidsmetrieken zijn misleidend; evaluatie moet per schadelijkheidsdomein plaatsvinden om specifieke zwaktes te identificeren.
2. Specialisatie is noodzakelijk: Native Arabische modellen zijn momenteel onvoldoende om als beveiligingsfilters te fungeren. Dedicated, gespecialiseerde safeguard-modellen zijn essentieel voor betrouwbare harm-mitigatie.
3. Culturele Nuance: Veiligheid in het Arabisch vereist meer dan alleen vertaling; het vereist datasets en taxonomieën die rekening houden met dialecten, culturele context en indirecte uitdrukkingswijzen.

SalamahBench biedt de gemeenschap een gestandaardiseerd instrument om toekomstige ALM's te testen en te verbeteren, wat essentieel is voor het vertrouwen in AI-systemen in het Midden-Oosten en Noord-Afrika.