Technische Samenvatting: Minionese: Een Uitgebreide Benchmark en Mechanistische Studie van Multilinguale LLM-veiligheid

1. Probleemstelling

Large Language Models (LLM's) vertonen een significante "taalkloof" in veiligheidsafstemming (safety alignment). Terwijl modellen betrouwbaar schadelijke prompts weigeren in het Engels, geven ze vaak wel mee aan soortgelijke verzoeken in niet-Engelse en taalarme contexten. Huidige evaluatieframeworks falen grotendeels in het karakteriseren van deze discrepantie, omdat ze vertrouwen op geaggregeerde jailbreak-percentages die de specifieke faalmodi veroorzaakt door multilingale distributieverschuivingen maskeren. Bestaand onderzoek heeft vastgesteld dat weigering wordt gemedieerd door laagdimensionale richtingen in de activatieruimte, maar het blijft onduidelijk hoe deze mechanismen degraderen onder realistische linguïstische perturbaties (bijv. transliteratie, code-switching) over verschillende middelen-tiers heen.

2. Methodologie

2.1 De Minionese Benchmark

De auteurs introduceren Minionese, een multilingale jailbreak benchmark ontworpen om aanvalstype-bewuste mechanistische analyse te ondersteunen. In tegenstelling tot eerdere benchmarks die taalidentiteit als de primaire variabele behandelen, houdt Minionese de semantische inhoud constant terwijl het type linguïstische manipulatie wordt gevarieerd.

• Corpus: Gebouwd op 385 schadelijke prompts uit AdvBench, gekoppeld aan semantisch parallelle onschadelijke tegenhangers.
• Omvang: Beslaat 18 talen gegroepeerd in vier middelen-tiers (Tier 1: rijk aan middelen tot Tier 4: arm aan middelen).
• Perturbatietypes:
  1. Standaard Vertaling: Volledige vertaling naar de doeltaal (baseline).
  2. Code-Switching: Alleen het minimale afwijkende segment tussen de schadelijke en onschadelijke prompts wordt vertaald; de rest blijft in het Engels.
  3. Transliteratie: Volledige vertaling omgezet naar een ander schrift (bijv. romanisering van niet-Latijnse schriften of Latijn-Cyrillische weergave van Romaanse talen).
  4. Translationese: Iteratieve round-trip vertaling (Engels $\to$ Doeltaal $\to$ Engels $\to$ Doeltaal) om semantische drift en machinevertaling-oppervlaktestatistieken te introduceren.
• Schaal: De benchmark levert 55.440 prompts in totaal ($385 \times 2 \times 4 \times 18$).

2.2 Evaluatiepipeline

De studie evalueert drie instructie-afgestemde modellen: Llama-3.1-8B-Instruct, Qwen2.5-7B-Instruct, en Aya-Expanse-8B.

• Metrieken: Attack Success Rate (ASR), responscoherentie en distributie van het veiligheidsregime.
• Veiligheidsbeoordeling: Responsies worden gescoord met behulp van WildGuard. Niet-Engelse responsies worden terugvertaald naar het Engels voorafgaand aan de scoring om problemen met de betrouwbaarheid van de beoordelaar te mitigeren.
• Coherentiefiltering: Responsies worden gefilterd op basis van taalidentificatie-betrouwbaarheid, Unicode-geldigheid en lengte om ervoor te zorgen dat ASR-verschillen het gevolg zijn van veiligheidsfalen in plaats van degradatie van de generatie.

2.3 Geometrische Mechanistische Analyse

De auteurs gebruiken een geometrisch framework om schadelijkheidsdetectie te onderscheiden van weigering-activatie binnen de residual stream:

• Subruimteconstructie: Het trainen van logistische regressie-probes om een "schadelijkheidssubruimte" te definiëren en een "weigering-richting" te extraheren via gedragscontrast tussen geweigerde en geaccepteerde responsies.
• Classificatie van Falen: Categorisering van falen als:
  • Upstream (Semantic Recovery Failure): De representatie van de schade stort in voordat deze de weigeringsmechanisme bereikt.
  • Downstream (Subthreshold Activation): De schade wordt gedetecteerd, maar slaagt er niet in voldoende te projecteren op de weigeringsrichting om de beslissingsdrempel te overschrijden.
• Kegelanalyse (Cone Analysis): Het uitbreiden van de weigeringsmechanisme-analyse naar een meerdimensionale "weigeringskegel" om de cross-linguale overdraagbaarheid van basisrichtingen te testen.

3. Belangrijkste Resultaten

3.1 Gedragsmatige Kwetsbaarheidsprofielen

• Tier Gradiënt: Standaard vertaling en translationese aanvallen laten een steile toename van ASR zien naarmate de middelen-niveaus afnemen. Voor Llama stijgt de gemiddelde ASR van ~8% in Tier 1 naar >70% in Tiers 3–4.
• Transliteratie is Schrift-geconditioneerd: Transliteratie produceert de hoogste ASR voor talen met een niet-Latijns schrift in Tiers 1–2 (bijv. 99% voor Koreaans op Llama), maar daalt naar bijna nul voor Latijnse schriften en zeer arme Tier 4 talen. Dit geeft aan dat kwetsbaarheid wordt bemiddeld door de identiteit van het schrift, en niet alleen door het niveau van middelen.
• Code-Switching is Tier-stabiel: Deze aanval behoudt een matige tot hoge ASR over alle middelen-tiers, inclusclusief Tier 4 (bijv. 82% ASR op Llama voor Yoruba). Dit suggereert een faalmodus die de taalidentificatie-routing verstoort in plaats van het exploiteren van gedegradeerde semantische representatie.
• Scherpe Transitie in Veiligheidsregime: Een kwalitatieve verschuiving vindt plaats tussen Tier 2 en Tier 3. Modellen behouden overwegend weigerend gedrag in Tiers 1–2, maar dalen significant in weigeringspercentages bij Tier 3, wat wijst op een drempeleffect in plaats van continue degradatie.

3.2 Mechanistische Bevindingen

• Geometrische Misuitlijning: De scheiding tussen schadelijk-onschadelijk (gemeten via de silhouette score) degradeert significant vanaf Tier 3 en verder. In Tier 4 nadert de schadelijkheidssubruimte de orthogonaliteit met de Engelse schadelijkheidssubruimte.
• Subthreshold Activation (Dominante Faalmodus): Voor Tier 3 talen tonen schadelijkheidsprobes een hoge AUC (wat aangeeft dat het model de input intern als schadelijk codeert), maar het weigeringssignaal slaagt er niet in de beslissingsdrempel te overschrijden. De schade-representatie bestaat, maar wordt gerouteerd via een misuitgelijnde, laag-rangige subruimte die onvoldoende projecteert op de weigeringsrichting.
• Semantic Recovery Failure (Tier 4): In Tier 4 stort de schadelijkheid-representatie zelf in (AUC nadert kans), wat een upstream falen vertegenwoordigt waarbij het model de schade niet eens kan detecteren.
• Eendimensionale Cross-Linguale Weigering: Hoewel de Engelse weigeringskegel meerdimensionaal is, wordt alleen de eerste basisrichting ($b_0$) robuust over talen heen getransfereerd. Secundaire richtingen ($b_1$–$b_4$) dragen een bijna nul of negatieve marge voor niet-Engelse talen, en coderen vaak schriftfamilie-specifieke sub-circuits.

4. Bijdragen

1. Minionese Benchmark: Een fijnmazige multilingale jailbreak benchmark die 18 talen, 4 middelen-tiers en 4 perturbatietypes beslaat, wat een per-aanvalstype mechanistische analyse mogelijk maakt.
2. Empirische Kwetsbaarheidsprofielen: Demonstratie dat elk aanvalstype een onderscheidend, repliceerbaar kwetsbaarheidsprofiel produceert (schrift-geconditioneerde transliteratie, tier-stabiele code-switching en een scherpe Tier 2–3 veiligheidstransitie).
3. Geometrisch Framework: Een mechanistische verklaring die de schadelijkheidsdetectie onderscheidt van de weigeringsactivatie, waarbij "subthreshold activation" en "semantic recovery failure" worden geïdentificeerd als de twee primaire faalmodi in multilingale omgevingen.

5. Betekenis en Claims

Het artikel claimt dat Engelstalige veiligheidsevaluaties onvoldoende zijn voor wereldwijde implementatie. De bevindingen maken het noodzakelijk dat veiligheidsaudits rekening houden met schriftfamilie, perturbatietype en per-taal uitlijningsdekking.

• Mechanistisch Inzicht: De studie stelt dat multilingale jailbreaks niet slagen door het weigeringsmechanisme te vernietigen, maar door het mechanisme te "verhongeren" van input. In omgevingen met weinig middelen neemt schadelijke inhoud een geometrisch dunnere subruimte in die onvoldoende projecteert op de weigeringsrichting.
• Implicaties voor Interventie: Veiligheidsinterventies (bijv. contrastieve activatie-additie) moeten zijn uitgelijnd met de primaire cross-linguale weigeringsrichting ($b_0$). Interventies langs hogere-dimensionale kegelrichtingen kunnen de veiligheid in niet-Engelse talen actief verslechteren.
• Governance: De resultaten suggereren dat veiligheidsfalen structurele eigenschappen zijn van transformer-veiligheidsafstemming onder multilingale distributieverschuivingen, in plaats van model-specifieke artefacten. Dit impliceert dat governance-frameworks verder moeten gaan dan geaggregeerde metrieken om specifieke linguïstische en geometrische kwetsbaarheden aan te pakken.

De auteurs benadrukken dat hun werk diagnostische instrumenten biedt voor red-teaming en alignment, met een focus op faalmechanismen in plaats van geoptimaliseerde aanvalsrecepten, om verantwoorde implementatie over diverse taalgemeenschappen heen te waarborgen.