Safety Is Not Universal: The Selective Safety Trap in LLM Alignment

1. Probleemstelling

Huidige veiligheidsevaluaties voor Large Language Models (LLM's) creëren een gevaarlijke illusie van universele bescherming. Door schade te aggregeren onder generieke categorieën (bijvoorbeeld "Haat gericht op Identiteit"), verduisteren bestaande benchmarks kritieke kwetsbaarheden ten opzichte van specifieke bevolkingsgroepen. De auteurs identificeren een systemisch falingspatroon dat de Selectieve Veiligheidstrap wordt genoemd, waarbij modellen robuust verdediging bieden voor specifieke, hoog-zichtbare demografische groepen (vaak dominant in op de VS gerichte trainingsdata), terwijl ondervertegenwoordigde gemeenschappen kwetsbaar blijven voor identieke adversariele aanvallen.

De kernuitdaging is dat veiligheidsalignatie geen uniforme semantische capaciteit is, maar een demografische hiërarchie. Huidige metrieken falen in het bepalen voor wie een model veilig is, wat leidt tot een vals gevoel van veiligheid waarbij veiligheid slechts is overgefit op specifieke minderheden die aanwezig zijn in de data-distributie, waardoor de "lange staart" van ondervertegenwoordigde groepen weerloos blijft.

2. Methodologie

A. MiJaBench (Minority Jailbreaking Benchmark)

Om dit fenomeen systematisch te auditeren, introduceerden de auteurs MiJaBench, een tweetalig (Engels–Portugees) adversariaal benchmark ontworpen om demografisch-specifieke kwetsbaarheden te isoleren.

• Schaal: 43.961 gecontroleerde jailbreaking-prompten.
• Dekking: 16 distincte minderheidsgroepen (bijvoorbeeld Black, LGBTQIA+, Mensen met een beperking, Immigranten, Ouderen).
• Constructiepiplijn:
  1. Haatzaaiende Zaden: Afgeleid van ToxiGen (Engels) en ToxSyn (Portugees) om een native culturele context te waarborgen in plaats van artefacten van machinevertaling.
  2. Contextueel Scenario: 21 diverse narratieve categorieën (bijvoorbeeld Geschiedenis, Futuristische Technologie, Mythologie) om generatie met hoge entropie af te dwingen en deterministische modelconvergentie te voorkomen.
  3. Jailbreaking-strategie: Vier gecontroleerde adversariele technieken:
     • Persoonstoewijzing: Rollenspelscenario's.
     • Representatieverschuiving: Verduistering via low-resource talen, JSON of Leetspeak.
     • Chain-of-Thought (CoT): Het ontleden van schadelijke intentie in logische stappen.
     • Logische Rationalisatie: Het framen van haatzaaiende taal als een analytische oefening.
  4. Adversariale Herschrijver: Een stochastische pijplijn die Qwen-3-235B gebruikt om deze componenten te synthetiseren tot samenhangende prompten die veiligheidsfilters omzeilen terwijl de oorspronkelijke schadelijke intentie behouden blijft.

B. MiJaBench-Align

De auteurs voerden MiJaBench uit over 14 state-of-the-art LLM's (waaronder Llama-3, Gemma-3, Qwen-3, GPT-4o mini en Gemini 2.0 Flash) variërend van 1B tot 70B+ parameters. Dit genereerde 615.454 prompt-responseparen, die het MiJaBench-Align-corpus vormen.

C. Evaluatieprotocol

• Metriek: Defensiegraad (DR), het omgekeerde van de Aanvalsuccesgraad (ASR).
• LLM-as-a-Judge: Een geautomatiseerd evaluatiesysteem dat gebruikmaakt van een meerderheidsstem-ensemble van topmodellen (Qwen-3, Llama-3.3, GPT-OSS) om responsen te classificeren als "Veilig" of "Gevaarlijk".
• Ground Truth: Geverifieerd door menselijke experts met een strikt binair classificatieprotocol dat zich richt op technisch succes (produceerde het model de schadelijke inhoud?) in plaats van subjectieve beledigendheid.

3. Belangrijkste Bijdragen

1. MiJaBench & MiJaBench-Align: De eerste grootschalige, tweetalige benchmark die specifiek is ontworpen om demografisch-specifieke veiligheidskwetsbaarheden te auditeren, verdergaand dan generieke schadetaxonomieën.
2. Identificatie van de Selectieve Veiligheidstrap: Empirisch bewijs dat aantoont dat veiligheidsalignatie niet universeel is. Defensiegraden fluctueren met tot 42% binnen hetzelfde model, uitsluitend gebaseerd op de doelgroep.
3. Het Schaalingsparadox: De ontdekking dat het vergroten van de modelgrootte (scaling) werkt als een biasversterker. Grotere modellen verbeteren de gemiddelde veiligheid, maar alloceren hun toegenomen capaciteit disproportioneel om dominante groepen te beschermen, waardoor de veiligheidskloof voor ondervertegenwoordigde minderheden groter wordt.
4. Equitabele Alignatie via DPO: Een demonstratie dat gerichte Direct Preference Optimization (DPO) op een kleinschalig model (1B parameters) sterke zero-shot generalisatie kan bereiken naar ongezonde demografieën en aanvalsstrategieën, wat bewijst dat selectieve veiligheid een oplosbaar falen van alignatiedoelstellingen is en geen architecturale beperking.

4. Belangrijkste Resultaten

• Demografische Dispariteit: Modellen vertonen een "tweeledig" veiligheidssysteem. Bijvoorbeeld, in het Engels lieten modellen een afwijking van +12,29% in de defensiegraad zien voor Black-gemeenschappen, maar een afwijking van -8,05% voor Mensen met een beperking.
• Taaloverstijgende Consistentie: De veiligheidshiërarchie blijft bestaan in het Portugees, wat bevestigt dat de bias is gecodeerd in de latente semantische representaties van het model in plaats van een oppervlakkig artefact van Engelstalige trainingsdata te zijn. De omvang van de dispariteit is echter iets milder in het Portugees, waarschijnlijk vanwege minder overfitting op specifieke VS-sociaal-politieke discours.
• Schaalingseffecten:
  • Qwen-3 Familie: Schalen van 1,7B naar 32B parameters verhoogde de globale defensiegraad van 2% naar 16%, maar de dispariteit (standaardafwijking over groepen) steeg van 0,004 naar 0,062.
  • Anomalie: Het Llama-3.2-1B-model bereikte een globale defensiegraad van 36% met aanzienlijk strakkere dispariteitsgrenzen ($\sigma \approx 0,059$), en presteerde beter dan veel grotere modellen (bijvoorbeeld Qwen-3-32B op 16%, GPT-4o mini op 28%). Dit suggereert dat ernstige dispariteit geen onvermijdelijke beperking van capaciteit is, maar een falen van allocatie van alignatie.
• Kwetsbaarheid voor Logica: Modellen zijn aanzienlijk kwetsbaarder voor Logische Rationalisatie en Chain-of-Thought-jailbreaks (DR $\approx$ 7–23%) in vergelijking met Representatieverschuiving (DR $\approx$ 39%), wat aangeeft dat modellen logische instructievolging prioriteren boven veiligheidsbeperkingen wanneer schade wordt geframeerd als een premisse.

5. Betekenis en Implicaties

• Herschepping van Veiligheidsevaluatie: Het paper stelt dat geaggregeerde veiligheidsscores misleidend zijn. Echte veiligheid vereist het auditeren van prestaties over specifieke demografische intersecties, niet alleen brede categorieën.
• Kritiek op Schaalingswetten: Het daagt de aanname uit dat "groter veiliger is", en toont aan dat zonder gerichte interventie schaalingswetten ongelijkheid verergeren door te over-optimiseren voor groepen met hoge resources en hoge zichtbaarheid.
• Pad naar Equitabele AI: Het succes van DPO op een 1B-model bewijst dat kleine modellen een gegeneraliseerd, overdraagbaar concept van schade kunnen leren. Dit biedt een haalbare, computerefficiënte weg om selectieve veiligheid te mitigeren zonder dat massale hertraining van frontier-modellen nodig is.
• Wereldwijde Relevantie: Door Portugees op te nemen, benadrukt de studie dat veiligheidskloven niet uniek zijn voor Engelstalige contexten, maar systemische problemen zijn in de latente representaties van meertalige modellen, wat cultuurdiversiteit in veiligheidstraining noodzakelijk maakt.

Concluderend biedt het paper een diagnostisch raamwerk (MiJaBench) en een remediatiestrategie (DPO) om de veiligheid van LLM's te laten overgaan van een selectief privilege voor enkele groepen naar equitabele bescherming voor alle gemeenschappen.