💬 NLP

Do Large Language Models Reflect Demographic Pluralism in Safety?

Dit paper introduceert Demo-SafetyBench, een methode om de demografische diversiteit in de veiligheidsnormen van grote taalmodellen te evalueren door veiligheidsprompts te categoriseren en de variatie in perceptie tussen verschillende bevolkingsgroepen te meten.

Oorspronkelijke auteurs: Usman Naseem, Gautam Siddharth Kashyap, Sushant Kumar Ray, Rafiq Ali, Ebad Shabbir, Abdullah Mohammad

Gepubliceerd 2026-02-10

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Usman Naseem, Gautam Siddharth Kashyap, Sushant Kumar Ray, Rafiq Ali, Ebad Shabbir, Abdullah Mohammad

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een wereldwijde jury bent die moet beslissen wat "gevaarlijk" of "ongepast" is. Als die jury alleen maar bestaat uit mensen uit één specifieke stad, met één specifieke achtergrond, dan zullen hun regels heel erg gaan lijken op de lokale gewoontes van die stad. Wat in die stad heel normaal is, wordt door de jury misschien als "fout" gezien, terwijl iets wat elders heel erg beledigend is, door de jury misschien wordt genegeerd.

Dit onderzoek, genaamd Demo-SafetyBench, gaat precies over dit probleem bij AI (zoals ChatGPT).

Het probleem: De "Morele Gemiddelde" Valstrik

Op dit moment worden AI-modellen getraind om "veilig" te zijn. Maar "veiligheid" is geen vaste wet zoals de zwaartekracht; het is een sociale afspraak. Wat een tiener in een grote stad ongevaarlijk vindt, kan voor een grootouder op het platteland heel schokkend zijn.

De onderzoekers ontdekten dat de huidige tests voor AI vaak een soort "moreel gemiddelde" gebruiken. Ze kijken naar wat de meeste mensen (vaak uit het Westen) veilig vinden en dwingen de AI om dat te volgen. Hierdoor worden de nuances van verschillende culturen, leeftijden en achtergronden weggepoetst. De AI wordt een soort "saaie eenheidsworst" die de stemmen van minderheden niet echt begrijpt.

De oplossing: Een "Culturele Spiegel" (Demo-SafetyBench)

De onderzoekers hebben een nieuwe manier bedacht om AI te testen. In plaats van alleen te vragen: "Is dit zinnetje gevaarlijk?", voegen ze een extra laag toe: "Is dit zinnetje gevaarlijk voor een student in een drukke stad, of voor een gepensioneerde in een rustig dorp?"

Ze hebben een systeem gebouwd dat werkt in twee stappen:

De Diversiteits-Fabriek: Ze hebben een enorme database gemaakt van 43.000 vragen. Ze hebben deze vragen niet alleen ingedeeld in categorieën (zoals 'haatzaaien' of 'drugs'), maar ze hebben er ook een "demografisch label" aan geplakt. Het is alsof je een bibliotheek maakt waar elk boek niet alleen op onderwerp is gesorteerd, maar ook op de achtergrond van de schrijver.
De AI-Rechters: Vervolgens lieten ze verschillende AI-modellen (zoals GPT-4o) optreden als rechters. Ze lieten de AI-rechters de vragen beoordelen terwijl ze de "bril" van verschillende groepen opzetten.

Wat hebben ze ontdekt? (De conclusie)

De resultaten waren heel interessant:

AI heeft een "vooroordeel-bril" op: Zelfs de slimste AI (zoals GPT-4o) reageert anders afhankelijk van de demografische context. De AI is niet neutraal; hij heeft nog steeds een verborgen moreel kompas dat beïnvloed wordt door wie hij is en hoe hij getraind is.
Grootte maakt een verschil: De hele grote, dure AI-modellen zijn een stuk stabieler en eerlijker in hun oordeel. De kleinere, goedkopere AI-modellen zijn veel grilliger; zij schieten sneller door in vooroordelen of extreme reacties.
Efficiëntie: Het goede nieuws is dat je niet altijd de allerduurste, meest energieverslindende AI nodig hebt om veiligheid te testen. Kleinere modellen kunnen ook heel goed worden gebruikt als "controleur", zolang je weet waar hun zwakke plekken liggen.

Samenvattend in één metafoor

Denk aan AI als een nieuwe wereldreiziger. Tot nu toe hebben we die reiziger alleen geleerd wat de regels zijn in zijn eigen geboorteland. Dit onderzoek bouwt een wereldwijde etiquette-gids. Het helpt ons te begrijpen dat een AI pas echt "veilig" is als hij niet alleen de regels van de meerderheid kent, maar ook begrijpt dat de wereld bestaat uit miljarden verschillende manieren om naar goed en kwaad te kijken.

Technische Samenvatting: Do Large Language Models Reflect Demographic Pluralism in Safety?

Probleemstelling

De huidige veiligheidsevaluaties van Large Language Models (LLM's) lijden aan een gebrek aan demografisch pluralisme. Veiligheid is geen universeel concept; wat als "veilig" of "schadelijk" wordt beschouwd, varieert sterk per cultuur, religie, geslacht, leeftijd en sociaaleconomische achtergrond. Bestaande datasets (zoals ANTHROPIC-HH of DICES) zijn vaak gebaseerd op demografisch homogene of westerse annotatoren. Hierdoor optimaliseren huidige alignment-pipelines voor een "moreel gemiddelde", wat de risico's vergroot dat minderheidspercepties worden gemarginaliseerd onder het mom van universele veiligheid. Bovendien zijn huidige "LLM-as-a-Judge" methoden vaak afhankelijk van respons-gebaseerde datasets die deze culturele bias al bevatten.

Methodologie: Demo-SafetyBench

De auteurs introduceren Demo-SafetyBench, een tweestaps raamwerk dat demografisch pluralisme direct op prompt-niveau modelleert. Dit ontkoppelt de morele inkadering (de prompt) van de reactie van het model, waardoor bias in de antwoorden wordt geëlimineerd.

Fase I: Data Constructie (Data Construction)

Reclassificatie: Prompts uit de DICES-dataset worden met behulp van Mistral-7B-Instruct-v0.3 geclassificeerd in 14 veiligheidsdomeinen (gebaseerd op de BEAVERTAILS-taxonomie), zoals haatzaaien, zelfbeschadiging en politieke controverses. Dit is een multi-label proces waarbij een drempelwaarde ( $\delta=0.5$ ) wordt gebruikt.
Expansie: Voor ondervertegenwoordigde domeinen worden nieuwe queries gegenereerd met Llama-3.1-8B-Instruct. Deze generatie is geconditioneerd op demografische metadata (geslacht, ras, leeftijd, opleiding) om de demografische balans te behouden.
Deduplicatie: Om redundantie en train-test leakage te voorkomen, wordt SimHash gebruikt met een Hamming-afstand drempelwaarde ( $\tau=10$ ).

Fase II: Benchmarking (Evaluatie)
De auteurs gebruiken een "LLM-as-Rater" protocol waarbij drie modellen (Gemma-7B, GPT-4o, en LLaMA-2-7B) de veiligheid van de prompts beoordelen in een zero-shot setting. De raters geven zowel een categorisch oordeel (veilig/onveilig) als een numerieke betrouwbaarheidsscore. De evaluatie meet:

Demographic Sensitivity (DS): De mate waarin veiligheidsoordelen variëren tussen demografische subgroepen.
Inter-Rater Correlation ( $\rho$ ): De consistentie tussen verschillende rater-modellen.
Fairness Gaps (DPD & EOD): Dispariteiten in voorspellingen tussen groepen.

Belangrijkste Bijdragen

Demo-SafetyBench Framework: Een nieuw, schaalbaar raamwerk dat pluralisme modelleert via demografisch gegronde prompts in plaats van menselijke of gegenereerde antwoorden.
Gediversifieerde Dataset: Een corpus van 43.050 samples verdeeld over 14 veiligheidsdomeinen met expliciete demografische metadata.
Pluralistische Evaluatieprotocol: Een methode om systematisch te meten hoe demografische variatie de perceptie van veiligheid beïnvloedt zonder menselijke tussenkomst.

Resultaten

Modelprestaties: GPT-4o presteert het best met de hoogste interne betrouwbaarheid (ICC = 0.87) en de laagste demografische gevoeligheid (DS = 0.119), wat duidt op stabielere morele kalibratie.
Demografische Bias: Kleinere modellen zoals LLaMA-2-7B vertonen een hogere demografische gevoeligheid (DS = 0.176) en grotere ongelijkheid (fairness gaps), wat suggereert dat minder gealigneerde modellen sterker reageren op demografische context.
Systematische Variatie: Er is een duidelijke trend zichtbaar waarbij bepaalde groepen (bijv. mannelijk, wit, ouder, lager opgeleid) vaker als "risicovoller" worden beoordeeld, terwijl andere groepen (bijv. vrouwelijk, Aziatisch, jonger, hoger opgeleid) als "veiliger" worden gezien.
Efficiëntie: De resultaten tonen aan dat kleinere modellen zoals Gemma-7B een competitieve evaluatie kunnen bieden tegen een fractie van de computationele kosten en energieconsumptie van GPT-4o.

Significantie

Dit onderzoek bewijst dat veiligheid in LLM's niet neutraal is, maar sociaal geconditioneerd blijft, zelfs wanneer de prompts tekstueel neutraal zijn. Demo-SafetyBench biedt een essentieel instrument voor onderzoekers om de "morele breedte" van AI-modellen te testen en te waarborgen dat alignment-processen niet onbedoeld de waarden van minderheidsgroepen uitwissen. Het legt de noodzaak bloot voor demografisch bewuste alignment-evaluaties in de ontwikkeling van verantwoorde AI.