Dual-Metric Evaluation of Social Bias in Large Language Models: Evidence from an Underrepresented Nepali Cultural Context

Deze studie toont aan dat grote taalmodellen in de Nepalese context aanzienlijke sociale vooroordelen vertonen, waarbij impliciete generatieve bias sterk verschilt van expliciete instemming en een niet-lineair verband vertoont met de temperatuurinstelling, wat de noodzaak benadrukt van cultureel onderbouwde evaluatie- en debiasingstrategieën.

De kern

Hoe slimme computers (LLM's) vooroordelen hebben in de Nepalese cultuur: Een simpele uitleg

Stel je voor dat je een groep van zeven zeer slimme, maar nogal onwetende robots hebt. Deze robots zijn getraind op enorme hoeveelheden informatie uit de hele wereld, maar vooral uit het Westen (zoals Amerika en Europa). Ze zijn ontworpen om vragen te beantwoorden en verhalen te schrijven. Maar er zit een probleem: als je ze vraagt om iets te doen in een specifieke cultuur die ze niet goed kennen – zoals die van Nepal – kunnen ze onbedoeld oude, vooroordelen en stereotypen herhalen.

Deze paper van Ashish Pandey en Tek Raj Chhetri is als het ware een grote, eerlijke test om te zien hoe deze robots zich gedragen in de Nepalese context.

Hier is hoe ze het hebben aangepakt, vertaald in alledaagse taal:

1. De Proef: Een "Spiegel" voor de Robots

De onderzoekers hebben een speciale lijst gemaakt met meer dan 2.400 zinnen. Dit is hun EquiText-Nepali dataset.

• Hoe werkt het? Ze hebben telkens twee zinnen naast elkaar gezet.
  • Zin A (Het vooroordeel): "Vrouwen zijn beter in het huishouden dan in het bouwen van bruggen."
  • Zin B (De waarheid): "Veel vrouwen in Nepal zijn uitstekende ingenieurs en bouwen bruggen."
• Het doel: Ze kijken of de robot liever zin A of zin B kiest.

2. De Twee Spiegels (De "Dual-Metric" Methode)

Dit is het slimme deel van het onderzoek. De onderzoekers keken niet alleen naar wat de robots zeiden, maar ook naar wat ze deden. Ze gebruikten twee verschillende spiegels:

• Spiegel 1: De "Ja/Nee"-test (Expliciete instemming)
  De onderzoekers vragen de robot: "Ben je het eens met deze zin?"

  • Als de robot zegt: "Ja, dat klopt," dan hebben we een vooroordeel.
  • Dit is alsof iemand in een vergadering hardop zegt: "Ik denk dat vrouwen niet kunnen leidinggeven."

• Spiegel 2: De "Verhaal-volg"-test (Impliciete gedrag)
  Hier geven ze de robot alleen het begin van een zin en laten ze het verhaal zelf afmaken.

  • Start: "In Nepal zijn Dalits (een lagere kaste)..."
  • Wat doet de robot? Schrijft hij iets negatiefs als vervolg? Of iets positiefs?
  • Dit is alsof je iemand vraagt om een verhaal te vertellen, en ze onbewust toch weer vervelende dingen zeggen over een groep mensen, zelfs als ze niet direct gevraagd worden om een mening te geven.

De grote ontdekking: De robots waren vaak veel vooroordeliger in hun verhalen (Spiegel 2) dan in hun directe antwoorden (Spiegel 1). Ze zeggen misschien "Nee, ik ben niet vooroordeelig", maar zodra ze een verhaal schrijven, komen de oude vooroordelen toch naar boven.

3. De "Temperatuur" van de Robot

Stel je voor dat je een robot een knop geeft die zijn "stemming" regelt.

• Lage temperatuur (0.0): De robot is heel streng, logisch en voorspelbaar.
• Hoge temperatuur (1.0): De robot is creatief, chaotisch en neemt meer risico's.

De onderzoekers ontdekten iets vreemds:

• Als ze de temperatuur iets verhogen (naar een gemiddelde van 0.3), worden de robots juist meer vooroordeelig in hun verhalen. Het is alsof ze een beetje "dronken" worden en hun echte, diepgewortelde vooroordelen laten zien.
• Als je ze vraagt om meer opties te overwegen (de "top-p" knop), worden ze juist meer expliciet vooroordelend in hun ja/nee-antwoorden.

4. Wat is er echt fout?

De robots hebben het vooral moeilijk met twee dingen in de Nepalese cultuur:

1. Ras en etniciteit: Ze hebben sterke vooroordelen over verschillende etnische groepen.
2. Sociale hiërarchie (Kaste): Ze herhalen oude ideeën over wie "boven" en wie "onder" staat in de maatschappij.

Bijvoorbeeld: Een robot denkt misschien dat een vrouw uit een bepaalde kaste alleen maar in de tempel moet werken, terwijl ze in werkelijkheid een ingenieur kan zijn. De robot "weet" dit niet, omdat hij is getraind op data die deze realiteit niet goed weergeeft.

Waarom is dit belangrijk?

Vroeger keken onderzoekers vooral naar robots in het Engels en in westerse landen. Maar Nepal heeft 120 verschillende talen en een complexe maatschappij met kaste en religie. Als we deze robots niet testen in deze specifieke context, blijven we blind voor de schade die ze kunnen aanrichten.

De conclusie in één zin:
Slimme robots zijn als een spiegel die de wereld weerspiegelt, maar als die spiegel alleen is gemaakt in Amerika, ziet hij de Nepalese cultuur niet goed. Deze studie laat zien dat we speciale, lokale spiegels moeten maken en dat we niet alleen moeten kijken naar wat robots zeggen, maar vooral naar wat ze schrijven als ze denken dat niemand kijkt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Dual-Metric Evaluation of Social Bias in Large Language Models: Evidence from an Underrepresented Nepali Cultural Context" in het Nederlands.

Probleemstelling

Grote Taalmodellen (LLMs) zoals GPT-4, Claude en Gemini hebben een enorme impact op het wereldwijde digitale ecosysteem. Echter, het onderzoek naar sociale en culturele vooroordelen in deze modellen is sterk gefocust op westerse contexten en Engelstalige datasets. Er is een aanzienlijke kennislacune met betrekking tot ondervertegenwoordigde contexten, zoals die in Nepal.

• Culturele mismatch: Modellen getraind op westerse data vangen de complexe Nepalese socioculturele realiteit niet goed op, inclusief factoren zoals kastestelsels, etnische diversiteit en religieuze praktijken.
• Methodologische beperkingen: Bestaande bias-evaluatiekaders (zoals StereoSet en BOLD) zijn niet geschikt voor de Nepalese context omdat ze gebrek hebben aan culturele granulariteit en vaak alleen kijken naar expliciete instemming of vrije generatie, maar niet naar een combinatie van beide.
• Risico: Zonder specifiek onderzoek blijven vooroordelen in Nepalese talen en culturen onzichtbaar, wat leidt tot versterking van stereotypen en technologische ongelijkheid in het Globale Zuiden.

Methodologie

De auteurs introduceren een systematische, kwantitatieve evaluatie met een nieuwe dataset en een uniek evaluatiekader.

1. Dataset: EquiText-Nepali

• Opbouw: Een nieuwe, Croissant-compliant dataset met meer dan 2.400 zinnenparen (stereotype vs. anti-stereotype).
• Categorieën: De dataset dekt drie hoofdbias-dimensies:
  • Geslacht: Rollen in beroep, onderwijs en politiek.
  • Ras/Etniciteit: Stereotypen over gemeenschappen en etnische groepen.
  • Sociocultureel: Kastestelsel, interreligieuze dynamiek en rituelen.
• Validatie: De dataset is opgesteld in het Engels voor cross-model compatibiliteit, maar is grondig gevalideerd door experts met kennis van het Nepalees en de lokale cultuur. De betrouwbaarheid werd bevestigd met een Label Validation Agreement (LVA) van ongeveer 92%.

2. Evaluatiekader: Dual-Metric Bias Assessment (DMBA)
In plaats van alleen te kijken naar wat het model zegt, meet DMBA twee complementaire mechanismen:

• Expliciete Instemming (Belief Bias): Het model krijgt een stelling en moet aangeven in hoeverre het hiermee akkoord gaat (score 0-100). Dit meet de "bewuste" voorkeur voor stereotype uitspraken.
• Implicitie Voltooiing (Behavioral Bias): Het model krijgt een afgeknipte prompt (de eerste zes tokens van een stereotype zin) en moet de zin afmaken. De gegenereerde tekst wordt vergeleken met referentieteksten (stereotype vs. anti-stereotype) via cosine-similariteit (TF-IDF vectoren). Dit meet de "onbewuste" neiging om stereotype patronen te genereren.

3. Experimentele Opstelling

• Modellen: Zeven state-of-the-art LLMs werden getest (GPT-4o-mini, Claude-3/4-Sonnet, Gemini-2.0-Flash/Lite, Llama-3-70B, Mistral-Nemo).
• Decodingsparameters: Er werd gevarieerd met temperatuur (deterministisch tot stochastisch) en top-p (nucleus sampling) om te zien hoe deze parameters de bias beïnvloeden.
• Statistiek: Er werden correlatieanalyses en gevoeligheidsanalyses uitgevoerd om de relatie tussen expliciete en impliciete bias te kwantificeren.

Belangrijkste Bijdragen

1. EquiText-Nepali Dataset: De eerste cultureel onderbouwde, Croissant-compliant benchmark voor bias-evaluatie in de Nepalese context, specifiek ontworpen voor geslacht, ras en socioculturele dimensies.
2. DMBA Framework: Een nieuw evaluatiekader dat expliciete instemming en impliciete generatieve bias gelijktijdig meet, wat inzicht geeft in de multifaceted aard van bias.
3. Empirische Inzichten: Een uitgebreide analyse van zeven LLMs in een low-resource context, met specifieke aandacht voor de invloed van decoding-parameters (temperatuur en top-p) op bias.

Resultaten

De studie levert enkele verrassende en belangrijke bevindingen op:

• Discrepantie tussen Expliciet en Implicit:

  • Modellen tonen een meetbare expliciete instemming met vooroordelen (gemiddelde bias instemming: 0,36 tot 0,43).
  • Echter, de impliciete bias (neiging tot stereotype voltooiingen) is aanzienlijk hoger (0,740 – 0,755).
  • Kerninzicht: Er is een zwakke, vaak negatieve correlatie tussen expliciete instemming en impliciete generatieve bias. Een model dat zegt dat het niet met een stereotype akkoord gaat, kan toch diezelfde stereotype patronen genereren in vrije tekst. Dit betekent dat evaluaties die alleen kijken naar instemming bias onderschatten.

• Invloed van Decoding-parameters:

  • Temperatuur: Impliciete bias volgt een U-vormige relatie met temperatuur. De bias is het hoogst bij een gematigde stochasticiteit (T=0,3) en daalt licht bij hogere temperaturen. Expliciete bias neemt echter toe bij hogere temperaturen.
  • Top-p: Het verhogen van top-p (nucleus sampling) versterkt de expliciete bias, terwijl de impliciete generatieve bias grotendeels stabiel blijft.

• Vergelijking per Categorie:

  • Ras en Sociocultureel: Deze categorieën vertonen de sterkste impliciete bias (diepgeworteld in de trainingsdata).
  • Geslacht: Toont vergelijkbare niveaus van expliciete bias als socioculturele categorieën, maar lagere expliciete bias voor ras.
  • Dit suggereert dat verschillende soorten vooroordelen op verschillende manieren in het model zijn verankerd.

Significantie en Conclusie

Dit onderzoek is van cruciaal belang voor de ontwikkeling van eerlijke AI in het Globale Zuiden:

• Noodzaak van Cultureel Onderbouwde Data: Het bewijst dat westerse benchmarks ontoereikend zijn voor Nepalese contexten en dat lokale datasets essentieel zijn om echte bias te detecteren.
• Methodologische Vooruitgang: Het demonstreert dat het meten van alleen "wat het model zegt" (expliciet) onvoldoende is; men moet ook kijken naar "wat het model doet" (impliciet genereren).
• Beleid en Toekomst: De bevindingen onderstrepen de noodzaak van debiasing-strategieën die specifiek gericht zijn op culturele contexten en die rekening houden met de complexiteit van decoding-parameters. Het artikel pleit voor verdere uitbreiding van datasets naar de moedertaal (Nepalees) en het ontwikkelen van geavanceerde methoden om culturele vooroordelen te verminderen.

Samenvattend vult deze studie een kritieke kennislacune op door te tonen dat LLMs in ondervertegenwoordigde culturen aanzienlijke, vaak verborgen vooroordelen vertonen die niet zichtbaar zijn met traditionele evaluatiemethoden.