Technische Samenvatting: StereoTales

Probleemstelling

Bestaand onderzoek naar sociale vooroordelen in Large Language Models (LLM's) wordt voornamelijk beperkt door drie beperkingen:

1. Formaat: De meeste benchmarks vertrouwen op streng gecontroleerde omgevingen (meerkeuzevragen, invullen van sjablonen of vragen-antwoord) die herkenning van vooroordelen testen in plaats van generatie van vooroordelen. Dit weerspiegelt niet de open-ended, vrij vormgegeven generatie die typerend is voor het gebruik van LLM's in de echte wereld.
2. Reikwijdte: Studies zijn overweldigend Engels-gecentreerd en gericht op de VS, waarbij socio-demografische attributen vaak worden beperkt tot geslacht en ras op basis van categorieën uit de Amerikaanse volkstelling. Dit negeert hoe vooroordelen tot uiting komen in verschillende talen en culturele contexten.
3. Granulariteit: Eerdere werken scoren vaak individuele outputs of richten zich op kleine, open-weight modellen, waardoor het gedrag van frontier-modellen en het distributionele ontstaan van vooroordelen (patronen die alleen zichtbaar zijn over honderden generaties) grotendeels onverkend blijft.

Bijgevolg blijven vooroordelen die alleen tot uiting komen in open-ended generatie, over diverse talen heen, en in recente frontier-modellen, onontdekt.

Methodologie

De auteurs introduceren StereoTales, een meertalige dataset en evaluatiepijplijn die is ontworpen om systematisch sociale vooroordelen in open-ended LLM-generatie te ontdekken.

Constructie van de Dataset

• Schaal: De dataset bestaat uit ongeveer 650.000 verhalen gegenereerd door 23 frontier-LLM's van grote aanbieders (OpenAI, Anthropic, Google, Mistral, Alibaba, enz.).
• Talen: Generatie vindt plaats in 10 talen (Engels, Frans, Spaans, Italiaans, Portugees, Nederlands, Oekraïens, Arabisch, Hindi en Chinees). Cruciaal is dat prompts, attribuutwaarden en scenario's handmatig vertaald zijn door moedertaalsprekers om semantische drift en culturele afvlakking die geassocieerd zijn met automatische vertaling te voorkomen.
• Ontwerp van Prompts: Prompts worden geconstrueerd via een Cartesisch product van:
  • 19 Demografische Attributen: Die identiteit, socio-economische status en levenssituaties omvatten (bijv. leeftijd, geslacht, religie, opleiding, inkomen, immigratiestatus).
  • 79 Attribuutwaarden: Gesloten sets van toelaatbare waarden voor elk attribuut.
  • 36 Narratieve Scenario's: Diversere situaties (bijv. sollicitatiegesprekken, familiediners, gezondheidscrises) die dienen als narratieve zaden.
• Generatieprotocol: Elke prompt fixeert een enkele attribuutwaarde voor de hoofdpersoon terwijl andere ongespecificeerd blijven. Het model genereert een verhaal van ongeveer 200 woorden.

Analysepijplijn

1. Extractie van Attributen: Een ensemble van drie LLM-extractors (GPT-5-nano, Gemini 2.5 Flash Lite, Gemini 3.1 Flash Lite) extrahert het socio-demografische profiel van de hoofdpersoon uit elk verhaal over alle 19 dimensies.
2. Ontdekking van Statistische Associaties: De pijplijn bouwt contingentietabellen voor co-occurrenties tussen het door de prompt opgelegde attribuut (Basis) en de geëxtraheerde attributen.
   • Attribuutniveau: De exacte test van Fisher (Monte Carlo-schatting) bepaalt of een verdeling afhankelijk is van het basisattribuut. Het effectgrootte wordt gemeten via bias-correcte Cramér's V.
   • Waarde-niveau: Eenzijdige Fisher-tests identificeren specifieke paren waarden die de associatie drijven. Effectgrootte wordt gemeten door Lift ($P(B=b|A=a)/P(B=b)$). Alleen paren met $Lift \ge 2$ en statistische significantie (Benjamini-Yekutieli gecorrigeerd) worden behouden.
3. Oordeel over Schadelijkheid: Om het injecteren van auteursvooroordelen te vermijden, wordt schadelijkheid bepaald door twee onafhankelijke beoordelaars:
   • Menselijke Studie: 247 deelnemers uit het VK beoordeelden 1.580 unieke associaties op een 5-punts Likertschaal voor schadelijkheid en frequentie in de echte wereld.
   • Zelfevaluatie door LLM's: Dezelfde 23 modellen die de verhalen genereerden, kregen de opdracht om de schadelijkheid van dezelfde associaties te beoordelen.

Belangrijkste Bijdragen

1. StereoTales Dataset: Een grote, meertalige bron met ongeveer 650k verhalen, attribuutannotaties en schadelijkheidsscores, die 10 talen en 23 modellen bestrijkt.
2. Distributionele Vooroordeel-ontdekking: Een methodologie die verder gaat dan classificatie op niveau van steekproeven om systematische, statistisch significante associaties over de verdeling van modeloutputs te identificeren.
3. Evaluatie over Modellen en Talen heen: De eerste studie die gezamenlijk de universaliteit van vooroordelen over 23 frontier-modellen en de culturele aanpasbaarheid van vooroordelen over 10 talen evalueert.
4. Calibratie van LLM als Rechter: Een grootschalige kalibratie van zelfevaluatie door LLM's tegen menselijke beoordeling op het gebied van schadelijkheid van stereotypen.

Belangrijkste Resultaten

1. Alomtegenwoordigheid en Universaliteit van Schadelijke Stereotypen

• Alomtegenwoordigheid: Elk geëvalueerd model geeft consequente schadelijke stereotypen af bij open-ended generatie, ongeacht grootte of capaciteit.
• Gedeelde Patronen: Schadelijke associaties worden grotendeels gedeeld tussen aanbieders in plaats van geïsoleerd te zijn als misdragingen. Ongeveer 25% van de schadelijke associaties komt voor in ten minste de helft van de modellen, en een significant deel wordt door elk enkel model geproduceerd.
• Onafhankelijkheid van Capaciteit: Er is geen waarneembare afname van schadelijke associaties bij toename van de modelgrootte. Verrassend genoeg bestaat er een zwakke positieve correlatie tussen modelcapaciteit (ELO) en het aantal schadelijke associaties, wat suggereert dat huidige uitlijningsrecepten deze vooroordelen niet effectief mitigeren.

2. Taalspecifiteit en Culturele Aanpassing

• Culturele Weerspiegeling: Modellen transfereren geen statische, Engels-dominante set van vooroordelen. In plaats daarvan fungeren ze als "culturele chameleons" die stereotypen aanpassen aan het culturele kader dat wordt opgeroepen door de prompttaal.
• Lokaal versus Wereldwijd: Ongeveer de helft van de schadelijke emissies is beperkt tot maximaal twee talen.
• Verschuiving van Doelgroepen: De prompttaal verschuift welke groepen worden aangevallen. Modellen neigen schadelijke associaties over de "ongemarkeerde" (meerderheids)identiteit van de prompttaal te verminderen, terwijl ze schade vergroten tegen lokaal opvallende beschermde minderheden.
• Regionale Clusters: Schadelijke vooroordelen clusteren per culturele regio (bijv. een sterk West-Europees blok en een zwakker Latijns-Amerikaans blok), wat aangeeft dat trainingsdata en culturele context, en niet alleen taalfamilies, vooroordeelsprofielen bepalen.

3. Overeenstemming tussen Menselijke en LLM-beoordelingen

• Brede Overeenstemming: LLM-beoordelingen vertonen een brede overeenstemming met menselijke ratings (Spearman $\rho = 0,62$).
• Systematische Blinde Vlekken: Meningsverschillen zijn systematisch en worden gedeeld tussen aanbieders. Modellen onderschatten consequent de schade van stereotypen die zijn verankerd in socio-economische status, leeftijd, religie, immigratie en opleiding. Omgekeerd overschatten ze de schade met betrekking tot geslacht en geslachtsuitlijning – de assen die historisch gezien de focus van veiligheidsuitlijning zijn geweest.
• Conservatieve Bias: LLM's zijn over het algemeen conservatiever dan mensen en gebruiken de extreme "5"-rating aanzienlijk minder vaak.

Betekenis en Claims

Het artikel claimt dat een-talige eerlijkheidsbenchmarks de schade die een model kan veroorzaken bij prompts in een andere taal, aanzienlijk onderschatten. Omdat vooroordelen zich cultureel aanpassen aan de prompttaal, kan een model dat in het Engels als "veilig" wordt beschouwd, in andere talen verschillende, lokaal schadelijke stereotypen genereren.

Bovendien daagt de studie het idee uit dat benchmarks voor vooroordeelherkenning (waarop frontier-modellen vaak verzadigen) impliceren dat vooroordeelgeneratie opgelost is. De resultaten geven aan dat generatie van schadelijke associaties een structurele eigenschap is van huidige LLM's, waarschijnlijk overgeërfd van gedeelde pretrainingsdata en uitlijningsrecepten, en niet een falen van schaal of capaciteit.

Tot slot stelt het artikel dat hoewel LLM's kunnen dienen als complementaire beoordelaars voor vooroordelen, hun zelfbeoordeling fragiel is en systematische blinde vlekken vertoont op socio-economische en ideologische attributen, waardoor ze in deze specifieke domeinen een onvoldoende vervanging zijn voor menselijke evaluatie.

De auteurs geven de volledige dataset, code en annotatieplatform vrij om de gemeenschap in staat te stellen dit werk uit te breiden naar nieuwe talen, attribuuttaxonomieën en normatieve referentiegroepen.