💬 NLP

Measuring Stereotype and Deviation Biases in Large Language Models

Deze studie onderzoekt stereotiepe en afwijkingsbiases in vier geavanceerde grote taalmodellen door hun gegenereerde individuele profielen te analyseren, en onthult dat alle onderzochte modellen aanzienlijke biases vertonen bij het koppelen van demografische groepen aan specifieke attributen en bij het afwijken van reële demografische verdelingen.

Oorspronkelijke auteurs: Daniel Wang, Eli Brignac, Minjia Mao, Xiao Fang

Gepubliceerd 2026-05-20

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Daniel Wang, Eli Brignac, Minjia Mao, Xiao Fang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je vier verschillende AI-"verhaalleraars" hebt (Grote Taalmodellen, of LLM's). Je vraagt hen om een personage te bedenken en je alles over hen te vertellen: hun politieke opvattingen, religie, wie ze liefhebben, hoeveel geld ze verdienen en welke baan ze hebben.

Dit artikel is als een rechercheverslag dat controleert of deze verhaalleraars de waarheid vertellen over de realiteit, of dat ze gewoon oude, luie stereotypen herhalen. De onderzoekers stelden twee hoofdvragen:

De "Stereotype"-test: Behoren deze AI-verhaalleraars verschillende groepen mensen verschillend? (Bijvoorbeeld: maken ze mannen altijd tot "ingenieurs" en vrouwen tot "leraren"?)
De "Afwijking"-test: Lijken de personages die ze bedenken echt op echte mensen in de echte wereld? (Bijvoorbeeld: als ze 100 mensen bedenken, komen de politieke opvattingen dan overeen met de werkelijke Amerikaanse bevolking, of is iedereen plotseling liberaal?)

Hier is wat ze vonden, eenvoudig uiteengezet:

1. De "Politieke Lens" is kapot

Wanneer de AI werd gevraagd om het politieke partij van een persoon te raden, gedroeg het zich als een kapotte kompas.

De bevinding: Bijna elke persoon die de AI bedacht, was liberaal. Of het personage nu een man, een vrouw, zwart, blank of Aziatisch was, de AI zei overweldigend: "Ze zijn liberaal."
De realiteitscheck: In de echte wereld zijn mensen verdeeld tussen liberaal, conservatief en neutraal. De AI negeerde de conservatieven en neutralen bijna volledig.
De analogie: Het is alsof je een chef vraagt om een buffet te koken voor een menigte, maar de chef serveert alleen pizza. Zelfs als je om een salade, een biefstuk of een taco vraagt, geeft de chef je gewoon meer pizza, omdat dat is wat ze gewend zijn te koken.

2. De "Religie"-filter is smal

Wanneer de AI raden wat voor religie een persoon beoefende:

De bevinding: De AI raadde voornamelijk Christelijk of Niet-gebonden (geen religie). Het raadde zelden Hindoestaans, Joods of Moslim, hoewel miljoenen echte mensen deze geloofsovertuigingen volgen.
De leeftijdstwist: De AI had een specifiek patroon met oudere mensen (Babyboomers). Het raadde bijna altijd dat ze Christelijk waren. Voor jongere generaties raadde het dat ze "Niet-gebonden" waren.
De analogie: Stel je een kaart voor waarop alleen de VS en Canada zijn getekend, en elk ander land is gewoon gelabeld als "Onbekend". De kaart van de wereldreligies van de AI mist enorme stukken van de werkelijke bevolking.

3. De "Liefdesleven"-vervorming

Wanneer de AI de seksuele geaardheid raadde:

De bevinding: De AI bedacht veel te veel LGBTQ+-personages. In de echte wereld identificeert de meeste mensen zich als heteroseksueel. De AI draaide dit om, waardoor de overgrote meerderheid van de door haar bedachte personages LGBTQ+ was.
De geslachtsverdeling: Het had een specifiek patroon: het raadde bijna altijd dat mannen homoseksueel waren en vrouwen biseksueel.
De analogie: Het is alsof je een kamer binnenloopt waar de AI zegt: "Iedereen hier draagt een rode hoed", terwijl in werkelijkheid slechts een paar mensen dat doen. De AI versterkt een minderheidsgroep tot het punt waar het lijkt alsof het de meerderheid is.

4. De "Baan" en "Geld"-stereotypen

Wanneer de AI banen en vermogen raadde:

De bevinding: De AI vertrouwde zwaar op ouderwetse stereotypen.
- Banen: Het maakte graag leraren en grafisch ontwerpers voor bijna iedereen, vooral voor oudere generaties.
- Ras & Geld: Het raadde vaak dat zwarte mensen "onderklasse" waren en Aziatische mensen "bovenklasse".
- Weigering: Een van de AI-modellen (Claude) werd zo nerveus over het raden van banen voor bepaalde groepen (zoals blanke mannen of zwarte mannen) dat het simpelweg weigerde te antwoorden, zeggend: "Dat kan ik niet doen."
De analogie: De AI is als een persoon die slechts een paar films heeft gezien. Als ze een zwarte personage zien, gaan ze ervan uit dat ze een gemeenschapsorganisator zijn. Als ze een Aziatisch personage zien, gaan ze ervan uit dat ze een arts zijn. Ze handelen op "filmlogica" in plaats van op realistische statistieken.

5. Het "Naamspel" (Impliciet vs. Expliciet)

De onderzoekers deden iets slim. Ze stelden de AI op twee manieren:

Expliciet: "Schrijf over een zwarte man."
Impliciet: "Schrijf over een man genaamd Jamal." (De naam impliceert het ras zonder het te zeggen).

Het resultaat: De AI gedroeg zich in beide gevallen bijna hetzelfde. Of je nu direct "zwarte man" zei of gewoon een naam gebruikte die geassocieerd wordt met die groep, de AI paste nog steeds dezelfde stereotypen toe. Dit suggereert dat de AI niet alleen reageert op de woorden die je typt; het heeft deze associaties diep in zijn "hersenen" "geleerd".

Het Grote Plaatje

Het artikel concludeert dat deze AI-modellen geen neutrale spiegels zijn van de samenleving. In plaats daarvan zijn ze als spiegels in een kermisattractie die bepaalde groepen rekken en krimpen.

Ze maken liberale opvattingen lijken alsof het de enige opvatting is.
Ze maken LGBTQ+-identiteiten lijken alsof het de meerderheid is.
Ze maken ouderen lijken alsof ze Christenen en leraren zijn.
Ze maken Aziatische mensen lijken rijk en zwarte mensen lijken arm.

De auteurs waarschuwen dat als we deze AI-modellen gebruiken om beslissingen te nemen (zoals bij werving, leningen of het analyseren van nieuws), we per ongeluk een wereld kunnen bouwen die lijkt op de vervormde verbeelding van de AI, in plaats van de echte wereld. Ze suggereren dat ontwikkelaars de trainingsdata moeten corrigeren zodat de AI stopt met het herhalen van deze "luie" raadsels en begint met het nauwkeuriger weerspiegelen van de realiteit.

Technische Samenvatting: Het Meten van Stereotype- en Afwijkingsbiases in Grootte Taalmodellen

Probleemstelling

Grootte Taalmodellen (LLMs) worden steeds vaker ingezet in kritieke domeinen zoals gezondheidszorg, recht en financiën, maar ze erven de in hun trainingsdata aanwezige maatschappelijke biases over en kunnen deze mogelijk versterken. Bestaande literatuur over bias-evaluatie vertrouwt vaak op één evaluatieprincipe: het vergelijken van modeloutput met een door mensen gedefinieerde "ideale" referentie (normatief) of met waargenomen real-world data (beschrijvend). Deze tweedeling creëert een gat; het uitsluitend vertrouwen op ideale referenties kan realistische verdelingen over het hoofd zien, terwijl het uitsluitend vertrouwen op real-world data bestaande maatschappelijke ongelijkheden kan versterken. Bovendien richten de meeste studies zich op expliciete demografische identifiers, waardoor mogelijk biases worden gemist die worden geactiveerd door impliciete signalen (bijv. namen) die expliciete afstemmingsmechanismen omzeilen. Deze studie adresseert de behoefte aan een holistisch kader dat zowel stereotype bias (systematische, consistente associaties tussen demografische groepen en attributen) als afwijkingsbias (verschillen tussen door LLM gegenereerde verdelingen en real-world demografische statistieken) evalueert over meerdere sociale dimensies heen.

Methodologie

De auteurs voerden een verkennende studie uit met vier geavanceerde LLM's: Claude-3.5-Sonnet, GPT-4o-mini, Command-r-plus en Llama-3.1-70b.

Experimenteel Ontwerp

Promptstrategie: De studie gebruikte zowel expliciete prompts (bijv. "Schrijf een beschrijving van een Hispanische man") als impliciete prompts (bijv. "Schrijf een beschrijving van Juan", waarbij de naam etniciteit/gender impliceert). Dit ontwerp maakt het mogelijk om de manifestatie van bias te vergelijken wanneer demografische attributen direct worden vermeld versus wanneer ze worden afgeleid.
Input-Attributen: Demografieën werden gevarieerd over drie dimensies:
- Geslacht: Man, Vrouw.
- Etniciteit/Ras: Blank, Black, Hispanic, Aziatisch en Neutraal.
- Leeftijd: Baby Boomer, Generation X, Millennial, Generation Z, Generation Alpha.
- Opmerking: Namen werden geselecteerd op basis van een hoge correlatie met specifieke demografieën (bijv. top 100 VS-babynamen voor geslacht; etnisch specifieke namen afgeleid van SiSense's Ethnic Neutrality Index) om ruis te minimaliseren.
Output-Attributen: De modellen kregen de opdracht om profielen van 200 woorden te genereren met attributen voor:
- Politieke Afschrijving (Conservatief, Liberaal, Neutraal)
- Religie (Christelijk, Boeddhistisch, Hindoeïstisch, Joods, Moslim, Ongebonden)
- Seksuele Geaardheid (Heteroseksueel, Homoseksueel, Biseksueel, Anders)
- Sociaaleconomische Status (Boven, Midden, Onder)
- Beroep
Datageneratie: Voor impliciete prompts werden 500 teksten gegenereerd per geslachtsgroep en 50 per etniciteit/leeftijdsgroep. Voor expliciete prompts werden 50 teksten gegenereerd per demografische groep. Alle generaties gebruikten een temperatuur van 0,7.
Evaluatiemetrics:
- Stereotype Bias: Gemeten met het gemiddelde van de maximale Jensen-Shannon (JS)-divergenties tussen demografische groepen (geslacht, etniciteit, leeftijd) voor een bepaald output-attribuut. Hogere waarden geven een grotere dispariteit aan in hoe het model verschillende groepen behandelt.
- Afwijkingsbias: Berekend als het proportion van output-attributen waarbij de door de LLM gegenereerde verdeling significant afwijkt van real-world VS-bevolkingsstatistieken (met binomiale tests met $p < 0,05$ ). Real-world data werd gehaald van Pew Research Center, Gallup en andere gerenommeerde demografische studies.
- Polariteit: Sentimentanalyse werd uitgevoerd om de valentie (positief/negatief) van gegenereerde teksten te meten.

Belangrijkste Bijdragen

Dubbel Kader voor Evaluatie: Het artikel introduceert een uitgebreid evaluatiekader dat tegelijkertijd stereotype bias (interne consistentie over groepen heen) en afwijkingsbias (afstemming met de realiteit) beoordeelt, waarmee de beperkingen van eerdere studies die slechts één referentietype gebruiken, worden aangepakt.
Analyse van Impliciete versus Expliciete Bias: Door systematisch impliciete (naamgebaseerde) en expliciete (attribuutgebaseerde) prompts te vergelijken, toont de studie aan dat biaspatronen grotendeels consistent blijven ongeacht het prompttype, hoewel expliciete prompts soms hogere weigeringspercentages of extremere afwijkingen activeren.
Meerdimensionale Scope: In tegenstelling tot veel eerdere werken die zich richten op enkele attributen (bijv. alleen geslacht of alleen toxiciteit), evalueert deze studie bias over vijf verschillende sociale dimensies: politiek, religie, seksuele geaardheid, sociaaleconomische status en beroep.
Kwantitatieve Bias-metrics: De auteurs bieden gestandaardiseerde metrics (Stereotype Bias Score en Deviation Bias Score) voor vier grote LLM's, wat een basislijn biedt voor toekomstige vergelijkende analyse.

Belangrijkste Resultaten

Politieke Afschrijving

Oververtegenwoordiging van Liberalen: Alle vier de modellen classificeerden individuen overweldigend als "Liberaal" (vaak >90% of 100%), wat significant afwijkt van real-world verdelingen.
Ondertegenwoordiging van Neutraliteit: "Neutrale" politieke afschrijvingen werden drastisch onderschat (vaak <10%).
Leeftijdsuitzondering: Modellen (behalve GPT-4o-mini) neigden Baby Boomers te associëren met "Conservatieve" opvattingen, wat een specifiek stereotype weerspiegelt.
Consistentie van Bias: Biaspatronen waren consistent over impliciete en expliciete prompts heen.

Religie

Dominantie van Christelijk/Ongebonden: Modellen kenden voornamelijk "Christelijk" of "Ongebonden" labels toe.
Ondertegenwoordiging van Minderheden: Niet-Christelijke religies (Hindoeïstisch, Joods, Moslim) werden ernstig onderschat of kenden bijna nul-probabiliteiten toe, ondanks real-world prevalentie.
Demografische Correlaties: Modellen vertoonden sterke stereotypen, zoals het associëren van blanke individuen met Jodendom en zwarte individuen met Islam, wat vaak afweek van werkelijke demografische verdelingen.

Seksuele Geaardheid

Oververtegenwoordiging van LGBTQ: Alle modellen vertegenwoordigden seksuele minderheden (Homoseksueel, Biseksueel) significant meer dan real-world statistieken (waar ~7,6% zich als LGBTQ identificeert).
Geslachtsstereotypen: Modellen associeerden vrouwen vaak met "Biseksueel" en mannen met "Homoseksueel".
Afwijking: De scores voor afwijkingsbias waren extreem hoog (dicht bij 1,0) voor seksuele geaardheid bij alle modellen, wat wijst op een systematisch falen om af te stemmen op real-world verdelingen.

Sociaaleconomische Status (SES)

Klassistereotypen: Modellen neigden "Middenklasse" en "Onderklasse" statussen uit te geven.
Raciale Dispariteiten: Zwarte individuen werden disproportioneel geassocieerd met "Onderklasse"-status, terwijl Aziatische individuen vaak werden geassocieerd met "Bovenklasse"-status, wat specifieke maatschappelijke stereotypen weerspiegelt.
Weigeringspercentages: Claude-3.5-Sonnet vertoonde hoge weigeringspercentages voor prompts met blanke en zwarte mannen, en Aziatische vrouwen, wat directe vergelijking voor deze groepen bemoeilijkte.

Beroep

Stereotiepe Toewijzingen: "Leraar" was het meest voorkomende beroep dat door alle modellen aan Baby Boomers werd toegekend.
Geslacht en Etniciteit: Modellen kenden "Ingenieur" toe aan mannen (vooral bij Claude-3.5-Sonnet) en "Sociaal Werk" of "Leraar" aan vrouwen. Specifieke etnische stereotypen kwamen naar voren, zoals "Community Organizer" voor zwarte en Hispanische individuen.

Polariteit (Sentiment)

Expliciet versus Impliciet: Teksten gegenereerd vanuit expliciete prompts vertoonden grotere variaties in sentimentcores over demografische groepen heen in vergelijking met impliciete prompts.
Gestigmatiseerde Groepen: Expliciete prompts resulteerden vaak in hogere polariteitscores (meer positief sentiment) voor historisch gestigmatiseerde groepen (Zwart, Hispanic, Vrouw), terwijl blanke, Aziatische en mannelijke groepen lagere scores kregen, wat wijst op een potentiële "overcorrectie" of afstemmingsbias in expliciete scenario's.

Betekenis en Claims

De auteurs beweren dat hun bevindingen de significante risico's van LLM's in real-world toepassingen benadrukken waar gebruikersattributen worden afgeleid of expliciet worden vermeld.

Voor Gebruikers: De studie onderstreept de noodzaak van kritische omgang met modeloutput, vooral in sociopolitieke analyse, aangezien modellen vooroordelende verdelingen kunnen presenteren als objectieve feiten.
Voor Ontwikkelaars: De consistente oververtegenwoordiging van bepaalde attributen (bijv. liberale politiek, LGBTQ-identiteiten, christelijke religie) suggereert dat huidige RLHF-processen (Reinforcement Learning from Human Feedback) onbedoeld specifieke maatschappelijke biases of "afstemmingsvoorkeuren" kunnen coderen die afwijken van de realiteit.
Voor Organisaties: De resultaten geven aan dat het inzetten van LLM's zonder inzicht in deze biases kan leiden tot vertekende besluitvorming of het versterken van schadelijke stereotypen.

Het artikel concludeert dat LLM's, hoewel krachtige hulpmiddelen, hun huidige gedrag bij het afleiden van demografische attributen diep verankerde stereotype en afwijkingsbiases onthullen. De auteurs pleiten voor zorgvuldig promptontwerp, modelselectie en verder onderzoek naar het balanceren van inclusiviteit met een accurate representatie van real-world verdelingen. Zij merken bescheiden op dat deze biases kunnen evolueren met modelupdates en dat toekomstig werk diverse etnische groepen en alternatieve referentieverdelingen buiten US-gerichte data moet verkennen.