A Systematic Analysis of Biases in Large Language Models

Deze studie analyseert systematisch de politieke, ideologische, geopolitieke, taalkundige en gendergerelateerde vooroordelen in vier wijdverspreide grote taalmodellen en concludeert dat, ondanks hun uitlijning op neutraliteit, deze modellen toch verschillende vormen van bias vertonen.

De kern

Stel je voor dat je vier nieuwe, superintelligente robot-assistenten hebt: Qwen, DeepSeek, Gemini en GPT. Ze zijn zo slim dat ze nieuws kunnen samenvatten, stemmen in de VN, verhalen schrijven en zelfs vragen over ethiek beantwoorden. Mensen vertrouwen ze vaak blindelings, alsof het neutrale, objectieve orakels zijn.

Maar deze studie van onderzoekers uit Singapore zegt: "Wacht even, laten we eens goed kijken of ze wel zo neutraal zijn als ze doen." Ze hebben deze vier robots een soort persoonlijkheidstest gegeven om te zien of ze onbewuste vooroordelen (bias) hebben.

Hier is wat ze vonden, vertaald naar simpele taal met een paar leuke vergelijkingen:

1. De Nieuwslezer (Politieke Bias)

De test: De robots kregen het nieuws te lezen en moesten het samenvatten alsof ze een neutrale journalist waren.
De vergelijking: Stel je voor dat je een verslag schrijft over een voetbalwedstrijd. Als je een beetje fan bent van het ene team, neig je misschien onbewust om te zeggen dat ze "gelukkig" speelden in plaats van "gelijk".
Het resultaat: De robots waren over het algemeen eerlijk, maar niet perfect.

• Gemini leek een beetje te sympathiseren met de "rechtse" kant (net als iemand die onbewust de scheidsrechter iets meer gunstige fluitjes geeft voor het ene team).
• GPT leek een klein beetje naar links te neigen.
• DeepSeek was de meest neutrale van allemaal, alsof hij de wedstrijd keek alsof hij een echte scheidsrechter was die geen kant kiest.

2. De Ideologische Detector (Ideologische Bias)

De test: De robots moesten raden of een nieuwsartikel "links", "rechts" of "centrum" was, vooral over gevoelige onderwerpen zoals immigratie, abortus en homorechten.
De vergelijking: Het is alsof je iemand vraagt om de smaak van een gerecht te beschrijven. Als je niet goed kunt proeven, zeg je misschien dat een pittig gerecht "mild" is.
Het resultaat:

• Gemini had moeite om de "pittigheid" van linkse argumenten te proeven. Hij zag vaak alles als "mild" (centrum) en neigde naar rechts.
• GPT was juist heel gevoelig voor linkse signalen en neigde daar ook naartoe.
• Qwen en DeepSeek waren soms verward en gaven het tegenovergestelde label, alsof ze de smaak van het gerecht helemaal niet konden onderscheiden.

3. De Wereldburger (Alliantie Bias)

De test: De robots moesten doen alsof ze afgevaardigden van de Verenigde Naties (VN) waren en stemmen over wereldproblemen.
De vergelijking: Stel je een grote wereldvergadering voor. Iedereen heeft een vriendengroep. Met wie stem je het vaakst mee?
Het resultaat:

• Alle robots stemden het vaakst mee met landen in Latijns-Amerika en Afrika.
• Gemini was de meest "echte" VN-afgevaardigde; hij stemde het meest overeen met echte mensen. Interessant genoeg stemde hij vaak tegen de VS en mee met landen als China en Noord-Korea.
• GPT daarentegen stemde vaak fel tegen de landen waar de andere robots mee stemden. Het was alsof GPT een heel andere vriendengroep had.

4. De Verteller (Taal Bias)

De test: De robots moesten een verhaal schrijven over een fictieve stam in een taal die ze niet echt kenden (zoals een taal uit Zuid-Afrika), en dan in het Engels.
De vergelijking: Stel je voor dat je droomt in een andere taal. Droom je dan in een andere stijl, of denk je nog steeds zoals je normaal doet?
Het resultaat:

• De robots dachten niet echt "anders" als ze in een andere taal schreven. Ze bleven denken in hun eigen "hoofd".
• Interessant: Als ze in Zuid-Afrikaanse talen schreven, dachten ze op een manier die erg leek op hoe ze in het Engels dachten. Alsof ze die taal hebben geleerd, maar hun "denkpatroon" nog steeds Engels is. Ze waren niet echt ondergedompeld in de cultuur van die taal.

5. De Man-Vrouw Test (Gender Bias)

De test: De robots kregen vragen over wat belangrijk is in het leven (zoals "is het belangrijk om een goede moeder te zijn?" of "is euthanasie goed?"), zonder dat ze een geslacht kregen toegewezen.
De vergelijking: Het is alsof je vraagt aan een robot: "Wat zou een gemiddelde mens vinden?" en je kijkt of het antwoord meer lijkt op wat mannen of vrouwen in de echte wereld antwoorden.
Het resultaat:

• Alle vier de robots neigden sterk naar de antwoorden van vrouwen. Ze waren vaak progressiever en meer gericht op waarden die vrouwen in de wereldwijde enquête (World Values Survey) aanhangen.
• GPT was hier het duidelijkst in: hij leek het meest op een vrouwelijke stem en het minst op een mannelijke.
• Qwen en DeepSeek waren soms wat wisselvallig, alsof ze niet zeker wisten wat ze moesten denken (bijvoorbeeld over immigratie).

Conclusie: De "Spiegel" is niet perfect

De grote les van dit onderzoek is: AI is niet neutraal.

Deze robots zijn getraind op enorme hoeveelheden tekst van mensen. Omdat mensen zelf vooroordelen hebben, hebben de robots die ook overgenomen. Het is alsof je een spiegel hebt die niet perfect recht is; hij toont je wel je gezicht, maar een beetje vervormd.

De onderzoekers zeggen: "We moeten beseffen dat deze robots hun eigen 'persoonlijkheid' en voorkeuren hebben. Als we ze gebruiken om beslissingen te nemen of nieuws te lezen, moeten we onthouden dat ze niet altijd de waarheid spreken, maar soms hun eigen 'gekleurde bril' op hebben."

Het is een waarschuwing: vertrouw niet blindelings op de machine, want de machine is gemaakt door mensen, en mensen zijn niet perfect.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "A Systematic Analysis of Biases in Large Language Models" in het Nederlands.

Titel: Een Systematische Analyse van Biases in Grootte Taalmodellen (LLMs)

Auteurs: Xulang Zhang, Rui Mao, Erik Cambria (Nanyang Technological University, Singapore)

---

1. Probleemstelling

Grootte Taalmodellen (LLMs) zijn onmisbaar geworden voor informatieverwerving en besluitvorming. Er bestaat echter een groeiende bezorgdheid dat deze modellen, ondanks hun belofte van neutraliteit, inherente biases bevatten die voortkomen uit hun trainingsdata en alignment-procedures. Bestaande onderzoeken hebben zich vaak gericht op specifieke bias-dimensies (zoals geslacht of ras), maar er ontbreekt een holistische, systematische evaluatie die meerdere kritieke domeinen tegelijkertijd bestrijkt. De auteurs stellen dat het cruciaal is om te begrijpen hoe LLMs bias vertonen in politiek, ideologie, geopolitieke allianties, taal en geslacht, om veilig en verantwoord gebruik te garanderen.

2. Methodologie

De studie analyseert vier wijdverbreide LLM-architecturen: Qwen (v2.5-7B), DeepSeek (V3-0324), Gemini (2.5-flash) en GPT (4o-mini). De onderzoekers hebben vijf zorgvuldig ontworpen experimenten uitgevoerd om biases in verschillende domeinen te meten:

• Politieke Bias (Nieuws Samenvatting):
  • Opzet: De modellen kregen de opdracht om neutrale samenvattingen te maken van nieuwsberichten van "centrum"-media (n=1.018 gebeurtenissen).
  • Meting: De semantische gelijkenis van deze samenvattingen werd vergeleken met verslaggeving van links- en rechtsgeoriënteerde media, gebruikmakend van cosine similarity op context-embeddings (gegenereerd door Qwen Embedding model).
• Ideologische Bias (Stance Classificatie):
  • Opzet: De modellen moesten de ideologische stance (links, rechts, centrum) classificeren van nieuwsartikelen over vijf gevoelige thema's: verkiezingen, ras/racisme, immigratie, LGBT en abortus.
  • Doel: Het detecteren van inherente ideologische uitlijning door fouten in classificatie te analyseren.
• Alliantie Bias (VN-Stemgedrag):
  • Opzet: De modellen fungeerden als VN-delegaties en stemden over 5.602 resoluties (1946-2012).
  • Meting: De overeenstemming met 200 echte VN-delegaties werd gemeten via Cohen's Kappa om geopolitieke affiniteiten te onthullen.
• Taal Bias (Verhaal Voltooiing):
  • Opzet: De modellen moesten open-ended verhalen over fictieve culturen voltooien in 92 verschillende talen.
  • Meting: De gegenereerde verhalen werden terugvertaald naar het Engels, geëmbed en onderworpen aan Principal Component Analysis (PCA) om te zien of er clusters van denken ontstaan per taalregio.
• Geslachtsbias (World Values Survey):
  • Opzet: De modellen beantwoordden vragen uit de "Social Values" en "Ethical Values" secties van de World Values Survey (WVS) zonder geslachtsaanduiding.
  • Meting: De antwoorden werden vergeleken met de gemiddelde antwoorden van mannen en vrouwen in de WVS-dataset. De bias werd bepaald door de absolute afstand tot het gemiddelde van mannen versus vrouwen.

3. Belangrijkste Resultaten

• Politieke Bias: Hoewel de modellen over het algemeen neutraal lijken, vertonen ze subtiele neigingen.
  • Gemini toont een lichte rechtse neiging.
  • GPT toont een lichte linkse neiging.
  • DeepSeek presteert het meest gebalanceerd en neutraal.
  • Interessante observatie: Hoogwaardige samenvattingen (die beter de kern van het nieuws vatten) bleken over het algemeen meer te aligneren met linkse verslaggeving, terwijl lagere kwaliteit meer naar rechts neigde.
• Ideologische Bias: De modellen hebben moeite met de nuances van ideologische retoriek, vooral bij immigratie en LGBT.
  • Gemini is het minst gevoelig voor ideologische nuances en neigt sterk naar rechts (herkent rechts retoriek beter dan links).
  • GPT is gevoeliger voor ideologische signalen en aligneert sterker met links.
  • Qwen en DeepSeek presteren vergelijkbaar, maar neigen bij fouten eerder naar de tegenovergestelde kant dan naar "centrum".
• Alliantie Bias: De modellen tonen unieke patronen in VN-stemmingen.
  • Alle modellen tonen een hogere overeenstemming met delegaties uit Latijns-Amerika, West- en Centraal-Afrika.
  • Gemini heeft de hoogste overeenstemming met echte delegaties, maar toont een opvallend verschil: het stemt vaak tegen de VS en vóór communistische regimes (China, Noord-Korea, Vietnam).
  • GPT toont de sterkste afwijzing van lage-rang delegaties en stemt het meest tegen China en Noord-Korea.
• Taal Bias:
  • Er is geen duidelijke neiging naar dominante talen (zoals Engels) in de embedding-ruimte, wat suggereert dat het "denken" van de modellen niet volledig door de pre-training corpora wordt gedomineerd.
  • Echter, bij talen uit het zuiden van Afrika vertonen Qwen, DeepSeek en Gemini een cluster dat dicht bij het Engels ligt, wat wijst op een overdrachtseffect (transfer learning) bij low-resource talen.
• Geslachtsbias:
  • Alle vier de modellen aligneren significant meer met de waarden van vrouwen dan met die van mannen.
  • GPT toont de sterkste neiging naar vrouwelijke waarden (verschil van 36,77% in overeenstemming).
  • De antwoorden neigen over het algemeen naar progressieve waarden (bijv. abortus, euthanasie), wat overeenkomt met wereldwijde vrouwentrends.
  • Qwen en DeepSeek vertonen soms tegenstrijdige antwoorden binnen dezelfde vragenreeks, wat wijst op een gebrek aan een consistente waardenbasis.

4. Belangrijkste Bijdragen

1. Systematische Vergelijking: Dit is een van de eerste studies die vier populaire LLMs simultaan analyseert over vijf verschillende, kritieke bias-domeinen.
2. Gedetailleerde Benchmarking: De studie biedt gedetailleerde visualisaties (scatter plots, heatmaps, PCA) die de specifieke neigingen van elk model blootleggen, in plaats van alleen een algemene "bias-score" te geven.
3. Kritische Reflectie op Alignment: De auteurs betogen dat menselijke alignment-technieken (zoals Reinforcement Learning from Human Feedback) biases niet volledig kunnen elimineren, omdat mensen zelf bias hebben. Ze stellen de vraag of het wenselijk is om AI te laten "denken zoals mensen".
4. Open Source Methodologie: De paper biedt een transparante beschrijving van prompts, datasets en evaluatiemethoden, wat reproduceerbaarheid bevordert.

5. Significantie en Conclusie

De studie concludeert dat LLMs, ondanks pogingen tot neutraliteit, onvermijdelijk biases erven uit hun trainingsdata en menselijke feedback. Deze biases zijn niet uniform; elk model heeft een unieke "persoonlijkheid" en ideologische neiging.

• Voor Gebruikers: Het is essentieel dat gebruikers zich bewust zijn van de specifieke neigingen van het model dat ze gebruiken (bijv. dat GPT progressiever is en Gemini conservatiever/rechter is), om niet onbewust beïnvloed te worden.
• Voor Onderzoekers: De bevindingen suggereren dat de huidige aanpak van "menselijke alignment" mogelijk fundamenteel tekortschiet. De auteurs pleiten voor een nieuwe richting: het ontwikkelen van pluralistische LLMs die diversiteit vasthouden in plaats van te proberen een enkele, menselijke "waarheid" te simuleren. Ze vergelijken dit met vliegtuigen die niet hoeven te flapperen als vogels; AI zou kunnen worden ontworpen om neutraliteit en robuustheid te garanderen zonder menselijke cognitieve beperkingen na te bootsen.

Deze analyse onderstreept dat "neutrale" AI een illusie is en dat transparantie over modelneigingen cruciaal is voor de veilige integratie van AI in de samenleving.