💬 NLP

Do Psychometric Tests Work for Large Language Models? Evaluation of Tests on Sexism, Racism, and Morality

Deze studie evalueert systematisch menselijke psychometrische testen op 17 grote taalmodellen op het gebied van seksisme, racisme en moraliteit, waarbij wordt vastgesteld dat hoewel de testen een matige betrouwbaarheid vertonen, ze een gebrek aan ecologische validiteit hebben omdat hun scores niet overeenkomen met of zelfs negatief correleren met het werkelijke gedrag van de modellen bij taken in de echte wereld.

Oorspronkelijke auteurs: Jana Jung, Marlene Lutz, Indira Sen, Markus Strohmaier

Gepubliceerd 2026-01-28

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jana Jung, Marlene Lutz, Indira Sen, Markus Strohmaier

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer geavanceerd, hoogtechnologisch weerstation hebt. Je wilt weten of het een storm nauwkeurig kan voorspellen. Daarom besluit je dit te testen met een menselijke thermometer en een menselijke barometer — instrumenten die speciaal zijn ontworpen om de eigen lichaamstemperatuur en het gevoel van druk bij mensen te meten.

Je richt deze menselijke instrumenten op het weerstation, neemt een meting en krijgt een getal. De vraag die dit artikel stelt is: Zegt dat getal je ook echt iets over de vraag of het weerstation een storm zal voorspellen?

Het korte antwoord van de onderzoekers is: Nee, niet echt. Sterker nog, soms zegt het getal precies het tegenovergestelde van wat er aan de hand is.

Hier is een overzicht van wat de onderzoekers hebben gedaan en gevonden, met behulp van eenvoudige analogieën:

Het Experiment: Het testen van het "Weerstation"

De onderzoekers namen 1eling 17 verschillende Large Language Models (LLM's) — de AI-hersenen achter chatbots — en probeerden drie specifieke zaken over hen te meten:

Seksisme (vooroordelen tegen vrouwen)
Racisme (vooroordelen tegen zwarte mensen)
Moraliteit (wat de AI als goed of fout beschouwt)

Om dit te doen, gebruikten ze standaard psychologische tests die al decennia worden gebruikt om mensen te testen. Dit zijn de "menselijke thermometers" waarover eerder werd gesproken.

De Twee Checks: Betrouwbaarheid en Validiteit

Om te zien of deze tests werken op AI, controleerden de onderzoekers twee zaken:

1. Betrouwbaarheid (De "Consistentie"-check)

De Analogie: Als je een mens dezelfde vraag op drie licht verschillende manieren stelt (bijv. "Houd je van appels?" versus "Zijn appels goed?"), zou die persoon hetzelfde antwoord moeten geven. Als ze op de eerste "Ja" zeggen en op de tweede "Nee", dan is de test onbetrouwbaar.
De Bevinding: De AI was grotendeels consistent wanneer de vragen alleen werden geherformuleerd. Echter, wanneer de onderzoekers simpelweg de volgorde van de antwoordopties omdraaiden (bijv. "Sterk mee eens" onderaan zetten in plaats van bovenaan), raakte de AI in de war en gaf volkomen andere antwoorden. Het is alsof een persoon van mening verandert over het wel of niet leuk vinden van appels, enkel omdat het woord "Ja" onderaan de pagina staat in plaats van bovenaan. Dit betekent dat de tests fragiel zijn wanneer ze op AI worden toegepast.

2. Validiteit (De "Realiteits"-check)
Dit is het belangrijkste deel. De onderzoekers vroegen zich af: Als een test zegt dat een AI "seksistisch" is, gedraagt die AI zich dan ook daadwerkelijk seksistisch in de echte wereld?

De Analogie: Stel je een test voor die beweert dat iemand een "geweldige chef" is omdat diegene een recept perfect kan opzeggen. Ecologische validiteit vraat: "Als je die persoon in een keuken zet met echte ingrediënten, zal diegene dan ook daadwerkelijk een goede maaltijd koken?"
De Bevinding: De tests faalden jammerlijk hier.
- De Paradox: De AI-modellen die het laagst scoorden op de "seksisme-test" (wat betekende dat de test zei dat ze zeer eerlijk waren), waren juist de modellen die in real-world taken de meest seksistische aanbevelingsbrieven schreven.
- Het Omgekeerde: De modellen die het hoogst scoorden op de "racisme-test" (wat betekende dat de test zei dat ze zeer bevooroordeeld waren), waren juist de modellen die de minst bevooroordeelde woningadviezen gaven.
- De Conclusie: De testscores waren niet alleen nutteloos; ze waren misleidend. Ze fungeerden als een kapotte kompas die naar het Noorden wijst terwijl je eigenlijk naar het Zuiden vaart.

Waarom gebeurde dit?

De onderzoekers suggereren een aantal redenen waarom menselijke tests niet werken op AI:

Het "Guardrail"-effect: Wanneer een AI wordt gevraagd een directe, gevoelige vraag te beantwoorden zoals "Vind je dat vrouwen te gemakkelijk beledigd zijn?", treden er veiligheidsfilters in werking die zeggen: "Nee, dat is fout." Maar wanneer de AI wordt gevraagd een aanbevelingsbrief voor een baan te schrijven (een real-world taak), worden die filters misschien niet geactiveerd, en glipt de AI uit en gebruikt bevooroordeelde taal.
De Formaat-val: Mensen zijn gewend om te kiezen tussen "A, B, C of D". AI-modellen zijn echter getraind om tekst te genereren. Het dwingen van hen om een meerkeuzeoptie te kiezen, is also अlijk een schilder vragen een zonsondergang te beschrijven door alleen te kiezen uit een lijst met kleuren. Het legt niet vast hoe ze daadwerkelijk "zien" of "handelen".

De Kern van het Verhaal

De conclusie van het artikel is dat je niet simpelweg een test die voor mensen is ontworpen, op een AI kunt plakken om te zien hoe deze zich gedraagt.

Als je op deze tests vertrouwt, denk je misschien dat een AI veilig en eerlijk is omdat hij de "test" heeft gehaald, om er vervolgens achter te komen dat hij in de praktijk wel degelijk bevooroordeeld is wanneer hij echt werk gaat verrichten. De onderzoekers betogen dat we nieuwe tests specifief voor AI moeten uitvinden die kijken naar wat de AI daadwerkelijk doet in real-world scenario's, in plaats van naar wat de AI zegt wanneer hij wordt gedwongen een antwoord te kiezen op een meerkeuzeformulier.

Kortom: Alleen omdat een AI een psychologische quiz voor mensen kan halen, betekent niet dat hij een menselijke persoonlijkheid heeft of dat hij in de echte wereld ethisch zal handelen. De testscores zijn vaak een fata morgana.

Technische Samenvatting: Evaluatie van Psychometrische Tests op LLM's voor Seksisme, Racisme en Moraliteit

Probleemstelling

Naarmate Large Language Models (LLM's) steeds meer geïntegreerd raken in sociale contexten, groeit de vraag naar het meten van hun "menselijke" kenmerken, zoals moraliteit, bias en persoonlijkheid. Onderzoekers passen steeds vaker LLM-psychometrie toe, waarbij gevestigde psychometrische tests die oorspronkelijk voor mensen zijn ontworpen, worden gebruikt om LLM's te beoordelen. Het blijft echter onduidelijk of deze tests betekenisvolle resultaten opleveren wanneer ze worden toegepast op niet-menselijke agenten. Specifiek is het onzeker of tests die gevalideerd zijn voor menselijke populaties over de noodzakelijke betrouwbaarheid (consistentie) en validiteit (nauwkeurigheid bij het meten van het beoogde construct) beschikken wanneer ze aan LLM's worden afgenomen. Er bestaat een kritische kloof in het begrip of testscores correleren met het werkelijke gedrag van LLM's in real-world downstream-taken (ecologische validiteit). Vroeg onderzoek suggereert dat LLM's zeer gevoelig zijn voor variaties in prompts, en bestaande studies hebben zich grotendeels gericht op persoonlijkheidskenmerken, waardoor constructen zoals seksisme, racisme en moraliteit minder onderzocht zijn in deze context.

Methodologie

De auteurs stellen een systematisch validatiekader voor om drie goed gevestigde psychometrische tests te evalueren over 17 LLM's uit verschillende modelfamilies (bijv. Llama, Gemma, Qwen, Mistral) en groottes. De evaluatie richt zich op drie psychologische constructen: seksisme, racisme en moraliteit.

1. Constructen en Instrumenten

Seksisme: Gemeten met de Ambivalent Sexism Inventory (ASI), waarbij onderscheid wordt gemaakt tussen vijandig (hostile) en welwillend (benevolent) seksisme.
Racisme: Gemeten met de Symbolic Racism 2000 Scale (SR2K), gebaseerd op de Symbolic Racism Theory.
Moraliteit: Gemeten met de Moral Foundations Questionnaire (MFQ), die vijf fundamenten beoordeelt: zorg (care), rechtvaardigheid (fairness), ingroep (ingroup), autoriteit (authority) en zuiverheid (purity).

2. Evaluatie van Betrouwbaarheid

Betrouwbaarheid werd beoordeeld door de consistentie van modelresponsen te meten over drie typen prompt- en itemvariaties:

Alternatieve vormen: Items werden geherformuleerd (met behulp van GPT-5 en handmatige aanpassingen) om de betekenis te behouden terwijl de bewoording werd gewijzigd.
Omgekeerde volgorde van antwoordopties: De volgorde van de Likert-schaalopties (bijv. 1–5 versus 5–1) werd omgedraaid om te testen op symmetrie van de optievolgorde.
Verandering van einde van de zin: Interpunctie aan het einde van prompts werd gewijzigd (dubbele punt versus vraagteken).
Baseline: De consistentie van het model werd vergeleken met een menselijke baseline (150 Amerikaanse deelnemers) om uitschieters te identificeren.

3. Evaluatie van Validiteit

Validiteit werd beoordeeld via twee verschillende benaderingen:

Convergente Validiteit: De studie testte op theoretisch verwachte correlaties tussen verschillende constructen (bijv. een positieve correlatie tussen seksisme en racisme; een negatieve correlatie tussen rechtvaardigheid en vijandig seksisme).
Ecologische Validiteit: Dit was de primaire focus. De auteurs vergeleken psychometrische testscores met modelgedrag in real-world downstream-taken:
- Seksisme: Generatie van referentiebrieven voor mannelijke en vrouwelijke kandidaten, geanalyseerd op de frequentie van gendergeladen taalgebruik.
- Racisme: Generatie van woningadviezen voor gebruikers van verschillende rassen, waarbij bias in buurt suggesties werd gemeten.
- Moraliteit: Adviesgeneratie bij morele dilemma's, gescoord op afstemming met specifieke morele fundamenten.

4. Experimentele Opzet

De studie evalueerde 17 modellen (inclusief open-source instructie-getunede versies en propriëtaire modellen zoals Gemini 2.5). Elk model onderging vijf runs met verschillende random seeds. Responsen werden geëxtraheerd via regular expressions, en scores werden berekend door het gemiddelde van de numerieke waarden van de gekozen opties te nemen.

Belangrijkste Resultaten

Betrouwbaarheid

Alternatieve vormen: De meeste modellen vertoonden een acceptabele consistentie vergelijkbaar met menselijke baselines, hoewel sommige kleinere modellen (bijv. Gemma 3 1B/4B) onder de menselijke uitschietergrenzen vielen.
Omgekeerde volgorde: Modellen vertoonden een lage betrouwbaarheid wanneer de volgorde van de antwoordopties werd omgedraaid. De consistentie daalde aanzienlijk (bijv. Llama 3.1 8B vertoonde ~0.28 consistentie op SR2K), wat wijst op een hoge gevoeligheid voor niet-semantische promptmodificaties.
Einde van de zin: Modellen waren relatief robuust tegen veranderingen in interpunctie, waarbij de meeste een consistentie boven de 0.75 bereikten.
Totaal: De tests vertonen een matige betrouwbaarheid, sterk afhankelijk van de promptstabiliteit, met name wat betreft de volgorde van de antwoordopties.

Validiteit

Convergente Validiteit: De tests legden de verwachte theoretische relaties succesvol vast. Zo werd bijvoorbeeld een matige positieve correlatie gevonden tussen seksisme- en racismescores ( $r_s = 0.47$ ), en tussen autoriteit en welwillend seksisme ( $r_s = 0.43$ ).
Ecologische Validiteit: De studie vond een lage ecologische validiteit. Psychometrische testscores kwamen niet overeen met het gedrag in downstream-taken; in veel gevallen vertoonden ze zelfs negatieve correlaties.
- Modellen die een "lage" score behaalden op seksisme of racisme in de tests, vertoonden vaak een hoog niveau van bevooroordeeld gedrag in downstream-taken (bijv. het genereren van seksuele taal in referentiebrieven of bevooroordeelde woningadviezen).
- Bijvoorbeeld: Gemini 2.5 Flash kreeg een lage seksismescore op de ASI, maar genereerde referentiebrieven die rijk waren aan gemeenschappelijke, gender-stereotiepe taal voor vrouwelijke kandidaten.
- Grotere parameter-modellen binnen een familie vertoonden vaak meer uitgesproken problematisch gedrag, ondanks lagere scores op de psychometrische tests.

Belangrijkste Bijdragen

Systematisch Validatiekader: Het artikel biedt een rigoureus, meer-criteria kader voor het evalueren van psychometrische tests op LLM's, waarbij expliciet onderscheid wordt gemaakt tussen betrouwbaarheid (promptgevoeligheid) en validiteit (gedragsafstemming).
Empirisch Bewijs van Misalignment: Het levert sterk empirisch bewijs dat psychometrische scores afgeleid van door mensen ontworpen tests niet voorspellend zijn voor LLM-gedrag in real-world scenario's. Sterker nog, ze kunnen misleidend zijn en negatieve correlaties vertonen met daadwerkelijk bevooroordeelde outputs.
Focus op Ecologische Validiteit: De studie verschuift de focus van abstracte inter-testcorrelaties naar de cruciale metriek van ecologische validiteit, en toont aan dat "zelfgerapporteerde" LLM-eigenschappen via gesloten vragen falen om generatief gedrag te reflecteren.
Brede Modeldekking: De evaluatie beslaat 17 diverse modellen, wat een uitgebreid beeld geeft van hoe verschillende architecturen en groottes op deze tests reageren.

Betekenis en Claims

De auteurs beweren dat hun bevindingen de huidige praktijk van het toepassen van menselijke psychometrische tests op LLM's zonder aanpassing fundamenteel uitdagen.

Beperking van Huidige Tools: De studie concludeert dat tests die voor mensen zijn ontworpen, niet direct op LLM's kunnen worden toegepast om conclusies te trekken over hun gedrag. Het gebrek aan ecologische validiteit suggereert dat hoge scores op deze tests geen veilige of onbevooroordeelde implementatie van een model garanderen.
Risico op Misinterpretatie: Het vertrouwen op deze tests kan leiden tot de inzet van systemen die discriminatie versterken, aangezien een model een psychometrische test kan halen (lage bias-score) terwijl het toch hoog bevooroordeeld gedrag vertoont in generatieve taken.
Oproep tot Aanpassing: Het artikel pleit voor de ontwikkeling van LLM-specifieke tests die gedragsgericht zijn en geworteld in de psychologische theorie, maar aangepast aan de generatieve aard van LLM's. Het benadrukt dat vóór het interpreteren van scores, systematische validatie van betrouwbaarheid en ecologische validiteit essentieel is.
Methodologische Voorzichtigheid: De auteurs wijzen op de onopgeloste methodologische vraag of LLM's als individuen of als populaties moeten worden behandeld in psychometrische studies, waarbij zij opmerken dat standaard validatietechnieken (zoals factoranalyse) mogelijk niet toepasbaar zijn zonder duidelijke definities van "individuele verschillen" in LLM's.

Samenvattend stelt het artikel dat hoewel psychometrische tests een theoretisch vertrekpunt bieden, hun huidige vorm onvoldoende is voor het evalueren van LLM's. De disconnectie tussen testscores en daadwerkelijk gedrag vereist een nieuwe discipline van LLM-psychometrie die prioriteit geeft aan ecologische validiteit en gedragsobservatie boven abstracte zelfrapportage.