🤖 AI

Apparent Psychological Profiles of Large Language Models are Largely a Measurement Artifact

Dit artikel toont aan dat de schijnbare psychologische profielen van grote taalmodellen primair meetartefacten zijn, gedreven door directionele responsbias in plaats van werkelijke eigenschappen, waardoor standaard voor mensen ontworpen psychologische instrumenten ongeldig zijn voor het beoordelen van LLM's zonder specifieke aanpassingen voor responsorthogonaliteit.

Oorspronkelijke auteurs: Jelena Meyer, David Garcia, Dirk U. Wulff

Gepubliceerd 2026-06-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jelena Meyer, David Garcia, Dirk U. Wulff

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: De "Nep" Persoonlijkheid van AI

Stel je voor dat je een kamer vol hebt met 56 verschillende robots. Je wilt weten wat hun "persoonlijkheden" zijn, dus je stelt ze dezelfde vragen die je aan mensen stelt: "Ben je een piekerwijzer?" of "Houd je ervan om risico's te nemen?"

Op basis van hun antwoorden hebben onderzoekers deze robots persoonlijkheidsscores gegeven, waarbij ze doen alsof de robots stabiele karakters hebben (zoals "verlegen", "moedig" of "angstig" zijn).

Dit artikel betoogt dat deze persoonlijkheidsscores grotendeels nep zijn.

De auteurs beweren dat wanneer we de persoonlijkheid van AI meten, we niet daadwerkelijk hun "karakter" meten. In plaats daarvan meten we vooral een foutje in de manier waarop ze vragen beantwoorden. Het is alsof je probeert het gewicht van een zak bloem te bepalen door hem op een weegschaal te leggen die al kapot is en naar één kant overhelt. Het getal dat je krijgt is niet het gewicht van de bloem; het is simpelweg het resultaat van de kapotte weegschaal.

De Hoofdanalogie: De "Ja-knikker" versus de "Waarheidsspreker"

Om het probleem te begrijpen, stel je twee manieren voor waarop een robot een vraag kan beantwoorden:

Het Kenmerk (Het Echte Karakter): De robot denkt echt: "Ik ben een voorzichtig persoon," dus antwoordt het "Nee" op risicovolle vragen en "Ja" op veilige vragen.
De Bias (De Fout): De robot heeft de gewoonte om altijd het antwoord te kiezen dat "aardiger" lijkt, of altijd de eerste optie te kiezen, of gewoon "Ja" te zeggen omdat het een gewoonte is. Het maakt niet uit waar de vraag over gaat; het heeft gewoon een standaardinstelling.

De onderzoekers ontdekten dat bij mensen het Kenmerk de dominante kracht is. Als je een mens een vraag stelt over zenuwachtig zijn, en je stelt daarna de tegenovergestelde vraag, veranderen hun antwoorden op een logische manier.

Maar bij de AI-modellen is de Bias de dominante kracht. Het lijkt erop dat ze een "standaardinstelling" hebben die hen naar één kant van de antwoordschaal duwt, ongeacht wat de vraag ook is.

De "Magische Spiegel" Test

Hoe hebben de onderzoekers dit bewezen? Ze gebruikten een slimme truc genaamd Respons-Orthogonaliteit.

Beschouw een persoonlijkheidstest als een reeks spiegels.

Voorwaartse Spiegel: Toont je reflectie normaal.
Omgekeerde Spiegel: Toont je reflectie ondersteboven.

Als je een echte persoonlijkheid hebt (een "Kenmerk"), moeten de twee spiegels tegengestelde dingen laten zien. Als je "Hoog scoort op Neuroticisme" (piekerig bent), zegt de Voorwaartse Spiegel: "Ja, ik pieker," en de Omgekeerde Spiegel zegt: "Nee, ik bewaar niet de kalmte." De antwoorden bewegen in tegengestelde richtingen.

Echter, als je een Bias hebt (zoals een robot die er gewoon een gewoonte van maakt om overal "Ja" op te zeggen), zullen beide spiegels "Ja" laten zien. De antwoorden bewegen in de dezelfde richting.

De Bevindingen:

Mensen: Toen de onderzoekers naar 20.000 mensen keken, lieten de spiegels tegengestelde antwoorden zien. Dit betekent dat mensen antwoordden op basis van hun werkelijke kenmerken.
AI-Modellen: Toen ze naar 56 AI-modellen keken, toonden de spiegels dezelfde antwoorden. Dit betekent dat de modellen niet antwoordden op basis van persoonlijkheid; ze volgden gewoon een directionele bias (zoals een "Ja"-gewoonte).

De "Volumeknop" Analogie

De onderzoekers controleerden ook of slimme, grotere robots (zoals de nieuwste, duurste modellen) dit probleem oplosten.

Stel je voor dat de "Bias" een harde statische ruis is op een radio, en de "Persoonlijkheid" de muziek is.

Kleine Modellen: De statische ruis is oorverdovend. Je kunt de muziek helemaal niet horen.
Grote/Slimme Modellen: De statische ruis wordt een beetje zachter. Je kunt de muziek een klein beetje beter horen.
De Catch: Zelfs de slimste, duurste modellen hebben nog steeds veel statische ruis. Ze hebben het punt nog niet bereikt waarop de muziek (echte persoonlijkheid) helder is. De "statische ruis" (bias) is nog steeds luider dan de "muziek".

Het "Recept"-probleem

Het papier ontdekte ook iets engs: Je kunt een persoonlijkheid veinzen door simpelweg het recept te veranderen.

Omdat de antwoorden van de AI worden gedreven door bias en niet door echte kenmerken, kun je een AI laten lijken op een "Risiconemer" of een "Lafaard" door simpelweg te kiezen welke vragen je stelt.

Als je vooral vragen stelt waarbij het "Risiconemer"-antwoord het "Ja"-optie is, zal de AI lijken op een Risiconemer.
Als je vooral vragen stelt waarbij het "Risiconemer"-antwoord de "Nee"-optie is, zal de AI lijken op een Lafaard.

Het is alsof je een robot hebt die altijd "Ja" zegt tegen alles. Als je vraagt: "Houd je van pizza?", zegt hij "Ja". Als je vraagt: "Haat je broccoli?", zegt hij ook "Ja". Je zou kunnen concluderen dat de robot van pizza houdt en broccoli haat. Maar eigenlijk houdt hij er gewoon van om "Ja" te zeggen.

De Conclusie

Het artikel concludeert dat de "psychologische profielen" die we tot nu toe aan AI hebben toegeschreven meetartefacten zijn. Het zijn illusies gecreëerd door de instrumenten die we gebruikten om ze te meten, en niet echte kenmerken van de AI.

Het Instrument: We gebruiken psychologische tests voor mensen (zoals de Big Five persoonlijkheidstest) op robots.
De Fout: Deze tests zijn niet ontworpen voor robots. Ze vertrouwen op het feit dat mensen een mix hebben van "Ja" en "Nee" neigingen die elkaar opheffen. Robots doen dat niet; zij hebben een sterke "directionele bias".
Het Resultaat: Totdat we nieuwe tests bouwen die specifelijk zijn ontworpen om "echte kenmerken" te scheiden van "robotgewoonten", kunnen we de persoonlijkheidsscores die we aan AI geven niet vertrouwen.

Kortom: We dachten dat we de ziel van de AI maten, maar we maten eigenlijk alleen de neiging van de AI om overal "Ja" (of "Nee") op te zeggen.

Technische Samenvatting: Schijnbare Psychologische Profielen van Large Language Models zijn Grotendeels een Meetartefact

Probleemstelling
Large Language Models (LLM's) worden steeds vaker geëvalueerd met behulp van psychologische instrumenten die ontworpen zijn voor mensen (bijv. persoonlijkheidsinventarissen, risicovoorkeurstaken) om hen stabiele gedragsprofielen toe te kennen. Deze profielen beïnvloeden beslissingen over de bruikbaarheid van modellen, veiligheidsbeoordelingen en het gebruik van LLM's als proxies voor menselijke participanten in onderzoek. Echter, recente bevindingen suggereren dat de reacties van LLM's instabiel zijn onder kleine verstoringen in de prompts en dat de factorstructuren afwijken van menselijke normen. Het centrale probleem dat wordt geadresseerd is of de schijnbare psychologische profielen van LLM's werkelijke, stabiele gedragsdisposities (eigenschappen) reflecteren, of dat zij een artefact zijn van het meetproces zelf, specifiek gedreven door systematische responsbiases in plaats van de constructen die de instrumenten beoogden te meten.

Methodologie
De auteurs hanteren een formeel psychometrisch kader om twee componenten van systematisch reageren te ontrafelen: een latente eigenschap ( $\theta$ ) en een directionele responsbias ( $b$ ). De studie maakt gebruik van een meetmodel waarbij het antwoord van een respondent op een item een functie is van het middelpunt van de schaal, de latente eigenschap, een directionele bias en ruis.

Data: De studie analyseert 56 instructie-getunede LLM's (46 open-source, 10 proprietary) naast een grote menselijke referentiegroep ( $N=20.993$ ).
Instrumenten: Twee uitgebreide batterijen werden afgenomen:
1. IPIP-NEO-300: Een 300-items Big Five persoonlijkheidsinventaris (Openheid, Consciëntieusheid, Extraversie, Meegaandheid, Neuroticisme).
2. Risicovoorkeursbatterij: 24 instrumenten variërend van zelfrapportageschalen tot gedragstaken (bijv. beslissingen uit beschrijvingen, loterijen) gebaseerd op Frey et al.
Kernmetriek: De studie introduceert en gebruikt respons-orthogonaliteit, gedefinieerd als de proportie items waarbij de eigenschap en de responsbias in tegengestelde richtingen werken (bijv. forward-keyed versus reverse-keyed items).
Analyse:
- Diagnostische test: De auteurs analyseren de correlatie tussen de gemiddelde reacties op forward-keyed en reverse-keyed items. Onder het meetmodel duidt een negatieve correlatie op trait-dominantie, terwijl een positieve correlatie duidt op responsbias-dominantie.
- Decompositie: Voor elk model worden de reacties gedecomposeerd in geschatte trait ( $\hat{\theta}$ ) en bias ( $\hat{b}$ ) componenten.
- Variantie-decompositie: De proportie van de variantie tussen modellen die toe te schrijven is aan bias versus trait wordt berekend.
- Orthogonaliteitsanalyse: De relatie tussen de proportie reverse-keyed items in een instrument en de schijnbare interne consistentie (Cronbach's $\alpha$ ) wordt onderzocht.

Belangrijkste Bevindingen

Bias Domineert Variatie Tussen Modellen:
- In menselijke steekproeven is de correlatie tussen de gemiddelden van forward- en reverse-keyed items sterk negatief (bijv. $\rho \approx -0,82$ voor Neuroticisme), wat aangeeft dat de variatie wordt gedreven door de onderliggende eigenschap.
- In LLM's is deze correlatie sterk positief (bijv. $\rho \approx +0,68$ voor Neuroticisme), wat aangeeft dat de variatie wordt gedreven door een directionele responsbias (een neiging om één uiteinde van de schaal of een specifieke label te kiezen, ongeacht de inhoud).
- Variantie-decompositie laat zien dat 81–90% van de variatie tussen modellen in LLM's toe te schrijven is aan responsbias, vergeleken met slechts 9–16% bij mensen.
Capaciteit Vermindert maar Elimineert Bias Niet:
- Responsbias neemt licht af naarmate de modelcapaciteit (parameteraantal) toeneemt en is lager bij proprietary modellen vergeleken met open-weight modellen.
- Desondanks vertonen zelfs de meest capabele modellen bias-niveaus die aanzienlijk hoger liggen dan die van het gemiddelde mens. De bias wordt niet geëlimineerd door schaling; de meest capabele modellen blijven buiten het menselijke bereik van bias.
Schijnbare Betrouwbaarheid is een Artefact van Orthogonaliteit:
- In LLM's wordt de schijnbare interne consistentie (betrouwbaarheid) bijna volledig voorspeld door de respons-orthogonaliteit van een instrument.
- Er bestaat een bijna deterministische negatieve correlatie ( $r = -0,95$ ) tussen de proportie reverse-keyed items en de gemiddelde inter-item correlatie.
- Instrumenten met weinig of geen reverse-keyed items vertonen een hoge betrouwbaarheid (Cronbach's $\alpha$ tot 0,96), terwijl volledig orthogonale instrumenten een nabij nul of negatieve betrouwbaarheid vertonen. Dit suggere than hoge betrouwbaarheid in niet-orthogonale instrumenten een consistente bias reflecteert, en geen consistente expressie van een eigenschap.
Profielinstabiliteit en Produceerbaarheid:
- Omdat bias het reageren stuurt, verschuift het psychologische profiel van een model drastisch afhankelijk van het gebruik van forward- of reverse-keyed items.
- Profielen kunnen worden "gefabriceerd" door middel van itemselectie. Het verschil tussen profielen afgeleid van forward-only versus reverse-only items is substantieel voor LLM's (gemiddelde absolute bias $|\mu_b|$ variërend van 0,15 tot 0,99) maar minimaal voor mensen ( $|\mu_b| \approx 0,09$ ).
- Deze instabiliteit is prominenter aanwezig in risicovoorkeursinstrumenten dan in persoonlijkheidsinventarissen.

Betekenis en Claims
Het artikel betoogt dat de schijnbare psychologische profielen van LLM's artefacten zijn van de instrumenten die worden gebruikt om ze te meten, en niet intrinsieke eigenschappen van de modellen. De auteurs claimen dat:

Huidige Beoordelingen Gebrekkig Zijn: Profielen afgeleid van standaard menselijke psychologische instrumenten worden grotendeels geconfundeerd door responsbias omdat deze instrumenten zelden volledige respons-orthogonaliteit bezitten. Bijgevolg reflecteren gerapporteerde betrouwbaarheidscoëfficiënten en persoonlijkheidsscores voor LLM's geen stabiele disposities.
Methodologische Correctie Vereist is: Een geldige beoordeling van de disposities van LLM's vereist ofwel het gebruik van volledig orthogonale instrumenten (gebalanceerde forward/reverse keying), ofwel de toepassing van formele psychometrische kaders die expliciet de responsbias van de eigenschap scheiden en modelleren.
Implicaties voor Onderzoek: Deze bevindingen dagen de validiteit uit van het gebruik van LLM's als proxies voor menselijke participanten in onderzoek zonder correctie voor deze meetartefacten. Ze suggereren ook dat gedragstaken niet immuun zijn voor deze problemen; sterker nog, ze kunnen gevoeliger zijn voor bias dan zelfrapportages.
Aard van LLM-gedrag: De studie stelt dat de geobserveerde bias een afzonderlijk fenomeen is, dat niet eenvoudig verklaard kan worden door post-training effecten zoals sycophancy (wat eenzijdig zou zijn) of sociale wenselijkheid (wat zich als trait-variatie zou manifesteren). Het suggereert dat LLM's mogelijk niet beschikken over menselijke, stabiele disposities of dat huidige instrumenten ongeldig zijn voor hen vanwege een gebrek aan belichaming of wilskracht.

De auteurs concluderen dat het simpelweg lenen van menselijke psychologische paradigma's onvoldoende is om LLM's te karakteriseren en roepen op tot toegewijde beoordelingen die gecentreerd zijn rond respons-orthogonaliteit om genuanceerd gedrag te onderscheiden van meetartefacten.