💻 computer science

Inferring personality from a live interaction with an LLM: Predictions are internally consistent and show convergent validity

Deze preregistreerde studie toont aan dat grote taalmodellen betrouwbaar de Big Five-persoonlijkheidskenmerken kunnen afleiden uit live gesprekken met een hoge interne consistentie en convergentievaliditeit, met name voor neuroticisme en meegaandheid, hoewel de prestaties variëren per observeerbaarheid van het kenmerk en promptingstrategie.

Oorspronkelijke auteurs: Merlin Monzel, Sebastian Jung, Martin Reuter

Gepubliceerd 2026-08-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Merlin Monzel, Sebastian Jung, Martin Reuter

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Decennialang hebben psychologen vertrouwd op een eenvoudig hulpmiddel om te begrijpen wie we zijn: een vragenlijst. Mensen nemen plaats en beoordelen zichzelf op een reeks stellingen, waarbij ze aangeven of ze het eens zijn met of oneens zijn met ideeën over extraversie, ordelijkheid of angst. Deze methode is efficiënt en heeft ons een standaardkaart van de menselijke persoonlijkheid opgeleverd, vaak de 'Big Five' genoemd. Deze vijf eigenschappen—openheid voor nieuwe ervaringen, consciëntieusheid, extraversie, meegaandheid en neuroticisme—vormen een kader om te beschrijven hoe mensen denken, voelen en zich gedragen. Toch heeft deze aanpak een gebrek. Het vraagt mensen om naar binnen te kijken en zichzelf te beoordelen, een proces dat vertroebeld kan worden door hoe we gezien willen worden of door eenvoudige fouten in zelfreflectie. Het mist ook de rijke, chaotische details van hoe we in de echte wereld daadwerkelijk spreken en interageren.

Onlangs is er een nieuwe technologie opgekomen die de manier waarop we deze eigenschappen meten, zou kunnen veranderen. Large language models zijn computerprogramma's die getraind zijn op enorme hoeveelheden tekst en in staat zijn tot gesprekken die verrassend menselijk aanvoelen. Omdat deze modellen zoveel menselijke teksten hebben gelezen, kunnen ze soms patronen herkennen in hoe mensen woorden gebruiken, wat hun onderliggende karakter onthult. De vraag die onderzoekers begonnen te stellen was of een computer een gesprek in realtime zou kunnen beluisteren en iemands persoonlijkheid nauwkeurig zou kunnen raden, simpelweg door te horen hoe iemand praat, zonder dat die persoon ooit een formulier hoeft in te vullen.

Een team onderzoekers aan de Universiteit van Bonn zette zich in om dit idee te testen. Ze nodigden 117 mensen uit voor een gesprek van tien minuten met een kunstmatige intelligentie-chatbot. De chatbot kreeg een specifieke instructie: om open vragen te stellen over de afgelopen week van de deelnemer, waarbij de eigen antwoorden kort gehouden moesten worden, terwijl er tegelijkertijd geprobeerd werd genoeg informatie te verzamelen om de persoonlijkheid van de persoon te begrijpen. Het doel was om te zien of de computer een persoonlijkheidsprofiel kon extraheren uit deze korte uitwisseling. Nadat het gesprek was geëindigd, vroegen de onderzoekers de chatbot om de persoonlijkheid van de deelnemer te evalueren op de vijf belangrijkste eigenschappen. Om ervoor te zorgen dat de resultaten solide waren, vroegen de onderzoekers de deelnemers ook om een standaard persoonlijkheidsvragenlijst over zichzelf in te vullen, wat diende als een benchmark om de gokken van de computer mee te vergelijken.

De onderzoekers testten twee verschillende manieren om de computer zijn oordeel te laten vellen. In de eerste benadering vroegen ze het model simpelweg om de persoon op de vijf eigenschappen te beoordelen op basis van het gesprek. In de tweede, complexere benadering, voerden ze de computer de exacte lijst met vragen van de standaard persoonlijkheidstest en vroegen ze de computer te raden hoe de persoon op elke vraag zou hebben geantwoord. De resultaten lieten zien dat de computer verrassend goed was in deze taak. Wanneer de onderzoekers de consistentie van de beoordelingen van de computer controleerden, kwamen ze tot de conclusie dat het model het begrip van persoonlijkheid net zo goed begreep als een menselijke psycholoog zou doen. De scores die de computer genereerde waren intern consistent, wat betekent dat het model geen tegenstrijdige antwoorden gaf voor dezelfde persoon.

Belangrijker nog, de beoordelingen van de computer kwamen overeen met de zelfrapportages van de deelnemers. De sterkste overeenkomsten werden gevonden bij neuroticisme, wat verband houdt met emotionele stabiliteit en angst, en meegaandheid, wat verband houdt met vriendelijkheid en coöperatie. De computer was bijzonder goed in het opmerken van tekenen van depressie en mededogen in de manier waarop mensen spraken. De technologie had echter moeite met andere eigenschappen. Het had meer moeite met het voorspellen hoe extravert of openminded een persoon was. Deze moeilijkheid komt waarschijnlijk door de aard van het gesprek zelf. Eigenschappen zoals extraversie komen vaak naar voren in hoe mensen in groepen handelen of hoe energiek ze zijn in persoon, zaken die moeilijk te vangen zijn in een tekstuele chat met een machine. Op dezelfde manier zijn creativiteit en openheid vaak interne processen die niet altijd een duidelijk spoor achterlaten in een kort gesprek.

De studie onderzocht ook of de computer bevooroordeeld was. Er was een zorg dat het model zou leunen op stereotypen, zoals aannemen dat vrouwen emotioneler zijn dan mannen, simpelweg omdat het die ideeën in de trainingsdata had gelezen. Echter, omdat de onderzoekers de geslacht van de deelnemers voor de chatbot verborgen hielden, versterkte de computer deze stereotypen niet. De verschillen die het vond tussen mannen en vrouwen waren consistent met wat de deelnemers over zichzelf zeiden, wat suggereert dat het model reageerde op de werkelijke mensen in plaats van op een vooraf bepaald concept. De onderzoekers ontdekten echter wel dat de computer de neiging had om in zijn oordelen te vriendelijk te zijn. Het gaf hogere scores voor eigenschappen zoals meegaandheid en consciëntieusheid en lagere scores voor neuroticisme, misschien omdat het geprogrammeerd was om beleefd te zijn of omdat het uitging van een "aardelijke" versie van een persoon.

Hoewel de voorspellingen van de computer niet perfect waren, suggereert de studie dat we bewegen naar een toekomst waarin persoonlijkheid begrepen kan worden door middel van natuurlijke conversatie in plaats van alleen maar checklists. De onderzoekers ontdekten dat de eenvoudigere methode van het vragen om een algemene beoordeling beter werkte dan de complexere methode van het voeden van de computer met de testvragen, wat het systeem vaker deed falen. Dit geeft aan dat het model een intuïtief begrip van persoonlijkheid heeft dat niet altijd een rigide kader nodig heeft om te functioneren. De bevindingen suggereren dat, hoewel deze instrumenten nog niet klaar zijn om menselijke psychologen te vervangen of levensveranderende beslissingen te nemen, ze er succesvol in kunnen slagen om betekenisvolle signalen over wie we zijn te halen uit de woorden die we kiezen om te zeggen. Naarmate de technologie verbetert, en naarmate gesprekken langer en gedetailleerder worden, kan het vermogen om persoonlijkheid uit spraak te lezen een krachtige nieuwe manier worden om de menselijke geest te begrijpen.

Technische Samenvatting: Het afleiden van persoonlijkheid uit live interacties met LLM's

Probleemstelling
Traditionele persoonlijkheidsassessments vertrouwen zwaar op psychometrische vragenlijsten (bijv. de Big Five Inventory-2, BFI-2). Hoewel efficiënt, zijn deze zelfrapportagematen gevoelig voor introspectiefouten, responsbiases (zoals sociale wenselijkheid) en slagen ze er vaak niet in om de contextuele rijkdom van natuurlijk gedrag te vatten. Daartegenover staan kwalitatieve beoordelingsformaten die onderbenut blijven vanwege de praktische uitdagingen van het transcriëren, coderen en kwantificeren van tekstuele data, evenals zorgen over de betrouwbaarheid van menselijke beoordelaars. Hoewel geautomatiseerde Natural Language Processing (NLP) enkele beperkingen heeft aangepakt, leunt het vaak op vooraf gedefinieerde woordenboeken die een gebrek aan contextuele flexibiliteit vertonen. Recente vooruitgang in Large Language Models (LLM's) biedt een potentieel alternatief, maar het blijft onduidelijk of LLM's effectief de Big Five-persoonlijkheidskenmerken kunnen afleiden uit live, adaptieve conversationele interacties, hoe verschillende promptingstrategieën de validiteit beïnvloeden, en of systematische biases (bijv. genderstereotypen of mildheid) de beoordeling compromitteren.

Methodologie
Deze gepregistreerde studie onderzocht de voorspellende validiteit van een LLM bij het beoordelen van de Big Five-persoonlijkheidskenmerken (Openheid, Consciëntieusheid, Extraversie, Meegaandheid, Neuroticisme) via een 10-minuten durende live interactie.

Deelnemers: 117 deelnemers (voornamelijk psychologiestudenten van de Universiteit van Bonn; 62,4% vrouw, 37,6% man; leeftijd 18–67) namen deel aan een gesprek met een LLM (Meta Llama 3.3 70B/80B Instruct).
Interactieprotocol: Deelnemers kregen de instructie om over hun afgelopen week te praten. De LLM werd geprompt om open vragen te stellen, korte bijdragen te leveren en informatie te extraheren die relevant is voor persoonlijkheidsbeoordeling. Modelparameters werden gestandaardiseerd (Temperatuur = 0, top_p = 0,05) om deterministische outputs te garanderen.
Beoordelingsstrategieën: Na het gesprek werden twee verschillende promptingstrategieën gebruikt om persoonlijkheidsscores te genereren:
1. Niet-contextuele prompting: De LLM werd gevraagd om de Big Five-scores van de deelnemer in te schatten op een schaal van 1–5 zonder aanvullend referentiemateriaal.
2. Contextuele prompting: De LLM kreeg de volledige 60 items van de BFI-2 te zien en werd gevraagd om in te schatten hoe sterk de deelnemer met elk statement zou instemmen op basis van het gesprek.
Ground Truth: Deelnemers voltooiden de standaard BFI-2 zelfrapportagevragenlijst als benchmark voor validiteit.
Biascontrole: Om genderbias te testen, werd het geslacht van de deelnemer verborgen voor de LLM tijdens de interactie- en beoordelingsfase.
Analyse: De studie onderzocht de interne consistentie (Cronbach's $\alpha$ ), convergente validiteit (correlaties tussen LLM-scores en zelfrapportages) en de invloed van specifieke subfacetten. Bayesiaanse statistiek werd gebruikt om bewijs te leveren voor de nulhypothese met betrekking tot genderbias.

Belangrijkste Bijdragen en Resultaten

Interne Consistentie en Structuur:
De LLM vertoonde een hoge interne consistentie in zijn beoordelingen, met Cronbach's $\alpha$ -waarden variërend van .77 (Extraversie) tot .88 (Neuroticisme), vergelijkbaar met zelfrapportagedata. Dit suggereert dat het model de interne structuur van de Big Five-kenmerken "begrijpt".
Convergente Validiteit:
Door de LLM afgeleide scores vertoonden significante convergente validiteit met zelfrapportages, hoewel de prestaties varieerden per kenmerk en promptingstrategie.
- Niet-contextuele prompting: Alle vijf de kenmerken werden significant voorspeld ( $p < .05$ ). Neuroticisme ( $r = .35$ ) en Meegaandheid ( $r = .40$ ) vertoonden de sterkste correlaties, terwijl Extraversie ( $r = .15$ ) de zwakste was.
- Contextuele prompting: Deze strategie leverde een hogere plafondvaliditeit op voor Meegaandheid ( $r = .52$ ) en Consciëntieusheid ( $r = .50$ ), maar leed onder een hoog technisch uitvalpercentage (70,6% van de pogingen slaagde er niet in bruikbare output te produceren). Openheid en Extraversie werden in deze conditie niet significant voorspeld, waarschijnlijk door de kleine effectieve steekproefomvang ( $n=37$ ).
- Vergelijking: Niet-contextuele prompting bleek robuuster en stabieler, terwijl contextuele prompting meer variabiliteit en technische instabiliteit introduceerde.
Subfacet-drivers:
Specifieke subfacetten dreven de voorspellende nauwkeurigheid aan. Voor Meegaandheid was de subfacet "Compassie" de primaire drijfveer. Voor Neuroticisme was "Depressie" een belangrijke voorspeller in contextuele beoordelingen. Daartegenover droegen "Creatieve Verbeelding" (Openheid) en "Assertiviteit" (Extraversie) het minst bij aan de voorspelbaarheid, wat suggereert dat deze kenmerken minder observeerbaar zijn in linguïstische data tijdens niet-gestuurde interacties.
Biasanalyse:
- Mildheidsbias (Leniency Bias): De LLM vertoonde een mildheidsbias die consistent is met sociale wenselijkheid, waarbij hogere scores werden toegekend aan Meegaandheid en Consciëntieusheid en lagere scores aan Neuroticisme vergeleken met zelfrapportages. De auteurs merken echter op dat dit de absolute scores beïnvloedt in plaats van de relatieve rangorde van deelnemers.
- Genderbias: Er werd geen bewijs gevonden voor genderbias. De LLM versterkte genderstereotypen niet (bijv. het toekennen van hogere Neuroticisme aan vrouwen) wanneer het geslacht verborgen was. Hoewel er hoofdeffecten van gender bestonden in de data (consistent met bekende populatieverschillen), was er geen interactie-effect dat aangaf dat de LLM geslachten anders beoordeelde dan zelfrapportages. Bayesiaanse analyse leverde anekdotisch bewijs voor de nulhypothese van geen genderbias.

Significantie en Claims
Het artikel beweert dat LLM's succesvol stabiele, betekenisvolle persoonlijkheidssignalen kunnen extraheren uit beknopte conversationele data, waarbij ze een interne consistentie bereiken die vergelijkbaar is met zelfrapportage, en een matige convergente validiteit behalen. De studie benadrukt dat:

Haalbaarheid: LLM's kunnen persoonlijkheid afleiden zonder expliciete definities van kenmerken (niet-contextueel), wat suggereert dat deze kennis kan worden opgehaald uit de trainingsdata.
Beperkingen: Voorspellende prestaties zijn sterk afhankelijk van de "linguïstische observeerbaarheid" van specifieke kenmerken. Kenmerken met sterke linguïstische markers (bijv. negatieve emoties voor Neuroticisme, prosociaal taalgebruik voor Meegaandheid) worden nauwkeuriger voorspeld dan kenmerken die worden uitgedrukt via overt gedrag (bijv. Extraversie) of interne staten (bijv. Creatieve Verbeelding).
Robuustheid: Hoewel contextuele prompting (het verstrekken van BFI-2 items) theoretisch de validiteit voor specifieke kenmerken kan verbeteren, lijdt het momenteel onder technische beperkingen (problemen met het contextvenster) en hoge uitvalpercentages, waardoor niet-contextuele prompting momenteel de meest betrouwbare aanpak is.
Ethische Implicaties: Het verbergen van identiteitsinformatie (zoals gender) voorkomt effectief de reproductie van genderstereotypen. De auteurs waarschuwen echter dat, vanwege de huidige beperkingen in validiteit en potentiële biases, LLM-gebaseerde persoonlijkheidsvoorspellingen nog niet als diagnostisch of definitief moeten worden beschouwd, met name in situaties met hoge inzet zoals personeelsselectie.

De bevindingen suggereren dat hoewel LLM's een veelbelovende weg bieden voor kwalitatieve persoonlijkheidsbeoordeling, toekomstige vooruitgang afhankelijk is van meer gerichte promptingstrategieën, rijkere interactiedata en voortdurende controle van modelbiases voordat ze in de praktijk kunnen worden toegepast.

Meer zoals dit