AI Psychometrics: Evaluating the Psychological Reasoning of Large Language Models with Psychometric Validities

Dit artikel introduceert het veld AI-psychometrie en toont aan dat vier prominente grote taalmodellen, met name de nieuwere versies GPT-4 en LLaMA-3, psychometrisch valide zijn voor het evalueren van hun psychologische redeneervermogen aan de hand van het Technology Acceptance Model.

De kern

Stel je voor dat je een enorme, superintelligente robot hebt die alles kan lezen en schrijven wat een mens kan. Maar er is een probleem: niemand weet precies hoe die robot in zijn hoofd denkt. Het is een "zwarte doos". Je geeft een opdracht, en hij geeft een antwoord, maar het pad daar tussenin is zo complex dat zelfs de bouwers van de robot het niet kunnen verklaren.

Deze paper is als een nieuwe manier om die zwarte doos te openen, niet met een hamer, maar met een psychologische spiegel.

Hier is wat de onderzoekers hebben gedaan, vertaald naar simpele taal:

1. De Idee: AI met een Persoonlijkheidstest

Omdat deze robots (die "Large Language Models" of LLM's heten) zo slim zijn, denken de onderzoekers: "Laten we ze behandelen alsof ze mensen zijn." In de psychologie gebruiken we testen om te zien of iemand slim is, of een bepaald karakter heeft, of goed kan voorspellen hoe anderen zich voelen.

De onderzoekers hebben deze robots onderzocht met een bekende test: het TAM-model (Technology Acceptance Model).

• De Analogie: Stel je voor dat je een nieuwe app op je telefoon downloadt. Vraag je jezelf af: "Is dit handig voor mij?" (Nuttig) en "Is dit makkelijk te gebruiken?" (Gemakkelijk). Als het antwoord op beide ja is, ga je de app waarschijnlijk gebruiken.
• De onderzoekers hebben deze vragen aan vier verschillende AI's gesteld: GPT-3.5, GPT-4, LLaMA-2 en LLaMA-3. Ze wilden weten: Begrijpen deze robots echt wat mensen vinden van een app, of gooien ze alleen maar woorden door elkaar?

2. De Uitdaging: De "Gokker" vs. De "Denker"

Een groot probleem bij AI is dat ze vaak als een gokker werken. Als je ze iets vraagt, kiezen ze het meest waarschijnlijke antwoord, maar dat antwoord is vaak altijd hetzelfde. Dat is saai voor onderzoek.

Om dit op te lossen, gebruikten ze een slimme truc die ze de "Diffusie-methode" noemen.

• De Analogie: Stel je voor dat je een druppel inkt in een glas water laat vallen. De inkt verspreidt zich (diffundeert) in alle richtingen. In plaats van één antwoord te vragen, lieten de onderzoekers de AI's een gesprek voeren waarbij ze stap voor stap nieuwe vragen kregen, gebaseerd op het vorige antwoord. Hierdoor ontstond een heel groot, gevarieerd gesprek, net als die verspreidende inkt. Dit gaf hen genoeg data om echt te kunnen meten.

3. De Testen: Wat hebben ze gemeten?

Ze keken naar vier soorten "validiteit" (geldigheid), wat in het Nederlands betekent: "Hoe goed is deze test eigenlijk?"

1. Samenhang (Convergent Validity):
   • Vraag: Als de AI zegt dat iets "handig" is, klopt dat dan met andere vragen over "handig"?
   • Resultaat: De slimste robots (GPT-4 en LLaMA-3) waren hier heel goed in. Ze dachten consistent mee. De oudere, kleinere modellen (zoals LLaMA-2) waren hier soms wat slordig in.
2. Onderscheid (Discriminant Validity):
   • Vraag: Kan de AI het verschil zien tussen "handig" en "gemakkelijk"?
   • Resultaat: Ja! Alle robots wisten goed te onderscheiden dat iets handig kan zijn, maar niet per se makkelijk. Ze verwarren deze concepten niet.
3. Voorspelling (Predictive Validity):
   • Vraag: Als de AI zegt dat iets handig is, kan hij dan voorspellen of mensen het daadwerkelijk gaan kopen?
   • Resultaat: De slimste robots (GPT-4) voorspelden bijna net zo goed als echte mensen. De oudere modellen waren hier veel minder goed in.
4. Wereldkennis (External Validity):
   • Vraag: Gedragen de robots zich in deze test net als echte mensen in de echte wereld?
   • Resultaat: Ja. De patronen die de robots lieten zien, kwamen overeen met hoe echte mensen reageren.

4. De Grote Conclusie: Groter is Beter (en Menselijker)

Het belangrijkste nieuws uit dit onderzoek is dat slimmere robots ook menselijker denken.

• GPT-4 en LLaMA-3 (de nieuwste en grootste modellen) gedroegen zich in deze psychologische tests bijna als echte mensen. Ze hadden een sterke "psychologische logica".
• GPT-3.5 en LLaMA-2 (de oudere versies) deden het ook goed, maar waren wat minder consistent en voorspelbaar.

Waarom is dit belangrijk?

Vroeger keken we alleen of een AI goed wiskunde kon doen of feiten kon onthouden (zoals een IQ-test). Dit onderzoek laat zien dat we nu ook kunnen meten of een AI sociaal en emotioneel slim is.

Het is alsof we niet meer alleen kijken of een robot goed kan rekenen, maar of hij ook begrijpt waarom een mens blij wordt van een cadeautje. Als we dit kunnen meten, kunnen we AI's veiliger en eerlijker maken, zodat ze beter begrijpen wat goed is voor ons mensen.

Kortom: De onderzoekers hebben bewezen dat we AI's niet alleen als rekenmachines hoeven te zien, maar dat we ze met psychologische testen kunnen begrijpen. En hoe slimmer de AI, hoe meer hij lijkt op een mens die echt nadenkt.

Technische samenvatting

Titel: AI Psychometrie: Evaluatie van het Psychologisch Redeneren van Groot Taalmodellen met Psychometrische Validiteiten

1. Het Probleem

Groot Taalmodellen (LLMs) zoals GPT-4 en LLaMA vertonen een complexiteit die vergelijkbaar is met het menselijk brein, dankzij hun enorme aantal parameters en diepe neurale netwerken. Deze complexiteit maakt ze echter tot "black box"-systemen die moeilijk te interpreteren en te evalueren zijn.

• Beperkingen van huidige evaluaties: Bestaande evaluaties van LLMs focussen voornamelijk op kennis, logisch redeneren en wiskundige taken (vergelijkbaar met IQ-testen). Er wordt echter weinig aandacht besteed aan emotionele intelligentie (EQ) en psychologisch redeneren (het vermogen om gedachten, emoties, intenties en menselijk gedrag te begrijpen en te voorspellen), wat essentieel is voor de ontwikkeling van Algemene Kunstmatige Intelligentie (AGI).
• Validiteitskwestie: Het toepassen van traditionele psychometrische tests op AI-systemen roept vragen op over de betrouwbaarheid en validiteit, gezien de dynamische aard van LLM-responsen op prompts.

2. Methodologie

De auteurs introduceren AI Psychometrie, een veld dat psychometrische methodologieën toepast om de psychologische eigenschappen van AI-systemen te meten. De studie test vijf hypothesen over de validiteit van LLM-responsen.

• Theoretisch Kader: De studie maakt gebruik van het Technology Acceptance Model (TAM) van Davis (1989). Dit model bevat latente constructen zoals Waargenomen Nut (Perceived Usefulness - PU), Waargenomen Gemak (Ease of Use - EOU) en Aankoopintentie (Purchase Intention - PI).
• Datacollectie (Diffusiemethode):
  • Om de variabiliteit in LLM-responsen te vergroten (aangezien LLMs vaak deterministisch reageren), werd een diffusiemethode toegepast. Dit proces start met een willekeurige vraag en antwoord, waarna iteratieve prompts worden gebruikt om een breed spectrum aan reacties te genereren, geïnspireerd op fysieke diffusieprocessen.
  • Modellen getest: GPT-3.5, GPT-4o (OpenAI), LLaMA-2 en LLaMA-3 (Meta).
  • Benchmark: Een vergelijkbare dataset werd verzameld via een enquête onder menselijke deelnemers (via Amazon Mechanical Turk) in een e-commerce context (Amazon productaanbevelingen).
• Data-analyse:
  • Er werd PLS-SEM (Partial Least Squares Structural Equation Modeling) gebruikt met SmartPLS en een bootstrap-resampling van 5.000 steekproeven.
  • Er werden vier soorten validiteit geëvalueerd: convergente, discriminante, voorspellende en externe validiteit.

3. Belangrijkste Bijdragen

• Conceptuele Innovatie: De studie formaliseert de toepassing van psychometrische validiteitstests op LLMs, verschuivend van taakgerichte naar construct-gerichte evaluaties.
• Methodologische Vooruitgang: De introductie van de diffusiemethode om de statistische variabiliteit in LLM-responsen te vergroten, waardoor robuuste psychometrische analyses mogelijk worden.
• Empirisch Bewijs: Het biedt het eerste uitgebreide bewijs dat LLMs niet alleen logisch kunnen redeneren, maar ook psychologische constructen (zoals TAM) kunnen internaliseren en valideren volgens menselijke psychometrische standaarden.

4. Resultaten

De resultaten ondersteunen over het algemeen de hypothesen, met enkele nuances per model:

• Convergente Validiteit (Hypothese 1):
  • GPT-3.5, GPT-4o en LLaMA-3 toonden sterke convergente validiteit (factorladingen > 0,50, hoge Cronbach's alpha en Composite Reliability).
  • Uitzondering: LLaMA-2 faalde hierin; het had een lage factorlading voor PI4 (0,48) en lage interne consistentie (Cronbach's alpha van 0,41 voor PI), wat suggereert dat het model minder goed de onderliggende constructen internaliseerde.
• Discriminante Validiteit (Hypothese 2):
  • Alle modellen (inclusief LLaMA-2) voldeden aan het Fornell-Larcker-criterium. De constructen waren duidelijk van elkaar te onderscheiden.
• Voorspellende Validiteit (Hypothese 3):
  • Gemeten via de $R^2$ waarde voor Aankoopintentie (PI).
  • Mensen: 59,90%.
  • GPT-4o: 44,30% (een aanzienlijke verbetering ten opzichte van GPT-3.5 met 18,40%).
  • LLaMA-3: 37,30% (beter dan LLaMA-2 met 19,70%).
  • Conclusie: Hogere presterende modellen voorspellen menselijk gedrag beter.
• Externe Validiteit (Hypothese 4):
  • De padcoëfficiënten (relaties tussen PU/EOU en PI) in de LLMs kwamen overeen met die van menselijke deelnemers en waren statistisch significant. Dit bevestigt dat de psychologische modellen in AI generaliseerbaar zijn naar menselijke contexten.
• Prestatieverschil (Hypothese 5):
  • Er is een duidelijke correlatie tussen modelgrootte/complexiteit en psychometrische validiteit. GPT-4o en LLaMA-3 presteerden consequent beter dan hun voorgangers (GPT-3.5 en LLaMA-2) op alle validiteitsmaten.

5. Betekenis en Conclusie

De studie concludeert dat AI Psychometrie een geldige en effectieve benadering is om het psychologisch redeneren van LLMs te evalueren.

• Validatie van AI: Het toont aan dat geavanceerde LLMs (zoals GPT-4 en LLaMA-3) psychologische constructen kunnen begrijpen en repliceren die vergelijkbaar zijn met menselijke cognitie.
• Toekomstperspectief: Deze methode biedt een weg naar meer transparante en interpreteerbare AI-systemen. Door psychometrische validiteit te gebruiken, kunnen ontwikkelaars AI-systemen beter afstemmen op menselijke waarden en normen, wat essentieel is voor de ontwikkeling van ethische en sociaal bewuste AGI.
• Praktische Implicatie: Het stelt onderzoekers in staat om niet alleen te kijken naar wat een AI weet, maar ook naar hoe het denkt en voelt in een psychologisch kader.