Can LLMs Simulate Human Behavioral Variability? A Case Study in the Phonemic Fluency Task

Probleemstelling

Grote Taalmodellen (LLMs) worden steeds vaker gebruikt als vervanging voor menselijke deelnemers in cognitieve en gedragswetenschappelijke studies. Hoewel LLMs uitstekende prestaties leveren op veel natuurlijke taal-taken, blijft hun vermogen om menselijke gedragsvariabiliteit (individuele verschillen) te simuleren onduidelijk. Menselijke taalproductie kenmerkt zich door een grote mate van variatie in woordkeuze, strategie en associatieve netwerken. Eerdere studies hebben aangetoond dat LLMs vaak minder divers zijn dan mensen en meer neigen naar consistente, frequentie-gedreven antwoorden.

De kernvraag van deze studie is: Kunnen LLMs de inter-participant variabiliteit simuleren die kenmerkend is voor menselijke prestaties in de fonemische vloeiheidstest (phonemic fluency)? In deze taak moeten deelnemers binnen een minuut zo veel mogelijk woorden bedenken die beginnen met een specifieke letter (in dit geval 'F'). Dit vereist een inspannende, orthografische zoekstrategie in het mentale lexicon, wat een goede test is voor de flexibiliteit van het model.

Methodologie

De onderzoekers voerden een uitgebreide evaluatie uit met de volgende componenten:

1. Menselijke Data:

   • Gebruik van een bestaand dataset van 106 native Engels-sprekende deelnemers (via Amazon Mechanical Turk).
   • Deelnemers moesten binnen één minuut woorden noemen die beginnen met de letter 'F'.
   • Data werden getranscribeerd en gezuiverd (verwijdering van herhalingen, eigennamen, etc.). Het gemiddelde aantal correcte antwoorden was 16,89 (SD = 4,84).

2. LLM Simulatie:

   • Modellen: 34 verschillende modellen getest, variërend van gesloten bron (OpenAI, Anthropic, Google, xAI) tot open-source modellen (via Together.ai).
   • Configuraties: In totaal 45 configuraties, inclusief variaties in "thinking"-modi (redeneringsmodi) en inspanningsniveaus.
   • Prompting: Elk model kreeg dezelfde prompt, inclusief de demografische gegevens (leeftijd, opleidingsniveau) en het aantal correcte antwoorden van een specifieke menselijke deelnemer. De modellen moesten de rol van die specifieke deelnemer aannemen.
   • Ensemble-analyse: Om te testen of het combineren van meerdere modellen de diversiteit kon vergroten, werden 1.000 ensemble-simulaties uitgevoerd waarbij het antwoord van elke "deelnemer" willekeurig uit een pool van verschillende modellen werd gehaald.

3. Analyse-maatstaven:

   • Productie-aantallen: Vergelijking van het aantal gegenereerde woorden met menselijke data (Mean Absolute Error).
   • Lexicale Diversiteit: Type-to-Token Ratio (TTR) en Idiosyncratic Type-to-Total Type Ratio (ITTTR) om unieke en uniek voor individuen kenmerkende woorden te meten.
   • Item-niveau Analyse: Zipf's wet (frequentieverdeling) en correlatie met linguïstische variabelen (woordfrequentie, leeftijd van verwerving, orthografische nabuurschap, etc.).
   • Netwerkanalyse: Constructie van co-occurrence-netwerken om de associatieve structuur van de woordproductie te vergelijken (clustering en kortste paden).

Belangrijkste Resultaten

1. Beperkte Variabiliteit:

   • Geen enkel model, individueel of in ensemble, kon de omvang van menselijke variabiliteit benaderen.
   • Mensen produceerden 476 unieke woordtypes (TTR = 0,27), terwijl het beste model (Claude 3.7 Sonnet) slechts 226 types produceerde (TTR = 0,13).
   • LLM-outputs waren consistent minder divers. Interessant genoeg leidden nieuwere modellen en "thinking"-modi vaak tot minder variabiliteit, niet meer.

2. Frequentieverdeling (Zipf's Wet):

   • Menselijke data volgden een typische Zipf-verdeling met een exponent ($\alpha$) van 0,89, wat wijst op een lange staart van zeldzame woorden.
   • LLMs hadden een steilere afname ($\alpha$ tussen 1,19 en 1,53), wat betekent dat ze oververtegenwoordigd waren met zeer frequente, prototypische woorden en de "lange staart" van zeldzame antwoorden misten.

3. Linguïstische Predictoren:

   • Voor mensen was de orthografische nabuurschap (woorden die lijken op het doelwoord qua spelling) een sterke predictor.
   • LLMs toonden een sterkere afhankelijkheid van woordlengte en woordfrequentie, maar misten de gevoeligheid voor orthografische structuren die mensen tonen.

4. Netwerkstructuur:

   • Menselijke antwoorden vormden netwerken met een hogere clusteringcoëfficiënt (strakkere lokale clusters) en een langere gemiddelde kortste padlengte (zwakkere globale integratie).
   • Het meest mens-achtige model (Claude 3.7 Sonnet) toonde een efficiënter, meer gelijkmatig verbonden netwerk, wat wijst op fundamenteel verschillende ophaalmechanismen.

5. Ensemble Falen:

   • Het samenvoegen van outputs van diverse modellen (ensemble) verbeterde de diversiteit niet significant.
   • De reden: Er is een enorme lexicale overlap tussen modellen (gemiddeld 74%, binnen families zoals Anthropic zelfs 90%). Modellen halen hun woorden uit een grotendeels gedeelde pool van hoge-frequentie woorden, waardoor ensemble-methoden de variatie niet kunnen vergroten.

Bijdragen en Conclusie

Technische Bijdragen:

• Uitgebreide Vergelijking: Dit is een van de meest omvattende studies die 34 modellen en 45 configuraties test, in plaats van zich te beperken tot één model.
• Realistische Simulatie: In tegenstelling tot eerdere studies die fictieve persona's gebruikten, baseerden de auteurs hun simulaties op echte menselijke metadata (leeftijd, opleiding, prestatie), wat de validiteit van de vergelijking verhoogt.
• Netwerkanalyse: Het toepassen van complexe netwerkmetrieken (TMFG) om de onderliggende associatieve structuur van taalproductie te onthullen.

Significantie en Implicaties:

• Beperkingen van LLMs: LLMs zijn uitstekend in het genereren van vloeiende, correcte antwoorden en het nabootsen van gemiddelden, maar ze falen in het simuleren van de individuele variabiliteit en de associatieve dynamiek van menselijk geheugen.
• Niet-ideale Vervanging: Het gebruik van LLMs als directe vervanging voor menselijke deelnemers in gedragsonderzoek is problematisch, vooral wanneer individuele verschillen en cognitieve processen centraal staan.
• Bias en Diversiteit: LLMs neigen systematisch naar prototypische, hoge-frequentie antwoorden, wat de diversiteit van menselijke populaties kan onderdrukken en bestaande linguïstische biases kan versterken.
• Aanbeveling: LLMs moeten eerder worden gezien als een baseline-systeem voor centrale tendensen in taalkennis, waartegen de uniciteit en flexibiliteit van menselijk gedrag kan worden gemeten, in plaats van als een vervanging voor menselijke proefpersonen.

De studie concludeert dat, ondanks de indrukwekkende prestaties op oppervlakkig niveau, LLMs fundamenteel verschillen in hoe ze kennis ophalen en structureren, wat hen ongeschikt maakt voor het simuleren van de volledige breedte van menselijk gedrag in cognitieve taken.