Can Large Language Models Simulate Human Cognition Beyond Behavioral Imitation?

Probleemstelling

De kernvraag van dit onderzoek is of Large Language Models (LLMs) menselijke cognitie daadwerkelijk kunnen simuleren of dat ze slechts oppervlakkig gedrag nabootsen. Bestaande benchmarks voor menselijke simulatie lijden aan twee fundamentele tekortkomingen:

1. Synthetische redeneersporen: Veel datasets gebruiken LLMs om redeneerprocessen te genereren, wat ontologisch verschilt van authentiek menselijk denken.
2. Populatie-aggregatie: Menselijke benchmarks mengen vaak redeneersporen van verschillende individuen, waardoor de unieke, consistente cognitieve patronen van een enkel persoon verloren gaan in statistieken op populatieniveau.

Er is een gebrek aan betrouwbare benchmarks die gebaseerd zijn op authentieke, individuele cognitieve data om te evalueren in hoeverre LLMs menselijke intelligentie kunnen simuleren.

Methodologie

De auteurs introduceren een nieuw benchmark-framework dat is gebaseerd op de longitudinale onderzoeksverloop van 217 vooraanstaande AI-onderzoekers.

1. Dataverzameling en Constructie:

• Bron: Wetenschappelijke publicaties (voornamelijk de introducties) worden gebruikt als een geëxternaliseerde representatie van het cognitieve proces van een auteur (probleemidentificatie, motivatie, aanpak, oplossing).
• Opzet: Voor elke auteur worden publicaties gegroepeerd in thematische clusters.
• Train/Test Split (Cross-Domain): Het benchmarkontwerp gebruikt een strikte tijdelijke en thematische scheiding. De trainset bestaat uit historische publicaties van een auteur, terwijl de testset bestaat uit publicaties over een nieuwe, eerder onbekend onderzoeksgebied van dezelfde auteur. Dit dwingt het model om cognitieve patronen over te dragen in plaats van alleen schrijfstijlen of specifieke methoden te imiteren.

2. Evaluatie Framework:
Om cognitie te onderscheiden van gedrag, wordt een meerdimensionale evaluatie gebruikt:

• Lexicale dekking: ROUGE en BertScore.
• Semantische gelijkenis: Beoordeling door een LLM-as-a-judge.
• Cognitieve consistentie (Kernmetriek): Een nieuw schema gebaseerd op psychologische theorieën (o.a. Witkin en Kirton) dat vijf dimensies meet:
  1. Fundamentele Premise: Inheriten van de auteursperspectief en probleemformulering.
  2. Strategische Voorkeur: Keuzes bij technische trade-offs (bijv. theorie vs. toepassing).
  3. Logische Mapping: Het overnemen van de redeneerstructuur.
  4. Trefwoordstijl: Lexicale voorkeuren en uitdrukkingsgewoonten.
  5. Taboe-ontwaking: Het vermijden van methoden die de auteur historisch heeft bekritiseerd.

3. Experimentele Opzet:
De auteurs testen state-of-the-art LLMs (zoals GPT-5.1, Gemini-2.5, Qwen-3, Llama-3.1) onder verschillende condities:

• BASE: Geen geschiedenis.
• OTHER: Geschiedenis van willekeurige andere auteurs (controle).
• SELF: Geschiedenis van de doel-auteur (cross-domain).
• SELFAKIN: Geschiedenis van dezelfde auteur maar binnen hetzelfde domein (in-domain lek).
• LEAKY: Oracle-toegang tot de ware cognitieve trajecten (bovengrens).
  Daarnaast worden verbeteringstechnieken getest, zoals prompt-engineering (persoonlijkheidstrait, cognitieve gids) en leer-gedreven methoden (fine-tuning).

Belangrijkste Resultaten

De resultaten tonen een scherp onderscheid tussen gedragsimitatie en cognitieve internalisatie:

1. Gedragsimitatie is succesvol: LLMs kunnen de schrijfstijl, terminologie en specifieke methoden van een auteur goed nabootsen. De scores voor lexicaal en semantisch niveau verbeteren aanzienlijk wanneer de model wordt gevoed met de geschiedenis van de auteur (SELF vs. OTHER).
2. Cognitieve Internalisatie faalt: LLMs slagen er niet in om de onderliggende, abstracte cognitieve patronen van een auteur over te dragen naar een nieuw domein.
   • De prestaties op cognitieve dimensies (zoals strategische voorkeuren en logische mapping) blijven laag in de SELF-conditie (cross-domain).
   • Er is een grote kloof tussen SELF (nieuwe domein) en SELFAKIN (bekend domein), wat aangeeft dat modellen afhankelijk zijn van domeinspecifieke patronen en geen hogere niveau cognitie-invarianten hebben geleerd.
   • Zelfs met LEAKY (oracle toegang) blijven de scores onder de menselijke verwachtingen, wat suggereert dat zelfs met volledige informatie de huidige modellen moeite hebben om menselijk redeneren volledig te repliceren.
3. Beperking van verbeteringstechnieken:
   • Prompting: Technieken zoals het toevoegen van persoonlijkheidsprofielen of cognitieve richtlijnen leiden tot marginale verbeteringen, maar veranderen vooral de uitdrukking van het redeneren, niet de diepere cognitieve structuur.
   • Learning-based methods: Supervised learning (fine-tuning) leidt vaak tot statistische fitting van oppervlakkige patronen in plaats van cognitieve abstractie. Unified training (één model voor alle auteurs) verwatert zelfs de unieke cognitieve handtekeningen.

Bijdragen

1. Nieuwe Benchmark: Een schaalbaar, betrouwbaar benchmark gebaseerd op authentieke individuele cognitieve geschiedenissen (publicaties) van 217 onderzoekers, met een strikt cross-domain evaluatieprotocol.
2. Evaluatie Framework: Een meerdimensionale metriek die specifiek is ontworpen om cognitieve consistentie (internalisatie) te onderscheiden van oppervlakkige gedragsimitatie.
3. Empirisch Bewijs: Een systematische studie die aantoont dat huidige LLMs uitstekend zijn in gedragsimitatie maar fundamenteel beperkt zijn in het simuleren van menselijke cognitie en het internaliseren van abstracte denkpatronen.

Significantie en Conclusie

Het paper concludeert dat de huidige ontwikkeling van LLMs, die grotendeels steunt op passieve schaalvergroting en statistische patronenmatching uit grote datasets, onvoldoende is voor echte cognitieve modellering. Hoewel modellen menselijk gedrag kunnen nabootsen, missen ze de capaciteit om de onderliggende mentale modellen en redeneerstructuren te internaliseren.

De auteurs suggereren dat de volgende stap in AI-onderzoek moet gaan van passieve data-exposure naar actieve leerdoelen, zoals cognitief meta-learning, abstractie-gerichte zelftoezicht, of versterkingsleer die expliciet is afgestemd op menselijke redeneerprocessen in plaats van alleen op uitkomstbeloningen. Dit werk biedt een kritisch perspectief op de grenzen van huidige AI en stelt een rigoureuze basis voor toekomstig onderzoek naar echt mensachtige intelligentie.