Meta-learning ecological priors from large language models explains human learning and decision making

Probleemstelling
Menselijke cognitie wordt diepgaand beïnvloed door de omgeving waarin zij opereert, maar het blijft een open vraag of leren en besluitvorming kunnen worden verklaard als een principiële adaptatie aan de statistische structuur van realistische taken. Twee dominante kaders proberen dit te adresseren: rationele analyse, dat optimale strategieën afleidt uit formele omgevingsmodellen maar moeite heeft met complexe, ongedefinieerde omgevingen, en ecologische rationaliteit, dat steunt op handmatig ontworpen heuristieken die zijn afgestemd op specifieke taakstructuren, maar die een gebrek heeft aan een principiële methode voor het afleiden van deze heuristieken in nieuwe domeinen. De kernuitdaging is het ontwikkelen van een computationeel kader dat de normatieve fundamenten van rationele analyse verenigt met de ecologische verankering van realistische taken, zonder dat onderzoekers handmatig de distributies van de omgeving hoeven te specificeren of specifieke heuristieken hoeven te ontwerpen.

Methodologie: Ecologisch Rationele Analyse en ERMI
De auteurs introduceren Ecologisch Rationele Analyse, een kader dat Large Language Models (LLMs) en meta-learning gebruikt om computationele modellen van menselijke cognitie af te leiden. De aanpak bestaat uit drie hoofdfasen:

1. Schaalbare Taakgeneratie via LLMs: De auteurs gebruiken LLMs (specifiek CLAUDE-V2) als generatieve motoren om op schaal ecologisch valide cognitieve taken te creëren. Dit is een tweestaps-proces:

   • Kenmerk-synthese: Het LLM genereert plausibele taalkenmerken en doelwitten (bijv. het mappen van "natrium, vet, eiwit" naar "gezond/ongezond" categorieën).
   • Datageneratie: Het LLM genereert bijbehorende input-doelwit paren die consistent zijn met deze kenmerken, waardoor datasets ontstaan die de statistische regelmatigheden van naturalistische probleemruimtes benaderen.
   • Validatie: De gegenereerde taken worden statistisch vergeleken met real-world datasets (bijv. OpenML-CC18, real-world regressietaken) om de ecologische validiteit te verifiëren. Metrics omvatten classificatie-accuratesse, kenmerkcorrelatie, spaarzaamheid (Gini-coëfficiënt) en lineariteit.

2. Meta-Learning voor In-Context Inferentie: De auteurs trainen neurale netwerken (specifiek transformer-gebaseerde architecturen) op deze door LLM gegenereerde taken met behulp van meta-learning. Het doel is om Ecologisch Rationele Meta-learned Inference (ERMI) modellen af te leiden. Deze modellen leren om in-context learning uit te voeren: ze adapteren aan de structuur van een nieuw probleem door interne activaties aan te passen op basis van een sequentie van input-output voorbeelden, zonder hun parameters bij te werken. Dit proces stelt de modellen in staat om de "ecologische priors" (statistische regelmatigheden) van de trainingsdistributie te internaliseren, waarbij ze een Bayes-optimale inferentie benaderen die geconditioneerd is op die statistieken.

3. Evaluatie Tegen Menselijk Gedrag: De prestaties van ERMI worden geëvalueerd aan de hand van 15 experimenten verspreid over drie cognitieve domeinen: Functieleerproces (Function Learning), Categorieleerproces (Category Learning) en Besluitvorming (Decision Making). De modellen worden getest op hun vermogen om kenmerkende gedragssignaturen te repliceren (bijv. leercurves, generalisatiepatronen, strategieverschuivingen) en worden vergeleken met gevestigde cognitieve modellen (bijv. het Rationele Model van Categorisatie, het Generalized Context Model, en regelgebaseerde modellen) en meta-learned inference modellen met handmatig ontworpen priors (MI).

Belangrijkste Bijdragen

• Een Nieuw Kader: De voorstel van "Ecologisch Rationele Analyse", die rationele analyse en ecologische rationaliteit synthetiseert door de automatisering van de afleiding van adaptieve strategieën uit de statistische structuur van natuurlijke omgevingen.
• ERMI-Modellen: De ontwikkeling van een nieuwe klasse leeralgoritmen (ERMI) die ecologische priors internaliseren via meta-learning op LLM-gegenereerde taken, waardoor de noodzaak voor handmatig ontworpen heuristieken of expliciete parameterupdates tijdens inferentie wordt geëlimineerd.
• Empirische Validatie: Het aantonen dat ERMI menselijk gedrag over diverse domeinen vangt, waarbij het verschillende gevestigde cognitieve modellen overtreft in trial-by-trial voorspelling.
• Methodologische Innovatie: Het gebruik van LLMs niet als directe gedragsmodellen, maar als instrumenten om de ecologische priors te genereren die noodzakelijk zijn voor het trainen van adaptieve computationele modellen.

Resultaten

• Ecologische Validiteit: LLM-gegenereerde taken weerspiegelden succesvol de statistische eigenschappen van real-world data, inclusief de distributies van functietypen (lineair, exponentieel, etc.), kenmerkcorrelaties en spaarzaamheid.
• Functieleerproces: ERMI repliceerde vijf kenmerkende menselijke bevindingen: (i) beter leren van positieve lineaire functies dan negatieve; (ii) sneller leren van lineaire versus niet-lineaire functies; (iii) superieur leren van monotone versus niet-monotone functies; (iv) gemakkelijker leren van niet-cyclische versus cyclische functies; en (v) betere prestaties in interpolatie dan extrapolatie. ERMI vertoonde ook de menselijke bias van het onderschatten van waarden tijdens extrapolatie (bias naar een nul-offset) en bood een betere fit voor menselijke data dan meta-learned inference met handmatig ontworpen priors.
• Categorieleerproces: ERMI ving de moeilijkheidsvolgorde van Shepards zes categorie-typen (TYPE 1–6) en presteerde beter dan concurrerende modellen in het verklaren van menselijke keuzes (hoogste posterior model frequentie). Het modelleerde ook succesvol de verschuiving in de menselijke strategie van prototype-gebaseerd naar exemplar-gebaseerd leren over tijd en repliceerde menselijke generalisatiepatronen naar ongeziene inputs.
• Besluitvorming: In gepaard vergelijkings-taken adapteerde ERMI zijn beslissingsstrategie op basis van de statistische structuur van de omgeving (rangschikking, richting, of onbekende condities), waarbij het respectievelijk één-reden, gelijk-weging, of gewogen-additieve strategieën implementeerde, wat overeenkomt met menselijk gedrag. ERMI verklaarde menselijke responsen vaker dan baseline modellen (Single-cue, Equal-weighting, Neural Networks, en MI).

Betekenis en Claims
Het artikel claimt dat adaptieve afstemming met de statistische structuur van ecologisch valide omgevingen voldoende is om een breed spectrum aan menselijk leer- en besluitvormingsgedrag te verklaren.

De auteurs argumenteren dat menselijke cognitie mogelijk geen complexe, domeinspecifieke heuristieken vereist die door onderzoekers zijn ontworpen, maar voortkomt uit een afstemming op de statistische regelmatigheden van de wereld. Door LLMs te gebruiken om deze regelmatigheden te distilleren in trainingsdata, demonstreert ERMI dat algemene systemen menselijk gedrag kunnen spiegelen in hoe mensen leren, categoriseren en beslissen. Het werk suggereert dat een groot deel van de menselijke cognitie een "ideale statistische inferentie" reflecteert onder de beperkingen van natuurlijke taakstructuren.

De auteurs blijven bescheiden over de reikwijdte van hun claims, waarbij zij opmerken dat hoewel ERMI de last van het handmatig ontwerpen van priors vermindert, het de noodzaak voor wetenschappelijke oordeelsvorming bij featureselectie niet wegneemt. Zij erkennen dat toekomstig werk moet bepalen of aanvullende componenten (bijv. specifieke cognitieve beperkingen zoals werkgeheugenlimieten, of deelnemersspecifieke factoren) vereist zijn om menselijk gedrag volledig te verklaren, met name in gevallen waarin mensen afwijken van ideale inferentie. Het artikel stelt dat dit kader een schaalbaar pad biedt naar het begrijpen van de ecologische wortels van cognitie, wat in de toekomst potentieel kan worden uitgebreid naar belichaamde, hoog-dimensionale omgevingen.