Small Foundation Models of Human Cognition and Behaviour
Dit artikel toont aan dat hoewel kleine fundamentele modellen die zijn verfijnd op menselijke gedragsgegevens effectief de grootschalige baselines kunnen evenaren voor in-distributie psychologische taken, alleen grotere modellen de generalisatie naar nieuwe taakstructuren significant verbeteren, waarbij de prestaties zwaar afhankelijk zijn van het verwerken van specifieke stimulus- en feedbackinhoud in plaats van enkel keuzegeschiedenis.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een robot probeert te leren hoe hij als een mens moet denken. Decennialang hebben wetenschappers kleine, handgemaakte "mentale machines" gebouwd (zoals ACT-R of Soar) die proberen uit te leggen hoe onze hersenen precies beslissingen nemen, stap voor stap. Maar deze machines zijn fragiel; als je het spel een klein beetje verandert, gaat de robot kapot. Onlangs nam een nieuw idee het stokje over: in plaats van een mentale machine vanaf nul op te bouwen, waarom zouden we een gigantisch, superintelligent computerbrein (een Large Language Model) niet simpelweg miljoenen voorbeelden voeren van echte mensen die keuzes maken? Als de computer kan voorspellen wat een mens hierna zal doen, heeft hij misschien de "regels" van het menselijk denken geleerd. Dit is de wereld van "cognitieve proxies"—AI-modellen die fungる als stand-ins voor de menselijke geest. Maar er blijft een grote vraag: begrijpt dit gigantische brein werkelijk de logica van het spel, of is het slechts een meester in patroonherkenning, die shortcuts onthoudt zoals een student die alleen het antwoordmodel heeft uit het hoofd geleerd zonder het tekstboek te lezen?
Dit artikel, getiteld "Small Foundation Models of Human Cognition and Behaviour," duikt in dat mysterie. De auteurs, Nick Oh en Fernand Gobet, besloten te testen of je echt een massief, 70 miljard parameters tellend "gigantisch" brein nodig hebt om menselijk gedrag na te bootsen, of dat een veel kleiner, "zakformaat" model ook de klus zou kunnen klaren. Ze trainden veertien verschillende AI-modellen, variërend van minuscuul (135 miljoen parameters) tot groot (14 miljard) op een enorme dataset genaamd Psych-101, die meer dan 10 miljoen keuzes bevat gemaakt door mensen in 160 verschillende psychologische experimenten.
Dit is wat ze ontdekten, en het is een beetje een plotwending. Ten eerste ontdekten ze dat grootte er niet zozeer toe doet als je alleen naar dezelfde soorten spellen kijkt die de AI al eerder heeft gezien. Een klein model met slechts 0,6 miljard parameters kon bijna net zo goed presteren als de enorme, 70 miljard parameters tellende reus wanneer het keuzes in bekende experimenten moest voorspellen. Het is alsof een kleine, behendige hond een specifieke truc leert net zo snel als een enorme Deense Dog. Echter, op het moment dat ze een nieuw type spel tegen hen aan wierpen (out-of-distribution), deed de grootte er plotseling weer toe. De grotere modellen waren veel beter in het ontdekken van de regels van een spel dat ze nog nooit hadden gezien, terwijl de kleine modellen in de war raakten.
Maar het meest opwindende deel is hoe deze modellen leren. Sommige critici maakten zich zorgen dat deze AI's alleen vertrouwden op schijnverbanden door de werkelijke spelregels te negeren en alleen naar de geschiedenis van eerdere keuzes te kijken (zoals het volgende kaartje in een deck raden door simpelweg te tellen wat er al gespeeld is). Om dit te testen, speelden de auteurs een spel van "verstoppertje spelen" met de informatie. Ze verwijderden systematisch onderdelen van de prompt: ze verborgen de instructies, ze vervaagden de spelstimuli (de afbeeldingen of getallen), ze wisten de feedback uit, en ze door elkaar gehusseld de volgorde van de proeven.
De resultaten waren spectaculair. Wanneer ze de werkelijke inhoud van het spel vervaagden (de stimuli en feedback), stortte de prestatie van de modellen in, tot onder het niveau dat je zou krijgen door simpelweg willekeurig te gokken. Dit bewijst dat de modellen niet alleen een sequentie van antwoorden memoriseren; ze letten ook daadwerkelijk op de inhoud van het spel. Bovendien, wanneer ze de volgorde van de proeven husselden in een spel waar de volgorde geen invloed zou moeten hebben, gaven de modellen niet om. Maar wanneer ze een spel husselden waarbij de volgorde wel belangrijk was, raakten de modellen in de war. Dit suggere than de AI slim genoeg is om te weten wanneer de volgorde van gebeurtenissen belangrijk is en wanneer dat niet het geval is.
Kortom, deze kleine, fijn afgestelde modellen zijn uitstekende "noise ceiling" estimators. Denk aan een noise ceiling als een glazen plafond voor hoe goed we menselijk gedrag kunnen voorspellen. Als een model dit plafond raakt, betekent dit dat we alle voorspelbare patronen in de data hebben gevonden, en dat alle resterende fouten simpelweg willekeurige menselijke "ruis" zijn. Deze kleine modellen laten zien dat we dit plafond kunnen bereiken zonder een supercomputer nodig te hebben, maar ze herinneren ons er ook aan dat deze modellen slechts zo goed zijn als de spellen waarop ze getraind zijn. Ze zijn briljant in het nabootsen van menselijk gedrag in het laboratorium, maar ze zijn nog geen volledige theorie van hoe de menselijke geest werkt—ze zijn een zeer nauwkeurige spiegel, maar niet de persoon die erin kijkt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.