Technische Samenvatting: Reden om te Spelen: Gedrags- en Hersenalignatie tussen Frontier LRMs en Menselijke Spellearners

Probleemstelling

Menselijke cognitie onderscheidt zich door het vermogen om abstracte structuren in nieuwe omgevingen snel te leren en deze kennis flexibel in te zetten om intelligent handelen te sturen. Hoewel moderne AI-systemen, met name Large Reasoning Models (LRMs), indrukwekkende capaciteiten hebben aangetoond in statische redeneertaken, blijft het onduidelijk of ze interactief kunnen leren en plannen in dynamische omgevingen met dezelfde efficiëntie en flexibiliteit als mensen. Bestaande benchmarks falen vaak om de interne representaties van agenten tijdens interactief leren vast te leggen, en traditionele deep reinforcement learning (RL)-agenten, hoewel succesvol in specifieke domeinen, vereisen vaak orde van grootte meer data dan mensen en missen overdraagbare interne modellen. Bovendien heeft de computationele neurowetenschap moeite gehad om modellen te vinden die menselijke hersenactiviteit tijdens interactieve cognitie voorspellen, aangezien modellen die vanaf nul worden getraind op specifieke taken vaak breekbare coderingssignalen produceren.

Deze studie adresseert de vraag: Kunnen frontier LRMs leren en plannen op een manier die zowel overeenkomt met menselijke gedragsverloop als met menselijke hersenactiviteit tijdens het ontdekken en uitvoeren van nieuwe videospelregels?

Methodologie

Dataset en Taak

De auteurs maakten gebruik van het VGDL-fMRI-dataset, dat gelijktijdige fMRI-opnames en speltrajecten bevat van 32 gezonde volwassen deelnemers die leerden om 12 verschillende videospellen te spelen die zijn gedefinieerd door de Video Game Description Language (VGDL).

• Taakstructuur: Deelnemers speelden 6 spellen over 6 scannerruns. Elk spel bestond uit 9 niveaus met toenemende complexiteit, waarbij stap voor stap nieuwe objecttypes en interactieregels werden geïntroduceerd.
• Omgeving: Spellen vereisten regelontdekking, hypotheseherziening en meerstapsplanning (bijvoorbeeld dozen duwen, gevaren vermijden, coöperatieve begeleiding).
• Invoerbeperkingen: Modellen ontvingen kleuranonimiseerde, symbolische observaties (gridposities, kleuren, inventaris) die identiek waren aan die van menselijke deelnemers, zonder bevoorrechte semantische labels.

Modelklassen

De studie evalueerde een reeks agenten over drie paradigma's:

1. Frontier Large Reasoning Models (LRMs): Acht modellen uit de Qwen 3.5- en DeepSeek-families (variërend van 9B tot 397B parameters). Deze modellen werden geëvalueerd in een multi-turn dialoogformaat waarbij ze observaties ontvingen en acties genereerden. Twee condities werden getest:
   • Gekopieerd-redeneren: De verborgen chain-of-thought van het model werd opgenomen in de context voor volgende beurten.
   • Alleen-acties: Alleen acties werden verstrekt, waardoor de bijdrage van expliciete redeneersporen geïsoleerd werd.
2. Deep Reinforcement Learning (RL) Baselines:
   • Model-vrij: Double DQN (DDQN) met uitgebreide hyperparameterafstemming per spel en curriculumgebaseerde training.
   • Model-gebaseerd: EfficientZeroV2 (EZV2), dat een latente dynamiekmodel leert voor planning via Monte Carlo Tree Search.
3. Symbolische Baseline: De Explore–Model–Plan Agent (EMPA), een theoriegebaseerde agent die Bayesiaanse inferentie uitvoert over een handgecodeerde ontologie van spelregels.

Evaluatiemetrics

1. Gedragsalignatie:
   • Ontdekkingsefficiëntie: Cumulatieve stappen tot de eerste winst per niveau (gemeten via Earth Mover's Distance, EMD, tegenover menselijke distributies).
   • Capaciteit: Gemiddeld bereikt niveau onder een vast stapbudget (geblokkeerd curriculum dat twee opeenvolgende winsten vereist om door te gaan).
2. Hersencodering:
   • Protocol: LRMs werden uitgevoerd als passieve waarnemers, waarbij ze de exacte observatiestroom ontvingen die menselijke deelnemers zagen, zonder acties of redeneersporen te genereren. Hidden-state features werden geëxtraheerd bij het laatste invoerteken.
   • Analyse: Gebandeerde ridge-regressie werd gebruikt om Blood-Oxygen-Level-Dependent (BOLD)-responsen te voorspellen vanuit modelfeatures. Prestaties werden gemeten als Pearson-correlatie ($r$) tussen voorspelde en waargenomen BOLD-activiteit over zes anatomische gebieden van belang (ROIs): Frontaal, Motor, Pariëtale, Visueel, Vroeg Visueel en Striataal.
   • Controles: Vergelijkingen omvatten controles met willekeurige initialisatie, controles met getrajecteerd geschudde data, en storende regressors (knopdrukken, spelidentiteit, tijd).

Belangrijkste Bijdragen

1. Systematische Evaluatie van LRMs in Interactief Leren: Dit is de eerste systematische evaluatie van frontier LRMs op mensachtig interactief spel leren over 12 spellen en 32 menselijke deelnemers. In tegenstelling tot eerder werk met single-step prompting of oudere LLM's, hanteert deze studie multi-step dialoog met expliciete redeneersporen.
2. Gedragspariteit met Mensen: De studie toont aan dat frontier LRMs menselijke leertrajecten evenaren in zowel ontdekkingsefficiëntie als capaciteitsprogressie, terwijl deep RL-baselines orde van grootte meer ervaring vereisen en vroeg verzakken.
3. Superieure Hersenalignatie: LRMs voorspellen menselijke hersenactiviteit een orde van grootte beter dan deep RL-baselines (DDQN, EfficientZero) en de symbolische EMPA-agent over alle corticale en subcorticale regio's. Deze alignatie is robuust tegen permutatiecontroles en wordt off-the-shelf bereikt zonder fine-tuning of domeinspecifieke tools.
4. Mechanistisch Inzicht: De studie isoleert dat het hersenalignatiesignaal de in-context representatie van de speltoestand van het model weerspiegelt, en niet zijn downstream plannings- of redeneerprocessen. Dit wordt onderbouwd door het feit dat de coderingsnauwkeurigheid hoog blijft, zelfs wanneer het model als passieve waarnemer wordt uitgevoerd zonder redeneersporen te genereren.
5. Ressourcen Vrijgegeven: De auteurs geven interactief aanvullend materiaal vrij met meer dan 100.000 redeneersporen, alle replay-data, geëxtraheerde hidden-state features en de volledige analysepijplijn.

Resultaten

Gedragsprestaties

• Ontdekkingsefficiëntie: Frontier LRMs clusterden strak rond de menselijke distributie van stappen tot eerste winst. Het beste model, DeepSeek V4-Pro, bereikte een ontdekking-EMD van 0,28, vergeleken met 3,07 voor DDQN en 3,22 voor EfficientZero. Dit vertegenwoordigt een 5–11$\times$ reductie in afstand tot menselijk gedrag vergeleken met RL-baselines.
• Capaciteit: LRMs doorliepen het 9-niveau curriculum met snelheden vergelijkbaar met mensen (bereiken van gemiddelde niveaus 4–6 binnen een 1600-stappenbudget), terwijl RL-baselines zelden verder kwamen dan niveau 1–2.
• Ontdekking–Uitvoeringskloof: Een opmerkelijke divergentie werd gevonden in uitvoering. Waar mensen hun stappen na de eerste winst significant verkortten (mediaan 32 stappen), neigden LRMs naar "perseveratie", waarbij ze de exacte trajecten van hun eerste winst herhaalden, zelfs wanneer kortere paden in hun redenering werden gearticuleerd. Deze kloof nam af met modelgrootte en was grotendeels afwezig in DeepSeek-modellen.

Hersencodering

• Omvang van Alignatie: LRMs voorspelden BOLD-activiteit met een Pearson $r$ van ongeveer 0,07–0,10 in visuele en vroeg-visuele regio's, en lagere maar significante waarden in frontaal, motorisch en striataal gebied. Dit is ongeveer een orde van grootte hoger dan de beste RL-baselines (die onder de $r=0,015$ bleven).
• Training versus Architectuur: Getrainde LRMs presteerden significant beter dan willekeurig geïnitieerde versies van dezelfde architectuur (6,4–6,9$\times$ verbetering), wat bevestigt dat de alignatie voortkomt uit geleerde representaties en niet uit architecturale priors.
• Schaal versus Alignatie: In tegenstelling tot gedragsprestaties, die over het algemeen schaalden met modelgrootte, schaalde de coderingsnauwkeurigheid niet monotoon met het aantal parameters. Het Qwen3.5-35B-A3B (MoE)-model bereikte de hoogste coderingsnauwkeurigheid, en presteerde beter dan grotere modellen zoals DeepSeek V4-Pro.
• Representatiespecificiteit: Het coderingssignaal was vergrendeld aan het moment-tot-moment verloop van het spelverloop. Het permuteren van de temporele volgorde van embeddings of het inkorten van de contextgeschiedenis verlaagde de coderingsnauwkeurigheid aanzienlijk, wat aangeeft dat het signaal de directe representatiestructuur vastlegt en niet de integratie van langetermijngeheugen.

Betekenis en Claims

Het artikel claimt Frontier LRMs te vestigen als overtuigende computationele accounts van menselijk leren en besluitvorming in complexe, naturalistische omgevingen.

• Nieuwheid van Alignatie: Voor zover de auteurs weten, is dit de eerste gezamenlijke gedrags- en neurale alignatie tussen mensen en LRMs tijdens interactief spelverloop.
• Mechanisme van Alignatie: De resultaten suggereren dat de rijke, overdraagbare representaties die LRMs verwerven door pre-training op tekst, hen in staat stellen nieuwe spellen te benaderen met een "brede voorkennis" die vergelijkbaar is met die van mensen. Dit staat in contrast met deep RL-agenten die vanaf nul moeten leren, wat resulteert in breekbare representaties die niet aligneren met menselijke hersenactiviteit.
• Beperkingen: De auteurs merken bescheiden op dat hun paradigma per-voxel ruisplafondschattings moeilijk maakt vanwege de uniciteit van elke menselijke traject. Ze erkennen ook dat LRMs algemene priors behouden uit hun trainingscorpora die niet volledig kunnen worden gecontroleerd.
• Toekomstige Richting: Het artikel stelt dat hoewel huidige LRMs de representatieve structuur van menselijke cognitie vastleggen, ze het signaal missen dat geassocieerd is met actief leren en plannen zelf. Toekomstig werk vereist rijpere cognitieve architecturen en protocollen voor actieve betrokkenheid om modellen te aligneren met individuele menselijke trajecten.

De studie concludeert dat LRMs een weg voorwaarts bieden voor de computationele neurowetenschap, door modellen te bieden die niet alleen taken oplossen, maar ook de interne computationele toestanden van het menselijk brein tijdens interactief leren weerspiegelen.