Learning to select computations in recurrent neural circuits

Dit artikel presenteert een recurrente neurale netwerkmodel dat, door rational meta-reasoning te combineren met meta-learning, leert om berekeningen te selecteren en zo de flexibiliteit en efficiëntie van biologische cognitie en neurale dynamiek in zowel eenvoudige keuzetaken als meervoudige planningsproblemen verklaart.

De kern

De Slimme Chef in Je Hoofd: Hoe ons brein leert om te kiezen wat het moet denken

Stel je voor dat je in een grote supermarkt staat en je moet beslissen of je een bak popcorn koopt. Je hebt een paar opties:

1. Je herinnert je hoe het smaakte de vorige keer.
2. Je simuleert hoe lang de rij is.
3. Je vergelijkt de prijs met wat je laatst betaalde.

Elk van deze gedachten helpt je een betere beslissing te nemen, maar ze kosten allemaal tijd en energie. Je hersenen hebben een eindige hoeveelheid batterijcapaciteit. Je kunt niet alles tegelijk doen. De grote vraag is: Hoe weet je precies welke gedachte op welk moment nuttig is, zonder je hersenen te overbelasten?

Dit artikel beschrijft een nieuwe manier om dat te begrijpen. De onderzoekers hebben een computermodel gebouwd dat leert hoe je dit doet, net als een slimme chef in een drukke keuken.

1. Het Probleem: De "Gedachten-Chef"

In het verleden dachten wetenschappers dat ons brein werkt met vaste regels, alsof er een kleine mannetje (een homunculus) in je hoofd zit die zegt: "Nu moet je rekenen!" of "Nu moet je herinneren!". Maar dat is niet realistisch. Hoe zou dat mannetje zelf weten wat het moet doen?

De onderzoekers zeggen: "Nee, het brein is geen statische machine. Het is een lerende machine." Het brein leert niet alleen wat er in de wereld gebeurt, maar leert ook hoe het moet denken om die wereld te begrijpen.

2. De Oplossing: Een Robot die "Denken" als een Taak ziet

De onderzoekers hebben een kunstmatige intelligentie (een neurale netwerk) getraind. Dit is hun creatieve truc:

• Fysieke acties: Dit zijn dingen die je doet in de echte wereld, zoals "popcorn kopen".
• Mentale acties: Dit zijn gedachten, zoals "hoe smaakte het?".

In hun model is "denken" gewoon een andere soort actie. Als je kiest om te "denken", verandert er niets in de supermarkt, maar krijg je wel nieuwe informatie (een antwoord van je geheugen). Het kost echter wel een beetje energie (een kleine straf in het model).

De robot leert door trial-and-error:

• "Als ik nu reken, kost het tijd, maar ik weet dan zeker of het goedkoop is." -> Goed idee!
• "Als ik nu weer naar dezelfde prijskijk, levert het niets op." -> Verspilde energie!

Zo leert de robot precies wanneer en wat hij moet denken om de beste beslissing te nemen met de minste moeite.

3. De Experimenten: Van Popcorn tot Bomen

De onderzoekers testten hun robot in drie situaties:

A. De Simpele Keuze (Popcorn)
De robot moest kiezen tussen snacks. Net als mensen, leerde de robot om eerst naar de opties te kijken waar hij het minst zeker van was (de "onzekere" opties). Hij leerde ook om te focussen op de beste opties en de slechtste te negeren.

• De verrassing: De interne "gedachten" van de robot leken precies op de hersenactiviteit van apen in hun orbitofrontale cortex (een deel van de hersenen dat gaat over keuzes). Het model zag eruit als een menselijk brein.

B. Het Complexe Plan (De Boom)
Stel je een boom voor met takken. Je moet een pad vinden dat de meeste punten oplevert, maar je kunt maar een paar takken tegelijk bekijken.

• Mensen kijken vaak naar de takken die het meeste beloven (zoals een "best-first search").
• De robot leerde exact hetzelfde patroon! Hij leerde om niet elke tak te bekijken (dat zou te lang duren), maar slim te kiezen welke takken het meest de moeite waard waren. Hij leerde zelfs om terug te gaan naar een ouder takje als hij daar iets belangrijks zag.

C. De Hersen-Dynamiek (De Rolprent)
In een laatste experiment keken ze naar hoe mensen plannen maken. Mensen simuleren in hun hoofd een reeks stappen ("als ik hier ga, dan gebeurt dat...").

• De onderzoekers ontdekten dat de hersenen van mensen een soort "rolprent" afspelen in de tijd.
• De robot deed precies hetzelfde! Zijn interne toestand veranderde stap voor stap, alsof hij de toekomst in zijn hoofd "afrolde". Dit bevestigt dat het brein plannen maakt door mentale simulaties te draaien.

4. Waarom is dit belangrijk?

Dit onderzoek verbindt twee wereldjes die vaak gescheiden zijn:

1. Rationele logica: Hoe zouden we ideaal moeten denken? (De wiskundige theorie).
2. Biologische realiteit: Hoe werkt ons brein echt? (De neurale netwerken).

De grote ontdekking is dat leren om te redeneren eigenlijk hetzelfde is als leren om te leren. Je brein is niet ingesteld met vaste regels voor elk probleem. In plaats daarvan leert het (zoals een kind dat leert spelen) hoe het zijn eigen denkprocessen moet sturen.

Het is alsof je brein een chef is die niet alleen leert hoe je een gerecht kookt, maar ook leert welke ingrediënten hij moet gebruiken en wanneer hij moet stoppen met proeven om het gerecht perfect te maken zonder de pan te verbranden.

Conclusie

Dit papier laat zien dat we intelligente robots kunnen bouwen die niet alleen "slim" zijn, maar ook efficiënt. Ze weten wanneer ze moeten nadenken en wanneer ze moeten handelen. Dit helpt ons niet alleen om betere AI te maken, maar vooral om te begrijpen waarom wij, mensen, zo flexibel en slim kunnen zijn, zelfs als we beperkte tijd en energie hebben.

Kortom: Je brein is geen statische computer, maar een slimme manager die leert hoe het zijn eigen werknemers (je gedachten) het beste kan inzetten.

Technische samenvatting

Probleemstelling

Biologische intelligentie wordt gekenmerkt door flexibiliteit en efficiëntie: organismen kunnen complexe problemen oplossen door de juiste cognitieve bewerkingen op het juiste moment te selecteren, ondanks beperkte cognitieve middelen. Dit vermogen staat bekend als meta-reasoning (het controleren van het denkproces zelf).

Bestaande benaderingen van meta-reasoning stuiten op twee fundamentele uitdagingen:

1. Algoritmische uitdaging: Het vinden van de optimale strategie voor het selecteren van berekeningen is op zichzelf een kostbaar computationeel proces. Bestaande methoden negeren vaak neurale plausibiliteit of vertrouwen op handmatig ontworpen, domeinspecifieke strategieën.
2. Representatieve uitdaging: De meeste theorieën gaan uit van symbolische representaties en algoritmen, wat het onduidelijk maakt hoe meta-reasoning kan worden geïmplementeerd in een distributief neurale systeem zoals de hersenen. Er is nog geen duidelijk mechanistisch inzicht in hoe neurale dynamica (zoals in de prefrontale cortex, PFC) adaptieve controle over gedachten kan ondersteunen.

Het doel van dit onderzoek is een neurale architectuur te ontwikkelen die kan leren welke berekeningen (mentale acties) er moeten worden uitgevoerd om een taak efficiënt op te lossen, waarbij zowel de strategie als de interne representaties worden geleerd.

Methodologie

De auteurs combineren de theorie van rationeel meta-reasoning met meta-versterkingsleren (meta-RL) in een recurrente neurale netwerk (RNN) architectuur.

• Architectuur: Het model is een RNN (gebruikmakend van Gated Recurrent Units, GRU's) met een actor-critic structuur. De agent ontvangt waarnemingen uit de omgeving en selecteit acties.
• Mentale Acties: Het cruciale onderscheid is dat de actie-ruimte niet alleen fysieke acties bevat (bijv. "kopen"), maar ook mentale acties (bijv. "herinneren" of "simuleren").
  • Fysieke acties veranderen de omgeving.
  • Mentale acties veranderen de omgeving niet, maar queryen een "informatiegenerator". Deze generator voert taakspecifieke cognitieve operaties uit (zoals het ophalen van een herinnering of het simuleren van een toekomstige stap) en retourneert besluitrelevante informatie die als input wordt toegevoegd aan de volgende tijdstap.
• Leringsdoel: De agent wordt getraind met policy gradient-methoden om de verwachte cumulatieve beloning te maximaliseren. Deze beloning is een afweging tussen externe nuttigheid (beloning voor de juiste keuze) en interne computationele kosten (straf voor het uitvoeren van mentale acties).
• Biologische interpretatie: De RNN fungeert als de prefrontale cortex (PFC) die controle uitoefent, terwijl de informatiegenerator andere hersengebieden vertegenwoordigt (zoals de hippocampus, basale ganglia, etc.) die gespecialiseerde berekeningen uitvoeren en de resultaten terugvoeren naar de PFC.

Belangrijkste Resultaten

Het model werd getest in drie verschillende scenario's en toonde aan dat het zowel menselijk gedrag als neurale dynamica kan reproduceren:

1. Eenvoudige Keuzetaak (Callaway et al., 2021):

   • De agent leerde strategieën die overeenkwamen met optimale symbolische modellen.
   • De agent toonde een neiging om items met onzekere waarden te inspecteren en zich te focussen op de beste opties, net als mensen.
   • Neurale representatie: De verborgen staten van de RNN codeerden Bayesiaanse geloofstoestanden (posterieure gemiddelden en precisie) in een geometrisch gestructureerde ruimte. Principal Component Analysis (PCA) toonde aan dat de agent de identiteit van het geattendeerde item en de waarden van de items in orthogonale subruimtes codeerde.

2. Neurale Dynamica in de Orbitofrontale Cortex (OFC) van Makaken:

   • Het model reproduceerde de neurale dynamica waargenomen in makaken tijdens een keuzetaak (Rich & Wallis, 2016; McGinty & Lupkin, 2023).
   • Net als bij makaken vertoonde de agent afwisselende representaties van de waarde van de gekozen en niet-gekozen opties in de verborgen staten.
   • De analyse van de "waarde-subruimte" toonde aan dat de waardegradiënten sequentieel ontstonden (eerst de eerste bekeken optie, dan de tweede) en dat deze gradiënten in de loop van de tijd roteerden. Dit ondersteunt het idee dat de PFC gebruikmaakt van temporale subruimtes voor sequentiële informatie.

3. Meerstaps Planningsopdracht (Callaway et al., 2024b & Vikbladh et al., 2024):

   • In een boom-structuur zoekopdracht leerde de agent een strategie die leek op "best-first search" met een beperkte zoekfrontier, vergelijkbaar met menselijk oogbewegingsgedrag.
   • De agent voerde lokale waarde-updates uit (vergelijkbaar met Bellman-backups) op basis van verkregen informatie.
   • Menselijke neurale dynamica: In een taak waarbij deelnemers een graf moesten doorlopen (Vikbladh et al., 2024), reproduceerde de agent de "rollout"-dynamiek (stap-voor-stap mentale simulatie) die in menselijke MEG-data is waargenomen. De correlatiepatronen in de verborgen staten van de RNN toonden dezelfde tijdsverschuivingen als de menselijke hersenactiviteit, wat suggereert dat de agent stap-voor-stap simuleert.

Bijdragen en Significatie

De belangrijkste bijdrage van dit werk is de unificatie van meta-reasoning en meta-learning:

• Conceptuele doorbraak: Het artikel stelt dat "leren redeneren" kan worden begrepen als "leren leren" van informatie die gegenereerd wordt door eigen cognitieve operaties. Dit overbrugt de kloof tussen normatieve theorieën (wat zou een rationele agent moeten doen) en neurale mechanismen (hoe de hersenen dit kunnen implementeren).
• Neurale Plausibiliteit: Het biedt een mechanistisch verhaal voor hoe adaptieve controle van gedachten kan worden uitgevoerd in neurale systemen, specifiek door interacties tussen de PFC en andere hersengebieden.
• Flexibiliteit en Efficiëntie: Het model laat zien dat een enkel systeem zowel de algoritmen als de representaties kan leren, waardoor het flexibel kan omgaan met verschillende problemen zonder handmatige aanpassingen.
• Toekomstige AI: De bevindingen suggereren dat voor het creëren van mensachtige AI-systemen die zowel flexibel als energie-efficiënt zijn, het essentieel is om systemen te bouwen die kunnen leren welke interne berekeningen ze moeten uitvoeren, in plaats van alleen externe acties te optimaliseren.

Kortom, dit papier levert een fundamenteel raamwerk aan voor het modelleren van hoe intelligentie ontstaat uit de adaptieve selectie van interne berekeningen binnen een recurrente neurale architectuur.