Deep Recurrent Q-Learning Captures the Behavioral DynamicsObserved in Deterministic and Stochastic Task Switching

Deze studie toont aan dat een Deep Recurrent Q-Learning-model, dat zowel een overtuigingsstatus als voorkeuren voor acties leert, de gedragsdynamiek bij taakswitching succesvol kan nabootsen zonder synaptische veranderingen, waarmee het de hypothese ondersteunt dat neurale toestandsprocessen de onderliggende mechanismen vormen voor cognitieve flexibiliteit.

De kern

De Slimme Aap en de Digitale Gokker: Hoe een Computer leert om te schakelen

Stel je voor dat je in een casino zit met twee gokkasten: links en rechts. Soms is de linkse machine een "winnaar" (je krijgt vaak geld), en de rechtse een "verliezer". Maar dan gebeurt er iets verrassends: zonder dat iemand het zegt, wisselen de machines van rol. De linkse wordt nu de verliezer en de rechtse de winnaar.

Hoe lang duurt het voordat jij dat doorhebt? En hoe lang duurt het voordat je stopt met geld in de linkse machine te steken en overschakelt naar de rechtse?

Dit is precies wat wetenschappers bestuderen bij apen (die in dit onderzoek water krijgen in plaats van geld) en hoe de hersenen dit proces aansturen. In dit artikel presenteren de auteurs een nieuw soort computermodel, een DRQL-model, dat dit gedrag nabootst. Laten we het eens uitleggen met een paar simpele metaforen.

1. Het Probleem: De "Gokker" in je Hoofd

De hersenen moeten constant beslissingen nemen. Soms is het duidelijk: als je op een knop drukt, krijg je altijd een beloning. Maar vaak is het wazig. Als je op een knop drukt en krijgt geen beloning, betekent dat dan dat je de verkeerde knop hebt gedrukt? Of was het gewoon pech, omdat die knop maar 80% van de tijd werkt?

Vroeger dachten wetenschappers dat de hersenen dit oplossen door hun "verbindingen" (synapsen) langzaam aan te passen, alsof je een pad in het bos langzaam trapt tot het duidelijk is. Maar apen blijken dit veel sneller en slimmer te doen. Ze lijken niet alleen hun pad te trappen, maar ze hebben ook een intern kompas dat continu de situatie inschat.

2. De Oplossing: De Digitale "Gokker" met een Geheugen

De auteurs hebben een kunstmatige intelligentie (een computerprogramma) gebouwd die werkt als een slimme gokker. Dit programma heet Deep Recurrent Q-Learning (DRQL).

Hier is hoe het werkt, vergeleken met een menselijke situatie:

• Het Geheugen (De Recurrente Netwerk): Stel je voor dat je een notitieboekje hebt waarin je elke keer schrijft: "Ik heb op de linkse knop gedrukt, kreeg geen geld. Ik heb op de rechtse gedrukt, kreeg wel geld." Maar dit programma doet meer dan alleen notities maken. Het heeft een intern gevoel (een 'belief state') dat voortdurend wordt bijgewerkt. Het vraagt zich af: "Is de linkse machine nu echt kapot, of was het gewoon toeval?"
• De Waarde (De Q-Waarden): Het programma houdt ook bij hoeveel "potentiële winst" er in de toekomst zit als je voor links of rechts kiest. Dit is als een speler die niet alleen kijkt naar de munt die hij nu krijgt, maar ook naar de muntjes die hij straks kan krijgen als hij de juiste machine kiest.
• Het Schakelen: Het mooie aan dit model is dat het niet wacht tot zijn "verbindingen" langzaam veranderen (zoals oude leertheorieën dachten). In plaats daarvan verandert het zijn intern gevoel direct zodra het merkt dat de situatie anders is. Het is alsof je plotseling beseft: "Oh, de regels zijn veranderd!" en je schakelt direct over, zonder dat je hersenen eerst jarenlang moeten groeien.

3. De Experimenten: Aap vs. Computer

De onderzoekers lieten drie echte apen en hun computermodel dezelfde taak doen:

• De Duidelijke Taak: 100% kans op winst voor de ene knop, 0% voor de andere. Hier schakelen zowel de aap als de computer heel snel over.
• De Wazige Taak: 80% kans op winst voor de ene, 20% voor de andere. Hier is het lastiger. Als je geen geld krijgt, weet je niet zeker of je de verkeerde knop had of dat het gewoon pech was.

Wat zagen ze?

• Bij de wazige taak duurt het langer voor zowel de aap als de computer om te schakelen. Ze moeten eerst wat meer "proeven" nemen om zeker te zijn.
• Hoe onzekerder de situatie (bijvoorbeeld 60% vs 40%), hoe langer het duurt voordat ze besluiten om te wisselen.
• Het computermodel gedraagt zich bijna exact zoals de apen. Het leert niet alleen de taak, maar het ontwikkelt ook een intern gevoel dat precies lijkt op wat er in de hersenen van de apen gebeurt.

4. Waarom is dit belangrijk?

Vroeger dachten we dat leren schakelen vooral ging over het langzaam aanpassen van verbindingen in de hersenen (synapsen). Dit artikel zegt: "Nee, het gaat meer om het snel bijwerken van je interne beeld van de wereld."

Het model laat zien dat je niet hoeft te wachten tot je hersenen fysiek veranderen om slim te schakelen. Je kunt gewoon je interne "gok-gevoel" updaten op basis van wat je net hebt meegemaakt.

De Grootste Les:
De hersenen zijn als een slimme gokker die niet alleen naar de huidige munt kijkt, maar een heel complex systeem heeft om te voorspellen wat er straks gaat gebeuren. Als de regels veranderen, past dit systeem zich direct aan door zijn interne wereldbeeld te herschrijven, in plaats van langzaam te "leren" door fouten te maken.

Dit helpt ons begrijpen hoe mensen en dieren flexibel kunnen zijn in een wereld die voortdurend verandert, zonder dat we elke keer opnieuw hoeven te leren hoe de wereld werkt. Het is alsof je een GPS hebt die niet alleen de weg wijst, maar ook direct een nieuwe route plannet zodra er een file staat, zonder dat je eerst de auto hoeft te repareren.

Technische samenvatting

Probleemstelling

Cognitieve flexibiliteit (CF) is het vermogen om responsen aan te passen aan veranderende situaties, zelfs wanneer er geen expliciete signalen zijn die een switch aangeven. Hoewel de prefrontale cortex (PFC) centraal staat in dit proces, is de onderliggende computationele mechanisme onduidelijk. Er bestaat een debat over hoe dieren (en mensen) switchen tussen taken:

1. Synaptische veranderingen: Een Reinforcement Learning (RL) model waarbij de switch wordt geïmplementeerd door het aanpassen van synaptische gewichten (leerprocessen). Kritici (zoals Bartolo en Averbeck, 2020) stellen dat dit te traag is om de variabiliteit in switch-tijden bij primaten te verklaren, vooral bij stochastische taken waar beloningen probabilistisch zijn.
2. Neurale staatsschommelingen: Een model dat een "belief state" (overtuigingstoestand) schat via Bayesiaanse inferentie en daarop handelt, zonder dat de switch zelf afhankelijk is van synaptische aanpassingen.

Het huidige artikel onderzoekt of een geavanceerde RL-architectuur, specifiek Deep Recurrent Q-Learning (DRQL), in staat is om de tweede hypothese te ondersteunen: een model dat leert een belief state te schatten en daarop handelt, zonder dat de switch-tijd wordt gedicteerd door synaptische dynamiek, maar door het accumuleren van onzekere informatie.

Methodologie

1. Experimenteel Paradigma (PST)
De auteurs gebruiken een Probability Switching Task (PST).

• Proefpersonen: Drie volwassen mannelijke rhesusapen (NHP's) en een kunstmatige agent.
• Opdracht: De subjecten moeten kiezen tussen twee doelen (een vierkant en een cirkel) die links en rechts van een fixatiepunt verschijnen.
• Beloningsschema: De beloningskansen wisselen per blok van 100 proeven. Er zijn verschillende scenario's:
  • Deterministisch: 100/0 (één doel geeft altijd beloning, het ander nooit).
  • Stochastisch: 90/10, 80/20, 70/30, 60/40 (het "goede" doel geeft beloning met de aangegeven kans, het "slechte" doel met de complementaire kans).
• Condities: Er is geen expliciete cue voor de switch, de beloningskans of het moment van switch. De agent moet dit afleiden uit de uitkomsten van eerdere proeven.

2. Model Architectuur (DRQL)
Het voorgestelde model is een Deep Recurrent Q-Learning agent die het probleem behandelt als een Partially Observable Markov Decision Process (POMDP).

• Belief State Schatting (RNN): Een Recurrent Neural Network (RNN) met 10 verborgen neuronen update de interne staat ($X_t$) op basis van de vorige staat, de uitgevoerde actie, de ontvangen beloning en de Temporal Difference (TD) error. Deze RNN leert automatisch een representatie van de huidige taaktoestand zonder handmatige Bayesiaanse regels.
• Actiewaarde Schatting (Q-Netwerk): Een feed-forward netwerk schat de Q-waarden ($Q(X_t, a)$) voor elke mogelijke actie op basis van de geschatte belief state.
• Trainingsdoel: Het maximaliseren van de verwachte toekomstige beloning door de TD-error te minimaliseren via gradient descent.
• Exploratie: Er wordt gebruik gemaakt van een $\epsilon$-greedy strategie ($\epsilon=0.1$) om voldoende exploratie te garanderen tijdens het leren.

3. Analyse en Validatie

• Experience Replay (ER): Om de interne representaties van het model te vergelijken met het gedrag van de apen, wordt het getrainde model "gevoerd" met de daadwerkelijke acties en beloningen van de NHP's. Hierdoor kan worden geanalyseerd hoe het model de interne staat zou hebben opgebouwd als het de aap was.
• Statistiek: Prestaties worden gemeten als "percent correct". De overeenkomst in Q-waarden tussen modellen wordt gemeten met Fraction of Variance Accounted For (FVAF).

Belangrijkste Bijdragen

1. Validatie van de Neuraal-Staat Hypothese binnen RL: Het artikel weerlegt de stelling dat RL per definitie ongeschikt is voor het modelleren van cognitieve flexibiliteit omdat het afhankelijk is van synaptische veranderingen. Het toont aan dat een DRQL-model de switch implementeert via neurale staatsschommelingen (updates in de RNN) en niet via het veranderen van de gewichten tijdens de uitvoering van de taak.
2. Leren zonder Hand-gemaakte Regels: In tegenstelling tot eerdere Bayesiaanse modellen die handmatige regels vereisten voor het updaten van de belief state, leert het DRQL-model deze update-regels en de belief state-representatie volledig autonoom.
3. Biologische Plausibiliteit: Het model reproduceert het gedrag van NHP's in zowel deterministische als stochastische taken, inclusief de variatie in de tijd die nodig is om een switch te voltooien afhankelijk van de onzekerheid van de beloning.

Resultaten

• Gedrag en Switch-tijden:

  • Zowel het model als de NHP's presteren goed in deterministische taken (100/0) en wisselen snel van strategie (binnen enkele proeven).
  • Bij stochastische taken (bijv. 80/20) neemt de tijd toe om een switch te maken naarmate de onzekerheid toeneemt. Het model heeft meer proeven nodig om te concluderen dat de taak is gewisseld omdat een niet-beloonde actie ook kan betekenen dat de actie correct was maar gewoon pech had.
  • Het model bereikt vergelijkbare hersteltijden als de NHP's na een switch.

• Interne Representaties (Belief State):

  • Neuronale Activiteit: De RNN-neuronen coderen specifieke informatie. Sommige neuronen coderen de waarschijnlijkheid van beloning (hoger activiteit bij deterministisch, lager bij stochastisch), terwijl andere de voorkeursactie coderen.
  • Principal Component Analysis (PCA): De eerste twee hoofdcomponenten van de belief state vangen de kerninformatie: PC1 encodeert de onzekerheid/probabiliteit van het schema, en PC0 encodeert de geschatte voorkeursactie. De overgang van de ene actie naar de andere in deze ruimte is trager bij stochastische taken.
  • Q-waarden: De verschil in Q-waarden tussen de twee acties kruist nul op het moment dat het model de switch maakt. Bij stochastische taken gebeurt dit later dan bij deterministische taken.

• Experience Replay:

  • Wanneer het model de acties van de NHP's "speelt", vertoont het interne TD-error en de Q-waarden een tijdverloop dat sterk overeenkomt met het model dat zelf handelt. Dit suggereert dat de informatie die nodig is om de taak op te lossen (belief state, Q-waarden, TD-error) consistent is, ongeacht of de acties door het model of de aap worden gegenereerd.

• Consistentie:

  • Verschillende onafhankelijk getrainde modellen convergeren naar vergelijkbare oplossingen en prestaties, wat aangeeft dat de DRQL-architectuur robuust is voor dit probleem.

Betekenis en Conclusie

De studie toont aan dat Deep Recurrent Q-Learning een biologisch haalbaar mechanisme biedt voor cognitieve flexibiliteit. Het weerlegt het idee dat Reinforcement Learning noodzakelijkerwijs synaptische veranderingen vereist om te switchen; in plaats daarvan kan het switchen worden gemedieerd door dynamische updates van een interne belief state.

• Neurobiologische Implicaties: De bevindingen ondersteunen het idee dat neurale netwerken in de prefrontale cortex en subcorticale gebieden (zoals de basale ganglia) belief states schatten en updaten op basis van TD-error (geassocieerd met dopamine-activiteit). De variabiliteit in switch-tijden bij primaten wordt niet veroorzaakt door de snelheid van synaptische plasticiteit, maar door de tijd die nodig is om onzekere informatie te accumuleren om een betrouwbare conclusie te trekken.
• Toekomstige Toepassingen: Omdat het model geen handmatige regels nodig heeft, is het flexibel toepasbaar op nieuwe taken met andere aantallen acties of beloningsregels. Dit biedt een krachtig raamwerk voor het testen van hypotheses over neurale mechanismen voordat experimenten met dieren worden uitgevoerd.

Kortom, het paper levert een technisch overtuigend bewijs dat RL-modellen, wanneer ze gecombineerd worden met recurrente netwerken, de complexe dynamiek van cognitieve flexibiliteit in stochastische omgevingen kunnen nabootsen en verklaren.