Dual reinforcement-learning network modules for modeling decision-making with multiple strategies

Deze studie presenteert een hybride deep reinforcement learning-model dat laat zien hoe een enkel neurale netwerk automatisch en zonder expliciete arbiter strategiewisselingen tussen modelvrij en inferentiegebaseerd leren kan uitvoeren, wat overeenkomt met waargenomen hersenactiviteit bij dieren.

De kern

Hoe een brein slimkeuzes maakt: Een verhaal over twee manieren van leren

Stel je voor dat je brein een supergeavanceerde computer is die elke seconde duizenden beslissingen neemt. Soms kiest het op "automatische piloot" (zoals wanneer je zonder na te denken je favoriete koffiebestelt), en soms moet het diep nadenken en plannen (zoals wanneer je een nieuwe route zoekt omdat er een file staat).

De wetenschappers achter dit paper, Hayato Maeda en Akihiro Funamizu, hebben een nieuw model bedacht om uit te leggen hoe ons brein deze twee manieren van denken in één enkel netwerk kan laten werken. Ze noemen hun uitvinding H-DRL (Hybrid Deep Reinforcement Learning).

Hier is hoe het werkt, vertaald in een verhaal:

1. Het oude idee: Twee aparte teams

Vroeger dachten wetenschappers dat het brein twee aparte teams had:

• Team "Gewoonte" (Model-free): Dit team leert door simpelweg te proberen en fouten te maken. "Als ik links ga, krijg ik een snoepje. Volgende keer ga ik weer links." Dit is snel, maar niet slim als de regels veranderen.
• Team "Planner" (Model-based): Dit team houdt een kaart bij van de wereld. "Als ik links ga, kom ik bij een muur, maar als ik rechts ga, is er een weg." Dit is slim, maar traag en kost veel energie.

De oude theorie was dat het brein een "rechter" nodig had om te beslissen welk team er aan het stuur zat. Maar het brein heeft geen aparte rechter; het is veel slimmer.

2. Het nieuwe idee: De "Twee-in-één" motor

De auteurs zeggen: "Waarom twee teams als je één team kunt hebben dat twee manieren van werken heeft?"

Ze hebben een digitaal brein (een computermodel) gebouwd dat werkt als een auto met twee versnellingen:

• Versnelling 1 (De "Lazy" versnelling): Dit is de snelle, automatische manier. Het past de "spieren" (de verbindingen in het brein) direct aan na elke ervaring. Als je een keer een snoepje krijgt, wordt die weg direct sterker. Dit is goed voor simpele, herhalende taken.
• Versnelling 2 (De "Rich" versnelling): Dit is de slimme, denkende manier. Het houdt de geschiedenis vast in het "geheugen" van het netwerk (de recurrente dynamiek). Het denkt na over de afgelopen stappen om een patroon te zien. Dit is nodig als de wereld verandert of als je moet voorspellen wat er gaat gebeuren.

Het magische geheim: Het model heeft geen "rechter" nodig. Het schakelt automatisch tussen deze twee versnellingen, afhankelijk van hoe moeilijk de taak is. Als de taak saai en voorspelbaar is, gebruikt hij de snelle versnelling. Als de taak lastig en veranderlijk is, schakelt hij over op de slimme versnelling.

3. Het experiment: De muizen en de toonwolken

Om dit te testen, keken de onderzoekers naar muizen die een spelletje speelden. De muizen kregen een reeks geluiden (een "toonwolk") en moesten kiezen: links of rechts.

• Situatie A (Herhaling): Als de muizen een keer rechts kregen, gebeurde dat de volgende keer vaak ook weer rechts. Dit was makkelijk! De muizen hoefden alleen maar te zeggen: "Aha, rechts werkt."
• Situatie B (Wisselend): Als de muizen rechts kregen, was de volgende keer bijna zeker links. Dit was lastig! De muizen moesten onthouden wat er de vorige keer gebeurde en hun plan aanpassen.

Het resultaat:
Het oude computermodel (Meta-RL) deed het in beide situaties op dezelfde, te slimme manier. Maar het nieuwe H-DRL-model deed precies wat de muizen deden:

• In de makkelijke situatie gebruikte het de snelle "Lazy" manier (gewoon herhalen).
• In de moeilijke situatie schakelde het over op de slimme "Rich" manier (nadenken en plannen).

4. Wat zegt dit over ons brein?

De onderzoekers keken ook naar de hersenen van de muizen, specifiek in een gebied dat OFC (orbitofrontale cortex) heet. Dit is het gebied dat verantwoordelijk is voor het maken van keuzes.

Ze ontdekten iets fascinerends:

• In de makkelijke situatie (herhaling) waren de hersencellen stil tijdens het wachten. Ze onthielden de vorige keuze niet door actief te blijven branden, maar door de verbindingen tussen de cellen iets te veranderen. Dit noemen ze "stille werkgeheugen".
• In de moeilijke situatie (wisselend) waren de hersencellen actief en bleven ze branden tijdens het wachten om de vorige keuze vast te houden.

Dit komt precies overeen met wat het H-DRL-model deed! Het model gebruikte in de makkelijke situatie alleen de "spierkracht" (synaptische plasticiteit) en in de moeilijke situatie de "actieve gedachten" (recurrente dynamiek).

Conclusie

Deze studie laat zien dat we niet twee aparte hersengebieden nodig hebben voor "gewoonte" en "planning". In plaats daarvan is ons brein een chameleontisch netwerk dat zichzelf kan aanpassen. Het gebruikt een snelle, energiezuinige manier voor simpele taken en schakelt moeiteloos over naar een complexe, denkende manier wanneer de situatie dat vereist.

Het is alsof je brein een multitasker is die weet wanneer hij moet "automatiseren" en wanneer hij moet "nadenken", zonder dat hij daar een aparte manager voor nodig heeft. Dit helpt ons begrijpen hoe dieren en mensen zo flexibel kunnen zijn in een veranderende wereld.

Technische samenvatting

Probleemstelling

Dieren en mensen gebruiken flexibel meerdere gedragsstrategieën voor besluitvorming, variërend van model-vrij (gebaseerd op directe ervaring) tot model-gebaseerd of inferentie-gebaseerd (gebaseerd op kennis van toestandsovergangen). Hoewel veel studies aantonen dat meerdere strategieën binnen een taak opereren, is het neurale mechanisme dat deze strategieën opslaat en implementeert nog onduidelijk. Bestaande theorieën suggereren vaak afzonderlijke hersenpaden met een expliciete "arbiter" die de strategie kiest, terwijl andere studies overlappende hersengebieden tonen.

Daarnaast vertonen geavanceerde deep reinforcement learning (RL) modellen, zoals Meta-RL (Meta-Reinforcement Learning), vaak uitsluitend model-gebaseerd gedrag. Dit staat in contrast met biologische waarnemingen waarbij dieren een mix van strategieën vertonen. De vraag is hoe één enkel neurale netwerk meerdere strategieën kan implementeren zonder een externe arbiter en zonder de architectuur onnodig complex te maken.

Methodologie: Hybrid Deep Reinforcement Learning (H-DRL)

De auteurs stellen een nieuw kader voor: Hybrid Deep Reinforcement Learning (H-DRL). Dit is een aanpassing van het bestaande Meta-RL-kader.

1. Kerninnovatie: In traditioneel Meta-RL wordt strikt onderscheid gemaakt tussen een "eerste RL" (die de weights tijdens training leert) en een "tweede RL" (de recurrente dynamiek die tijdens de testfase gebruikt wordt voor inferentie). H-DRL verwijdert deze strikte tijdscheiding.
2. Implementatie:
   • Gewichts-updates per trial: In plaats van weights alleen aan het einde van een sessie te updaten, worden ze bij H-DRL op trial-basis online bijgewerkt.
   • Dualiteit: Dit creëert twee gelijktijdige leerprocessen binnen één recurrente neurale netwerk (RNN):
     • Weight-RL: Een snelle, model-vrije aanpassing via synaptische plasticiteit (gewichtsupdates) die direct gedrag beïnvloedt.
     • Recurrent-RL: Een langzamere, flexibele aanpassing via de recurrente dynamiek van het netwerk, die complexe inferentie mogelijk maakt.
   • Geen Arbiter: De balans tussen deze twee mechanismen wordt automatisch bepaald door de taakstructuur, niet door een externe parameter.
3. Experimentele Opzet:
   • Tweestaps-taak: Gebruikt om model-vrij versus model-gebaseerd gedrag te onderscheiden (mens/dier data).
   • Perceptuele besluitvormingstaak (Muis): Een taak met twee condities:
     • Herhalend (Repeating): De beloning hangt sterk samen met de vorige keuze (eenvoudig, model-vrij).
     • Alternerend (Alternating): De beloning wisselt vaak, vereist het onthouden van overgangskansen (complex, inferentie-gebaseerd).
   • Perturbatie-analyses: De auteurs voerden "weight-freeze" tests (stoppen met gewichtsupdates) en "activity-reset" tests (resetten van neuronale activiteit tussen trials) uit om de bijdrage van elk mechanisme te isoleren.
   • Neurale Vergelijking: De interne dynamiek van het H-DRL-model (activiteit en gewichtsveranderingen) werd vergeleken met electrophysiologische data van muizen, specifiek uit de Orbitofrontale Cortex (OFC).

Belangrijkste Bijdragen

• Unificatie van strategieën: Het bewijs dat één enkel netwerk, met minimale wijzigingen aan bestaande Meta-RL, zowel model-vrij als inferentie-gebaseerd gedrag kan vertonen zonder een expliciete arbiter.
• Link naar "Lazy" en "Rich" Learning: De auteurs koppelen de twee RL-mechanismen aan concepten uit machine learning:
  • Lazy Learning: Aanpassen van output-weights zonder de interne dynamiek te veranderen (geëffectueerd door Weight-RL).
  • Rich Learning: Aanpassen van de interne recurrente connectiviteit om complexe toestandsruimtes te modelleren (geëffectueerd door Recurrent-RL).
• Biologische Validatie: Het model voorspelt en reproduceert specifieke neurale patronen in de muizen-OFC die corresponderen met de twee leermodi.

Resultaten

1. Gedrag in Tweestaps-taak: H-DRL slaagde erin het gemengde gedrag van mensen en dieren (een mix van model-vrij en model-gebaseerd) na te bootsen, terwijl standaard Meta-RL puur model-gebaseerd gedrag vertoonde.
2. Adaptatie aan Taakcondities:
   • In de herhalende conditie (eenvoudig) gebruikte H-DRL voornamelijk Weight-RL (lazy learning). De keuzebias werd snel aangeleerd via directe gewichtsupdates, en de recurrente dynamiek bleef stabiel.
   • In de alternerende conditie (complex) schakelde H-DRL over naar Recurrent-RL (rich learning). Het netwerk paste zijn interne dynamiek aan om de overgangskansen te infereren.
3. Perturbatie-analyse:
   • Het bevriezen van weights (Weight-RL uitgeschakeld) verstoorde het gedrag in de herhalende conditie, maar niet in de alternerende conditie.
   • Het resetten van de activiteit (Recurrent-RL uitgeschakeld) verstoorde het gedrag in de alternerende conditie, maar niet in de herhalende conditie.
4. Neurale Correlaten (OFC):
   • Herhalende conditie: Neurale activiteit tijdens de inter-trial interval (ITI) was niet nodig om eerdere gebeurtenissen te onthouden; het geheugen werd vastgehouden via synaptische veranderingen (activiteit-silent working memory). Dit kwam overeen met de "lazy learning" van het model.
   • Alternerende conditie: Neurale activiteit tijdens de ITI was essentieel om eerdere gebeurtenissen actief te onthouden (recurrent-dynamics mode). Dit kwam overeen met "rich learning".
   • De decoding van eerdere keuzes en uitkomsten door muizenneuronen in de OFC vertoonde precies hetzelfde patroon als het H-DRL-model: hoog in de alternerende conditie, laag in de herhalende conditie.

Betekenis en Conclusie

Deze studie biedt een unificerend perspectief op hoe het brein meerdere besluitvormingsstrategieën implementeert. In plaats van dat verschillende strategieën in gescheiden netwerken of via een externe arbiter worden geselecteerd, stelt het H-DRL-model dat één corticaal netwerk (waarschijnlijk de OFC) automatisch de juiste leerstrategie kiest op basis van de taakcomplexiteit.

• Bij eenvoudige taken (herhaling) vertrouwt het netwerk op snelle synaptische plasticiteit (Weight-RL / lazy learning).
• Bij complexe taken (inferentie) schakelt het over op het aanpassen van recurrente dynamiek (Recurrent-RL / rich learning).

Dit biedt een biologisch plausibel mechanisme voor de flexibiliteit van besluitvorming en legt een directe link tussen de leertheorieën van "lazy" en "rich" learning in RNN's en de waargenomen neurale activiteit in de Orbitofrontale Cortex van zoogdieren.