Thalamocortical credit routing from the basal ganglia and cerebellum: anatomical constraints and circuit principles

Om te begrijpen hoe een dier leert om de juiste actie voor een beloning te kiezen, hebben wetenschappers zich lang gericht op twee diepe hersenstructuren: de basale ganglia en het cerebellum. Deze regio's fungeren als leermotoren. De basale ganglia helpen beslissen welke actie het waard is om na te streven op basis van eerdere beloningen, terwijl het cerebellum de timing en precisie van bewegingen verfijnt. Beide structuren ontvangen instructies van de cerebrale cortex, de buitenste laag van de hersenen die verantwoordelijk is voor complexe gedachten en planning. Na het verwerken van deze informatie sturen ze signalen terug naar de cortex om toekomstig gedrag bij te sturen. Dit creëert een continue lus waarbij de hersenen constant hun eigen prestaties controleren. Echter, een cruciaal onderdeel van deze puzzel is onduidelijk gebleven: hoe reizen deze leersignalen terug naar de specifieke groepen neuronen in de cortex die de actie daadwerkelijk genereerden? Zonder een precies leveringssysteem zou de hersenen niet weten welke neuronen versterkt of verzwakt moeten worden, wat leren inefficiënt of onmogelijk maakt.

Een team onderzoekers in Japan heeft nu deze route in kaart gebracht in muizen, waarmee een geavanceerd systeem is onthuld dat ervoor zorgt dat leersignalen de exacte juiste bestemmingen bereiken. Ze ontdekten dat hoewel de basale ganglia en het cerebellum hun berichten via grotendeels gescheiden kanalen binnen de thalamus sturen — een centrale schakelstation in de hersenen — deze kanalen weer samenkomen wanneer ze de cortex bereiken. Specifiek vonden de onderzoekers dat signalen van beide systemen samenkomen op de bovenste laag van de secundaire motorische cortex, een regio die cruciaal is voor het plannen en leren van nieuwe vaardigheden. Deze convergentie stelt de hersenen in staat om verschillende soorten leerinformatie te combineren en ze te richten naar de specifieke neuronen die verantwoordelijk zijn voor een actie. Door gedetailleerde hersenafbeeldingen te combineren met computersimulaties, toonden het team aan dat deze anatomische ordening essentieel is voor de hersenen om correct "credit" toe te kennen, waardoor wordt gewaarborgd dat de neuronen die bijdroegen aan een succesvolle actie ook de genen zijn die worden versterkt.

De onderzoekers begonnen met het traceren van de fysieke paden in de hersenen van muizen om te zien waar deze leersignalen naartoe gaan. Ze injecteerden minuscule hoeveelheden fluorescerende tracers in de basale ganglia en het cerebellum en observeerden hoe de signalen door de thalamus naar de cortex reisden. Ze ontdekten dat de neuronen in de thalamus die input ontvangen van de basale ganglia zich voornamelijk in één gebied bevinden, terwijl die van het cerebellum in een ander gebied liggen. Dit bevestigde dat de twee systemen grotendeels gescheiden blijven terwijl ze door de thalamus passeren. Echter, toen de onderzoekers keken naar waar de axonen — de lange vezels die signalen van de thalamus naar de cortex dragen — terechtkwamen, veranderde het beeld. Ondanks dat ze op verschillende plaatsen in de thalamus begonnen, deelden de axonen van beide systemen een opvallende bestemming: de bovenste laag van de secundaire motorische cortex. Deze laag bevat de verre reikende uiteinden van de zenuwcellen die beweging aansturen. De onderzoekers ontdekten ook een klein gebied in de thalamus waar signalen van beide systemen mengden, maar de meest significante bevinding was deze gedeelde aankomstplaats in de cortex.

Om te begrijpen waarom deze gedeelde bestemming belangrijk is, bouwde het team een gedetailleerd computermodel van het volledige hersencircuit, inclusief de cortex, thalamus, basale ganglia en het cerebellum. In hun simulatie testten ze hoe de hersenen leren wanneer signalen correct worden gerouteerd versus wanneer ze zijn door elkaar gehusseld. Ze ontdekten dat leren het beste werkte wanneer de feedback van de basale ganglia en het cerebellum werd teruggestuurd naar de specifieke groepen neuronen die hadden geholpen de actie te genereren. Als de signalen naar de verkeerde neuronen werden gestuurd, faalde het leren. Het model onthulde ook dat de hersenen twee verschillende manieren gebruiken om deze signalen terug te sturen. Eén type signaal werkt als een volumeknop, waardoor de bestaande activiteit van een neuron sterker of zwakker wordt. Het andere type werkt als een directe duw, waarbij nieuwe activiteit aan het neuron wordt toegevoegd. De onderzoekers ontdekten dat de hersenen beide mechanismen nodig hebben om samen te werken om efficiënt te leren. Het "volumeknop"-effect, dat plaatsvindt in die bovenste laag van de cortex, helpt de hersenen om de juiste signalen te versterken, terwijl de directe duw helpt om de actie voort te stuwen.

De studie onderzocht ook hoe de hersenen uitzoeken welke neuronen in de eerste plaats deze leersignalen moeten ontvangen. In het computermodel toonden de onderzoekers aan dat de hersenen kunnen leren om de feedback af te stemmen door hun eigen activiteit tijdens perioden van rust te observeren. Door te vergelijken hoe actief een neuron was met de waarschijnlijkheid dat het een actie zou triggeren, kunnen de hersenen hun verbindingen aanpassen zodat leersignalen naar de juiste plek worden gestuurd. Dit proces, dat zij "lokale kalibratie" noemden, stelde het model in staat om zijn leervermogen te herstellen, zelfs als de initiële verbindingen niet perfect waren ingesteld. Verder testten de onderzoekers of dit systeem complexe taken kon aan kunnen waarbij meerdere neuronen tegelijkertijd getraind moesten worden, zoals in experimenten met hersen-machine-interfaces waarbij een persoon leert een computercursor te besturen met gedachten. Ze ontdekten dat wanneer de hersenen een enkel, globaal beloningssignaal naar het hele netwerk sturen, ze moeite hebben om meerdere doelwitten tegelijkertijd te trainen als die doelwitten in tegenovergestelde richtingen moeten bewegen. Echter, wanneer de feedback via aparte, parallelle kanalen wordt gerouteerd, kan de hersenen erin slagen om meerdere neuronen tegelijkertijd te trainen. Dit suggereert dat het vermogen van de hersenen om complexe, meerdelige taken te leren, afhangt van het hebben van deze duidelijke, parallelle paden die credit specifiek aan groepen neuronen kunnen leveren zonder interferentie.

Deze bevindingen bieden een nieuwe manier om naar het leren van de hersenen te kijken. In plaats van de basale ganglia en het cerebellum te zien als onafhankelijke systemen die simpelweg hun outputs bij elkaar optellen, stellen de onderzoekers voor dat ze werken als een gecoördineerd team dat een gedeelde snelweg gebruikt om leersignalen te leveren. Deze snelweg, die convergeert op de bovenste laag van de motorische cortex, stelt de hersenen in staat om verschillende soorten informatie te integreren en deze precies daarheen te richten waar het nodig is. De studie suggereert dat de fysieke lay-out van deze verbindingen niet slechts een passieve bedradingsdiagram is, maar een actief onderdeel van het leerproces zelf. Door ervoor te zorgen dat leersignalen de specifieke neuronen bereiken die verantwoordelijk zijn voor een actie, kunnen de hersenen hun gedrag efficiënt verfijnen en zich aanpassen aan nieuwe uitdagingen. Dit werk biedt een concreet anatomisch en computationeel kader voor het begrijpen van hoe de hersenen het probleem van "credit assignment" oplossen, een fundamentele uitdaging in leren die niet alleen van toepassing is op dieren, maar ook op de ontwikkeling van kunstmatige intelligentie-systemen. De resultaten van de onderzoekers, afgeleid van zowel directe observatie in muizen als rigoureuze computersimulaties, benadrukken het belang van laminaire convergentie en modulaire feedback bij het mogelijk maken van het leren van complexe gedragingen door de hersenen.