Embodied reinforcement learning in the primate cortico-basal ganglia system
Door de neuronale activiteit in het cortico-basale ganglia-systeem van de makak te registreren, toont deze studie aan dat waarderepresentaties motorsysteem-specifiek zijn in plaats van invariant, waardoor bestaande biologische verklaringen van reinforcement learning worden uitgedaagd en gedrag in belichaamde kaders wordt ondersteund waar gedrag geworteld is in de fysieke structuur van een agent.
Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (https://creativecommons.org/publicdomain/zero/1.0/). Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer
Het twee-sporenstelsel van het brein: Waarom je handen en ogen anders leren
Stel je je brein voor als een superintelligente spelcomputer die probeert uit te vogelen welke knoppen de meeste punten opleveren. Decennialang geloofden wetenschappers dat dit "puntensysteem" werkte als één universele munteenheid. Ze dachten dat het niet uitmaakte hoe je het spel speelde — of je nu een joystick, een toetsenbord of een spraakopdracht gebruikte — het brein de waarde van een beloning op één centrale plek berekende en vervolgens hetzelfde "goed gedaan!"-signaal naar de specifieke spiergroep stuurde die nodig was om te handelen. Dit idee, bekend als reinforcement learning (beloningsleren), suggereerde dat de beloningscalculator van het brein volledig gescheiden was van de lichaamsdelen die de bewegingen uitvoerden. Het was een nette, overzichtelijke theorie: één brein, één waarde, vele manieren om te bewegen.
Maar wat als het brein niet werkt als een enkele wisselkoers? Wat als de manier waarop je leert juist diep verbonden is met hoe je beweegt? Dit is de kern van "embodied cognition" (belichaamde cognitie), een concept dat suggerekt dat onze gedachten en ons leren geworteld zijn in ons fysieke lichaam, en niet boven ons zweven in een abstracte wolk. Als dit waar is, dan kan het leren om een koekje met je hand te pakken in je brein heel anders aanvoelen en er heel anders uitzien dan het leren om naar een koekje te kijken met je ogen, zelfs als het koekje hetzelfde is. Het begrijpen hiervan is cruciaal, omdat het ons kijk op alles verandert: van hoe dieren overleven in de wildernis tot hoe we misschien slimmere robots kunnen bouwen of mensen kunnen helpen bij het herstel van hersenletsel. Als het brein verschillende lichaamsdelen behandelt als aparte leerkanalen, betekent dit dat onze geest veel fysieker en minder "abstract" is dan we ooit dachten.
Het grote aapjes-experiment: Ogen versus handen
In deze studie besloten onderzoekers Franco Giarrocco en Bruno Averbeck dit idee te testen door twee macrocheetapen te veranderen in superleerlingen. Ze zetten een spel op waarbij de apen moesten kiezen tussen twee afbeeldingen om een sapbeloning te winnen. Soms moesten de apen hun keuze maken door naar de juiste afbeelding te kijken (een saccade, of oogbeweging), en andere keren moesten ze de juiste afbeelding aanraken door uit te reiken (een reikbeweging, of armbeweging). De crux? De apen moesten leren welke afbeelding de "goede" was (80% kans op sap) en welke de "slechte" (20% kans op sap) door middel van trial-and-error.
Terwijl de apen dit spel speelden, registreerden de wetenschappers de activiteit van 4.843 neuronen verspreid over acht verschillende hersengebieden. Ze keken naar alles, van de amygdala (vaak gekoppeld aan emoties) tot de prefrontale cortex (de CEO van het brein) en de basale ganglia (het actiecentrum van het brein). Ze wilden zien of het brein dezelfde "neurale taal" gebruikte om over de waarde van een beloning te communiceren, ongeacht of de aap zijn ogen of zijn handen gebruikte.
De grote ontdekking: Twee verschillende talen
De resultaten waren een schok voor de oude theorie. De wetenschappers ontdekten dat het brein niet één universele taal sprak voor waarde. In plaats daarvan sprak het twee volkomen verschillende dialecten, afhankelijk van welk lichaamsdeel het werk deed.
Stel je de neuronen van het brein voor als een enorm orkest. Als de theorie van de "universele waarde" waar zou zijn, zou het orkest dezelfde melodie spelen of de aap nu zijn ogen of zijn handen gebruikte, misschien alleen iets harder of zachter. Maar wat de onderzoekers vonden, was meer alsof het orkest twee volledig verschillende liedjes tegelijkertijd speelde. Wanneer de aap zijn ogen gebruikte, vuurden de neuronen in een specifiek patroon om te zeggen: "Deze afbeelding is veel waard!" Wanneer de aap zijn hand gebruikte, vuurde een andere set neuronen in een ander patroon om exact hetzelfde te zeggen.
Met behulp van een wiskundig hulpmiddel genaamd "population geometry" maten de onderzoekers de "hoek" tussen deze twee neurale patronen. Ze ontdekten dat de patronen bijna in een rechte hoek ten opzichte van elkaar stonden — als een "T"-vorm. In wiskundige termen betekent dit dat ze orthogonaal zijn, of geometrisch onafhankelijk. De informatie over waarde bij het gebruik van de ogen was zo verschillend van de informatie bij het gebruik van de handen dat als je het "oog"-signaal zou proberen te decoderen met de "hand"-decoder, je erg in de war zou raken. De informatie over de waarde ging in de vertaling essentieel verloren.
Deze scheiding vond overal in het brein plaats, zelfs in de diepe, emotionele delen zoals de ventrale striatum en de amygdala, die wetenschappers voorheen zagen als de "universele waarde-centra". De enige plek waar het brein een beetje een gedeelde taal behield, was in de ventrolaterale prefrontale cortex (vlPFC), een regio die bekend staat om het verwerken van abstracte regels. Maar zelfs daar was de scheiding sterk.
Waarom het ertoe doet: Het lichaam vormt de geest
De studie suggereert dat het brein "belichaamd" is. Het berekent niet alleen een beloning en vertelt vervolgens het lichaam wat het moet doen; de manier waarop het lichaam beweegt, vormt ook de manier waarop de beloning wordt geleerd en opgeslagen. De onderzoekers ontdekten dat apen daadwerkelijk beter leerden wanneer ze hun handen gebruikten (reiken) dan wanneer ze hun ogen gebruikten (saccades); ze leerden sneller en maakten betere keuzes. Dit wijst erop dat onze verschillende lichaamsdelen geëvolueerd kunnen zijn om verschillende soorten leeropdrachten aan te kunnen.
Cruciaal is dat de onderzoekers de mogelijkheid uitsloten dat deze verschillen simpelweg voortkwamen uit het feit dat de apen de ene taak beter konden dan de andere. Zelfs wanneer ze alleen naar de sessies keken waarin de apen even goed presteerden met zowel hun ogen als hun handen, gebruikte het brein nog steeds twee aparte talen. Dit bewijst dat de scheiding geen fout of een bijproduct is van slecht presteren, maar een fundamenteel kenmerk van hoe het brein is bedraad.
Dus, de volgende keer dat je iets nieuws leert, onthoud dan: je brein kan je handen en je ogen behandelen als twee verschillende studenten in dezelfde klas, elk met hun eigen schrift en hun eigen manier om de les te begrijpen. Het brein is geen enkele, abstracte rekenmachine; het is een fysieke machine waarbij de manier waarop je beweegt deel uitmaakt van hoe je denkt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.