A Mechanistic Theory Unifying Value and Schema in the Prefrontal Cortex
Dit artikel stelt een verenigd mechanistisch model van de prefrontale cortex voor waarbij waarde fungeert als een controlesignaal dat gestructureerde werkgeheugenrepresentaties reguleert om flexibele, generaliseerbare besluitvorming mogelijk te maken, een theorie die wordt gevalideerd door meta-getrainde recurrente neurale netwerken die dit gedrag reproduceren zonder dat aanvullende synaptische plasticiteit vereist is.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer
Dieren zijn meesters in aanpassing. Een eekhoorn hoeft niet telkens opnieuw te leren hoe hij een noot moet kraken wanneer hij een nieuwe vindt, en een mens hoeft niet opnieuw te leren hoe hij een auto bestuurt alleen omdat de route is veranderd. Dit vermogen om slimme keuzes te maken in onbekende situaties berust op een specifief deel van de hersenen dat de prefrontale cortex wordt genoemd. Wetenschappers weten al lang dat dit gebied cruciaal is voor twee zaken: het berekenen hoe goed een keuze zal zijn (waarde) en het begrijpen van de verborgen regels of structuur van een situatie (zoals weten dat linksaf slaan bij een rood licht altijd fout is, ongeacht de straat). Decennialang werden deze twee functies als aparte puzzels bestudeerd. Eén lijn van onderzoek keek naar hoe de hersenen leren van beloningen, terwijl een andere lijn keek naar hoe de hersenen mentale kaarten van de wereld opbouwen. De grote vraag bleef: hoe gebruikt het brein deze twee instrumenten eigenlijk samen om op het moment zelf een beslissing te nemen?
Een team van onderzoekers van University College London en de University of Oxford heeft een nieuw antwoord voorgesteld. Zij suggereren dat de hersenen niet simpelweg een score berekenen voor elke mogelijke actie en dan de hoogste kiezen. In plaats daarvan hebben ze ontdekt dat de hersenen hun opties waarschijnlijk organiseren als een gerangschikte lijst, waarbij de waarde van een keuze fungeert als een controlesignaal dat de lijst door elkaar schudt. Om dit te testen, bouwden de onderzoekers computermodellen van neurale netwerken en trainden deze om diverse beslissingsspellen op te lossen. Deze modellen waren niet geprogrammeerd met de regels; ze moesten de structuur van de spellen zelf leren, net zoals een dier dat zou doen. De resultaten lieten zien dat de meest succesvolle modellen een specifiek intern mechanisme ontwikkelden: ze sloegen de beschikbare acties op in afzonderlijke mentale "slots" en herordenden die slots voortdurend op basis van hoe goed elke actie leek te zijn.
De onderzoekers ontdekten dat in deze succesvolle modellen de hersenen niet elke actie behandelen als een vast item met een permanente score eraan verbonden. In plaats daarvan creëren ze een dynamisch systeem waarin de acties zelf vloeiend zijn. Stel je een set laden voor waarvan de inhoud kan worden gewisseld. Het model leerde de beste optie in de bovenste lade te houden, de op één na beste in de middelste en de slechtste onderaan. Cruciaal was dat het "waarde"-signaal in het model niet zomaar een getal was dat daar lag; het fungeerde als een schakelaar. Wanneer het model feedback kreeg dat de bovenste keuze niet langer de beste was, triggerde het waardesignaal een wisseling, waardoor de oude topkeuze naar beneden werd verplaatst en de nieuwe beste keuze naar boven werd getrokken. Dit stelde het model in staat om direct aan te passen aan nieuwe situaties zonder de regels vanaf nul opnieuw te hoeven leren. Als de regels van een spel veranderden, herrangschikte het model simpelweg de bestaande lijst met opties, gebruikmakend van dezelfde onderliggende logica die het eerder had geleerd.
Deze bevinding daagt een lang gehouden opvatting in de neurowetenschap uit. Traditioneel geloofden wetenschappers dat de hersenen leerden door de verbinding tussen een specifieke actie en de beloning te versterken, vergelijkbaar met een hond die leert dat een specifieke truc een traktatie oplevert. In dat oude beeld was als de hond leerde dat "zitten" goed was, die verbinding hard-wired. Het nieuwe model suggereert iets anders. De onderzoekers ontdekten dat hun modellen niet leerden om waarde aan specifieke acties te koppelen. In plaats daarvan leerden ze waarde te koppelen aan een rangorde. De hersenen leren in dit modelschap het concept van "de beste optie" en "de op één na beste optie" te herkennen, ongeacht wat die opties daadwerkelijk zijn. Dit verklaart hoe dieren hun leren zo snel kunnen generaliseren. Als een aap leert dat een specifieke vrucht de beste keuze is in één context, kan hij diezelfde logica onmiddellijk toepassen op een compleet andere set vruchten in een nieuwe context, simpelweg door de nieuwe opties te rangschikken op basis van dezelfde interne regel.
Om te bewijzen dat dit mechanisme echt was en niet slechts een eigenaardigheid van hun computercode, voerden de onderzoekers een reeks "chirurgische" experimenten uit op de modellen. Ze grepen in de verborgen lagen van het netwerk en veranderden handmatig de informatie die in de mentale slots was opgeslagen. Wanneer ze de inhoud van het bovenste slot met die van het onderste slot verwisselden, veranderde het gedrag van het model precies zoals voorspeld. Het begon onmiddellijk de actie te kiezen die naar de top was verplaatst, waarbij de actie die daarvoor aanwezig was, werd genegeerd. Dit bevestigde dat het model niet alleen een score berekent en dan een winnaar kiest; het verplaatst fysiek de actiecommando's op basis van het waardesignaal. De onderzoekers testten de modellen ook op complexere taken, zoals spellen waarbij de regels volgens een voorspelbaar patroon veranderden of waarbij de waarde van één keuze iets zei over de waarde van een andere. In elk geval waren de modellen die dit gerangschikte, schuddende systeem gebruikten, degene die de problemen efficiënt konden oplossen en zich aan nieuwe variaties konden aanpassen.
De studie keek ook naar hoe dit zich verhoudt tot wat we zien in de hersenen van echte dieren. De onderzoekers merkten op dat de manier waarop hun modellen informatie organiseerden, overeenkwam met de vuurpatronen van neuronen die werden geregistreerd in de prefrontale cortex van apen. In die echte hersenen hebben wetenschappers neuronen waargenomen die specif{%}
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.