Reward changes the use and structure of predictive spatial maps
Dit artikel toont aan dat beloning de hippocampale voorspellende ruimtelijke kaarten op twee verschillende mechanismen beïnvloedt: doelsignalen veranderen primair hoe een bestaande kaart wordt gebruikt om gedrag te sturen, terwijl specifieke beloningsgerelateerde onderwijssignalen de feitelijke plasticiteit aansturen die de structuur van de kaart hervormt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer
Het brein bevat een gespecialiseerd systeem voor het maken van kaarten dat dieren in staat stelt om door hun wereld te navigeren. In de hippocampus, een regio diep in de hersenen, bevinden zich neuronen die plaatscellen worden genoemd. Elke van deze cellen vuurt wanneer een dier op een specifieke plek is, wat effectief een coördinaat op een interne kaart doet oplichten. Decennialang hebben wetenschappers geweten dat deze kaart niet statisch is; deze verandert op basis van ervaring. Wanneer een dier leert waar een beloning verborgen is, verschuift de activiteit van deze plaatscellen vaak, waarbij ze dichter rond de locatie van de prijs gaan clusteren. Maar een fundamentele vraag bleef onbeantwoord: verandert het brein simpelweg hoe het de bestaande kaart gebruikt om de focus op de beloning te leggen, of herschrijft het de kaart fysiek, door de verbindingen tussen neuronen te veranderen om een nieuwe representatie van de ruimte te creëren?
Om dit te beantwoorden, bouwden onderzoekers een computermodel dat nabootst hoe het brein leert. Ze creëerden een digitale agent die een virtuele vierkante arena verkende, waarbij de agent alleen visuele informatie ontving over wat er voor zich was, zoals de afstand tot de wanden en de aanwezigheid van objecten. Het interne netwerk van de agent werd getraind om de volgende visuele scène te voorspellen op basis van de huidige kijkrichting en beweging. Door dit proces van voorspelling ontwikkelde het netwerk spontaan een ruimtelijke kaart, met duidelijke groepen neuronen die vuren op specifieke locaties, vergelijkbaar met de plaatscellen die bij echte dieren worden gevonden. Deze kaart bestond al voordat de agent überhaupt iets wist van een beloning.
De onderzoekers introduceerden vervolgens een beloning in de omgeving en trainden een apart controlesysteem om de agent naar deze beloning te leiden. Terwijl de agent leerde om naar de beloning te navigeren, observeerden de onderzoekers een dramatische verandering: de plaatscellen in de kaart begonnen zich strak rond de locatie van de beloning te clusteren. Echter, toen ze exact hetzelfde pad afspeelden dat de agent had genomen vóór het leren, gebruikmakend van het nieuw getrainde netwerk, was de clustering veel zwakker. Dit onthulde dat de sterke concentratie van activiteit die werd gezien tijdens doelgericht gedrag grotendeels te wijten was aan het feit dat de agent verschillende routes nam en de beloning vanuit verschillende hoeken benaderde, in plaats van aan een volledige herziening van de onderliggende structuur van de kaart. De kaart was veranderd, maar slechts bescheiden.
De studie onderzocht verder wat deze veranderingen aanstuurt door een specifiek leersignaal toe te voegen dat het netwerk vertelde hoe dicht het bij de beloning was. Wanneer dit signaal aanwezig was, werden de veranderingen aan de kaart groter en consistenter, waarbij de plaatsvelden betrouwbaarder richting de beloning verschoven. De onderzoekers testten ook wat er gebeurde wanneer de beloning naar een nieuwe locatie werd verplaatst. Ze ontdekten dat de richting waarin de agent bewoog snel zich aanpaste aan het nieuwe doel, maar dat de fysieke locatie van de plaatsvelden langzamer verschoof en enige herinnering behield aan de oude locatie van de beloning. Ten slotte, toen de beloning en het leersignaal volledig werden verwijderd, vervaagde de concentratie van cellen nabij de voormalige beloningslocatie en keerde de kaart terug naar zijn oorspronkelijke staat.
Deze bevindingen suggereren dat het brein twee aparte mechanismen gebruikt om met beloning om te gaan. Eén mechanisme verandert hoe de bestaande kaart wordt gebruikt, waardoor het dier zijn aandacht en gedrag op het doel kan richten. Het tweede mechanisme, gedreven door specifieke leersignalen, vormt de kaart zelf fysiek om, maar deze vormgeving is een subtieler en geleidelijker proces dan de onmiddellijke gedragsveranderingen doen vermoeden. Het onderzoek biedt een duidelijk kader voor het begrip dat de ruimtelijke kaart van het brein zowel een stabiele representatie van de wereld is als een flexibel instrument dat kan worden afgestemd op wat het dier waardeert.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.