Habit and the hippocampus: Model-based spatial representations without outcome-sensitive control

Dit onderzoek toont aan dat de hippocampus, ondanks het faciliteren van ruimtelijke navigatie via cognitieve kaarten, ook gedrag kan ondersteunen dat habitual en ongevoelig is voor veranderingen in de waarde van het resultaat, waardoor het gebruik van een cognitieve kaart niet voldoende is voor doelgericht gedrag.

De kern

De Kernvraag: Is de 'GPS' van je brein altijd slim?

Stel je voor dat je brein een GPS-systeem heeft (de hippocampus). Deze GPS is geweldig in het maken van een kaart van de wereld. Hij weet precies waar je bent, welke wegen er zijn en hoe je van A naar B komt.

De wetenschap ging er lange tijd van uit dat deze GPS ook de reisleider is die beslist waarom je ergens naartoe gaat. Als je bijvoorbeeld honger hebt, zou de GPS zeggen: "Ga naar de supermarkt voor brood, niet naar de bakkerij voor koekjes." Dit noemen we doelgericht gedrag: je past je plannen aan op basis van wat je nu nodig hebt.

Maar wat als die GPS alleen maar de weg weet, maar niet meedenkt over wat je wilt? Wat als je gewoon blijft rijden naar de bakkerij, zelfs als je honger hebt en eigenlijk brood nodig hebt? Dat noemen we gewoontegedrag: je doet wat je altijd doet, zonder na te denken over het resultaat.

De grote vraag van dit onderzoek was: Kan de hippocampus (de GPS) een route plannen, terwijl het gedrag erachter toch een 'dode' gewoonte is die niet reageert op veranderingen?

Het Experiment: Het Muis-Labyrint

De onderzoekers van de UCLA hebben een experiment gedaan met ratten. Ze bouwden een groot, vierkant labyrint in het donker.

• De Opdracht: De ratten moesten een keuze maken: links of rechts.
• De Twist:
  • Als ze op het Noorden waren: Links = Melk (lekker!), Rechts = Water (niet zo leuk).
  • Als ze op het Zuiden waren: Links = Water, Rechts = Melk.
  • Dus: dezelfde beweging (links draaien) gaf een heel ander resultaat, afhankelijk van waar je was.

De ratten moesten leren dat ze hun positie in het labyrint moesten onthouden om de melk te krijgen.

Twee groepen ratten, twee manieren van leren:

1. De 'GPS'-groep (Hippocampus-afhankelijk): Deze ratten moesten echt nadenken over hun positie in het donker. Ze gebruikten hun interne kaart (hippocampus) om te weten of ze op het Noorden of Zuiden waren.
2. De 'Baken'-groep (Hippocampus-onafhankelijk): Voor deze ratten brandden er lampjes boven de melkbakken. Ze hoefden niet na te denken over hun positie; ze volgden gewoon het licht. Ze gebruikten hun hippocampus niet echt.

Het Testmoment: De Dorst-Test

Na veel oefenen, toen de ratten de route perfect hadden gememoriseerd, deden de onderzoekers iets spannends: ze lieten de ratten dorstig worden (door ze even geen water te geven).

Nu was de situatie veranderd:

• Vroeger wilden ze de melk.
• Nu, als ze dorstig waren, wilden ze water.

Vervolgens lieten ze de ratten het labyrint inlopen, maar zonder beloning. Wat zouden ze doen?

• Zouden ze hun route aanpassen en naar de waterbak rennen omdat ze dorstig zijn? (Doelgericht)
• Of zouden ze blindelings doorgaan naar de melkbak, omdat dat is wat ze altijd deden? (Gewoonte)

De Verbluffende Resultaten

Het resultaat was verrassend:

1. De 'Baken'-ratten: Zij bleven naar de melk rennen. Geen verrassing, want ze volgden alleen het licht (een simpele gewoonte).
2. De 'GPS'-ratten: Ook zij bleven naar de melk rennen! Zelfs als ze dorstig waren.

Dit is het belangrijkste punt: Zelfs als de ratten hun interne GPS (hippocampus) gebruikten om de weg te vinden, bleven ze vastzitten in hun oude gewoonte. Ze zagen niet dat hun dorst de waarde van de beloning had veranderd. Ze gebruikten hun 'kaart' om de weg te vinden, maar niet om te beslissen waarom ze die weg namen.

Om dit gedrag echt te veranderen, moesten de onderzoekers de ratten extra trainen terwijl ze dorstig waren. Pas toen leerden ze dat water nu de nieuwe 'baas' was.

De Conclusie in Vergelijkingen

Stel je voor dat de hippocampus een navigatiesysteem is in een auto.

• Tot nu toe dachten we: Als de navigatie werkt, is de bestuurder slim en flexibel. Als je dorst hebt, zegt de navigatie: "Ga naar het waterstation."
• Wat dit onderzoek laat zien: De navigatie kan perfect de weg aangeven (de hippocampus werkt), maar de bestuurder (het gedrag) kan toch een automatische cruise-control zijn die vastzit op een oude route.

De navigatie zegt: "Je bent op de juiste plek om links te slaan."
De cruise-control zegt: "Links slaan is wat we altijd doen, dus links slaan."

Zelfs als de navigatie (hippocampus) actief is, betekent dat niet automatisch dat de bestuurder flexibel is. Je kunt een perfecte kaart hebben, maar toch vastzitten in een gewoonte die niet kijkt naar wat je nu echt nodig hebt.

Waarom is dit belangrijk?

Dit onderzoek breekt een oud idee. We dachten dat als je een complexe route onthoudt (zoals een kaart), je automatisch ook slimme, flexibele keuzes maakt. Maar dit laat zien dat het hebben van een kaart niet genoeg is.

Om echt doelgericht te zijn (flexibel reageren op veranderingen), moet je brein niet alleen de weg kennen, maar ook die weg koppelen aan wat je nu wilt. Soms is je brein zo goed in het onthouden van routes, dat het vergeten is om te vragen: "Is dit nog wel wat ik wil?"

Kortom: Je kunt een expert zijn in het vinden van de weg, maar nog steeds een slachtoffer zijn van je eigen gewoontes.

Technische samenvatting

Probleemstelling en Onderzoeksvraag

De hippocampus staat bekend om het coderen van cognitieve kaarten die doelgericht navigeren en flexibel plannen ondersteunen. Traditioneel wordt aangenomen dat hippocampale afhankelijkheid correleert met doelgericht gedrag (gevoelig voor veranderingen in de waarde van een uitkomst, oftewel "outcome revaluation"). Daarentegen wordt habitueel gedrag (onbewust, niet-gevoelig voor uitkomstverandering) geassocieerd met extra-hippocampale structuren zoals het dorsolaterale striatum.

De centrale vraag van dit onderzoek is of hippocampale representaties uitsluitend doelgericht gedrag ondersteunen, of dat de hippocampus ook kan worden ingezet voor habitueel, uitkomst-ongevoelig gedrag. De auteurs willen nagaan of het gebruik van een cognitieve kaart (model-based) voldoende is om gedrag gevoelig te maken voor veranderingen in motivatie (waarde-updating), of dat deze twee processen dissociëren.

Methodologie

Proefdieren en Design:

• Onderwerpen: 38 Long-Evans ratten (16 mannelijk, 22 vrouwelijk).
• Chirurgie: Bilaterale implantatie van infusiekanulen in de dorsale hippocampus voor later inactivatie-experimenten (met muscimol).
• Taak: Een complexe ruimtelijke navigatietask in een "plus-maze" binnen een vierkante baan (2x2 m).
  • Contingentie: Identieke draaibewegingen (links/rechts) leidden tot verschillende beloningen (gecondenseerde melk vs. water) afhankelijk van de locatie (Noord- vs. Zuid-kruispunt).
  • Uitdaging: De rat moest de ruimtelijke locatie discrimineren om de juiste beweging te kiezen voor de gewenste beloning.

Experimentele Groepen en Condities:
De ratten werden ingedeeld in drie trainingscondities om de afhankelijkheid van de hippocampus te manipuleren:

1. Path Integration (PathInt): Trainen in het donker zonder visuele of tactiele cues bij de kruispunten. Vereist interne path-integratie (zelfbeweging) en is hippocampus-afhankelijk.
2. Texture: Trainen in het donker met unieke vloerstructuren op de kruispunten. Biedt lokale tactiele cues, maar vereist nog steeds discriminatie. Hippocampus-afhankelijk.
3. Beacon: Trainen met LED-bakenlichten bij de melkbakken. Ratten kunnen de taak oplossen door simpelweg naar het licht te lopen, zonder discriminatie van de locatie. Hippocampus-onafhankelijk.

Fasen van het Experiment:

1. Acquisitie: Ratten werden getraind tot ze een hoge nauwkeurigheid bereikten (>90%).
2. Pre-revaluatie Regimes:
   • Incentive Learning (IL): Ratten kregen na training 24 uur waterrestrictie en een tweebotteltest (melk vs. water) in een geïsoleerd compartiment. Ze leerden dat water waardevoller is bij dorst, maar zonder de actie-uitkomst koppeling opnieuw te ervaren.
   • Revaluation Training (RT): Ratten voerden de volledige navigatietask uit tijdens waterrestrictie. Ze leerden dus niet alleen dat water waardevoller is, maar ook dat de acties die naar water leiden nu waardevoller zijn.
3. Testfasen:
   • Extinctie & Revaluatie Test: Niet-beloonde testsessies onder waterrestrictie (om te zien of ze van melk naar water switchen).
   • Hippocampus Inactivatie: Infusie van muscimol (remmer) of aCSF (controle) om de afhankelijkheid van de hippocampus te testen tijdens de prestatie.

Belangrijkste Resultaten

1. Habitueel Gedrag ondanks Hippocampus-Afhankelijkheid:

   • Ratten in de IL-groep (zowel Discriminatie-groep als Beacon-groep) vertoonden na training uitkomst-ongevoelig gedrag. Ondanks dat hun voorkeur in de tweebotteltest verschuift van melk naar water (door dorst), bleven ze in de extinctietest op de maze kiezen voor de beweging die naar melk leidde.
   • Cruciaal: Dit habituele gedrag trad op onafhankelijk van of de taak hippocampus-afhankelijk was (PathInt/Texture) of niet (Beacon). Zelfs ratten die de hippocampus nodig hadden om de taak correct uit te voeren, faalden om hun keuze aan te passen aan de veranderde waarde van de uitkomst.

2. Validatie van Hippocampus-Afhankelijkheid:

   • Infusie van muscimol in de hippocampus verstoorde de prestatie van de Discriminatie-groep (PathInt en Texture) aanzienlijk, maar had geen effect op de Beacon-groep. Dit bevestigt dat de Discriminatie-groep inderdaad afhankelijk was van de hippocampus voor ruimtelijke discriminatie, terwijl de Beacon-groep dit niet was.

3. Ontwikkeling van Uitkomstgevoeligheid door RT:

   • Alleen de groep die Revaluation Training (RT) had ondergaan (waarbij ze de taak uitvoerden terwijl ze dorstig waren), vertoonde uitkomst-gevoelig gedrag.
   • Deze ratten pasten hun keuze aan tijdens de test: ze draaiden nu naar de kant die water opleverde, zelfs als ze in de testfase niet beloond kregen.
   • Dit effect trad op in zowel de Discriminatie- als de Beacon-groep, wat aantoont dat de overgang naar doelgericht gedrag mogelijk is, maar specifieke training vereist.

4. Dissociatie:

   • De studie toont aan dat het gebruik van hippocampale representaties (cognitieve kaart) niet voldoende is om doelgericht (waarde-gevoelig) gedrag te garanderen. De hippocampus kan worden ingezet voor het oplossen van ruimtelijke problemen via een habitueel, waarde-ongevoelig beleid.

Belangrijkste Bijdragen

• Dissociatie van Kaart en Waarde: De auteurs tonen aan dat het bezitten van een interne model (cognitieve kaart) in de hippocampus niet automatisch leidt tot doelgerichtheid. Een model kan worden gebruikt voor habituele actieselectie zonder dat de waarde van de uitkomst wordt geïntegreerd.
• Habit in de Hippocampus: Het weerlegt het idee dat hippocampale afhankelijkheid synoniem is met doelgericht gedrag. Habitueel gedrag kan volledig afhankelijk zijn van de hippocampus zolang het gedrag gebaseerd is op een "gecacheerde" actie-waarde die niet wordt bijgewerkt bij veranderingen in motivatie.
• Mechanistische Interpretaties: De auteurs stellen twee mogelijke mechanismen voor:
  1. Geheugen zonder voorspelling: De hippocampus infereert alleen de huidige ruimtelijke staat (waar ben ik?), maar voorspelt geen toekomstige uitkomsten.
  2. Voorspelling zonder waarde: De hippocampus voorspelt toekomstige ruimtelijke staten, maar deze voorspellingen zijn niet gekoppeld aan een dynamisch waardesysteem dat reageert op motivatie (dorst).
• Rol van Revaluatie Training: Het onderzoek benadrukt dat expliciete training waarbij de actie en de nieuwe waarde gelijktijdig worden ervaren (RT), nodig is om de koppeling tussen de ruimtelijke representatie en het waardesysteem te herstellen.

Significantie en Conclusie

De bevindingen hebben grote implicaties voor het begrijpen van hoe de hersenen beslissingen nemen:

• Ze verduidelijken dat model-based learning (gebruik van een cognitief model) en waarde-updating (doelgericht gedrag) twee losse processen kunnen zijn.
• Het suggereert dat de hippocampus een flexibele rol speelt: het kan dienen als een "spatial attractor" voor habitueel gedrag, maar moet specifiek worden gekoppeld aan motivatie-systemen om doelgericht gedrag te faciliteren.
• Dit lost een tegenstrijdigheid op in eerdere literatuur die aannam dat hippocampale betrokkenheid altijd doelgericht gedrag impliceert. De studie toont aan dat reliance op een cognitieve kaart alleen geen garantie is voor flexibiliteit in besluitvorming; de koppeling aan het waardesysteem is de bepalende factor.

Kortom: De hippocampus is noodzakelijk voor het oplossen van complexe ruimtelijke taken, maar niet voldoende om te zorgen dat deze oplossingen flexibel worden aangepast aan veranderende behoeften, tenzij specifieke leercondities (zoals RT) de koppeling tussen ruimte en waarde versterken.