Model-based and model-free valuation signals in the human brain vary markedly in their relationship to individual differences in human behavioral control

Een grote fMRI-studie bij 179 deelnemers toont aan dat model-vrije waardesignals in de hersenen universeel aanwezig zijn, terwijl model-gebaseerde signalen specifiek gekoppeld zijn aan individuen die dit gedragsstrategie daadwerkelijk toepassen en gebaseerd lijken op het vermogen om nauwkeurige interne modellen van de omgeving te vormen.

De kern

Hoe ons brein keuzes maakt: De strijd tussen de 'Automatische Piloot' en de 'Strategische Planner'

Stel je voor dat je brein twee verschillende navigatiesystemen heeft die je helpen beslissingen te nemen. De onderzoekers van dit paper hebben gekeken hoe deze twee systemen werken, niet alleen in het algemeen, maar vooral hoe ze verschillen van persoon tot persoon.

Hier is de uitleg in simpele taal, met een paar leuke vergelijkingen.

1. De twee systemen in je hoofd

Het onderzoek gaat over twee manieren waarop we leren en kiezen:

• Systeem A: De "Gewoonte-Piloot" (Model-Free)

  • Hoe het werkt: Dit systeem leert door simpelweg te proberen en te kijken wat er gebeurt. "Als ik links ga, krijg ik een snoepje. Volgende keer ga ik dus weer links." Het is als een hond die leert dat een belletje eten betekent. Het kijkt niet naar de toekomst of de structuur van de wereld; het kijkt alleen naar wat in het verleden beloond is.
  • Vergelijking: Het is als het gebruik van een ouderwetse GPS die alleen de snelste route op basis van je recente ritjes onthoudt, zonder te weten waar de wegen eigenlijk naartoe leiden.

• Systeem B: De "Strategische Planner" (Model-Based)

  • Hoe het werkt: Dit systeem bouwt een mentale kaart van de wereld. Het begrijpt hoe dingen met elkaar verbonden zijn. "Als ik links ga, kom ik waarschijnlijk bij de rode planeet, en daar is de kans op een snoepje groot." Het kan plannen en zich voorstellen wat er gebeurt als het een andere route kiest.
  • Vergelijking: Dit is als een slimme navigatie-app die de hele stad kent, de verkeersregels begrijpt en een route kan bedenken die je nog nooit hebt gereden, omdat hij de structuur van het verkeer begrijpt.

2. Wat hebben ze ontdekt?

De onderzoekers lieten 179 mensen een spelletje spelen in een MRI-scanner (een soort camera die naar je brein kijkt). Het spelletje was een beetje ingewikkeld: je moest kiezen tussen ruimteschepen die je naar verschillende planeten brachten, waar je dan weer naar een landingsbaan moest gaan om een beloning te krijgen.

Ze ontdekten drie belangrijke dingen:

A. Iedereen heeft de "Gewoonte-Piloot" (Systeem A)

Het meest verrassende was dat het brein van iedereen signalen van de "Gewoonte-Piloot" liet zien, zelfs bij mensen die in het spelletje heel slim en strategisch speelden.

• De metafoor: Zelfs als je een superstrategist bent die de hele stad op zijn kop zet, zit er in je brein altijd een klein stemmetje dat zegt: "Hee, vorige keer was links lekker, laten we dat weer doen." Dit systeem is als een standaard-instelling die altijd aan staat, of je het nu gebruikt of niet.

B. De "Strategische Planner" (Systeem B) is kieskeurig

Bij het "Strategische Planner"-systeem zag het er heel anders uit. Dit systeem was alleen actief in de hersenen van de mensen die het ook daadwerkelijk in het spelletje gebruikten.

• De metafoor: Als iemand in het spelletje alleen maar op zijn gevoel (gewoonte) reageerde, dan was de "Strategische Planner" in hun brein uitgeschakeld. Het was alsof ze de sleutel van de auto niet in het contact hadden gestoken. Als iemand wel strategisch speelde, zag je die planner in het brein (vooral in een deel dat we de vmPFC noemen, een soort commandocentrum) fel branden.

C. Waarom sommige mensen niet strategisch zijn

Sommige mensen in het onderzoek bleken helemaal niet te kunnen plannen. Ze leken de regels van het spel niet te begrijpen.

• De ontdekking: De onderzoekers zagen dat deze mensen ook geen "Strategische Planner"-signalen in hun brein hadden. Maar nog belangrijker: ze zagen dat deze mensen moeite hadden met het bijwerken van hun mentale kaart. Ze maakten fouten in het voorspellen van waar ze zouden landen.
• De conclusie: Het lijkt erop dat mensen die niet strategisch spelen, niet gewoon "kiezen" om dat niet te doen. Het is alsof hun mentale bouwplaat (de kaart van de wereld) niet goed werkt. Als je de kaart niet goed kunt tekenen, kun je ook niet plannen.

3. Samenvatting in één zin

Het onderzoek laat zien dat ons brein altijd een "gewoonte-systeem" heeft dat aan staat, maar dat het "planner-systeem" alleen actief is als we het ook daadwerkelijk gebruiken, en dat sommige mensen moeite hebben met plannen omdat hun interne kaart van de wereld niet goed werkt.

Kortom: Iedereen heeft een automatische piloot in zijn hoofd, maar niet iedereen heeft (of kan gebruiken) een strategische planner. En als je die planner niet gebruikt, is het vaak omdat het moeilijk is om de wereld om je heen goed te begrijpen.

Technische samenvatting

Probleemstelling

Menselijk gedrag in sequentiële besluitvorming wordt vaak geacht te worden aangestuurd door twee verschillende systemen: model-vrij (Model-Free, MF) en model-gebaseerd (Model-Based, MB) versterkingsleren (Reinforcement Learning, RL).

• MF-systemen leren via trial-and-error en accumuleren waarden voor acties op basis van eerdere uitkomsten (gewoonte).
• MB-systemen gebruiken een intern cognitief model van de omgeving om flexibele planning mogelijk te maken door de overgangswaarschijnlijkheden tussen toestanden te begrijpen (doelgericht).

Hoewel bekend is dat menselijk gedrag een mengsel van beide strategieën vertoont, is de neurale basis van individuele verschillen in de expressie van deze strategieën onduidelijk. Bestaande literatuur suggereert dat beide systemen gelijktijdig actief kunnen zijn, maar het is niet duidelijk of:

1. Dezelfde hersengebieden flexibel beide signalen coderen, afhankelijk van welke strategie een individu gebruikt.
2. Verschillende, gescheiden neurale netwerken worden ingeschakeld afhankelijk van de strategie.
3. Sommige structuren (zoals de vmPFC) flexibel zijn, terwijl andere structuren strategie-specifiek zijn.

De kernvraag is hoe individuele verschillen in de gebruikte gedragsstrategieën correleren met de onderliggende neurale mechanismen, en of de afwezigheid van een strategie (bijvoorbeeld MB-gedrag) te wijten is aan een gebrek aan neurale codering of aan een onvermogen om het interne model te vormen.

Methodologie

Deelnemers en Opzet:

• Steekproef: Een zeer grote steekproef van N=179 deelnemers (na uitsluiting van bewegingsartefacten) uit de algemene bevolking, wat ongebruikelijk groot is voor een fMRI-studie.
• Taak: Een variant van de twee-stappen taak (two-step task). Deelnemers kozen tussen twee ruimteschepen (eerste stap) die met een bepaalde waarschijnlijkheid (70% vs. 30%) naar een van twee planeten voerden. Vervolgens werd een landing op een van twee landingsplatforms (tweede stap) bepaald, gevolgd door een beloning of geen beloning. De beloningskansen fluctueerden gedurende het experiment.
• Design: De taak bevatte manipulaties van beloningsgrootte, overgangsonzekerheid en beloningscontingentie (stimulus- vs. toestands-afhankelijk) om de betrouwbaarheid van de systemen te testen.

Computational Modeling:

• De auteurs pasten een Arbitration Mixture Model toe, een hybride RL-model dat zowel MF- als MB-modules bevat.
• Het model leert over zowel snelle als trage tijdschalen en gebruikt een gewichtingsparameter ($w_{MF}$) die bepaalt in welke mate het MF-systeem bijdraagt aan de keuze.
• Clustering: Op basis van gedragskenmerken (stay-switch patronen en reactietijden) werden deelnemers ingedeeld in vier clusters, gebaseerd op eerdere grootschalige studies:
  1. MB-groep: Overwegend model-gebaseerd gedrag.
  2. MF-groep: Overwegend model-vrij gedrag.
  3. Mixture-groep: Een mengsel van beide.
  4. Other-groep: Geen duidelijk RL-gedrag (niet-RL strategieën).

Neurale Analyse (fMRI):

• Preprocessing: Gebruik van fMRIPrep voor standaard preprocessing (motion correction, normalisatie naar MNI-ruimte, etc.).
• GLM-analyse: Een General Linear Model (GLM) werd gebruikt om neurale correlaten te vinden voor:
  • Beslissingswaarden (Decision Values): Het verschil tussen de gekozen en de afgewezen waarde voor zowel MF als MB systemen.
  • Foutsignalen: State Prediction Errors (SPE) en Reward Prediction Errors (RPE) voor beide systemen.
• Statistiek: Second-level GLM-analyses werden uitgevoerd om te kijken naar groepseffecten en correlaties met de individuele gedragsparameters ($w_{MF}$). Er werd gebruikgemaakt van cluster-level FWE-correctie en Region of Interest (ROI) analyses, specifiek gericht op de ventromediale prefrontale cortex (vmPFC), dorsolaterale prefrontale cortex (dlPFC) en intrapariëtale sulcus (IPS).

Belangrijkste Bijdragen en Resultaten

1. Dissociatie van MB en MF neurale signalen in de vmPFC:

• MB Signalen: De codering van MB-waarden in de vmPFC was sterk afhankelijk van het individuele gedrag. Deelnemers die een sterke MB-strategie gebruikten, vertoonden sterke MB-waarde-signalen in de vmPFC. Deelnemers die weinig of geen MB-gedrag vertoonden (MF- of Other-groep), vertoonden geen significante MB-waarde-signalen in deze regio.
  • Conclusie: MB-representaties lijken alleen aanwezig te zijn wanneer de strategie actief wordt gebruikt om het gedrag te sturen.
• MF Signalen: In tegenstelling tot MB, waren MF-waarde-signalen in de vmPFC universeel aanwezig in alle groepen, inclusief de groepen die gedrag vertoonden dat overwegend MB was of zelfs niet-RL.
  • Conclusie: MF-signalen lijken een "baseline" of standaardberekening te zijn die continu aanwezig is in de hersenen, ongeacht of deze strategie daadwerkelijk het gedrag aanstuurt.

2. Rol van State Prediction Errors (SPE):

• SPE-signalen (nodig voor het leren van de overgangsstructuur in MB-systemen) werden gevonden in de dlPFC en IPS.
• De sterkte van deze SPE-signalen correleerde negatief met de MF-gedragsneiging ($w_{MF}$): deelnemers met meer MB-gedrag hadden sterkere SPE-signalen.
• Interessant genoeg werden SPE-signalen ook gevonden in de "Other"-groep (die geen MB-gedrag vertoonde), maar deze waren zwakker. Dit suggereert dat individuen met verminderd MB-gedrag mogelijk moeite hebben om een accuraat wereldmodel te bouwen of bij te werken, wat leidt tot zwakkere SPE-signalen en bijgevolg geen MB-waarde-codering.

3. Asymmetrie in neurale representatie:

• Er is een fundamentele asymmetrie: MF-systemen coderen continu waarden, terwijl MB-systemen alleen coderen wanneer ze functioneel nodig zijn voor de gedragsuitvoer. Dit ondersteunt het idee dat MB-control een "op aanvraag" (on-demand) proces is dat afhankelijk is van de kwaliteit van het interne model.

Betekenis en Conclusie

Deze studie levert cruciaal bewijs voor de relatie tussen computationele strategieën en hun neurale implementatie bij individuen:

1. Ubiquiteit van Model-Free: MF-versterkingslering is een fundamenteel, universeel proces in de menselijke hersenen dat actief blijft, zelfs bij individuen die gedrag vertonen dat voornamelijk model-gebaseerd is.
2. Context-afhankelijkheid van Model-Based: MB-representaties zijn niet inherent aanwezig in de vmPFC voor iedereen; ze worden alleen gegenereerd wanneer het individu daadwerkelijk een model-gebaseerde strategie hanteert.
3. Oorzaak van gedragsvariatie: Het gebrek aan MB-gedrag bij sommige individuen lijkt niet alleen te komen uit een keuze om een andere strategie te gebruiken, maar mogelijk uit een onderliggend deficit in het vormen of updaten van een accuraat intern model van de omgeving (geïndiceerd door verminderde SPE-signalen).

De bevindingen suggereren dat de hersenen beschikken over parallelle systemen, maar dat de expressie van het model-gebaseerde systeem sterk afhankelijk is van de individuele capaciteit om complexe toestands-overgangen te leren en te vertalen naar gedrag. Dit heeft implicaties voor het begrijpen van psychiatrische aandoeningen waarbij besluitvorming verstoord is, aangezien deze mogelijk gerelateerd zijn aan defecten in het bouwen van interne modellen in plaats van alleen aan een verstoring van beloningsverwerking.