Beyond model-based and model-free learning: irrational learning of successor features in addictive behaviour
Deze studie daagt de traditionele dichotomie tussen model-gebaseerd versus model-vrij in verslavingsonderzoek uit door aan te tonen dat individuen met middelenverslavingen irrationeel leren vertonen, gekenmerkt door een resource-rationele verschuiving naar vereenvoudigde, herbruikbare successor-features om cognitieve kosten te minimaliseren, zelfs ten koste van beloningsmaximalisatie.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer
Stel je je brein voor als een superintelligente spelcomputer die duizenden verschillende spellen tegelijkertijd moet spelen. Sommige spellen zijn simpel, zoals een potje "Steen, Papier, Schaar" waarbij je gewoon onthoudt dat "Steen Papier verslaat". Andere zijn complexe strategische avonturen waarbij je de hele wereld in kaart moet brengen, moet voorspellen hoe elke vijand zal bewegen en tien stappen vooruit moet plannen. Lange tijd dachten wetenschappers dat onze hersenen vastzaten in een touwtrekwedstrijd tussen deze twee stijlen: de "luie" stijl die gewoon onthoudt wat eerder werkte (Model-Free), en de "hardwerkende" stijl die een mentale kaart van de wereld bouwt om vooruit te plannen (Model-Based). Ze geloofden dat het brein bij verslaving lui wordt en stopt met plannen, en vertrouwt op oude gewoontes. Maar wat als het brein niet alleen lui of hardwerkend is? Wat als het eigenlijk probeert een geniale boekhouder te zijn, die constant berekent hoeveel "hersencapaciteit" (of cognitieve inspanning) een beslissing kost versus hoeveel "plezier" (beloning) het oplevert? Dit is de wereld van "resource-rationality", een chique manier om te zeggen dat onze hersenen altijd proberen de beste deal te krijgen voor de minste mentale energie.
Laten we nu een stap zetten in een nieuwe studie door onderzoekers Ru-Yuan Zhang en hun team, die besloten dit idee te testen op een groep mensen met middelenverslaving (SUD) en een groep gezonde vrijwilligers. Ze lieten hen niet zomaar één spel spelen; ze gooiden hen in een enorme, meerlagige dungeon crawler. Stel je een kasteel voor met een boomvormige kaart. In elke ronde veranderen de "marktprijzen" voor drie hulpbronnen—hout, steen en ijzer. Je doel is om een pad door het kasteel te kiezen om de meest waardevolle hulpbronnen te verzamelen op basis van die prijzen. De twist? De prijzen veranderen elke keer, wat vier verschillende "taken" of spellen binnen hetzelfde kasteel creëert. Om groot te winnen, moet je de lay-out van het kasteel leren en snel je pad aanpassen wanneer de prijzen veranderen.
De onderzoekers ontdekten iets verrassends dat de oude "luie vs. hardwerkende" regel doorbreekt. Wanneer zij keken naar hoe mensen speelden, zagen ze dat noch de "luie" gewoonte-gebaseerde stijl, noch de "hardwerkende" kaart-bouwende stijl de situatie volledig kon verklaren. In plaats daarvan leek iedereen een slim tussenweg-strategie te gebruiken die "Successor Features" wordt genoemd. Denk hierbij aan het leren van de "vibe" van een kamer in plaats van het onthouden van elke individuele stap. Je leert dat "Kamer A meestal tot een stapel hout leidt" en "Kamer B meestal tot steen leidt", en je kunt deze "vibes" combineren en aanpassen om nieuwe prijs-puzzels op te lossen zonder dat je je hele mentale kaart vanaf nul opnieuw hoeft op te bouwen.
Maar het verhaal neemt een wending wanneer we kijken naar de groep met verslaving. Terwijl gezonde spelers deze "vibes" gebruikten om flexibel van strategie te wisselen en het beste pad te vinden voor elke nieuwe prijslijst, raakten de spelers met verslaving gestikt. Ze vonden de mentale inspanning die nodig was om van strategie te wisselen te duur. Dus namen ze een "one-size-fits-all" benadering aan. Ongeacht wat de prijzen waren, bleven ze naar dezelfde kamer rennen (Kamer 4), omdat dat de makkelijkste weg was om te onthouden, zelfs als dat betekende dat ze veel geld verloren. De studie suggereert dat dit niet kwam omdat ze niet in staat waren de kaart te leren, maar omdat hun breinen hypergevoelig waren voor de "kosten" van het denken. Ze waren bereid beloningen op te offeren om slechts mentale energie te besparen.
De onderzoekers bouwden een computermodel dat fungeerde als een "brein-boekhouder", die de beloning af weighed tegen de mentale inspanning. Dit model, dat ze het Resource-Rational Successor Feature (RRSF) model noemden, was het enige dat het gedrag van beide groepen perfect kon voorspellen. Het toonde aan dat de groep met verslaving een veel hogere "kostengevoeligheid" had—ze voelden de mentale inspanning van het wisselen van strategie als een enorme last, dus hielden ze vast aan een simpel, standaard plan. De studie vond ook dat hoe ernstiger de symptomen van verslaving bij een persoon waren, hoe meer zij de neiging hadden om mentale inspanning te vermijden en vast te houden aan hun rigide, suboptimale paden.
Kortom, dit artikel suggereert dat verslaving niet alleen gaat over een kapot "plannings"-systeem of een kapot "gewoonte"-systeem. In plaats daarvan gaat het over een brein dat te zuinig is geworden met zijn mentale energie. Het is als een gamer die, in plaats van de nieuwe levels te leren, gewoon steeds dezelfde knop blijft indrukken omdat de nieuwe levels te uitputtend voelen om te begrijpen. De studie mat deze gedragingen bij 83 mensen met middelenverslaving en 45 gezonde controles, waarbij werd gevonden dat het "luie" gedrag eigenlijk een berekende, zij het maladaptieve, poging was om cognitieve inspanning te besparen. Dit nieuwe perspectief helpt ons te begrijpen dat de rigide, repetitieve gedragingen die bij verslaving horen, eigenlijk de manier van het brein zijn om zichzelf te beschermen tegen overweldigd worden, zelfs als dat betekent dat men de beste beloningen mist.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.