Environmental volatility amplifies Pavlovian control in decision-making

Elke dag fungeren onze hersenen als constante rekenmachines, die de waarschijnlijke resultaten van onze acties afwegen om te beslissen wat we nu moeten doen. Als je op een knop drukt en een traktatie krijgt, leer je om er opnieuw op te drukken; als je erop drukt en niets krijgt, stop je ermee. Dit is hoe we navigeren in een wereld waarin oorzaak en gevolg meestal standvastig blijven. Maar de echte wereld is zelden zo stabiel. Soms veranderen de regels zonder waarschuwing. Een pad dat gisteren naar veiligheid leidde, kan vandaag naar gevaar leiden. Wanneer de omgeving onvoorspelbaar wordt, staat het brein voor een moeilijk probleem: de informatie waarop het vertrouwt om slimme keuzes te maken, wordt ruisachtig en onbetrouwbaar. In deze momenten van hoge onzekerheid moet ons brein beslissen of het moet blijven proberen de nieuwe regels te ontdekken, of dat het moet terugvallen op een eenvoudiger, ouder systeem dat automatisch reageert op signalen in de omgeving.

Deze vraag over hoe we schakelen tussen zorgvuldige berekening en automatische reactie staat centraal in een nieuw onderzoek door onderzoekers van de Universiteit van Bologna en de Nationale Onderzoeksraad van Italië. Ze wilden begrijpen wat er gebeurt wanneer de wereld chaotisch wordt. Specifiek onderzochten ze of een wankele, onvoorspelbare omgeving ons ertoe brengt om onze eigen berekeningen te negeren en in plaats daarvan de aantrekkingskracht van vertrouwde aanwijzingen te volgen. Stel je een persoon voor die door een bos loopt waar de padmarkeringen steeds bewegen; uiteindelijk zullen ze misschien stoppen met het lezen van de kaart en simpelweg de geur van een bloem volgen die meestal naar water leidt, zelfs als de kaart zegt dat het water ergens anders is. De onderzoekers wilden zien of een dergelijke verschuiving plaatsvindt in het menselijk brein wanneer de omgeving volatiel is, en of deze verschuiving de aard van onze besluitvorming zelf verandert.

Om het antwoord te vinden, ontwierp het team een computergame die een gokautomaat nabootste. In het eerste deel van het experiment leerden vijftig gezonde vrijwilligers deze game spelen onder twee verschillende omstandigheden. In de conditie met "lage volatiliteit" was de machine voorspelbaar: één hendel gaf meestal een beloning, en de andere gaf zelden een beloning. De regels bleven een lange tijd hetzelfde. In de conditie met "hoge volatiliteit" veranderden de regels frequent en zonder waarschuwing. De hendel die meestal goed was, werd plotseling slecht, en de slechte werd goed, soms wel vijf keer in één sessie. De deelnemers moesten deze verschuivende patronen leren door simpelweg de resultaten van hun keuzes te observeren. Zoals verwacht vonden mensen het veel moeilijker om de veranderende regels te beheersen. Hun keuzes waren minder accuraat en ze leken onzekerder over welke hendel ze moesten kiezen.

Na het leren van de regels van de gokautomaat gingen de deelnemers over naar een tweede fase waarin ze afbeeldingen van voedselbeloningen te zien kregen. Ze leerden dat bepaalde afbeeldingen voorspelden welk voedsel zou verschijnen. Dit was een passieve leerfase waarbij ze simpelweg de afbeeldingen en de uitkomsten bekeken, zonder hendels in te drukken. Dit creëerde een sterke link in hun geest tussen een specifieke afbeelding en een specifiek voedsel. Ten slotte brachten de onderzoekers de twee delen samen. De deelnemers keerden terug naar de gokautomaat, maar dit keer verscheen er een afbeelding boven de hendels voordat ze een keuze moesten maken. De afbeelding kon overeenkomen met de hendel die op dat moment de beste keuze was, of het kon wijzen naar de hendel die op dat moment de slechtste keuze was. De onderzoekers keken vervolgens of de deelnemers zouden vasthouden aan de hendel die onlangs het meest heeft opgeleverd, of dat ze zich zouden laten leiden door de afbeelding.

De resultaten onthulden een duidelijk en verrassend patroon. Wanneer de deelnemers het spel hadden geleerd in de stabiele omgeving met lage volatiliteit, hadden de afbeeldingen heel weinig effect. Ze negeerden de afbeeldingen grotendeels en hielden vast aan de hendel die op dat moment de beste beloningen gaf. Echter, wanneer ze het spel hadden geleerd in de chaotische omgeving met hoge volatiliteit, namen de afbeeldingen de controle over. Als een afbeelding wees naar de hendel die op dat moment de slechtste keuze was, volgden de deelnemers in de groep met hoge volatiliteit de afbeelding veel vaker dan die in de stabiele groep. Ze lieten de strategie die in het verleden voor hen had gewerkt los en lieten de aanwijzing hun beslissing sturen. Dit gebeurde zelfs toen de afbeelding irrelevant was voor de huidige regels van de machine. Het brein, overweldigd door de constante veranderingen, had het vertrouwen verschoven van de eigen berekeningen naar het eenvoudigere signaal.

De onderzoekers keken ook naar de mate van consistentie in de keuzes van de deelnemers. Ze maten de "entropie" van de beslissingen, wat een manier is om te beschrijven hoeveel iemands gedrag van moment tot moment varieert. In de groep met hoge volatiliteit werden de keuzes van de deelnemers veel grilliger wanneer de afbeelding en de beste keuze met elkaar in strijd waren. Ze leken verscheurd tussen de twee systemen, heen en weer springend tussen het volgen van de afbeelding en het volgen van de regels. Dit interne conflict creëerde een ruisachtig, onvoorspelbaar patroon van gedrag. Maar het verhaal veranderde in een tweede experiment dat ontworpen was om te testen wat er gebeurt wanneer de feedback stopt. In deze versie verwijderden de onderzoekers de beloningsfeedback tijdens bepaalde delen van de test. Zonder de feedback om hun berekeningen bij te werken, had het instrumentele systeem niets om mee te werken. In deze staat werden de deelnemers niet alleen grillig; ze werden rigide consistent. Ze volgden de afbeelding elke keer, zelfs wanneer deze tot de verkeerde keuze leidde. Het conflict verdween omdat het brein gestopt was met berekenen en zich volledig had overgegeven aan de aanwijzing.

Deze bevindingen suggereren dat omgevingsvolatiliteit niet alleen verwarring of ruis toevoegt aan ons gedrag. In plaats daarvan verandert het actief hoe ons brein verschillende soorten informatie weegt. Wanneer de wereld stabiel is, vertrouwen we op ons vermogen om te leren van onze acties. Wanneer de wereld onvoorspelbaar wordt, lijkt ons brein te besluiten dat het bijhouden van elke verandering te kostbaar en riskant is. In plaats daarvan verschuift het de controle naar het eenvoudigere, op aanwijzingen gebaseerde systeem dat reageert op signalen in de omgeving. Deze verschuiving is geen falen van het leerproces, maar een strategische aanpassing. Het brein realiseert zich dat in een chaotische wereld de oude regels weg zijn, en dat het signaal het enige stabiele is dat overblijft. Dit mechanisme helpt verklaren waarom mensen in instabiele of stressvolle situaties impulsiever kunnen worden of meer gedreven kunnen worden door directe aanwijzingen, een patroon dat wordt gezien bij aandoeningen zoals verslaving en dwangstoornissen. De studie laat zien dat wanneer de kaart steeds verandert, we stoppen met het lezen ervan en beginnen de geur te volgen.