Transition from model-free to structure-informed decision making in dynamic environments

In het uitgestrekte landschap van hoe levende wezens keuzes maken, hebben wetenschappers lang een onderscheid gemaakt tussen twee fundamentele manieren om de wereld te navigeren. De ene benadering is onmiddellijk en reactief: een dier leert dat een specifieke actie tot een beloning leidt en herhaalt die actie zonder noodzakelijkerwijs te begrijpen waarom het werkt. Dit is een strategie van gewoonte, gebouwd op eenvoudige associaties tussen iets doen en iets goeds krijgen. De andere benadering is bedachtzamer en doelbewuster: een dier bouwt een interne kaart op van hoe de wereld gestructureerd is, waarbij het begrijpt hoe één gebeurtenis tot een andere leidt en hoe verschillende keuzes de kans op een beloning veranderen. Dit is een strategie van planning, waarbij de besluitvormer kennis van de regels gebruikt om gedrag te sturen. Jarenlang geloofden onderzoekers dat naarmate dieren een taak gedurende een lange tijd oefenden, ze langzaam zouden verschuiven van deze bedachte planning naar de eenvoudigere, automatische gewoonten. Dit idee suggereerde dat met genoeg herhaling het brein zou stoppen met rekenen en zou gaan vertrouwen op spiergeheugen.

Een team van onderzoekers besloot deze aanname te testen door te kijken naar hoe muizen een complexe besluitvormingstaak leren, maar met een cruciale twist: ze keken naar het allereerste begin van het leerproces in plaats van te wachten tot de dieren experts waren geworden. De muizen werden in een situatie geplaatst waarin ze een reeks keuzes moesten maken om een beloning te vinden. De omgeving was lastig; het pad naar de beloning liep niet altijd recht toe recht aan. Soms leidde een keuze zoals verwacht direct naar de volgende stap, maar soms nam het pad een onverwachte wending. Bovoltreed was de waarschijnlijkheid om een beloning aan het einde van het pad te vinden niet constant; deze veranderde in de loop van de tijd, waardoor de muizen voortdurend hun verwachtingen moesten bijstellen. De onderzoekers observeerden het gedrag van de muizen nauwgezet terwijl ze door hun trainingssessies gingen, waarbij ze volgden of de dieren simpelweg reageerden op eerdere beloningen of dat ze begonnen te begrijpen hoe de verborgen structuur van de taak in elkaar zat.

De resultaten onthulden een verrassend patroon dat de oude visie op hoe leren zich ontvouwt, uitdaagt. Naarmate de muizen oefenden, veranderde hun gedrag op een specifieke manier die erop wees dat ze niet alleen gewoonten vormden. Wanneer de muizen een situatie tegenkwamen waarin het pad een onverwachte wending nam, pasten ze hun toekomstige keuzes anders aan dan wanneer het pad als verwacht verliep. Deze divergentie in gedrag is een duidelijk teken dat de dieren begonnen waren hun kennis van de structuur van de taak te gebruiken om hun beslissingen te sturen. Door wiskundige modellen van verschillende leerstijlen op de acties van de muizen toe te passen, ontdekten de onderzoekers dat de muizen steeds meer vertrouwden op een strategie die gebruikmaakte van deze structurele kennis. Deze verschuiving vond vroeg in het trainingsproces plaats, lang voordat de muizen uitgebreide tijd aan de taak hadden besteed.

Deze bevinding suggereert dat de overgang van eenvoudig, reactief leren naar complexe, op structuur gebaseerde besluitvorming veel eerder plaatsvindt dan voorheen werd aangenomen. Terwijl eerdere studies zich richtten op wat er gebeurt nadat een dier gedurende een lange tijd heeft geoefend, waarbij vaak werd geconcludeerd dat het brein uiteindelijk stopt met denken en begint te handelen op de automatische piloot, laat dit nieuwe werk zien dat het brein bijna onmiddellijk begint met het opbouwen van een mentaal model van de regels. De muizen wachtten niet tot ze gewoontedier waren voordat ze de regels van het spel begonnen te begrijpen; in plaats daarvan bewogen ze zich snel weg van het uitsluitend vertrouwen op eerdere beloningen en begonnen ze hun begrip van hoe de taak in elkaar zat te gebruiken om betere keuzes te maken. Dit demonstreert dat in dynamische omgevingen waar regels en beloningen kunnen veranderen, het vermogen om de onderliggende structuur te begrijpen een primaire overlevingsstrategie is, waar het brein vroeg en vaak naar grijpt.