Capturing learning on the fly: an eye-tracking method to quantify prediction errors and updating the prior

Deze studie introduceert een oogvolgmethode die aantoont dat statistisch leren in onzekere omgevingen minder wordt gedreven door directe fouten dan door een conservatief, herhalingsgebaseerd proces waarbij de stabiliteit van het interne model prioriteit heeft.

De kern

Hoe ons brein de toekomst voorspelt: Een reis met de ogen als kompas

Stel je voor dat je brein een superkrachtige voorspeller is. Net als een ervaren chef-kok die precies weet welke ingrediënten er als volgende in de pan gaan, probeert ons brein constant te raden wat er gaat gebeuren. Dit heet 'statistisch leren'. Maar hoe werkt dit precies? Hoe past ons brein zich aan als de wereld niet altijd voorspelbaar is?

Deze studie, uitgevoerd door onderzoekers in Hongarije en Frankrijk, kijkt niet naar wat mensen zeggen of welke knop ze drukken, maar naar waar ze naar kijken. Ze gebruiken een slimme techniek met oogvolgers om te zien hoe ons brein in real-time leert.

Hier is de uitleg, vertaald naar alledaagse taal:

1. De Proef: Een spelletje 'Kijk naar de blauwe cirkel'

De deelnemers zaten voor een scherm met vier lege cirkels. Af en toe werd één cirkel blauw. De opdracht was simpel: kijk zo snel mogelijk naar die blauwe cirkel.

Maar er was een geheim: de volgorde van de blauwe cirkels volgde een verborgen patroon, net als een liedje dat steeds weer terugkeert. Soms was het patroon duidelijk (bijvoorbeeld: links, dan rechts, dan links), en soms was er een willekeurige cirkel tussendoor. Het patroon was niet 100% zeker; het was een beetje als weervoorspellen: "Meestal regent het dinsdag, maar soms ook niet."

2. De Ogen als 'Voorspellers'

Vroeger keken onderzoekers naar hoe snel mensen op een knop drukten. Maar dat is als kijken naar hoe hard een auto rijdt om te zien of de bestuurder de weg kent. Het kan zijn dat de bestuurder de weg kent, maar gewoon langzaam rijdt.

In deze studie keken ze naar de ogen. Voordat de blauwe cirkel verscheen, bewogen de ogen van de deelnemers vaak al naar de plek waar ze verwachtten dat de cirkel zou verschijnen. Dit is als een voetbalspeler die al naar de hoek van het doel rent voordat de bal is geschoten, omdat hij weet waar de speler de bal naartoe gaat.

De onderzoekers keken naar twee soorten 'voorspellingen':

• De slimme voorspelling: De speler rent naar de plek waar het patroon aangeeft dat de bal komt.
• De verkeerde voorspelling: De speler rent naar een plek waar de bal nooit komt, of naar een plek die willekeurig is.

3. Het Grote Geheim: Niet alle fouten zijn hetzelfde

Het meest interessante resultaat is dat het brein onderscheid maakt tussen twee soorten fouten, alsof het twee verschillende soorten 'verrassing' herkent:

• Type A: De 'Gelukkige' Fout (Learning-Dependent Error)
  Stel je voor dat je weet dat het meestal dinsdag regent. Op dinsdag kijk je dus naar de paraplu. Maar vandaag is het zonnig. Je kijkt naar de paraplu, maar er is geen regen. Je had het patroon goed begrepen, maar het weer was gewoon een uitzondering.
  In de studie deden mensen dit vaak: ze keken naar de plek waar het patroon zei dat de cirkel zou komen, maar de cirkel kwam ergens anders. Het brein zei: "Ik heb het goed begrepen, dit is gewoon een rare uitzondering." Ze veranderden hun gedrag niet veel.

• Type B: De 'Domme' Fout (Not-Learning-Dependent Error)
  Stel je voor dat je denkt dat het dinsdag regent, maar je kijkt naar de paraplu op een dag dat het duidelijk zonnig is, en je kijkt zelfs naar de verkeerde kant van de kamer. Je hebt het patroon helemaal niet begrepen.
  Als mensen dit deden, keken ze de volgende keer vaak snel naar een andere plek. Het brein zei: "Oh, ik had het helemaal verkeerd, ik moet mijn strategie aanpassen!"

De les: Ons brein is niet zo snel om te zeggen "Ik heb het fout" als het patroon eigenlijk klopte, maar de wereld even raar deed. Het is veel sneller om te zeggen "Ik heb het fout" als het patroon zelf niet klopte.

4. De 'Gewoonte' van het Brein

Een ander verrassend resultaat was dat mensen heel graag hun vorige keuze herhaalden.
Stel je voor dat je een pad door het bos hebt gevonden. Als je een keer op dat pad loopt, loop je de volgende keer ook weer daar, zelfs als het pad niet perfect is. Mensen waren erg 'conservatief'. Ze veranderden hun voorspelling niet snel, zelfs niet als ze een fout maakten. Ze vertrouwden meer op wat ze al wisten (hun 'voorgaande idee') dan op de nieuwe informatie.

Dit is als een oude kaart gebruiken in een stad waar de wegen net iets zijn veranderd. Je blijft de oude weg volgen omdat je die kent, in plaats van elke keer een nieuwe route te zoeken. Dit helpt ons om niet in de war te raken in een chaotische wereld.

Waarom is dit belangrijk?

Deze studie laat zien dat leren niet alleen gaat over "fouten maken en corrigeren" zoals een computer dat doet. Leren is meer als het bouwen van een stabiel huis in een storm.

• Als de storm even hard waait (een willekeurige fout), blijven we in ons huis staan (we veranderen onze voorspelling niet).
• Als het fundament zelf dreigt te zakken (we begrijpen het patroon niet), dan bouwen we het huis pas echt om.

Conclusie in één zin:
Ons brein is een slimme, maar wat koppige voorspeller die liever vasthoudt aan wat het al weet, en pas echt iets verandert als het zeker weet dat zijn oude ideeën niet meer werken, en niet bij elke kleine verrassing.

De onderzoekers hebben hiermee een nieuwe 'bril' ontwikkeld (via oogbewegingen) om te zien hoe dit proces in real-time werkt, zonder dat mensen hoeven te praten of knoppen hoeven in te drukken. Dit helpt ons beter te begrijpen hoe we leren, en misschien zelfs waarom sommige mensen (zoals mensen met autisme) anders leren omgaan met verrassingen.

Technische samenvatting

Probleemstelling

Het vermogen om voorspellende modellen van de omgeving te bouwen is fundamenteel voor adaptief gedrag. Echter, de real-time dynamiek van hoe deze interne modellen worden gevormd en bijgewerkt, blijft slecht begrepen. Traditionele methoden voor het meten van statistisch leren (zoals sequentie-leringstaken) hebben beperkingen:

1. Offline metingen: Veel taken gebruiken tests na de blootstelling, waardoor het real-time leerproces niet wordt vastgelegd.
2. Motorische ruis: Methoden die afhankelijk zijn van handmatige reacties (knopdrukken) introduceren motorische variabiliteit die de onderliggende cognitieve processen maskert.
3. Gebrek aan onderscheid: Bestaande methoden kunnen vaak niet onderscheid maken tussen voorspellingsfouten die ontstaan door omgevingsruis (stochastiek) en fouten die voortkomen uit een onnauwkeurig intern model.

De auteurs stellen dat oogbewegingen (saccades) een directer en gevoeliger maatstaf zijn voor statistisch leren dan motorische reacties, omdat ze anticiperend gedrag weerspiegelen dat losstaat van de stimuluspresentatie.

Methodologie

De studie introduceert een nieuw, generaliseerbaar raamwerk gebaseerd op oogtracking om leerprocessen "on the fly" (in real-time) te kwantificeren.

• Deelnemers: 128 gezonde jonge volwassenen (na uitsluiting van data met slechte kwaliteit of kalibratieproblemen).
• Taak: Een oogtracking-versie van de Alternating Serial Reaction Time (ASRT) taak. Deelnemers keken naar vier cirkels; één werd blauw (stimulus). De volgorde volgde een verborgen probabilistisch patroon (patroon-elementen wisselden af met willekeurige elementen).
  • Tripletten: De volgorde creëerde "hoog-probabiliteit tripletten" (die het patroon volgen) en "laag-probabiliteit tripletten" (die willekeurig zijn).
  • Proces: Deelnemers moesten zo snel mogelijk naar de blauwe cirkel kijken. De reactietijd (oRT) en de oogbewegingen tijdens de Response-Stimulus Interval (RSI, de periode zonder stimulus) werden gemeten.
• Data-analyse en Metriek:
  • Saccade-extractie: De eerste saccade tijdens de RSI werd geanalyseerd als een maatstaf voor de verwachting voordat de stimulus verscheen.
  • Classificatie van Saccades: De auteurs onderscheiden vier types saccades op basis van twee dimensies:
    1. Leer-afhankelijk (Learning-Dependent, LD): Richting een hoog-probabiliteit locatie.
    2. Niet-leer-afhankelijk (Not-Learning-Dependent, NLD): Richting een laag-probabiliteit locatie.
    3. Correct vs. Fout: Of de saccade overeenkwam met de daadwerkelijke stimuluslocatie.
  • Nieuwe Metriek: Iteratief Bijwerken (Updating): De auteurs ontwikkelden een maatstaf om te kijken of deelnemers hun verwachting bijwerkten bij herhaling van hetzelfde triplet. Ze onderscheiden:
    • LD-same: Behoud van een correcte, patroon-congruente voorspelling.
    • NLD-same: Behoud van een onjuiste voorspelling.
    • LD-to-NLD update: Verlies van geleerde kennis.
    • NLD-to-LD update: Correctie naar het juiste patroon.
    • NLD-to-other-NLD update: Ruis of exploratie.
• Statistische Analyse: Gebruik van lineaire en generaliseerde lineaire gemengde modellen (LMM/GLMM) om de evolutie van deze metrieken over tijd (epochen) te analyseren.

Belangrijkste Resultaten

1. Statistisch Leren is Aanwezig: Er was een significante verbetering in de oculomotorische reactietijd (oRT) voor hoog-probabiliteit tripletten ten opzichte van laag-probabiliteit tripletten, wat bevestigt dat deelnemers het patroon impliciet leerden. Ook de Learning-Dependent Anticipation Ratio (LDAR) nam toe over de tijd.
2. Dissociatie van Fouttypes:
   • Learning-Dependent Errors (LDE): Voorspellingen naar een hoog-probabiliteit locatie die niet klopte (door de probabilistische aard van de taak). Deze fouten kwamen vaker voor en namen toe naarmate het leren vorderde.
   • Not-Learning-Dependent Errors (NLDE): Voorspellingen naar een laag-probabiliteit locatie. Deze namen af.
   • Conclusie: Het brein onderscheidt tussen fouten door ruis (LDE) en fouten door onwetendheid (NLDE).
3. Bijwerkingsdynamiek (Updating):
   • Deelnemers werkten NLD-saccades (onjuiste, niet-patroon-congruente voorspellingen) vaker bij dan LD-saccades. Dit suggereert dat fouten die het interne model fundamenteel verkeerd weergeven, een hogere "leersnelheid" hebben dan fouten die slechts door ruis worden veroorzaakt.
   • Sterke Herhalingsbias: Deelnemers hadden een sterke neiging om hun vorige voorspelling te herhalen, ongeacht of deze correct was of niet.
   • Onafhankelijkheid van Feedback: Of een voorspelling daadwerkelijk klopte met de stimulus, had weinig invloed op het bijwerken. Het bijwerken werd sterker bepaald door de consistentie met de probabilistische structuur van de taak dan door de objectieve juistheid.
4. Conservatief Leren: Updates die een onjuist model corrigeerden (NLD-to-LD) waren even waarschijnlijk als updates die een correct model verstoorden (LD-to-NLD). Dit wijst op een conservatieve strategie waarbij voorspellingen worden vastgehouden in plaats van snel te worden aangepast bij elke fout.

Belangrijkste Bijdragen

1. Methodologische Innovatie: De studie introduceert een generaliseerbaar, ooggebaseerd analytisch raamwerk dat real-time verwachtingen en hun bijwerking kwantificeert. Dit raamwerk kan worden toegepast op elke probabilistische leertaak en biedt een fijnmaziger inzicht dan traditionele motorische reactietijden.
2. Theoretisch Inzicht: De resultaten suggereren dat statistisch leren niet primair wordt gedreven door fouten (zoals in strikte Bayesiaanse of error-driven modellen wordt aangenomen), maar eerder door:
   • Een conservatieve bijwerkingsstrategie met een relatief lage leersnelheid.
   • Een Hebbiaans, herhalingsgebaseerd proces waarbij eerdere antwoorden worden vastgehouden (exploitatie) in plaats van continu te worden herzien.
   • Het vermogen om onderscheid te maken tussen "verwachte onzekerheid" (ruis) en "onverwachte onzekerheid" (fouten in het model).

Significantie

De bevindingen hebben belangrijke implicaties voor het begrijpen van predictieve verwerking en statistisch leren:

• Cognitieve Modellen: Het stelt de dominantie van puur foutgedreven leermodellen in vraag en ondersteunt modellen die rekening houden met herhalingsbias en conservatief bijwerken in stabiele omgevingen.
• Klinische Toepassing: Het vermogen om onderscheid te maken tussen verschillende types voorspellingsfouten (ruis vs. modelfout) biedt potentieel als biomarker voor psychiatrische aandoeningen (zoals Autismespectrumstoornis), waarbij deze dissociatie vaak verstoord is.
• Toekomstig Onderzoek: Het biedt een robuust instrument om de dynamiek van priors en hun bijwerking in real-time te bestuderen, wat essentieel is voor het verder ontwikkelen van theorieën over predictieve codering en actief infereren.

Samenvattend toont deze studie aan dat het menselijk brein bij het leren van probabilistische patronen een strategie hanteert die prioriteit geeft aan stabiliteit en herhaling, en dat oogbewegingen een krachtig venster bieden om deze subtiele, real-time leerprocessen te observeren.