Technische Samenvatting: De unieke waarde van nul voorspellingsfouten in Reinforcement Learning

Probleemstelling

De theorie van reinforcement learning (RL) stelt traditioneel dat leren wordt gedreven door voorspellingsfouten (PE's)—het verschil tussen verwachte en geobserveerde uitkomsten. In standaardmodellen (bijv. Rescorla & Wagner, 1) worden uitkomsten die perfect overeenkomen met de verwachtingen (nul PE's) behandeld als de afwezigheid van een leersignaal, wat geen informatieve waarde draagt buiten de beloning zelf. Dit kader laat echter de vraag open of "perfecte voorspellingen" psychologisch neutraal zijn of dat ze constitueren als afzonderlijke, informatieve gebeurtenissen die affect, het bijwerken van overtuigingen en neurale verwerking actief vormgeven. Specifiek is het onduidelijk of nul PE's unieke computationele mechanismen triggeren, zoals de vorming van afzonderlijke latente overtuigingsstaten, met name in onzekere omgevingen of bij individuen met een hoge intolerantie voor onzekerheid.

Methodologie

De studie maakte gebruik van een multimodale aanpak waarbij gedragsexperimenten, computationele modellering en elektrofysiologie (EEG) werden gecombineerd om de impact van nul PE's te onderzoeken.

Experimenteel Ontwerp:

• Taak: Deelnemers voerden een "Getallengenerator Taak" uit waarbij zij beloningen voorspelden die getrokken werden uit Gaussische distributies met variërende breedtes (Lage, Medium, Hoge onzekerheid).
• Manipulatie: Zonder medeweten van de deelnemers werden 18,75% van de trials (15 van de 80 per blok) experimenteel geconstrueerd zodat de beloningsuitkomst exact overeenkwam met hun voorspelling, wat "nul voorspellingsfouten" creëerde.
• Metingen:
  • Affect: Deelnemers rapporteerden momentane gelukservaringen elke drie trials.
  • Gedrag: Trial-voor-trial voorspellingsupdates werden geregistreerd.
  • Neuraal: Bij een subset van deelnemers ($N=40$) werd reward-gelokte EEG opgenomen om event-related potentials (ERP's) te analyseren.
• Deelnemers: Er werden twee experimenten uitgevoerd: een online studie ($N=97$) en een EEG-laboratoriumstudie ($N=40$), totaal $N=137$.

Computationele Modellering:
Drie reinforcement learning-modellen werden vergeleken met behulp van hiërarchische Bayesiaanse inferentie:

1. PH-standard: Een standaard Pearce-Hall model waarbij leersnelheden schalen met de magnitude van de PE; nul PE's produceren geen update.
2. PH-persist: Een uitbreiding waarbij nul PE's een "persistentie"-toestand induceren, waardoor toekomstige voorspellingen worden gebiast richting de bevestigde uitkomst.
3. ZePE (Zero Prediction Error) Model: Een nieuw model dat voorstelt dat nul PE's de vorming van een afzonderlijke latente overtuigingsstaat ($B_{zero}$) triggeren die parallel wordt bijgehouden met de standaard overtuigingsstaat ($B_{std}$). De uiteindelijke voorspelling is een gewogen mengeling van deze twee staten, gecontroleerd door een parameter $\omega$.

Analyse:

• Gedrag: Mixed-effects regressie analyseerde geluksratings en voorspellingsupdates.
• Modelvergelijking: Leave-one-out cross-validatie (LOO) en expected log predictive density (ELPD) werden gebruikt om het best passende model te bepalen.
• EEG: Mass univariate regressie (GLM) en cluster-gebaseerde permutatietests analyseerden neurale responsen op PE's. Psychofysische interactie (PPI) analyses testten of residuele neurale activiteit de daaropvolgende gedragsmatige updating voorspelde.

Belangrijkste Resultaten

1. Affectieve Impact: Nul PE's Maximaliseren Geluk

In tegenstelling tot de aanname dat geluk lineair schaalt met positieve PE's, rapporteerden deelnemers het hoogste momentane geluk na nul PE's.

• Geluk volgde een omgekeerde U-relatie met de magnitude van de PE, piekte bij nul en nam af voor zowel grote positieve als negatieve PE's.
• Computationele modellering van geluk bevestigde dat het toevoegen van een specifieke term voor nul PE's de model-fit aanzienlijk verbeterde ten opzichte van modellen die enkel steunden op beloningsmagnitude en standaard PE's. Nul PE's waren de sterkste voorspeller van geluk, wat de externe beloningsuitkomst overtrof.

2. Gedragsadaptatie: Het ZePE Model

Het ZePE-model bood de beste fit voor de gedragsdata in beide experimenten en presteerde significant beter dan de PH-standard en PH-persist modellen.

• Afzonderlijke Latente Staat: De data ondersteunen de hypothese dat nul PE's een afzonderlijke latente overtuigingsstaat induceren die de daaropvolgende updating stuurt.
• Modulatie door Onzekerheid: De gewichtsparameter $\omega$ (die de invloed van de zero-PE staat reguleert) nam toe met de omgevingsonzekerheid. Deelnemers vertrouwden in blokken met hoge onzekerheid meer op de zero-PE staat.
• Individuele Verschillen: Hogere scores op de Intolerance of Uncertainty (IUS) schaal correleerden met hogere $\omega$-waarden, wat suggereert dat individuen die onzekerheid vermijden, meer gewicht toekennen aan perfecte voorspellingen om hun overtuigingen te stabiliseren.
• Updating Patronen: Nul PE's werden gevolgd door grotere absolute voorspellingsupdates in blokken met lage onzekerheid, en dit effect intensiveerde onder hogere onzekerheid, wat aangeeft dat perfecte voorspellingen de leerdynamiek actief vormen in plaats van enkel bestaande overtuigingen te bevestigen.

3. Neurale Signaturen: Afwijkende EEG-responsen

EEG-analyses toonden aan dat nul PE's unieke neurale responsen oproepen die verschillen van standaard PE's.

• ERP Componenten: Nul PE's riepen een robuuste, aanhoudende late positieve respons (P3-achtig) op over frontocentrale en centropariëtale elektroden (500–800 ms), die qua magnitude vergelijkbaar was met grote positieve PE's en significant groter was dan andere PE-condities.
• Encoding van de Latente Staat: Regressieanalyses toonden aan dat EEG-activiteit op zero-PE trials de afwijkingen van de zero-PE latente overtuigingsstaat ($B_{zero}$) volgde, terwijl standaard trials de afwijkingen van de standaard overtuigingsstaat ($B_{std}$) volgden.
• Neuraal-Gedragsmatige Koppeling: Residuele EEG-activiteit (niet verklaard door de modellen) voorspelde de daaropvolgende updating in tegengestelde richtingen, afhankelijk van het type trial:
  • Standaard Trials: Sterkere residuele activiteit voorspelde versterkte updating (leren).
  • Zero-PE Trials: Sterkere residuele activiteit voorspelde afgetenueerde updating (overtuigingsverankering).
  • Deze koppeling werd gemoduleerd door $\omega$, waarbij een hogere $\omega$ de dissociatie versterkte.

Betekenis en Claims

De auteurs claimen dat deze studie het eerste systematische bewijs levert dat nul voorspellingsfouten geen neutrale gebeurtenissen zijn, maar afzonderlijke, informatieve signalen die menselijk leren actief vormgeven.

• Uitdaging van de Orthodoxie: De bevindingen dagen de standaard RL-aanname uit dat leren uitsluitend plaatsvindt door mismatches. In plaats daarvan is "trial-and-hit" (perfecte voorspelling) een complementair leermechanisme.
• Intrinsieke Beloning: Perfecte voorspellingen lijken intrinsiek belonend te zijn en genereren positief affect onafhankelijk van de externe beloningsmagnitude, waarschijnlijk door de succesvolle resolutie van onzekerheid.
• Computationeel Mechanisme: De studie stelt voor dat het brein parallelle latente overtuigingsstaten onderhoudt voor standaard en zero PE's. Het wegen van deze staten ($\omega$) is een flexibele controleparameter die wordt beïnvloed door omgevingsonzekerheid en individuele kenmerken (intolerantie voor onzekerheid).
• Neurale Specificiteit: Nul PE's activeren specifieke neurale circuits (weerspiegeld in P3-achtige activiteit) die dienen om overtuigingen te stabiliseren in plaats van ze bij te werken, wat fungeert als een mechanisme voor "overtuigingsverankering" wanneer de omgeving succesvol voorspeld wordt.

De paper concludeert dat perfect voorspelde uitkomsten essentieel zijn voor leren, omdat ze dienen om overtuigingen te stabiliseren en onzekerheid te verminderen, vooral voor individuen die onzekerheid als aversief ervaren. Dit suggereert een complexere leerarchitectuur waarbij de bevestiging van verwachtingen net zo computationeel significant is als de schending ervan.