Trace-Mediated Peak Bias: Bridging Temporal Credit Assignment and Cognitive Heuristics in Deep Reinforcement Learning

Technische Samenvatting: Trace-Mediated Peak Bias in Deep Reinforcement Learning

Probleemstelling
Temporele credit assignment—het proces van het bepalen welke eerdere toestanden verantwoordelijk zijn voor huidige beloningen—is een fundamentele uitdaging in zowel biologische als kunstmatige intelligentie. Hoewel eligibility traces (bijv. in TD($\lambda$)-algoritmen) temporele hiaten effectief overbruggen in tabelvormige instellingen, blijft hun interactie met niet-lineaire functiebenadering in deep reinforcement learning (RL) slecht begrepen. Het artikel identificeert een systematische foutmodus in deep RL, getiteld Trace-Mediated Peak Bias (TMPB). In dit fenomeen geven agenten die zijn uitgerust met eligibility traces en niet-lineaire neurale netwerken irrationeel de voorkeur aan trajecten die hoge-magnitude belonings-"pieken" bevatten boven alternatieven met hogere cumulatieve opbrengsten. Dit gedrag weerspiegelt de menselijke Peak-End Rule, een cognitieve heuristiek waarbij retrospectieve evaluaties worden gedomineerd door de meest intense momenten van een ervaring in plaats van de geïntegreerde bruikbaarheid ervan. Het kernprobleem is dat standaard optimalisatiemethoden er niet in slagen de "gradiënt-schokken" veroorzaakt door verre, hoog-saliente beloningen te normaliseren, wat leidt tot globale overschatting van de waarde en suboptimale beleidsselectie.

Methodologie
Om deze interactie te karakteriseren, ontwierpen de auteurs een gestileerde episodische Markov Decision Process (MDP) genaamd de Two-Door Environment. De omgeving bevat twee verschillende paden van lengte $T=10$ die vertrekken vanuit een gemeenschappelijke staat $S_0$:

1. $\tau_{steady}$: Biedt een constante beloning van $r_t = 2$ bij elke stap.
2. $\tau_{peak}$: Biedt een spaarzaam beloningsprofiel met een hoog-magnitude "piek" ($r_3 = 10$), een concluderende beloning ($r_{10} = 6$), en verder nul elders.

Gegeven een kortingsfactor $\gamma = 0.95$, zijn de rationele optimale waarden $V^*(S_0|\tau_{steady}) \approx 16.05$ en $V^*(S_0|\tau_{peak}) \approx 12.81$. De auteurs evalueerden de waardeschattingen met behulp van een neuraal netwerk met één verborgen laag van 16 ReLU-units. De training werd uitgevoerd over 1.000 episodes met een uniforme gedragspolicy en Stochastic Gradient Descent (SGD) met een vaste leersnelheid. De verliesfunctie maakte gebruik van de forward-view equivalent van de gradiënt-gebaseerde eligibility trace:
$$\mathcal{L}(\theta) = \sum_{t=0}^{T-1} \lambda^t (V_\theta(s_t) - [r_t + \gamma V_\theta(s_{t+1})])^2$$
De studie vergeleek de prestaties van fixed-step-size SGD tegenover adaptieve optimizers (specifiek RMSprop) over variërende trace-dieptes ($\lambda$).

Belangrijkste Resultaten
De experimenten onthulden een systematische overschatting van de waarde van het "Peak"-traject ($V(S_0|\tau_{peak})$) wanneer SGD wordt gebruikt met intermediaire trace-dieptes ($0.15 < \lambda < 0.50$). In deze "Irrationality Zone" overtrof de waardeschatting voor het inferieure pad ten onrechte die van het superieure "Steady"-pad, waardoor de agent voorkeur gaf aan het suboptimale traject.

Converteerbaar was echter, wanneer dezelfde opzet werd getraind met de adaptieve optimizer RMSprop, werd deze bias gemitigeerd en identificeerde de agent correct het "Steady"-pad als optimaal. De resultaten demonstreren dat de bias niet inherent is aan het trace-mechanisme zelf, maar een specifiek artefact is van hoe fixed-step-size optimizers de variantie behandelen die door hoog-magnitude beloningen wordt geïntroduceerd in een gedistribueerd neuraal systeem.

Mechanistisch Verantwoording
Het artikel biedt een mechanistische verklaring voor TMPB:

• Gradiënt-schokken: Beloningen met een hoge magnitude genereren grote Temporal Difference (TD) fouten ($\delta_t$). In de aanwezigheid van eligibility traces worden deze fouten teruggepropageerd door de tijd, wat "gradiënt-schokken" creëert ($\Delta\theta_t = \alpha \delta_t z_t$).
• Gebrek aan Normalisatie: In fixed-step-size SGD is de parametershift direct proportioneel aan de magnitude van de beloning. Bijgevolg kan een enkele piek-update de gedeelde gewichten onevenredig herconfigureren, waardoor het de neurale manifold effectief "kaapt" en de geïntegreerde som van constante, lager-magnitude updates overtreft.
• Adaptieve Mitigatie: Adaptieve optimizers zoals RMSprop schalen updates door de inverse van het tweede moment van de gradiënten. Deze normalisatie dempt de impact van hoog-variante uitschieters (de piekbeloningen), waardoor voorkomt dat de gradiënt-schokken de globale waardeschatting verstoren.

Betekenis en Bijdragen
Het werk levert drie primaire bijdragen:

1. Identificatie van TMPB: Het identificeert en definieert formeel Trace-Mediated Peak Bias als een systematische foutmodus in deep RL waarbij agenten een "irrationele" voorkeur vertonen voor hoog-saliente, laag-cumulatieve-belonings-trajecten.
2. Computationele Parallel aan Cognitieve Bias: Het demonstreert dat TMPB een directe computationele parallel vormt voor de psychologische Peak-End Rule. Dit suggereert dat bepaalde menselijke "irrationaliteiten" emergente eigenschappen kunnen zijn van de wiskundige beperkingen van credit assignment in gedistribueerde systemen, in plaats van louter biologische heuristieken.
3. Theoretische Noodzaak van Adaptieve Optimalisatie: De auteurs betogen dat adaptieve optimalisatie een theoretische noodzaak is voor rationele waardeschatting in niet-lineaire systemen. Zonder variantie-gebaseerde normalisatie zijn systemen die gebruikmaken van gedistribueerde representaties en trace-achtige credit assignment structureel vatbaar voor saliciteitsverstoringen.

Conclusie
Dit werk herkadert de relatie tussen cognitieve psychologie en reinforcement learning. Waar RL historisch gezien inspiratie putte uit de psychologie, stelt dit artikel dat de wiskundige pathologieën van moderne deep RL nu een rigoureuze taal bieden voor het verklaren van menselijke "irrationaliteiten". De bevindingen suggereren dat menselijke saliciteitsverstoringen mogelijk reflecties zijn van een biologische afhankelijkheid van eenvoudige gradiënt-gebaseerde updates die de geavanceerde normalisatie missen die in adaptieve kunstmatige systemen wordt gevonden. Voor de ontwikkeling van AI benadrukt dit dat "menselijke" neurale architecturen van nature menselijke kwetsbaarheden erven, waardoor de keuze van de optimizer een fundamentele theoretische kwestie is in plaats van een loutere hyperparameter-tuning taak.