Trace-Mediated Peak Bias: Bridging Temporal Credit Assignment and Cognitive Heuristics in Deep Reinforcement Learning

Sintesi Tecnica: Bias del Picco Mediato da Traccia nel Deep Reinforcement Learning

Problematica
L'assegnazione del credito temporale — il processo di determinazione di quali stati passati siano responsabili dei premi attuali — è una sfida fondamentale sia nell'intelligenza biologica che in quella artificiale. Mentre le tracce di eleggibilità (ad esempio, negli algoritmi TD($\lambda$)) colmano efficacemente i vuoti temporali in contesti tabulari, la loro interazione con l'approssimazione non lineare nelle reti neurali profonde (Deep RL) rimane scarsamente compresa. Il documento identifica un modo di fallimento sistematico nel deep RL denominato Bias del Picco Mediato da Traccia (Trace-Mediated Peak Bias, TMPB). In questo fenomeno, gli agenti dotati di tracce di eleggibilità e reti neurali non lineari preferiscono irrazionalmente traiettorie contenenti "picchi" di ricompensa ad alta magnitudo rispetto ad alternative con rendimenti cumulativi superiori. Questo comportamento rispecchia la Regola del Picco-Fine umana, un'euristica cognitiva per cui le valutazioni retrospettive sono dominate dai momenti più intensi di un'esperienza piuttosto che dalla sua utilità integrata. Il problema centrale è che i metodi di ottimizzazione standard non riescono a normalizzare gli "shock di gradiente" causati da ricompense distali ad alta salienza, portando a una sovrastima globale del valore e a una selezione di policy sub-ottimali.

Metodologia
Per caratterizzare questa interazione, gli autori hanno progettato un MDP episodico stilizzato chiamato Ambiente a Due Porte (Two-Door Environment). L'ambiente presenta due percorsi distinti di lunghezza $T=10$ che originano da uno stato comune $S_0$:

1. $\tau_{steady}$: Fornisce una ricompensa costante di $r_t = 2$ ad ogni passo.
2. $\tau_{peak}$: Fornisce un profilo di ricompensa sparsa con un "picco" ad alta magnitudo ($r_3 = 10$), una ricompensa conclusiva ($r_{10} = 6$) e zero altrove.

Dato un fattore di sconto $\gamma = 0.95$, i valori ottimali razionali sono $V^*(S_0|\tau_{steady}) \approx 16.05$ e $V^*(S_0|\tau_{peak}) \approx 12.81$. Gli autori hanno valutato le stime del valore utilizzando una rete neurale con uno strato nascosto di 16 unità ReLU. L'addestramento è stato condotto su 1.000 episodi utilizzando una policy di comportamento uniforme e la Discesa del Gradiente Stocastico (SGD) con un tasso di apprendimento fisso. La funzione di perdita ha utilizzato l'equivalente forward-view della traccia di eleggibilità basata sul gradiente:
$$\mathcal{L}(\theta) = \sum_{t=0}^{T-1} \lambda^t (V_\theta(s_t) - [r_t + \gamma V_\theta(s_{t+1})])^2$$
Lo studio ha confrontato le prestazioni di SGD a step-size fissa rispetto agli ottimizzatori adattivi (specificamente RMSprop) attraverso diverse profondità di traccia ($\lambda$).

Risultati Chiave
Gli esperimenti hanno rivelato una sovrastima sistematica del valore della traiettoria "Peak" ($V(S_0|\tau_{peak})$) quando si utilizza SGD con profondità di traccia intermedie ($0.15 < \lambda < 0.50$). In questa "Zona di Irrazionalità", la stima del valore del percorso inferiore ha superato erroneamente quella del percorso superiore "Steady", causando la preferenza dell'agente per la traiettoria sub-ottimale.

Al contrario, quando lo stesso setup è stato addestrato utilizzando l'ottimizzatore adattivo RMSprop, questo bias è stato mitigato e l'agente ha identificato correttamente il percorso "Steady" come ottimale. I risultati dimostrano che il bias non è inerente al meccanismo di traccia stesso, ma è un artefatto specifico di come gli ottimizzatori a step-size fissa gestiscono la varianza introdotta da ricompense ad alta magnitudo in un sistema neurale distribuito.

Spiegazione Meccanicistica
Il documento fornisce una spiegazione meccanicistica per il TMPB:

• Shock di Gradiente: Ricompense ad alta magnitudo generano grandi errori di Differenza Temporale (TD) ($\delta_t$). In presenza di tracce di eleggibilità, questi errori vengono propagati all'indietro nel tempo, creando "shock di gradiente" ($\Delta\theta_t = \alpha \delta_t z_t$).
• Mancanza di Normalizzazione: In SGD a step-size fissa, lo spostamento dei parametri è direttamente proporzionale alla magnitudo della ricompensa. Di conseguenza, un singolo aggiornamento di picco può riconfigurare in modo sproporzionato i pesi condivisi, "dirottando" efficacemente il manifold neurale e superando la somma integrata degli aggiornamenti costanti di minore magnitudo.
• Mitigazione Adattiva: Gli ottimizzatori adattivi come RMSprop scalano gli aggiornamenti tramite l'inverso del secondo momento dei gradienti. Questa normalizzazione attenua l'impatto degli outlier ad alta varianza (le ricompense di picco), impedendo agli shock di gradiente di distorcere la stima globale del valore.

Significatività e Contributi
Il documento apporta tre contributi primari:

1. Identificazione del TMPB: Identifica e definisce formalmente il Trace-Mediated Peak Bias come un modo di fallimento sistematico nel deep RL, in cui gli agenti mostrano preferenze "irrazionali" per traiettorie ad alta salienza ma a ricompensa cumulativa inferiore.
2. Parallelo Computazionale ai Bias Cognitivi: Dimostra che il TMPB funge da diretto parallelo computazionale della Regola del Picco-Fine psicologica. Ciò suggerisce che certe "irrazionalità" umane possano essere proprietà emergenti dei vincoli matematici dell'assegnazione del credito in sistemi distribuiti, piuttosto che puramente euristiche biologiche.
3. Necessità Teorica dell'Ottimizzazione Adattiva: Gli autori sostengono che l'ottimizzazione adattiva sia una necessità teorica per una stima razionale del valore in sistemi non lineari. Senza la normalizzazione basata sulla varianza, i sistemi che utilizzano rappresentazioni distribuite e assegnazione del credito di tipo traccia sono strutturalmente soggetti a distorsioni di salienza.

Conclusione
Il lavoro inquadra il rapporto tra psicologia cognitiva e reinforcement learning. Mentre il RL ha storicamente tratto ispirazione dalla psicologia, questo articolo pone che le patologie matematiche del moderno deep RL offrono ora un linguaggio rigoroso per spiegare le "irrazionalità" umane. I risultati suggeriscono che le distorsioni di salienza umane possano riflettere una dipendenza biologica da aggiornamenti basati sul gradiente semplici che mancano della sofisticata normalizzazione presente nei sistemi artificiali adattivi. Per lo sviluppo dell'IA, ciò evidenzia che le architetture neurali "simili all'uomo" ereditano naturalmente vulnerabilità simili all'uomo, rendendo la scelta dell'ottimizzatore una questione teorica fondamentale piuttosto che un mero compito di tuning degli iperparametri.