K-Score: Kalman Filter as a Principled Alternative to Reward Normalization in Reinforcement Learning

Riassunto Tecnico: K-Score

1. Il Problema: Instabilità e Non-Stazionarietà

Nelle tecniche di Policy Gradient (come PPO o REINFORCE), la varianza elevata dei rendimenti (returns) è una sfida critica che causa aggiornamenti del gradiente rumorosi, scarsa efficienza campionaria e instabilità nell'apprendimento.

Per mitigare questo problema, la pratica comune è la normalizzazione dei premi (reward normalization) tramite Z-score (media e deviazione standard mobile). Tuttavia, gli autori identificano tre limiti fondamentali in questo approccio euristico:

• Assunzione di stazionarietà: Si assume che la distribuzione dei premi sia costante, ma in RL la politica cambia continuamente, rendendo l'ambiente non-stazionario.
• Sensibilità agli iperparametri: I tassi di decadimento (decay rates) delle medie mobili richiedono un tuning accurato.
• Mancanza di gestione dell'incertezza: Le tecniche standard non modellano esplicitamente il rumore o l'incertezza intrinseca nei segnali di reward.

2. Metodologia: Il Filtro di Kalman come Stimatore Bayesiano

Gli autori propongono di sostituire la normalizzazione euristica con un filtro di Kalman unidimensionale (1D). L'idea centrale è trattare il valore medio del reward come una variabile latente che evolve nel tempo.

Modellazione Matematica:
Il sistema è modellato come un processo stocastico a due fasi:

1. Dinamica del Reward Latente (Process Model): Il valore medio reale $x_t$ evolve come un cammino casuale: $x_t = x_{t-1} + w_t$, dove $w_t \sim \mathcal{N}(0, Q)$ rappresenta il rumore di processo (quanto velocemente può cambiare la media).
2. Osservazione (Observation Model): Il rendimento osservato $G_t$ è una versione rumorosa della media: $G_t = x_t + v_t$, dove $v_t \sim \mathcal{N}(0, R)$ rappresenta il rumore di osservazione.

Il Processo di Aggiornamento:
Il filtro di Kalman esegue ricorsivamente due passaggi:

• Predizione: Stima lo stato futuro e l'incertezza ($P_t$).
• Aggiornamento: Utilizza il Kalman Gain ($K_t$) per bilanciare la predizione precedente e la nuova osservazione. Il guadagno $K_t$ è dinamico: se l'incertezza è alta, il filtro si affida di più alle nuove osservazioni; se il rumore è alto, il filtro "ammorbidisce" (smooth) il segnale.

Normalizzazione K-Score:
Il rendimento normalizzato viene calcolato come:
$$\hat{G}_t = \frac{G_t - x_t}{\sqrt{P_t} + \epsilon}$$
In questo modo, la normalizzazione non usa solo una media mobile, ma una stima della media che integra l'incertezza statistica ($P_t$).

3. Contributi Chiave

• Approccio Principled (Fondato): Passaggio da una normalizzazione euristica a una basata sulla teoria dell'inferenza Bayesiana.
• Adattività Dinamica: A differenza delle medie mobili con decadimento fisso, il filtro di Kalman adatta il peso delle nuove informazioni in base al rapporto tra rumore di processo ($Q$) e rumore di osservazione ($R$).
• Architettura-Agnostica: Il metodo è un modulo "plug-and-play" che non richiede modifiche alle reti neurali della policy e può essere applicato a qualsiasi algoritmo di policy gradient (PPO, Actor-Critic, GAE).
• Variante Adaptive Kalman: Introduzione di un meccanismo per aggiornare dinamicamente il rumore di misura $R_t$ tramite una media mobile dei residui quadrati.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su CartPole-v1 (reward denso) e LunarLander-v2 (reward sparso e ad alta varianza).

• Velocità di Convergenza: In CartPole, l'uso di K-Score ha ridotto drasticamente il numero di episodi necessari per raggiungere la soglia di successo (da 306 con Z-score a soli 77 con K-Score, un miglioramento di circa 3.97x).
• Stabilità: Le curve di apprendimento mostrano una varianza molto minore. Mentre la normalizzazione standard presenta picchi e crolli improvvisi (instabilità), K-Score produce un apprendimento fluido e costante.
• Efficacia in ambienti difficili: In LunarLander, dove il rumore è elevato, K-Score ha dimostrato una capacità superiore di gestire la non-stazionarietà rispetto ai metodi convenzionali.
• Ablazione su $Q$: Lo studio mostra che valori di $Q$ più piccoli (maggiore fiducia nella stima precedente) tendono ad accelerare la convergenza, evitando reazioni eccessive al rumore.

5. Significato e Conclusioni

Il lavoro dimostra che la gestione statistica del segnale di reward è fondamentale quanto l'ottimizzazione della policy stessa. K-Score offre un metodo computazionalmente leggero per rendere l'apprendimento per rinforzo più robusto ai cambiamenti ambientali e al rumore.

La significatività risiede nella capacità di trasformare un problema di "tuning di iperparametri" (decadimento della media) in un problema di "modellazione dell'incertezza", fornendo una base teorica solida per migliorare l'efficienza campionaria in contesti di controllo e robotica.