Sintesi Tecnica: Stabilizzazione dei Metodi di Policy Gradient tramite il Reward Profiling

Problema

I metodi di Policy Gradient (PG) sono un pilastro del reinforcement learning (RL), offrendo un framework diretto per l'ottimizzazione di policy parametrizzate in contesti di controllo continuo e ad alta dimensionalità. Tuttavia, questi metodi soffrono frequentemente di un elevato varianza nelle stime del gradiente. Piccole fluttuazioni stocastiche nei premi delle prime fasi (early-episode rewards) possono propagarsi attraverso gli stimatori Monte Carlo (ad esempio, in REINFORCE), portando ad aggiornamenti erratici, convergenza lenta e occasionali crolli catastrofici delle prestazioni.

Le tecniche di riduzione della varianza esistenti introducono spesso svantaggi significativi:

• Tuning specifico per l'algoritmo: Metodi come i baseline o la normalizzazione dell'advantage richiedono regolazioni specifiche per il problema.
• Overhead computazionale: I metodi a regione di fiducia (come TRPO) si affidano a costosi solver del secondo ordine o calcoli dell'Hessiana.
• Complessità: Gli algoritmi actor-critic off-policy (ad esempio, DDPG, TD3) richiedono spesso una cauta regolarizzazione per prevenire aggiornamenti divergenti o stime della Q-value troppo erratiche.

Gli autori pongono una domanda centrale: È possibile ridurre la varianza del PG e stabilizzare l'apprendimento attraverso arbitrari metodi di policy-gradient senza fare affidamento su un tuning specializzato o pesanti macchinari del secondo ordine?

Metodologia: Il Framework di Reward Profiling

Il paper propone un framework universale di reward-profiling che agisce come un "wrapper" attorno a qualsiasi esistente algoritmo PG. La filosofia centrale è semplice: aggiornare selettivamente la policy solo se la versione aggiornata implica una performance migliore.

Poiché la vera funzione di valore $J(\theta)$ è sconosciuta, il framework si affida a confronti ad alta confidenza utilizzando stime empiriche del rendimento (return). Il framework opera campionando un piccolo numero di rollout aggiuntivi ($E$) per valutare le candidate policy prima di impegnare un aggiornamento. Introduce tre varianti specifiche:

1. Lookback (LB):

   • Confronta la policy corrente $\pi_{old}$ con la nuova policy proposta $\pi_{new}$.
   • Aggiorna la policy solo se il rendimento empirico $\hat{J}(\pi_{new}) \geq \hat{J}(\pi_{old})$.
   • Altrimenti, l'aggiornamento viene rifiutato e l'agente mantiene la vecchia policy. Questo funge da ricerca lineare (line search) di backtracking nello spazio delle policy.

2. Mix-up (MU):

   • Affronta il rischio di rimanere bloccati a causa di stime rumorose che mascherano miglioramenti reali.
   • Introduce una policy intermedia $\pi_{mix}$ definita da una combinazione convessa dei parametri: $\theta_{mix} = \lambda \theta_{new} + (1-\lambda) \theta_{old}$.
   • Seleziona la policy con le prestazioni migliori tra $\pi_{old}$ e $\pi_{mix}$. Questa funzione agisce come una "regione di fiducia economica" (cheap trust region) senza richiedere calcoli dell'Hessiana o vincoli KL.

3. Three-Points (TP):

   • Unifica gli approcci precedenti valutando tre candidati: $\theta_{old}$, $\theta_{new}$ e $\theta_{mix}$.
   • Seleziona l'insieme di parametri che produce il rendimento empirico più elevato.
   • È progettato per accelerare la convergenza mantenendo la stabilità e fornendo spazio per l'esplorazione.

Integrazione Algoritmica:
Il framework (Algoritmo 1) avvolge qualsiasi metodo PG del primo ordine. Richiede $O(\epsilon^{-2} \ln(T/\delta))$ rollout aggiuntivi per iterazione per garantire confronti ad alta confidenza, ma non altera la logica di aggiornamento principale dell'ottimizzatore sottostante (ad esempio, DDPG, TRPO, PPO).

Contributi Teorici

Gli autori forniscono garanzie teoriche riguardanti la convergenza e la stabilità del framework:

• Monotonicità: Sotto la regola Lookback, con un numero sufficiente di campioni di valutazione ($E$), il framework assicura che gli aggiornamenti accettati producano veri miglioramenti delle prestazioni con alta probabilità ($1-\delta$). Nello specifico, $J(\pi_{t+1}) \geq J(\pi_t) - 2\epsilon$.
• Tasso di Convergenza: Applicato a REINFORCE, il framework converge a una policy quasi ottimale con un tasso di $O(T^{-1/4})$. Questo tasso è comparabile agli algoritmi actor-critic stocastici, dimostrando che l'overhead di profiling non rallenta significativamente la convergenza.
• Ottimalità Globale: Sotto standard assunzioni di smoothness e proprietà di gradiente dominante, il framework converge a un punto stazionario, implicando l'ottimalità globale per la policy appresa.
• Gestione del Bias: L'analisi si estende ai casi con bias (comuni negli algoritmi actor-critic dove i critici sono approssimati), mostrando la convergenza finché il bias nella stima del valore è limitato e diminuisce sufficientemente nel tempo.

Risultati Empirici

Il framework è stato valutato su otto benchmark di controllo continuo (suite Box2D e MuJoCo/PyBullet) utilizzando tre algoritmi rappresentativi: DDPG, TRPO e PPO.

• Velocità di Convergenza: L'approccio di profiling ha prodotto una convergenza fino a 1,5 volte più veloce verso rendimenti quasi ottimali in diverse configurazioni.
• Riduzione della Varianza: Ha ottenuto una riduzione della varianza del rendimento fino a 1,75 volte in configurazioni specifiche, stabilizzando significativamente le curve di apprendimento.
• Performance in Ambienti Specifici:
  • CarRacing: Ha trasformato fallimenti catastrofici (rendimenti negativi dovuti allo schianto) in policy vitali con rendimenti positivi sia per TRPO che per PPO.
  • BipedalWalker: Ha migliorato le prestazioni di DDPG da $-116,1$a$-47,0$ (rendimento medio).
  • Ant: DDPG con Mix-up ha mostrato una convergenza anticipata, mentre la variante Three-Points ha ridotto la varianza dell'11%.
  • Unity ML-Agents (Reacher): In un compito multi-robot con 20 braccia parallele, la variante Three-Points ha dimostrato un apprendimento sostanzialmente più stabile e una convergenza più rapida rispetto al vanilla DDPG, validando l'approccio in una simulazione complessa e realistica.

Significato e Rivendicazioni

Il paper sostiene che il Reward Profiling offre una via generale e teoricamente fondata per un apprendimento delle policy più affidabile ed efficiente. La sua importanza primaria risiede nella sua:

1. Universalità: È un wrapper plug-in applicabile a qualsiasi metodo PG (on-policy o off-policy) senza richiedere baseline specifiche per il problema o tuning degli iperparametri.
2. Semplicità vs Stabilità: Ottiene una stabilità comparabile ai complessi metodi a regione di fiducia (come TRPO), ma utilizza solo aggiornamenti del primo ordine e un overhead computazionale minimo (riutilizzando i campioni per la valutazione).
3. Robustezza: Mitiga efficacemente il "collasso catastrofico" spesso visto nei metodi PG vanilla, in particolare in ambienti ad alta dimensionalità o a ricompensa sparsa.

Gli autori concludono che, sebbene il framework comporti un modesto costo computazionale (circa un aumento del 20% del tempo di esecuzione wall-clock nei loro esperimenti), il compromesso è favorevole per ottenere miglioramenti monotoni e stabili, rendendolo adatto all'implementazione fisica dove un comportamento di apprendimento prevedibile è critico.