Proximal Policy Optimization with Evolutionary Mutations

Sintesi Tecnica: Proximal Policy Optimization con Mutazioni Evolutive (POEM)

Definizione del Problema
Gli algoritmi di Reinforcement Learning (RL), in particolare il Proximal Policy Optimization (PPO), affrontano spesso una sfida critica nel bilanciare esplorazione e sfruttamento. Sebbene il PPO sia rinomato per la sua stabilità e l'efficienza campionaria, la sua dipendenza da aggiornamenti della policy piccoli e incrementali può portare a una convergenza prematura in ottimi locali. Questo problema è esacerbato in ambienti con strutture di ricompensa inefficaci, dove il meccanismo standard del PPO — che utilizza la divergenza di Kullback–Leibler (KL) per limitare i cambiamenti della policy — può involontariamente sopprimere l'esplorazione necessaria. Il risultato è la "stagnazione della policy", in cui il modello si assesta su una policy subottimale invece di scoprire attivamente comportamenti migliori.

Metodologia
Per affrontare questo problema, gli autori propongono POEM (Proximal Policy Optimization with Evolutionary Mutations), una nuova modifica che integra un meccanismo di esplorazione adattiva ispirato agli algoritmi evolutivi. L'innovazione principale risiede nel monitoraggio della diversità della policy nel tempo per innescare l'esplorazione quando la policy diventa troppo prevedibile.

L'algoritmo POEM opera attraverso i seguenti meccani:

1. Monitoraggio della Diversità: POEM mantiene una media mobile esponenziale dei parametri della policy passati ($\hat{\theta}$). Calcola la divergenza KL tra la policy corrente ($\pi_\theta$) e questa politica di riferimento a media mobile ($\pi_{\hat{\theta}}$).
2. Trigger Adattivo: L'algoritmo traccia questa divergenza ($d_{post}$) dopo gli aggiornamenti standard del PPO. Se la divergenza scende al di sotto di una soglia predefinita ($\delta$), ciò indica che la policy è stagnata o è diventata troppo simile alla sua storia recente.
3. Mutazione Evolutiva: Al verificarsi del trigger, POEM esegue una mutazione adattiva dei parametri della policy. Il rumore di mutazione è campionato da una distribuzione Gaussiana con una deviazione standard ($\sigma$) che scala inversamente con la metrica di diversità (ovvero, una minore diversità comporta una maggiore varianza di mutazione).
   • La politica mutata candidata ($\theta'$) viene valutata rispetto alla funzione di perdita totale, che include lo standard PPO clipped surrogate loss, la loss della funzione di valore, il bonus di entropia e un termine di bonus di diversità pesato da $\lambda_{div}$.
   • La mutazione è accettata solo se produce una perdita totale inferiore rispetto alla policy corrente.
4. Implementazione: Il sistema è stato implementato utilizzando il framework Stable-Baselines3 e PyTorch. Gli iperparametri sono stati ottimizzati tramite Optuna (Tree-structured Parzen Estimator) per garantire un confronto equo con il PPO standard in tutti gli ambienti.

Configurazione Sperimentale
Gli autori hanno valutato POEM rispetto al PPO standard su quattro ambienti OpenAI Gym:

• CarRacing (v0): Un compito di controllo continuo utilizzando frame in scala di grigi impilati.
• MountainCar (v0): Un ambiente a ricompensa sparsa che richiede l'accumulo di quantità di moto.
• BipedalWalker (v3): Un compito di locomozione complesso con ricompense di progresso in avanti continuo.
• LunarLander (v2): Modificato per includere una meccanica del carburante (600 unità) per imporre un processo decisionale consapevole delle risorse.

La valutazione ha previsto 10 sessioni di addestramento indipendenti per ogni algoritmo per ambiente, seguite da 15 episodi deterministici di valutazione. La significatività statistica è stata valutata tramite il t-test di Welch.

Risultati Chiave
POEM ha dimostrato miglioramenti statisticamente significativi rispetto al PPO standard in tre dei quattro ambienti:

• CarRacing: POEM ha ottenuto una ricompensa media di 640.01 rispetto a -610.83 del PPO. La differenza era altamente significativa ($t = -6.3987, p = 0.0002$). POEM ha navigato la pista in modo affidabile, mentre il PPO ha spesso fallito nel completare gli episodi.
• MountainCar: POEM ha ottenuto una ricompensa media di 93.52 rispetto a -311.75 del PPO ($t = -6.2431, p < 0.0001$). POEM è riuscito a uscire dalla valle e raggiungere l'obiettivo, mentre il PPO spesso si è bloccato o è andato in timeout.
• BipedalWalker: POEM ha superato il PPO con una ricompensa media di 180.58 rispetto a 62.43 ($t = -2.0642, p = 0.0495$). POEM ha prodotto traiettorie più fluide e un tasso di successo più elevato (12/15 completamenti rispetto a 7/15 per il PPO).
• LunarLander: Sebbene POEM abbia ottenuto una ricompensa media più alta (242.10 rispetto a 210.94), la differenza non era statisticamente significativa ($t = -1.8707, p = 0.0778$). Gli autori osservano che POEM ha adottato una strategia di discesa rapida iniziale seguita da un affinamento, mentre il PPO ha fluttuato ad altitudini elevate, una strategia che occasionalmente ha portato a un esaurimento catastrofico del carburante.

Significatività e Rivendicazioni
Il paper sostiene che l'integrazione di principi evolutivi nei metodi di policy gradient offre una soluzione valida al compromesso tra esplorazione e sfruttamento. Utilizzando la divergenza KL come metrica di "novità" per innescare mutazioni adattive, POEM riesce efficacementamente a sfuggire agli ottimi locali senza sacrificare la stabilità intrinseca del PPO. I risultati suggeriscono che questo approccio guidato dalla diversità permette agli agenti di apprendere policy più robuste in ambienti caratterizzati da ricompense sia sparse che dense.

Gli autori concludono che, sebbene POEM eguagli il PPO su LunarLander, la sua capacità di superare significativamente il PPO su CarRacing, MountainCar e BipedalWalker convalida l'ipotesi che mutazioni adattive, innescate dalla diversità, possano sbloccare un'esplorazione aggiuntiva. Il lavoro futuro proposto dagli autori include il test di POEM in ambienti con spazi di azione discreti, la scalabilità ad applicazioni reali ad alta dimensionalità e il benchmarking rispetto ad altre varianti contemporanee di PPO, come quelle potenziate da moduli di curiosità intrinseca.