Evolutionary Bilevel Reward Shaping for Generalization in Reinforcement Learning

Sintesi Tecnica: Evoluzione della Modellazione della Ricompensa a Livelli per la Generalizzazione nel Reinforcement Learning

Formulazione del Problema
Questo articolo affronta il divario di generalizzazione nel Deep Reinforcement Learning (RL), in cui le policy addestrate su ambienti limitati falliscono nel performare in ambienti di test non visti con dinamiche differenti (ad esempio, diverse probabilità di transizione). Gli autori si concentrano su uno scenario specifico e vincolato, comune in contesti di preservazione della privacy o ristretti:

• Ambienti di Addestramento ($M_{train}$): Un piccolo set fisso di ambienti dove le traiettorie complete stato-azione sono osservabili.
• Ambienti di Validazione ($M_{val}$): Un set più ampio di ambienti in cui sono disponibili solo metriche di performance scalari (ricompense cumulative non scontate). Le traiettorie complete sono inaccessibili, impedendo il calcolo dei gradienti della policy o delle tecniche standard di Domain Randomization (DR) che si basano su dati di traiettoria diversificati.
• Obiettivo: Massimizzare la performance di generalizzazione ($J_{gen}$) su ambienti di test non visti, utilizzando il feedback scalare limitato dagli ambienti di validazione per guidare l'addestramento sugli ambienti di addestramento accessibili.

Metodologia: Generalizzazione tramite Evoluzione della Modellazione della Ricompensa (GERS)
Gli autori propongono GERS, un framework di ottimizzazione a due livelli (bilevel) progettato per modellare automaticamente la funzione di ricompensa per migliorare la generalizzazione senza accedere alle traiettorie di validazione.

1. Formulazione a Due Livelli (Bilevel):

   • Livello Inferiore (Ottimizzazione della Policy): Un agente RL (utilizzando Proximal Policy Optimization, PPO) apprende una policy $\pi_\theta$ sugli ambienti di addestramento ($M_{train}$) utilizzando una funzione di ricompensa modellata $\hat{r}_\nu$. L'obiettivo è massimizzare il ritorno scontato sui dati di addestramento: $\theta^*(\nu) = \arg\max_\theta \hat{J}_{train}(\pi_\theta; \nu)$.
   • Livello Superiore (Ottimizzazione della Modellazione della Ricompensa): Una strategia evolutiva (Covariance Matrix Adaptation Evolution Strategy, CMA-ES) ottimizza i parametri di modellazione della ricompensa $\nu$. L'obiettivo è massimizzare la ricompensa non modellata ottenuta dalla policy di livello inferiore sugli ambienti di validazione: $\max_\nu J_{val}(\pi_{\theta^*(\nu)})$.
   • La ricompensa modellata è definita linearmente: $\hat{r}_\nu(s, a) = r(s, a) + \langle \nu, \phi(s, a) \rangle$, dove $\phi(s, a)$ concatena i vettori stato e azione.

2. Implementazione Algoritmica:

   • Pre-addestramento: Un agente PPO viene prima pre-addestrato sulla funzione di ricompensa originale per fornire un'inizializzazione robusta.
   • Ricerca Evolutiva: CMA-ES campiona candidati parametri di ricompensa $\nu$. Per ogni candidato, l'agente PPO viene perfezionato (utilizzando la policy pre-addestrata come punto di partenza) sugli ambienti di addestramento con la ricompensa modellata.
   • Valutazione: Le policy risultanti vengono valutate sugli ambienti di validazione per ottenere punteggi scalari. Questi punteggi guidano l'aggiornamento di CMA-ES.
   • Efficienza: Per ridurre il costo computazionale, il metodo impiega la condivisione dei parametri (ereditando sia le reti Actor che Critic) dal modello pre-addestrato e utilizza la valutazione parallela dei candidati CMA-ES.

Contributi Chiave

• Scenario Novellare: L'articolo formalizza e affronta la sfida della generalizzazione nell'RL in cui gli ambienti di validazione sono "black box" che forniscono solo ritorni scalari, un vincolo spesso ignorato dai metodi standard di Domain Randomization (DR) o Procedural Content Generation (PCG).
• Framework a Due Livelli: Introduce un approccio di ottimizzazione a due livelli che separa l'apprendimento della policy (livello inferiore) dal design della funzione di ricompensa (livello superiore), utilizzando strategie evolutive per colmare il divario tra la performance di addestramento e quella di validazione.
• Efficienza dei Dati: Il metodo dimostra che è possibile ottenere un'alta generalizzazione senza accedere alle traiettorie negli ambienti di validazione, affidandosi esclusivamente al feedback scalare per guidare la modellazione della ricompensa.

Risultati Sperimentali
Gli autori hanno valutato GERS su quattro compiti di controllo continuo MuJoCo (InvertedPendulum, Hopper, HalfCheetah, Ant) con parametri fisici variabili (ad esempio, massa, attrito, gravità).

• Confronto con Baseline: Un PPO standard addestrato su un singolo ambiente ha mostrato un significativo overfitting, ottenendo ricompense di addestramento elevate ma una scarsa performance sugli ambienti di test non visti.
• Performance di GERS: GERS ha superato significativamente la baseline standard PPO in tutti i compiti, raggiungendo una performance di generalizzazione comparabile alla performance di addestramento in diversi casi (ad esempio, InvertedPendulum).
• Confronto con Domain Randomization (DR):
  • GERS è stato confrontato con una baseline DR che utilizzava lo stesso set di ambienti come dati di addestramento (con accesso completo alle traiettorie).
  • Sebbene DR abbia performato meglio nei compiti complessi (HalfCheetah, Ant), GERS ha superato DR nei compiti più semplici (InvertedPendulum, Hopper).
  • Fondamentalmente, GERS ha ottenuto una robustezza competitiva rispetto a DR nonostante operasse sotto vincoli informativi molto più stretti (nessun accesso alle traiettorie negli ambienti di validazione).
• Analisi Out-of-Distribution (OOD): Le valutazioni tramite heatmap hanno mostrato che GERS mantiene una forte robustezza quando un parametro fisico viene spinto in regioni OOD estreme, sebbene la performance cali quando più parametri sono simultaneamente estremi.

Significatività e Rivendicazioni
L'articolo sostiene che GERS migliora efficacementamente la generalizzazione dell'RL sotto vincoli di accesso ai dati limitati. La sua importanza primaria risiede nel dimostrare che la modellazione della ricompensa ottimizzata tramite strategie evolutive sul feedback scalare di validazione può servire come un'alternativa valida al Domain Randomization quando i dati di traiettoria non sono disponibili. Gli autori sostengono che questo approccio sia particolarmente rilevante per applicazioni del mondo reale come l'automated red teaming o i deployment sensibili alla privacy, dove gli sviluppatori possono osservare gli esiti delle performance ma non possono accedere alle transizioni di stato interne dei sistemi target.

Limitazioni Riconosciute
Gli autori notano modestamente alcune limitazioni:

• La valutazione è limitata a compiti di controllo continuo con ricompensa densa; l'applicabilità a problemi con ricompensa sparsa non è verificata.
• Gli elevati costi computazionali hanno limitato il numero di prove indipendenti, influenzando la potenza statistica.
• Il guadagno di performance è una combinazione di modellazione della ricompensa e selezione della migliore policy da molti run stocastici; un'analisi di ablazione per isolare il contributo specifico della modellazione della ricompensa è necessaria.
• Il CMA-ES di livello superiore non è arrivato alla piena convergenza in tutti gli esperimenti, suggerendo la necessità di varianti aware del rumore per il lavoro futuro.