Robust Adversarial Policy Optimization Under Dynamics Uncertainty

1. Il Problema: Incertezza Dinamica e Fallimenti del RL

L'apprendimento per rinforzo (RL) ha ottenuto successi significativi, ma il suo dispiegamento nel mondo reale è spesso limitato dal mismatch dinamico (differenze tra la simulazione di addestramento e la realtà). Le politiche addestrate in ambienti nominali tendono a fallire quando trasferite su sistemi reali a causa di incertezze aleatorie (rumore intrinseco) ed epistemiche (mancanza di conoscenza del modello).
I metodi esistenti presentano limiti:

• Domain Randomization (DR): Campiona parametri uniformemente, trattando tutte le perturbazioni come ugualmente probabili, il che porta spesso a politiche eccessivamente conservative o inefficienti.
• RL Avversario (Adversarial RL): Cerca di minimizzare il ritorno tramite un agente avversario, ma spesso manca di fondamenti distribuzionali, portando a instabilità, oscillazioni e robustezza locale limitata.
• RL Robusto Distribuzionale (DRRL): Offre garanzie formali ma richiede la risoluzione di problemi primali intrattabili o l'uso di avversari surrogati che lasciano "punti ciechi" (blind spots), causando instabilità o conservatorismo eccessivo.

L'obiettivo è progettare algoritmi RL che siano robusti all'incertezza dinamica senza collassare in conservatorismo o instabilità.

2. Metodologia: RAPO (Robust Adversarial Policy Optimization)

Il paper propone RAPO, un framework che realizza il RL robusto distribuzionale attraverso una formulazione duale che espone direttamente il compromesso tra robustezza e prestazioni. RAPO combina due componenti indipendenti ma complementari:

A. Formulazione Duale e Trade-off

Partendo dai MDP Robusti (RMDP) con un insieme di ambiguità definito da una palla KL (Kullback-Leibler) attorno a un modello nominale, il problema viene convertito in una forma duale. Questo trasforma l'ottimizzazione su distribuzioni infinite in un'ottimizzazione scalare gestibile, controllata da un parametro di "temperatura" inversa ($\eta$).

B. Componente 1: AdvNet (Livello Traiettoria)

Per gestire l'adversarialità a livello di traiettoria senza campionamento esplicito (che è intrattabile in simulatori deterministici):

• Viene introdotto una Rete Avversaria (AdvNet) che approssima il parametro duale ottimale $\eta^*$ (temperatura) direttamente dalle rollout.
• Invece di cercare il minimo "hard" (che violerebbe il vincolo KL), AdvNet predice $\eta$ per creare una distorsione esponenziale (exponential tilting) delle distribuzioni di transizione.
• Questo spinge le rollout verso regioni a basso ritorno (peggiori casi) entro un budget KL, garantendo stabilità e convergenza. L'errore di approssimazione di $\eta$ entra quadraticamente nel valore robusto, preservando la contrazione dell'operatore di Bellman.

C. Componente 2: Ripesatura Boltzmann (Livello Modello)

Per gestire la variabilità globale dei parametri dinamici:

• Viene utilizzato un ensemble di ambienti con parametri fisici variati.
• Invece di campionare uniformemente, RAPO applica una ripesatura Boltzmann sulle distribuzioni dell'ensemble.
• I pesi dei modelli vengono aggiustati per enfatizzare i modelli in cui la politica attuale performa peggio (vulnerabilità), mantenendo la vicinanza a una distribuzione a priori tramite un vincolo KL.
• Questo fornisce una copertura sensibile alla politica delle dinamiche avverse globali.

D. Integrazione

RAPO unisce questi due livelli in un ciclo di ottimizzazione min-max:

1. Livello Traiettoria: AdvNet steers le rollout verso scenari locali sfavorevoli.
2. Livello Modello: La ripesatura Boltzmann seleziona gli ambienti globali più critici.
   I due componenti agiscono indipendentemente ma si completano a vicenda, coprendo sia le fragilità locali che le errate specifiche globali.

3. Contributi Chiave

1. Formulazione Duale Pratica: Trasforma il problema intrattabile del RL robusto in un'ottimizzazione scalare gestibile, evitando i punti ciechi dei metodi primali basati su avversari espliciti.
2. Architettura a Due Livelli: Introduce una struttura innovativa che separa la robustezza a livello di traiettoria (tramite AdvNet) da quella a livello di modello (tramite ripesatura Boltzmann), permettendo una copertura completa dell'incertezza.
3. Garanzie Teoriche: Dimostra che l'operatore di Bellman robusto rimane una contrazione anche con approssimazioni imperfette di $\eta$, e che l'errore di approssimazione ha un impatto quadratico sul valore finale. Viene anche stabilito un limite teorico sul divario tra valore nominale e robusto ($O(\sqrt{\epsilon})$).
4. Scalabilità: Il metodo è compatibile con algoritmi PPO (Proximal Policy Optimization) e gestisce ensemble di modelli in modo efficiente, rendendolo pratico per compiti complessi.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su Walker2d (locomozione) e su un task di tracking di carico sospeso per quadrotor (dinamiche accoppiate e ibride).

• Robustezza OOD (Out-of-Distribution): RAPO supera significativamente le baseline (PPO, PPO+DR, RARL, EPOpt) quando i parametri dinamici (massa, inerzia, attrito, coppia) vengono spostati fuori dal dominio di addestramento. Mentre PPO crolla e RARL è instabile, RAPO mantiene prestazioni elevate.
• Prestazioni ID (In-Distribution): RAPO mantiene prestazioni nel dominio di addestramento paragonabili a PPO, evitando il eccessivo conservatorismo.
• Ablazione: Rimuovere sia AdvNet che la ripesatura Boltzmann porta al collasso più rapido nelle regioni OOD. Entrambi i componenti sono necessari per la massima robustezza.
• Quadrotor Payload: In un compito di tracking con carichi sospesi e disturbi, RAPO ha raggiunto lo 0% di crash (cadute), rispetto al 40% di PPO e al 25% di RARL, con un errore quadratico medio (RMSE) significativamente inferiore.
• Heatmap: Le analisi mostrano che RAPO copre attivamente l'intero spazio dei parametri, alzando il "pavimento" del valore (value floor) anche nelle regioni estreme, a differenza dei metodi che lasciano "punti ciechi".

5. Significato e Implicazioni

Il lavoro di Kim e Sreenath colma il divario tra teoria e pratica nel RL robusto.

• Teoria-Pratica: Fornisce un'implementazione scalabile di un framework teorico complesso (RMDP con vincoli KL), dimostrando che la robustezza distribuzionale può essere ottenuta senza sacrificare l'efficienza computazionale o la stabilità.
• Sicurezza: Offre un approccio promettente per applicazioni critiche (robotica, guida autonoma, finanza) dove i fallimenti sono inaccettabili.
• Generalizzazione: Dimostra che la combinazione di distorsione esponenziale locale e ripesatura globale permette agli agenti di adattarsi a perturbazioni inedite senza riaddestramento.

In sintesi, RAPO rappresenta un avanzamento significativo verso politiche RL che sono non solo performanti, ma intrinsecamente resilienti alle incertezze del mondo reale.