Lipschitz-Regularized Critics Lead to Policy Robustness Against Transition Dynamics Uncertainty

Riepilogo Tecnico: I Critici Regolarizzati con Lipschitz portano alla Robustezza della Policy contro l'Incertezza delle Dinamiche di Transizione

Definizione del Problema

Le policy di Reinforcement Learning (RL) spesso soffrono di un degrado delle prestazioni quando vengono implementate su hardware reale a causa del divario "sim-to-real". Questo divario nasce da discrepanze tra le dinamiche di transizione simulate e quelle reali, causate da errori di identificazione del sistema e modellazione idealizzata. Sebbene la Randomizzazione del Dominio (Domain Randomization) tenti di mitigare questo problema addestrando attraverso parametri fisici randomizzati, essa spesso fallisce nel generalizzare oltre le distribuzioni predefinite.

Il Robust Reinforcement Learning (Robust RL) affronta questa sfida ottimizzando le prestazioni nel caso peggiore all'interno di un insieme di incertezza. Tuttavia, gli approcci esistenti affrontano due limitazioni primarie:

1. Limitazioni degli SC-MDP (State-Conservative MDP): Metodi come il Gradient Based Regularizer (GBR) approssimano la funzione di valore nel caso peggiore utilizzando espansioni di Taylor del primo ordine. Queste approssimazioni possono essere inaffidabili quando la regione locale è ampia o quando i gradienti della rete di valore non sono regolarizzati. Inoltre, tali metodi mancano di una validazione completa su compiti complessi di controllo robotico nel mondo reale.
2. Regolarizzazione del Critico Sottoutilizzata: Sebbene la regolarizzazione di Lipschitz sia nota per imporre la fluidità (smoothness) nelle reti neurali, il suo effetto indipendente sulla rete del critico all'interno di un framework di robusto RL rimane poco esplorato. Non è chiaro se un critico regolarizzato con Lipschitz possa, da solo, migliorare la robustezza della policy contro l'incertezza delle dinamiche di transizione.

Metodologia: PPO-PGDLC

Gli autori propongono PPO-PGDLC, un framework che integra la Discesa del Gradiente Proiettata (Projected Gradient Descent - PGD) con un Critico regolarizzato con Lipschitz (LC) all'interno dell'algoritmo Proximal Policy Optimization (PPO). Il metodo affronta il problema della Stima del Valore nel Caso Peggiore (Worst-Case Value Estimation - WCVE).

1. Stima del Valore nel Caso Peggiore tramite PGD

Inveve di fare affidamento su approssimazioni del primo ordine (come il GBR) per stimare il valore minimo all'interno di un insieme di incertezza, PPO-PGDLC cerca esplicitamente lo stato avversario.

• Formulazione: Il problema è definito come la ricerca di uno stato $\hat{s}$ all'interno di una palla $L_\infty$-normale $B_{\epsilon, \infty}(s)$ che minimizza la funzione di valore dello stato $V(\hat{s})$.
• Algoritmo: Gli autori impiegano un risolutore PGD iterativo (Algoritmo 1) per trovare questo stato avversario. In ogni step, lo stato viene aggiornato nella direzione del gradiente negativo della funzione di valore e proiettato nuovamente all'interno del set di vincolo. Ciò fornisce un'approssimazione più accurata dell'operatore di Bellman robusto rispetto ai semplici regolarizzatori basati sul gradiente.

2. Critico Regolarizzato con Lipschitz

Per affrontare l'instabilità degli approssimatori di funzione deep e il potenziale' inesattezza dei gradienti in paesaggi non convessi, gli autori impongono la continuità di Lipschitz locale sulla rete del critico.

• Meccanismo: Un termine di penalità basato sulla norma del gradiente viene aggiunto alla funzione di perdita del critico: $L_{new} = L_{ori} + \lambda \cdot ||\nabla_s V(s)||$.
• Razionale: Il lavoro teorico suggerisce che se la ricompensa, la policy e le dinamiche sono Lipschitz continue, anche le funzioni di valore lo sono. Vincolando i gradienti del critico, il metodo impone una fluidità locale, riducendo il "pessimismo" della stima del valore nel caso peggiore e stabilizzando gli aggiornamenti della policy.

3. Integrazione con PPO

Il framework modifica lo stimatore di vantaggio standard di PPO. Invece di utilizzare il valore dello stato successivo nominale, il calcolo del vantaggio utilizza il valore dello stato avversario trovato dal risolutore PGD ($h(s, \epsilon, V)$).

• Vantaggio Modificato: $\hat{A}^h_t$ è calcolato utilizzando gli errori di differenza temporale derivati dai valori nel caso peggiore risolti tramite PGD.
• Funzioni di Perdita:
  • Perdita dell'Attore (Actor Loss): Utilizza il vantaggio modificato $\hat{A}^h_t$ all'interno del consueto obiettivo surrogato troncato (clipped surrogate objective) di PPO.
  • Perdita del Critico (Critic Loss): Combina l'errore residuo standard (adattamento ai premi n-step rewards-to-go) con il termine di regolarizzazione di Lipschitz locale.

Contributi Chiave

1. Framework Novità: L'introduzione di PPO-PGDLC, che combina la ricerca esplicita dello stato avversario (tramite PGD) con la regolarizzazione di Lipschitz del critico, colmando il divario tra i robusti MDP teorici e l'apprendimento pratico actor-critic.
2. Investigazione della Regolarizzazione del Critico: Il documento investiga e valida esplicitamente l'ipotesi che i critici regolarizzati con Lipschitz migliorino la robustezza della policy, un fattore precedentemente poco esplorato nella letteratura SC-MDP.
3. Validazione nel Mondo Reale: A differenza di molti articoli di robust RL limitati alla simulazione, questo lavoro valida l'approccio su un robot quadrupede reale (Unitree Go2), dimostrando il trasferimento sim-to-real senza fine-tuning.

Risultati Sperimentali

Benchmark di Controllo Classico (Cartpole e Ant)

• Metrica di Robustezza: Gli autori introducono la $\rho$-robustezza, misurando la ricompensa media minima all'interno di un "raggio di attacco" $\rho$ su una griglia di parametri fisici perturbati (massa e attrito).
• Risultati:
  • PPO-PGDLC ha ottenuto i valori di $\rho$-robustezza più elevati nella maggior parte dei raggi e dei limiti di incertezza ($\epsilon$) testati rispetto a PPO standard, PPO-GBR e un modello ablativo PPO-PGD (PGD senza LC).
  • Nel compito Ant, PPO-PGDLC è convergito a una ricompensa finale più alta e ha mantenuto prestazioni superiori sotto perturbazioni di massa e attrito.
  • I risultati indicano un compromesso: insiemi di incertezza eccessivamente grandi possono compromettere le prestazioni, ma il critico regolarizzato con Lipschitz aiuta a mitigare tale degrado.

Locomozione Quadrupedale nel Mondo Reale (Unitree Go2)

• Configurazione: Le policy sono state addestrate in simulazione e dispiegate su un robot Unitree Go2 con carichi aggiunti (2kg e 4kg) senza fine-tuning.
• Metriche di Fluidità (Smoothness): Gli autori hanno valutato la Fluidità dell'Azione (AS), il Rapporto di Fluttuazione del Secondo Ordine (SFR) e l'Errore di Tracciamento della Velocità (VTE).
  • PPO-PGDLC ha dimostrato costanti di Lipschitz locali (LLC) significativamente inferiori per le reti del critico (fino al 96,6% di riduzione) e dell'attore rispetto al PPO standard.
  • In fase di deployment, PPO-PGDLC ha prodotto azioni più fluide (AS e SFR inferiori) e un tracciamento della velocità comparabile o migliorato sotto carichi variabili rispetto al PPO standard.
  • Specificità del Compito: Il peso di regolarizzazione ottimale ($\lambda$) variava in base al passo (es. $\lambda=10^{-3}$ per il bounding vs $\lambda=5 \times 10^{-5}$ per il trot), suggerendo che il livello ideale di smoothing del critico dipende dal compito.

Significato e Rivendicazioni

Il documento afferma che PPO-PGDLC offre una formulazione principiata e computazionalmente trattabile per il robust RL. La sua importanza primaria risiede nel dimostrare che la fluidità del critico è un fattore critico, sebbene precedentemente sottoutilizzato, per ottenere la robustezza della policy.

Combinando la ricerca esplicita dello stato avversario con i vincoli di gradiente sul critico, il metodo produce policy che non solo sono più robuste all'incertezza delle dinamiche di transizione, ma generano anche azioni più fluide e stabili nell'hardware reale. Gli autori concludono che il loro approccio fornisce nuove intuizioni su come la regolarizzazione del critico contribuisca a un trasferimento sim-to-real affidabile, offrendo un'alternaiva valida alla randomizzazione del dominio per compiti in cui le perturbazioni ambientali derivano da fonti che vanno oltre le distribuzioni predefinite.