Sintesi Tecnica: Growing Policy Optimization (GPO) per la Locomozione di Robot Legati

1. Definizione del Problema

L'addestramento di policy di apprendimento per rinforzo (RL) per robot legati, in particolare sotto controllo basato su coppia (torque-based control), affronta sfide significative dovute agli spazi di azione continui ad alta dimensionalità, ai severi vincoli hardware e alla difficoltà di esplorazione. Mentre i metodi esistenti che utilizzano il controllo basato su posizione spesso hanno successo attraverso euristiche specifiche per l'ambiente (ad esempio, reward shaping, curriculum learning e inizializzazione manuale), essi faticano con il controllo basato su coppia. Nel controllo di coppia, le azioni sono mappate direttamente sulle coppie dei giunti, creando un forte accoppiamento e requisiti di stabilità stringenti.

Il problema centrale identificato è che i metodi standard di policy gradient, come il Proximal Policy Optimization (PPO), assumono implicitamente uno spazio di azione fisso durante tutto l'addestramento. Questo design costringe la policy a esplorare l'intero spazio di azione ad alta varianza fin dall'inizio. Di conseguenza, l'addestramento nelle fasi iniziali soffre di:

• Alta varianza del gradiente e paesaggi di ottimizzazione instabili.
• Difficoltà nel apprendere comportamenti di controllo affidabili e a bassa ampiezza prima di convergere verso una policy ottimale.
• Raccolta dati inefficiente a causa del rischio di destabilizzare il robot durante l'esplorazione.

Le attuali pratiche ingegneristiche spesso limitano manualmente i limiti di azione nelle prime fasi dell'addestramento e li rilassano successivamente, ma non esiste un framework principato che tratti l'evoluzione dello spazio di azione come parte integrante dell'algoritmo di apprendimento, né esiste un'analisi teorica chiara del suo impatto sulle proprietà di ottimizzazione.

2. Metodologia: Growing Policy Optimization (GPO)

Gli autori propongono la Growing Policy Optimization (GPO), un framework che applica una trasformazione dell'azione variabile nel tempo per restringere lo spazio di azione effettivo durante le prime fasi dell'addestramento e ampliarlo progressivamente.

Meccanismo Core

GPO introduce una trasformazione fluida e dipendente dal tempo che mappa l'output dell'azione latente della policy ($a$) in un'azione eseguibile ($\tilde{a}$):
$$\tilde{a} = \beta_t \tanh\left(\frac{a}{\beta_t}\right)$$
Qui, $\beta_t = a_{limit} f(t)$ è una funzione di crescita monotona del passo di addestramento $t$, dove $\lim_{t \to \infty} f(t) = 1$.

• Fase Iniziale: $\beta_t$ è piccolo, restringendo lo spazio di azione effettivo. La trasformazione opera in un regime quasi lineare per azioni piccole, permettendo all'agente di apprendere comportamenti stabili e a bassa ampiezza con ridotto rumore del gradiente.
• Fase Avanzata: Man mano che $\beta_t$ aumenta, lo spazio di azione effettivo si espande, sbloccando una maggiore autorità di controllo e consentendo un'esplorazione più ampia per raggiungere rendimenti attesi più elevati.
• Saturazione: Per azioni di grande magnitudo, l'output satura fluidamente al limite hardware ($\pm a_{limit}$), funzionando in modo equivalente al clipping rigido ma preservando la differenziabilità.

Garanzie Teoriche

Il documento fornisce un'analisi teorica che dimostra come GPO mantenga la stabilità del PPO standard migliorando al contempo la dinamica di ottimizzazione:

1. Equivalenza di Aggiornamento: Il rapporto di campionamento dell'importanza sotto GPO è strutturalmente identico al PPO ($r^{GPO}_t = r^{PPO}_t$), il che significa che l'obiettivo surrogato con clipping rimane invariato fino a un cambio di variabili.
2. Gradiente Distorto Limitato: La differenza tra i gradienti GPO e i gradienti PPO standard è limitata e diminuisce monotonicamente all'aumentare di $\beta_t$. Ciò assicura che la trasformazione introduca solo una distorsione del gradiente evanescente.
3. Dinamiche di Ottimizzazione:
   • Fase Iniziale: Restringendo lo spazio di azione, GPO riduce la varianza dello stimatore del gradiente della policy (che scala quadraticamente con $\beta_t$). Ciò aumenta il Rapporto Segnale-Rumore (SNR), portando a una convergenza locale più veloce e a un limite inferiore più stretto sul rendimento atteso nelle fasi iniziali.
   • Fase Avanzata: L'espansione graduale assicura che l'errore di parametro a regime non sia peggiore di (e potenzialmente migliore di) un baseline a intervallo fisso, consentendo prestazioni asintotiche migliorate.

3. Contributi Chiave

• Nuovo Framework: Introduzione di GPO, che modella esplicitamente l'evoluzione dello spazio di azione effettivo come una componente dell'algoritmo di RL piuttosto che come un'euristica ingegneristica statica.
• Analisi Teorica: Dimostrazione che la trasformazione variabile nel tempo preserva la struttura di aggiornamento di PPO e introduce solo una distorsione del gradiente limitata ed evanescente, garantendo un addestramento stabile.
• Miglioramenti delle Prestazioni: Dimostrazione che GPO ottiene una convergenza iniziale più veloce e rendimenti asintotici più elevati rispetto ai baseline a spazio di azione fisso, specificamente nel difficile dominio del controllo basato su coppia.
• Generalizzabilità: Validazione del framework attraverso diversi morfismi robotici (quadrupedi ed esapodi) e compiti di controllo (locomozione e controllo del corpo intero) senza richiedere reward shaping specifici per il task o prior di andatura.

4. Risultati Sperimentali

Gli autori hanno valutato GPO su robot quadrupedi ed esapodi sia in simulazione che in implementazione hardware nel mondo reale.

Risultati di Simulazione

• Funzioni di Crescita: I confronti tra l'assenza di crescita (PPO), la crescita lineare, sigmoidea e la funzione di Gompertz hanno mostrato che la funzione di Gompertz (crescita iniziale lenta seguita da un'espansione accelerata) ha prodotto le migliori prestazioni. Ha fornito il miglioramento più rapido del reward e l'apprendimento più stabile.
• Prestazioni di Tracking: Le policy addestrate con GPO hanno dimostrato errori di tracciamento significativamente inferiori per i comandi di velocità e posa del corpo rispetto a PPO. Ad esempio, PPO non riusciva a tracciare efficacemente le velocità nella direzione x, mentre GPO manteneva un'aderenza stretta.
• Emergenza dell'Andatura: Le policy GPO hanno esibito coppie e velocità dei giunti più periodiche e coordinate. Al contrario, le policy PPO spesso risultavano in comportamenti erratici e allocazione degenerata del supporto (ad esempio, eccessiva dipendenza da specifiche zampe), mentre GPO ha facilitato pattern di coordinazione strutturati senza espliciti prior di andatura.

Validazione Hardware

• Zero-Shot Sim-to-Real: Le policy addestrate in simulazione sono state implementate su un quadrupedo Unitree Go2 senza fine-tuning.
• Robustezza: GPO ha superato i baseline (inclusi PPO basato su coppia e varianti DeCAP) nei compiti di reiezione dei disturbi, inclusi colpi laterali, calci verticali e locomozione su terreni impegnativi (salite fangose, discese scivolose).
• Recupero: Sotto perturbazioni esterne (ad esempio, sollevamento delle zampe da parte di un essere umano, caduta di pesi), i robot abilitati da GPO hanno recuperato l'equilibrio fluidamente senza innescare movimenti di passo non necessari, dimostrando una stabilità a ciclo chiuso superiore.

5. Significato e Rivendicazioni

Il documento afferma che GPO fornisce un framework di ottimizzazione generale e indipendente dall'ambiente per l'apprendimento della locomozione legata. La sua importanza risiede nello spostamento del paradigma dalla modifica della pipeline di addestramento (tramite reward o curriculum) alla modifica del meccanismo di ottimizzazione sottostante stesso.

Trattando l'evoluzione dello spazio di azione come un processo apprendibile e variabile nel tempo, GPO affronta il compromesso fondamentale tra esplorazione e stabilità nel controllo continuo ad alta dimensionalità. Gli autori sostengono che questo approccio consente:

1. Ottimizzazione Iniziale Stabile: Apprendere un controllo a bassa ampiezza affidabile prima di affrontare dinamiche complesse.
2. Migliori Prestazioni Asintotiche: Raggiungere rendimenti attesi più elevati sbloccando progressivamente l'intero spazio di azione.
3. Trasferimento Sim-to-Real Robusto: Facilitare l'implementazione di policy basate su coppia su hardware reale senza la necessità di estese regolazioni manuali o prior di andatura.

Il lavoro suggerisce che la gestione dello spazio di azione "effettivo" è un lever critico, sebbene precedentemente poco esplorato, per migliorare l'RL incarnato (embodied RL) in ambienti ricchi di contatti e incerti.