Gain Tuning Is Not What You Need: Reward Gain Adaptation for Constrained Locomotion Learning

Sintesi Tecnica: Adattamento del Guadagno della Ricompensa per l'Apprendimento della Locomozione Vincolata

Definizione del Problema
Le tecniche esistenti di apprendimento della locomozione robotica, in particolare quelle basate sul Reinforcement Learning (RL), affrontano due sfide critiche. Primo, esse dipendono fortemente dalla selezione offline dei guadagni di ponderazione delle ricompense, un processo che richiede molto tempo, un esteso tuning degli iperparametri e spesso produce risultati subottimali se i valori sono selezionati impropriamente. Secondo, gli approcci tradizionali di RL sono soggetti a violazioni dei vincoli (ad esempio, cadute o superamento dei limiti fisici) durante il processo di addestramento a causa dell'esplorazione casuale. Sebbene esistano tecniche di Constrained RL (CRL) per imporre la sicurezza, molte presentano ancora violazioni dei vincoli durante l'apprendimento o richiedono formulazioni matematiche complesse (ad esempio, Control Barrier Functions) e ottimizzazioni iterative (ad esempio, metodi primal-dual) che ritardano l'aggiustamento dei guadagni di penalità. Di conseguenza, raggiungere una violazione dei vincoli prossima allo zero massimizzando al contempo le prestazioni in robot fisici reali rimane una sfida non risolta.

Metodologia: ROGER
Gli autori propongono ROGER (Reward-Oriented Gains via Embodied Regulation), un metodo che adatta i guadagni di ponderazione della ricompensa online sulla base delle penalità ricevute durante l'interazione incarnata (embodied interaction), eliminando la necessità di un esteso tuning offline.

• Meccanismo Centrale: ROGER bilancia dinamicamente il rapporto tra ricompense positive (obiettivi del compito primario) e ricompense negative (penalità dei vincoli).
  • Quando il robot si trova in stati sicuri (lontano dalle soglie dei vincoli), il rapporto favorisce la ricompensa primaria per dare priorità alle prestazioni.
  • Man mano che il robot si avvicina alle soglie dei vincoli, il rapporto si sposta automaticamente per aumentare i guadagni di penalità e ridurre i guadagni primari, scoraggiando efficacemente le azioni insicure.
• Formulazione Matematica: Il metodo utilizza una configurazione a canali di ricompensa multipli in cui ricompense e penalità sono memorizzate indipendentemente. Ad ogni istante temporale $t$, i guadagni di ponderazione sono calcolati come:
  • $\lambda_{0t} = 1 - \Delta_t$ (Guadagno della ricompensa primaria)
  • $\lambda_{it} = r_{\lambda_{it}} \Delta_t$ (Guadagno della penalità per il vincolo $i$)
  • Qui, $\Delta_t$ è una sommatoria troncata (clipped) di penalità dei vincoli stimate rispetto alle loro soglie ($\tau$), garantendo che la somma dei guadagni sia uguale a 1. Il rapporto di contribuzione $r_{\lambda_{it}}$ distribuisce i pesi delle penalità in base alla gravità delle specifiche violazioni dei vincoli.
• Iperparametri: L'approccio si basa su iperparametri intuitivi, specificamente le soglie dei vincoli ($\tau$) derivate dai limiti fisici del sistema (ad esempio, orientamento massimo dell'hardware), piuttosto che su complessi coefficienti di penalità che richiedono una ricerca a griglia (grid search).
• Integrazione: ROGER è progettato come un meccanismo aggiuntivo a framework di apprendimento esistenti (ad esempio, AGOL per quadrupedi, PPO per robot hopper), adattando la struttura della ricompensa in tempo reale senza alterare l'algoritmo di aggiornamento della policy sottostante.

Contributi Chiave

1. Soddisfazione dei Vincoli: ROGER garantisce una violazione dei vincoli prossima allo zero durante l'intero processo di apprendimento, adattando dinamicamente i guadagni prima che avvengano le violazioni, anziché reagire dopo il fatto.
2. Semplificazione del Tuning: Il metodo elimina la necessità di un esteso tuning offline dei guadagni utilizzando soglie fisiche intuitive, riducendo significativamente il tempo e il rischio associati alla selezione degli iperparametri.
3. Ottimizzazione delle Prestazioni: Dando priorità alle prestazioni solo quando è sicuro, ROGER ottiene ricompense primarie più elevate rispetto alla ponderazione fissa e ad altre tecniche di ponderazione adattiva.

Risultati Sperimentali
Gli autori hanno valutato ROGER su un robot quadrupedo Unitree B1 da 60 kg (sia in simulazione che nel mondo reale) e su un hopper MuJoCo.

• Locomozione Quadrupedale (Simulazione e Mondo Reale):
  • Violazioni dei Vincoli: In simulazione, ROGER ha ottenuto violazioni prossime allo zero (1 violazione in 50.000 istanti temporali), superando i metodi adattivi allo stato dell'arte come CRPO (0 violazioni in 25.000 istanti temporali ma con prestazioni inferiori) e i metodi a ponderazione fissa. Nei test nel mondo reale, il robot fisico ha completato 300 episodi di apprendimento (circa 1 ora) senza cadere, mantenendo gli angoli di rollio e beccheggio al di sotto della soglia di 10°.
  • Prestazioni: ROGER ha raggiunto una velocità di avanzamento finale di 0,6 m/s, che è del 50% superiore rispetto alle tecniche all'avanguardia equivalenti (penalità a guadagno fisso e CRPO) ed eguaglia le prestazioni dell'addestramento con le sole ricompense primarie, ma con sicurezza garantita.
  • Adattabilità: Il robot ha imparato con successo a muoversi su terreni impegnativi (superfici scivolose, ghiaia sciolta, gradini casuali) e sotto carichi dinamici senza sensori esterocezione, dimostrando che politiche di controllo fattibili sono emerse attraverso l'esplorazione rispettando i vincoli.
• Locomozione Hopper (MuJoCo):
  • ROGER è stato testato su un hopper a singola gamba dove le assunzioni di ottimalità a penalità zero e dinamiche gentili sono state violate.
  • Metriche: ROGER ha ottenuto un miglioramento del 20% nella distanza di salto rispetto alla funzione di ricompensa predefinita, una riduzione del 57% nell'uso della coppia (torque) e una riduzione del 59% nella deviazione dell'orientamento.
  • Robustezza: Anche sotto vincoli più severi (soglie dimezzate), ROGER ha mantenuto il salto in avanti senza muoversi all'indietro, dimostrando la sua capacità di adattarsi a dinamiche di sistema sensibili.

Significatività e Rivendicazioni
Il paper sostiene che ROGER contribuisce al campo dell'apprendimento della locomozione robotica continua nel mondo reale con soddisfacimento dei vincoli. Sfruttando l'interazione incarnata per regolare dinamicamente i guadagni della ricompensa, il metodo semplifica il processo di tuning dei guadagni di ponderazione della ricompensa. Questa riduzione della complessità di tuning facilita potenzialmente lo sviluppo di robot fisici che possono apprendere in modo sicuro ed efficace nel mondo reale, affrontando la lacuna critica in cui le tecniche attuali o falliscono nel garantire la sicurezza durante l'addestramento o richiedono una quantità proibitiva di tuning manuale. Gli autori sottolineano che, sebbene ROGER assicuri che il valore atteso dei vincoli sia soddisfatto, non garantisce l'assenza di cadute in tutti gli scenari (particolarmente con dinamiche sensibili), ma migliora significativamente le prestazioni e la sicurezza rispetto ai baseline esistenti.