Dynamic Policy Learning for Legged Robot with Simplified Model Pretraining and Model-Homotopy-Inspired Transfer

Sintesi Tecnica: Apprendimento di Politiche Dinamiche per Robotial Legati tramite Pre-addestramento con Modello Semplificato e Trasferimento Ispirato all'Omotopia del Modello

Definizione del Problema
Generare movimenti altamente dinamici per robot a gambe rimane una sfida significativa a causa della complessa interazione tra il momento lineare del corpo, l'inerzia delle gambe e le forze di contatto. Sebbene l'Apprendimento per Rinforzo (RL) abbia mostrato grande potenziale, l'addestramento di politiche per comportamenti complessi richiede spesso un esteso ingegneria delle ricompense o dimostrazioni esperte di alta qualità, entrambi estremamente dispendiosi in termini di risorse. Al contrario, gli approcci che utilizzano modelli a ordine ridotto (ad esempio, modelli a Corpo Rigido Singolo o SRB) offrono un addestramento più rapido e una progettazione delle ricompense più semplice, ma soffrono di un "gap del modello" quando si trasferiscono le politiche alla dinamica del corpo completo. Il trasferimento diretto spesso porta a instabilità, convergenza subottimale o un fallimento completo nel replicare i comportamenti appresi nel mondo reale a causa delle discrepanze nelle dinamiche, in particolare riguardo all'inerzia delle gambe e alle interazioni di contatto.

Metodologia
Gli autori propongono un framework di apprendimento basato sulla continuazione che colma il divario tra modelli semplificati e dinamiche del corpo completo attraverso due fasi principali:

1. Pre-addestramento con Modello Semplificato (Pre-addestramento SRB):
   La politica viene prima pre-addestrata in un ambiente idealizzato utilizzando un modello di Corpo Rigido Singolo (SRB). In questo modello, il robot è approssimato come un corpo rigido galleggiante con gambe prive di massa e contatti puntiformi ideali. Gli input di controllo sono le Forze di Reazione al Suolo (GRF) durante la fase di appoggio e target residui del piede durante la fase di oscillazione. Questa fase consente alla politica di apprendere efficientemente i pattern di movimento fondamentali (come il controllo del momento del corpo) senza l'onere computazionale e l'instabilità della dinamica del corpo completo. L'ambiente utilizza piani di contatto predefiniti e traiettorie di oscillazione nominali (ad esempio, curve di Bezier) per strutturare l'apprendimento di compiti specifici come gait, salti mortali (flips) e manovre assistite da pareti.

2. Trasferimento Ispirato all'Omotopia del Modello (MHIT):
   Per trasferire la politica SRB pre-addestrata all'ambiente del corpo completo, gli autori introducono un percorso di continuazione parametrico. Invece di un salto diretto, definiscono un parametro di transizione continua $\lambda \in (0, 1]$.

• Transizione Parametrica: Il sistema ridistribuisce gradualmente massa e inerzia tra il tronco e le gambe. Quando $\lambda \approx 0$, le gambe hanno una massa trascurabile (modello SRB); man mano che $\lambda$ aumenta verso 1, le gambe acquisiscono la loro piena massa e inerzia, mentre la massa del tronco viene regolata per mantenere una massa totale costante.
• Strategia di Continuazione: La politica viene addestrata lungo questo percorso, partendo da $\lambda = 0.01$ e aumentando incrementalmente fino a $\lambda = 1.0$ nell'arco di 900 iterazioni. Ciò consente alla politica di adattarsi a dinamiche via via più complesse rimanendo in regioni di alta probabilità di successo.
• Conversione dell'Azione: Durante il trasferimento, gli output GRF della politica SRB vengono convertiti in coppie articolari utilizzando le trasposte dei Jacobiani durante la fase di appoggio, mentre un controllo PD nello spazio del compito traccia i target del piede durante la fase di oscillazione.
• Stima dello Stato: Poiché le informazioni privilegiate (velocità lineare reale e stati di contatto) sono disponibili solo in simulazione e non nella realtà, viene addestrata una rete di stima concorrente (MLP) per inferire tali stati dalla cronologia propriocettiva, consentendo il deployment sim-to-real.

Contributi Chiave

• Framework Basato sulla Continuazione: Il documento presenta un framework innovativo che integra il pre-addestramento con modello semplificato con una strategia di trasferimento ispirata all'omotopia del modello per generare e raffinare efficientemente complessi movimenti dinamici.
• Percorso di Transizione Principato: Gli autori introducono un percorso di transizione parametrico specifico che interpola fluidamente le proprietà inerziali tra i modelli SRB e del corpo completo. Questo approccio si dimostra superiore nel migliorare la velocità di convergenza e la stabilità dell'apprendimento rispetto al trasferimento diretto o ai baseline di apprendimento per imitazione.
• Validazione su Compiti Complessi e Hardware Reale: Il metodo è validato su un set diversificato di compiti dinamici impegnativi, inclusi backflip, sideflip, rotazioni su asse verticale (yaw spins) e manovre assistite da pareti (salti e svolte). Le politiche apprese sono state implementate con successo su un vero robot quadrupede Unitree Go1.

Risultati

• Performance in Simulazione: Negli studi comparativi contro Direct Transfer (DT), Imitation Transfer (IT) e Vanilla RL, il metodo proposto MHIT ha dimostrato la convergenza più rapida e i risultati di apprendimento più consistenti. Ad esempio, nel compito di backflip assistito da parete, MHIT è confluito due volte più velocemente di IT e ha ottenuto un ritorno normalizzato superiore del 19,0%. Ha inoltre mostrato una stabilità superiore, con una variazione significativamente minore delle prestazioni tra i diversi seed casuali rispetto a DT.
• Robustezza: Le politiche MHIT hanno mostrato una maggiore robustezza rispetto a disturbi di forza e coppia esterni rispetto alle politiche IT, grazie alla preservazione dei comportamenti reattivi appresi durante il pre-addestramento e alla capacità di esplorare uno spazio di stato più ampio senza i vincoli di terminazione anticipata tipici dell'imitation learning.
• Deployment nel Mondo Reale: Sul robot Unitree Go1, la politica MHIT ha eseguito con successo un backflip, un compito in cui la politica SRB diretta falliva a causa dell'insufficienza del momento angolare causata dall'inerzia delle gambe non modellata. La politica trasferita ha raggiunto un tasso di successo del 90% su 10 prove consecutive e ha dimostrato una precisione di tracciamento della velocità superiore (RMSE inferiore) rispetto alla politica SRB non raffinata.

Significatività
Il documento afferma che la sua principale significatività risiede nel fornire un processo di raffinamento efficace e stabile per colmare il gap del modello tra dinamiche semplificate e del corpo completo senza dipendere da costose dimostrazioni esperte. Sfruttando una strategia di continuazione, il framework permette la scoperta di comportamenti ottimali che superano i limiti della guida iniziale semplificata. Il successo del deployment su hardware reale dimostra l'applicabilità pratica di questo approccio per la generazione di complessi comportamenti di locomozione dinamica per robot a gambe, difficili da raggiungere con i metodi standard di end-to-end RL o di tracciamento gerarchico. Gli autori osservano che, sebbene l'approccio attuale si basi su sequenze di contatto predefinite, il framework offre un punto di partenza evolutivo promettente per lavori futuri volti ad automatizzare gli schemi di contatto e ad adattarsi a diverse morfologie robotiche.