ADP: Adversarial Dynamics Priors for Physically Grounded Humanoid Locomotion

Sintesi Tecnica: Prior di Dinamica Avversaria per la Locomozione Umanoide Fisicamente Fondata

Problema
Il controllo della locomozione umanoide rimane significativamente più complesso del controllo quadrupedale a causa dei gradi di libertà elevati, della dinamica del corpo flottante sottoattuata e della necessità di mantenere l'equilibrio attraverso contatti intermittenti. Sebbene l'apprendimento basato sul controllo abbia avuto successo nella generazione di movimenti naturali utilizzando dataset di movimento, gli approcci esistenti affrontano limitazioni nella resilienza alle perturbazioni.

• Tracciamento Esplicito: Metodi come DeepMimic si affidano al tracciamento di pose e fasi di riferimento. Sebbene efficaci per la generazione di movimenti naturali, mancano di flessibilità quando le perturbazioni esterne allontanano il robot dalla traiettoria di riferimento.
• Prior Cinematici: Gli Adversarial Motion Priors (AMP) migliorano la flessibilità confrontando distribuzioni di stile di movimento cinematico (pose articolari, velocità, stati degli end-effector) piuttosto che un tracciamento esplicito. Tuttavia, l'AMP non regolarizza direttamente le caratteristiche a livello dinamico (ad esempio, movimento del Centro di Massa, momento centroidale, forze di contatto e stati di contatto) necessarie per un efficace recupero dell'equilibrio dopo una spinta. Di conseguenza, l'AMP può recuperare una postura visibile lasciando però dinamiche rotazionali sotto-smorzate o fallendo nel modulare correttamente le forze di contatto.

Metodologia: Adversarial Dynamics Priors (ADP)
Gli autori propongono l'ADP, un framework che sostituisce le caratteristiche di stile di movimento cinematico con caratteristiche dinamiche selezionate come target per la regolarizzazione avversaria. Il metodo opera senza il tracciamento esplicito di pose o fasi di riferimento.

1. Costruzione del Dataset di Riferimento ($D_{dyn}$):

   • Invece di utilizzare dati di motion capture a corpo intero, gli autori generano un dataset di riferimento utilizzando la Traiettoria Ottimizzata (TO) basata sulla Single-Rigid-Body-Dynamics (SRBD).
   • Il problema di TO minimizza la deviazione dalle velocità comandate penalizzando al contempo l'eccessivo momento angolare centroidale e le forze di contatto, soggetti a coerenza SRBD, attivazione del contatto e vincoli del cono di attrito.
   • Questo processo produce traiettorie di locomozione fisicamente fondate (camminata, corsa, rotazione, passo laterale) che soddisfano le dinamiche a livello SRBD. Da queste, vengono estratte quantità dinamiche (movimento CoM, momento centroidale, forze di contatto, indicatori di contatto) per formare la distribuzione di riferimento.

2. Rappresentazione delle Caratteristiche Dinamiche:

   • ADP definisce un vettore di caratteristiche dinamiche a livello di timestep $z_t$ contenente: velocità del CoM nel frame di heading, momento angolare centroidale, tasso di momento angolare planare, forze di contatto del piede normalizzate e indicatori di contatto binari.
   • Per gestire comandi variabili, l'input del discriminatore è condizionato sul comando di velocità e sull'errore di tracciamento istantaneo, allineando la distribuzione di riferimento con il compito corrente.
   • Fondamentalmente, il metodo utilizza una finestra temporale ($\Xi_t$) di queste caratteristiche invece di singoli timestep. Ciò consente al discriminatore di catturare pattern temporali essenziali per il recupero, come lo switching del contatto, la modulazione della forza e il recupero del momento.

3. Addestramento Avversario:

   • Un discriminatore viene addestrato per distinguere tra finestre campionate dal dataset di riferimento derivato da SRBD ($D_{dyn}$) e finestre generate dal rollout della policy ($\Xi^\pi_t$).
   • La policy è ottimizzata utilizzando il Proximal Policy Optimization (PPO) con una ricompensa totale composta da:
     • $r^G_t$: Ricompensa del compito (locomozione).
     • $r^D_t$: Ricompensa del prior di dinamica avversaria, derivata dall'output del discriminatore. Questa ricompensa incoraggia le caratteristiche dinamiche indotte dalla policy a rimanere vicine alla distribuzione di riferimento.
     • $r^R_t$: Termini di regolarizzazione.
   • La policy impara a recuperare dalle perturbazioni mantenendo le proprie caratteristiche dinamiche entro il supporto della distribuzione di riferimento, senza essere costretta a tracciare specifiche pose articolari.

Contributi Chiave

1. Adversarial Dynamics Priors (ADP): L'introduzione di un metodo che utilizza caratteristiche dinamiche (CoM, momento, forze di contatto) per la regolarizzazione avversaria invece di caratteristiche cinematiche, eliminando la necessità di tracciamento di pose o fasi di riferimento.
2. Rappresentazione Dinamica Sensibile alle Perturbazioni: Una formulazione di caratteristiche dinamiche temporali che espone i transitori post-spinta (in momento e forze di contatto) in modo più diretto e rapido rispetto alle caratteristiche cinematiche a livello di giunto.
3. Valutazione del Recupero dalle Perturbazioni: Validazione completa in simulazione e hardware che dimostra come l'ADP migliori il recupero dalle perturbazioni rispetto a Vanilla RL, AMP e ai baseline di matching diretto delle caratteristiche dinamiche.

Risultati Sperimentali
Gli autori hanno valutato l'ADP su un robot umanoide a 29 DoF (Unitree G1) in simulazione e hanno fornito dimostrazioni qualitative su hardware. La valutazione ha confrontato l'ADP con Vanilla RL, AMP e un baseline di "Dynamics Reward" (che utilizza il matching delle caratteristiche punto per punto senza un discriminatore avversario).

• Recupero dalle Perturbazioni: Sotto impulsi di velocità esterni (fino a 4,5 m/s), l'ADP ha raggiunto una soglia di impulso di successo dell'80% ($J_{80}$) di 115,5 N·s, un miglioramento del 16,7% rispetto al baseline più forte (AMP, 99,0 N·s).
• Metriche di Recupero: Rispetto ad AMP, l'ADP ha ridotto il tempo di recupero medio direzionale del 47,9% (da 4,76s a 2,48s) e l'errore di tracciamento della velocità del 35,4% (da 1,30 m/s a 0,84 m/s).
• Sensibilità della Rappresentazione: L'analisi ha mostrato che la rappresentazione dinamica proposta ha rilevato i transitori indotti dalla perturbazione 20 ms dopo l'impatto (raggiungendo una deviazione di 6,0 volte rispetto al baseline), mentre la rappresentazione cinematica ha impiegato 160 ms (raggiungendo una deviazione di 4,3 volte).
• Studi di Ablazione:
  • Rimuovere il momento angolare centroidale ha ridotto il tasso di successo al 45,3%.
  • Rimuovere gli indicatori di contatto (stato di contatto binario) ha causato la degradazione più significativa, facendo scendere il tasso di successo al 30,5% e aumentando il tempo di recupero a 8,82s, evidenziando il ruolo critico della tempistica del contatto nell'allineamento.
  • Una lunghezza della finestra temporale di $K=8$ è risultata ottimale, bilanciando la necessità di contesto temporale (switching del contatto) con la stabilità dell'addestramento.

Significatività e Claim
Il paper sostiene che l'ADP affronta con successo il limite dei prior cinematici nel recupero dalle perturbazioni regolarizzando la policy a livello dinamico. Sfruttando le traiettorie derivate da SRBD come distribuzione di riferimento per le caratteristiche dinamiche, il metodo incoraggia la policy a imparare comportamenti di recupero che sono fisicamente fondati (coerenti con i vincoli di momento e contatto) senza la rigidità del tracciamento esplicito del movimento.

Gli autori osservano che, sebbene l'ADP migliori la robustezza, non impone esplicitamente la naturalezza del movimento a livello di giunto. Suggeriscono che il lavoro futuro potrebbe combinare prior dinamici e cinematici per ottenere sia robustezza che naturalezza. Inoltre, il paper riconosce che il confronto con AMP ha utilizzato lo stesso modello di riferimento derivato da TO per equità, anziché un baseline AMP basato su motion capture di alta qualità, lasciando la caratterizzazione del divario tra i prior derivati da TO e quelli basati su mocap a investigazioni future.