Cost-Matching Model Predictive Control for Efficient Reinforcement Learning in Humanoid Locomotion

Titolo: Controllo Predittivo a Modello (MPC) con Adattamento dei Costi per un Apprendimento per Rinforzo Efficiente nella Locomozione di Robot Umanoidi

1. Il Problema

La locomozione degli umanoidi presenta sfide significative dovute a contatti intermittenti, un elevato numero di gradi di libertà e vincoli di sicurezza rigorosi. L'approccio standard, il Model Predictive Control (MPC), è dominante per la sua capacità di gestire vincoli e obiettivi di compito, ma spesso si basa su modelli semplificati (dinamica centoidale) per garantire tempi di calcolo in tempo reale.
Tuttavia, questi modelli semplificati trascurano effetti ad alta fedeltà (come la realizzazione del contatto, l'accoppiamento inerziale e le astrazioni del controllo di basso livello), portando a un mismatch tra modello e realtà. Di conseguenza, le prestazioni robuste dipendono fortemente dalla regolazione manuale (tuning) dei pesi della funzione di costo e delle penalità terminali.

Le alternative basate sul Reinforcement Learning (RL) puro soffrono di inefficienza nel campionamento e difficoltà nell'imporre vincoli di sicurezza rigidi. Gli approcci ibridi MPC-RL esistenti, che apprendono i parametri dell'MPC, richiedono di risolvere ripetutamente il problema di ottimizzazione dell'MPC all'interno del ciclo di apprendimento. Questo rende l'addestramento computazionalmente proibitivo, specialmente quando l'MPC stesso è già al limite delle risorse computazionali per il tempo reale.

2. Metodologia: Cost-Matching MPC (CM-MPC)

Gli autori propongono un nuovo framework chiamato Cost-Matching MPC (CM-MPC). L'idea centrale è apprendere i parametri $\theta$ dell'MPC (modello predittivo e funzioni di costo) minimizzando la discrepanza tra il valore stimato dall'MPC e il ritorno misurato sperimentalmente, senza dover risolvere il problema di ottimizzazione dell'MPC durante l'addestramento.

• Formulazione:
  • Viene utilizzato un MPC basato sulla dinamica centoidale (momento lineare e angolare) con vincoli di contatto, limiti delle giunture e coni di attrito.
  • L'MPC è parametrizzato: i guadagni del modello dinamico e i pesi quadratici delle funzioni di costo (tracciamento, stabilità, coppia, ecc.) sono vettori apprendibili $\theta$.
• Meccanismo di Apprendimento (Cost-Matching):
  • Invece di calcolare il gradiente attraverso la soluzione dell'ottimizzazione (che è costosa), il metodo valuta una funzione valore surrogata $Q^{MPC}_\theta$ eseguendo una rollout (simulazione in avanti) del modello parametrizzato lungo i segmenti di azione registrati dai dati reali.
  • Vengono calcolati i costi di violazione dei vincoli in modo differenziabile (penalità morbide) durante la rollout.
  • L'obiettivo di apprendimento è minimizzare l'errore quadratico medio tra:
    1. $Q^{MPC}_\theta$: Il costo a lungo termine stimato dal modello MPC (surrogato).
    2. $Q^{meas}$: Il ritorno effettivo (costo cumulato scontato) osservato sulla traiettoria reale.
• Efficienza: Poiché non è necessario risolvere il problema di ottimizzazione vincolata (5) durante il ciclo di apprendimento, il calcolo del gradiente scala linearmente con l'orizzonte temporale $N$, rendendo l'addestramento molto più veloce rispetto ai metodi MPC-RL tradizionali.
• Fasi Distinte:
  • Addestramento: Utilizza penalità morbide per i vincoli per permettere gradienti differenziabili.
  • Deploy (Esecuzione Online): I parametri appresi $\theta^*$ vengono utilizzati in un MPC standard che risolve il problema di ottimizzazione con vincoli rigidi, garantendo sicurezza e fattibilità.

3. Contributi Chiave

1. Framework di Apprendimento Efficiente: Introduzione di un metodo di "Cost-Matching" che estende i framework MPC-RL esistenti eliminando la necessità di risolvere l'MPC all'interno del loop di apprendimento, riducendo drasticamente il carico computazionale.
2. Applicazione alla Locomozione Umanoide: Implementazione e validazione su un framework di locomozione complesso basato sulla dinamica centoidale, dimostrando come l'apprendimento possa adattare sia il modello predittivo che la funzione di costo per compensare le discrepanze di modello.
3. Convergenza Teorica: Dimostrazione che l'aggiornamento stocastico converge a un punto stazionario di primo ordine sotto ipotesi standard di regolarità.
4. Codice Open-Source: Rilascio dell'implementazione per favorire la riproducibilità.

4. Risultati Sperimentali

Il metodo è stato validato in simulazione ad alta fedeltà utilizzando la piattaforma umana Unitree G1. Sono stati confrontati un controller MPC con parametri manualmente tarati (baseline) e il controller CM-MPC appreso.

• Diagnostica di Apprendimento:
  • L'errore quadratico medio (MSE) tra il valore surrogato $Q^{MPC}$ e il ritorno misurato $Q^{meas}$ è diminuito rapidamente durante l'addestramento.
  • I pesi del costo terminale sono aumentati significativamente, agendo come un'approssimazione implicita del "costo della coda" (tail-cost), compensando la miopia tipica degli orizzonti MPC brevi.
• Robustezza alle Disturbi:
  • Sono stati applicati impulsi di forza laterale e coppie di imbardata (yaw) al robot.
  • Il CM-MPC ha mostrato una recupero più rapido (Settling Time migliorato del 31,25%) e un'azione di controllo più fluida rispetto alla baseline.
  • Il controller appreso ha ridotto l'errore di picco post-disturbo del 4,80% e l'errore assoluto integrale (IAE) del 6,82%.
• Compromessi (Trade-off):
  • Il controller appreso ha rilassato il tracciamento rigido di alcune variabili (es. posizione del piede oscillante) per dare priorità alla stabilità dell'intero corpo e al rifiuto dei disturbi, riducendo allo stesso tempo lo sforzo di controllo e le vibrazioni (jitter).

5. Significato e Implicazioni

Questo lavoro dimostra che è possibile combinare la garanzia di sicurezza e vincoli dell'MPC con l'adattabilità e la robustezza del Reinforcement Learning, superando il collo di bottiglia computazionale che ha finora limitato tali approcci in scenari tempo-critici come la locomozione umana.

Il metodo CM-MPC offre una via pratica per:

• Adattare automaticamente i modelli semplificati (come la dinamica centoidale) alla realtà complessa senza bisogno di identificazione di sistema manuale.
• Migliorare le prestazioni di recupero dai disturbi sfruttando i dati reali per "insegnare" all'MPC come valutare correttamente il futuro a lungo termine, anche con orizzonti di pianificazione brevi.
• Mantenere un'architettura di controllo standard (MPC vincolato) per il deploy, garantendo che il robot operi sempre in sicurezza, pur beneficiando di una politica ottimizzata dai dati.

In sintesi, il paper propone un ponte efficace tra la teoria del controllo ottimo e l'apprendimento automatico, rendendo i robot umanoidi più robusti e adattabili in ambienti dinamici.