Riepilogo Tecnico: Accelerazione e Scalabilità dell'Apprendimento per Rinforzo Guidato da MPC per la Locomozione e la Manipolazione Umanoide

1. Definizione del Problema

Il controllo del movimento umanoide affronta una dicotomia tra il Controllo Predittivo del Modello (MPC) e l'Apprendimento per Rinforzo (RL). L'MPC offre una predizione basata sulla fisica e una gestione esplicita dei vincoli, ma spesso fatica con il calcolo in tempo reale e la robustezza rispetto al disallineamento del modello. Al contrario, l'RL consente abilità whole-body agili e robuste attraverso simulazioni su larga scala, ma spesso manca della struttura fisica e delle capacità di pianificazione a lungo termine inerenti all'MPC.

Sebbene esistano approcci ibridi, integrare l'MPC all'interno del ciclo di addestramento RL presenta sfide significative:

• Overhead Computazionale: Risolvere ripetutamente problemi MPC durante l'addestramento è dispendioso in termini di tempo.
• Colli di Bottiglia della Scalabilità: Gli esistenti solver MPC basati su GPU parallelizzano efficacemente tra gli ambienti, ma non riescono a parallelizzare efficacemente attraverso l'orizzonte di predizione, lasciando le ricorsioni sequenziali come un collo di bottiglia.
• Costi di Memoria e Compilazione: Le tradizionali formulazioni di Programmazione Quadratica (QP) sparsa per l'MPC richiedono una costruzione del problema e una compilazione simbolica laboriose, portando a un elevato utilizzo di VRAM che scala male con la dimensione del problema.
• Ambito Limitato: Molti framework ibridi esistenti si concentrano principalmente sulla locomozione, lasciando la loco-manipolazione (locomozione e interazione con oggetti simultanee) sottoesplorata, nonostante l'alto valore dei modelli fisici per tali compiti.

2. Metodologia

Il framework proposto, MPC-RL, scinde i ruoli di MPC e RL: l'MPC funge da guida durante l'addestramento per generare ricompense strutturate, mentre la policy appresa opera senza MPC al momento dell'implementazione.

A. Guida MPC della Dinamica Centroidale (CD-MPC)

Invece di usare l'MPC per il controllo diretto, il sistema utilizza un modello di Dinamica Centroidale (CD) per generare riferimenti predittivi per l'agente RL.

• Modello: Il CD-MPC traccia il Centro di Massa (CoM), il momento lineare centroidale ($l_G$) e il momento angolare centroidale ($k_G$). Gestisce dinamiche tempo-varianti incorporando set di contatto attivi (piedi per la locomozione; piedi e mani per la loco-manipolazione).
• Estrazione dei Landmark: Invece di costringere la policy a seguire il passo immediatamente successivo dell'MPC (il che scarterebbe la struttura a lungo termine), il sistema estrae un insieme di landmark predittivi dalla traiettoria MPC completa a intervalli temporali specifici ($\delta_\ell$).
• Ponderazione della Confidenza della Predizione: La funzione di ricompensa confronta il CoM realizzato con questi landmark. Una programmazione di ponderazione monotona rispetto all'orizzonte ($\alpha_0 > \alpha_1 > \dots$) viene applicata, dando un peso maggiore ai landmark vicini all'orizzonte (che sono più affidabili) e riducendo il peso ai landmark lontani (che sono soggetti a disallineamento del modello ed errore di integrazione). Ciò crea un segnale di ricompensa limitato che fonde la guida a lungo termine con un inseguimento a breve termine netto.

B. $\pi$nMPC: Solver Parallelo nell'Orizzonte e Senza Costruzione

Per rendere il CD-MPC fattibile per l'addestramento RL massivamente parallelo, gli autori introducono $\pi$nMPC, un solver batched su GPU.

• Architettura: Estende la struttura ADMM parallela nell'orizzonte di $\pi$MPC per gestire dinamiche tempo-varianti (essenziali per i robot con diverse sequenze di contatto).
• Innovazioni Chiave:
  1. MPC in Forma di Velocità: Il solver ottimizza sugli incrementi di input piuttosto che sugli input assoluti, elevando lo stato per includere gli input precedenti.
  2. Splitting Variabile: Uno schema di splitting innovativo introduce variabili ausiliarie per disaccoppiare la dinamica dai vincoli. Ciò consente l'esecuzione degli aggiornamenti ADMM in parallelo attraverso l'intero orizzonte di predizione sulla GPU, anziché sequenzialmente.
  3. Senza Costruzione (Construction-Free): Il solver opera direttamente sulle matrici di stato tempo-varianti ($A_k, B_k, e_k$) senza assemblare una QP sparsa o richiedere la generazione di codice simbolico/compilazione ad ogni passo. Ciò riduce significativamente l'uso di VRAM ed elimina i ritardi di pre-compilazione.
• Implementazione: Realizzato sia in PyTorch che in JAX, supportando dimensioni di batch massicce (fino a 4096 ambienti) e orizzonti lunghi (fino a $N=400$).

C. Addestramento e Implementazione

• Algoritmo: Viene utilizzato l'Ottimizzazione della Politica Prossimale (PPO) con un'architettura attore-critico asimmetrica.
• Osservazioni: L'attore (implementato sull'hardware) riceve solo la propriocezione e i comandi. Il critico (solo durante l'addestramento) è dotato del privilegio dei riferimenti previsti di CoM e momento angolare dell'MPC.
• Ricompense: La ricompensa totale combina la regolarizzazione standard (limiti articolari, distacco del piede) con i termini di guida dei landmark dell'MPC (CoM, velocità, momento angolare, posizionamento del piede e forze di reazione al suolo).

3. Contributi Chiave

1. Formulazione della Ricompensa MPC Strutturata: Un nuovo meccanismo di ricompensa che utilizza la ponderazione della confidenza della predizione per estrarre la guida del movimento e della dinamica a lungo termine dalle traiettorie dell'MPC centroidale, validato tramite studi di ablazione sulla lunghezza dell'orizzonte e sui tassi di aggiornamento.
2. Solver $\pi$nMPC: Un solver MPC batched su GPU, senza costruzione e a memoria efficiente, che raggiunge l'esecuzione parallela nell'orizzonte per dinamiche tempo-varianti, superando i colli di bottiglia della scalabilità dei solver QP esistenti.
3. Estensione alla Loco-Manipolazione: La prima dimostrazione di RL guidato da MPC per la loco-manipolazione umana, trasferita con successo sull'hardware per spingere carichi pesanti (fino a 290 kg).

4. Risultati

A. Scalabilità del Solver

• Performance: $\pi$nMPC scala favorevolmente sulle GPU rispetto ai solver allo stato dell'arte (Consensus ADMM, qpth, qpax, CusADi).
• Efficienza: A differenza di CusADi, che richiede ore di compilazione simbolica e alta RAM, $\pi$nMPC opera senza compilazione. Rimane fattibile per orizzonti lunghi ($N=400$) e grandi dimensioni di batch dove altri solver esauriscono la VRAM o diventano proibitivi in termini di velocità.
• Implementazione: La variante JAX è computazionalmente più veloce, mentre la variante PyTorch offre un minore overhead di memoria durante l'addestramento RL.

B. Locomozione Umanoide

• Inseguimento della Velocità: MPC-RL supera costantemente il Pure RL nel tracking della velocità traslazionale, inclusi i comandi fuori distribuzione.
• Recupero da Spinta: Il framework dimostra una robustezza superiore, recuperando da spinte fino a 450 N (a seconda della configurazione), significativamente più alto del baseline Pure RL (300 N).
• Iperparametri: Un orizzonte di $N=10$ (circa 0.7s, un ciclo di camminata) con un tasso di aggiornamento di 10 Hz ha prodotto il miglior equilibrio tra prestazioni ed efficienza di addestramento. Orizzonti più lunghi non hanno prodotto miglioramenti monotoni.
• Design della Ricompensa: Il programma di ponderazione dei landmark "tapered" (decrescente) proposto ha superato i design "next-step" e "averaged" sia in termini di accuratezza del tracking che di recupero dalla spinta.

C. Loco-Manipolazione

• Validazione Hardware: La policy è stata implementata sul robot Westwood Robotics Themis V2.
• Capacità: Il robot ha spinto con successo un carrello con un carico di 290 kg (639 libbre), rappresentando l'829% della massa corporea del robot.
• Confronto: In simulazione, la policy guidata da MPC ha ottenuto un migliore tracking della velocità e una maggiore capacità di spinta rispetto al Pure RL, che spesso si arrestava. Le ricompense strutturate dell'MPC hanno fornito la necessaria guida fisica per l'interazione di forza richiesta, che il puro RL faticava a scoprire attraverso la sola esplorazione.

5. Significato e Rivendicazioni

L'articolo sostiene che l'ottimizzazione predittiva possa servire come uno strumento pratico di addestramento e una fonte di struttura fisica per l'apprendimento di comportamenti umani con un'efficienza di addestramento competitiva.

• Praticità: Il framework evita la necessità di un MPC in tempo reale durante l'implementazione, affidandosi a una policy appresa che è robusta alle perturbazioni (es. pesi sconosciuti, spinte).
• Efficienza: Introducendo $\pi$nMPC, gli autori dimostrano che la guida MPC a lungo termine è computazionalmente fattibile all'interno del massiccio parallelismo dell'addestramento RL moderno, rimuovendo la barriera della "costruzione del problema dispendiosa in termini di tempo".
• Generalizzabilità: Il successo nella loco-manipolazione suggerisce che la guida MPC non è limitata alla locomozione, ma è critica per compiti che richiedono complesse interazioni di forza e coerenza dinamica.

Limitazioni e Lavoro Futuro:
Gli autori riconoscono che l'approccio attuale si basa su dinamiche centroidali a ordine ridotto con schemi di contatto prescritti. Il lavoro futuro mira a estendere il framework a modalità di contatto più ricche utilizzando l'MPC non lineare e a investigare solver aumentati da reti neurali per una guida ancora più efficiente durante l'addestramento.