RL-Augmented MPC for Non-Gaited Legged and Hybrid Locomotion

Gli autori propongono un'architettura gerarchica che combina apprendimento per rinforzo e controllo predittivo del modello per gestire la locomozione su piattaforme ibride e non gaitate, dimostrando con successo il trasferimento zero-shot dalla simulazione alla realtà su un robot umanoide di 120 kg.

L'essenziale

Immagina di dover insegnare a un robot a camminare, correre o rotolare su ruote. Fino a poco tempo fa, era come se dovessimo scrivere un manuale di istruzioni di 1000 pagine per ogni possibile situazione: "Se vedi un sasso, alza la gamba di 5 cm; se il terreno è scivoloso, rallenta". Era complicato, rigido e spesso il robot si bloccava se trovava qualcosa di imprevisto.

Questo articolo presenta un nuovo modo di fare le cose, paragonabile a insegnare a un robot a guidare un'auto con un'auto-pilota intelligente e un passeggero esperto.

Ecco come funziona, spiegato in modo semplice:

1. Il Duo: Il "Capo" (RL) e l'"Esecutore" (MPC)

L'idea centrale è dividere il lavoro in due livelli, come una squadra di calcio:

• Il "Capo" (L'Intelligenza Artificiale - RL): È come un allenatore o un passeggero esperto che guarda la strada. Non sa come muovere i muscoli del robot (le gambe o le ruote), ma sa dove andare e quando fare una mossa speciale. Il suo compito è dire: "Ora dobbiamo cambiare direzione!" o "Ora alziamo la gamba per saltare un ostacolo!". Impara tutto questo provando, sbagliando e correggendo, proprio come un bambino che impara a camminare cadendo e rialzandosi.
• L'"Esecutore" (Il Controllo Matematico - MPC): È il pilota automatico o il motore dell'auto. Riceve l'ordine dal "Capo" (es. "vai avanti e alza la zampa destra") e si occupa di tutti i dettagli fisici complessi: quanto forza mettere, come bilanciare il peso, come non scivolare. È un matematico velocissimo che calcola in millisecondi come muovere ogni giunto per eseguire l'ordine senza cadere.

2. Il Problema che Risolvono: Il "Gioco dei Tavoli"

Prima, far camminare un robot era come giocare a un gioco di carte dove dovevi decidere esattamente quando ogni gamba toccava terra. Se sbagliavi il momento, il robot cadeva. Era un incubo matematico.
In questo nuovo sistema, il "Capo" (l'AI) impara a dire: "Ehi, ora è il momento di staccare la gamba!" e l'"Esecutore" (il matematico) si occupa di tutto il resto. Non serve più pianificare ogni singolo passo in anticipo; il robot impara a creare ritmi di camminata non ripetitivi (non come un metronomo, ma adattandosi al momento).

3. L'Esperimento: Dal Videogioco alla Realtà

I ricercatori hanno addestrato questo sistema in un simulatore (un videogioco molto realistico) su robot di diverse dimensioni:

• Un piccolo robot quadrupede (50 kg).
• Uno medio (80 kg).
• Un gigante umanoide con ruote e gambe (120 kg), chiamato Centauro.

La magia: Hanno addestrato il robot nel videogioco e poi lo hanno fatto camminare sul robot vero, senza cambiare nulla e senza dargli istruzioni speciali per la realtà. È come se avessi imparato a guidare su un simulatore di guida e fossi salito su una vera Ferrari e avessi guidato perfettamente al primo tentativo. Questo è raro e molto difficile da ottenere.

4. Cosa ha imparato il robot?

• Camminata adattiva: Se il robot deve girare, cambia il modo di camminare. Se deve andare dritto, usa un passo regolare. Non è rigido.
• Ibrido: Il robot Centauro ha ruote e gambe. Il sistema ha imparato a usare le ruote quando va dritto (perché è veloce ed efficiente) e a usare le gambe quando deve girare o superare ostacoli, tutto in modo fluido.
• Terreni difficili: Hanno anche fatto salire il robot su una montagna fatta di gradini. Il robot ha capito da solo quando doveva "saltare" (alzare la gamba) e quanto in alto, senza che nessuno gli avesse detto come fare.

In sintesi

Immagina di avere un robot che non ha un manuale di istruzioni rigido, ma ha un istinto (imparato dall'AI) e una capacità fisica perfetta (garantita dalla matematica).

• L'AI decide la strategia di gioco.
• La matematica esegue i movimenti fisici.

Il risultato è un robot che cammina, corre e rotola in modo naturale, si adatta agli imprevisti e passa dal mondo virtuale a quello reale senza bisogno di "riparazioni" o riscritture del codice. È un passo enorme verso robot che possono davvero vivere e lavorare con noi nel mondo reale, non solo nelle fabbriche ordinate.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "RL-Augmented MPC for Non-Gaited Legged and Hybrid Locomotion" in italiano.

Titolo: MPC Potenziato da RL per Locazione di Robot Gambe e Ibridi Non-Gaited

1. Il Problema

La locomozione di robot a gambe (legged) e ibridi (ruotati-gamba) presenta sfide complesse legate alla pianificazione dei contatti (contact scheduling).

• Approcci basati su modello (MPC): Il Controllo Predittivo basato su Modello (MPC) è robusto e gestisce esplicitamente i vincoli, ma l'ottimizzazione simultanea della traiettoria e della sequenza di contatti (quando e dove toccare terra) porta a problemi di programmazione non lineare mista intera (MINLP), computazionalmente intrattabili in tempo reale. Per aggirare questo problema, si usano spesso gite predefiniti o euristiche, che limitano l'adattabilità a compiti non periodici o terreni irregolari.
• Approcci basati su apprendimento (RL): Gli approcci model-free (Reinforcement Learning) apprendono politiche direttamente dall'interazione, ma spesso richiedono un'ingegnerizzazione complessa delle ricompense (reward shaping), un massiccio uso di randomizzazione del dominio per il trasferimento sim-to-real e soffrono di scarsa efficienza nel campionamento dei dati. Inoltre, le politiche apprese sono spesso "black-box" e difficili da interpretare o garantire.

L'obiettivo del lavoro è colmare il divario tra la robustezza del MPC e l'adattabilità dell'RL, permettendo la generazione di gite non periodici (acyclic) e adattivi senza la necessità di gite predefiniti o randomizzazione del dominio.

2. Metodologia

Gli autori propongono un'architettura gerarchica che combina un agente RL ad alto livello con un controller MPC a basso livello.

• Architettura Gerarchica:

  • Livello Alto (RL): Un agente basato su Soft Actor-Critic (SAC) apprende una politica che genera comandi di navigazione (velocità di base) e, crucialmente, piani di contatto (quando iniziare una fase di volo per ogni piede). L'agente impara attraverso tentativi ed errori in simulazione a gestire la tempistica dei contatti in modo aciclico.
  • Livello Basso (MPC): Un controller MPC a corpo rigido completo (full rigid-body) esegue i comandi ricevuti. Il MPC risolve un problema di ottimizzazione su un orizzonte temporale, assumendo che la sequenza di contatti sia fornita dall'RL. Questo permette di usare solver efficienti (basati su DDP/ILQR) senza dover ottimizzare le variabili discrete dei contatti.
  • Interazione: L'RL inietta "fasi di volo" (flight phases) nel MPC in tempo reale. Il MPC gestisce la dinamica complessa, i vincoli di attrito e l'equilibrio, mentre l'RL si occupa della strategia di movimento e della selezione del passo.

• Formulazione del MPC:

  • Utilizza una formulazione a dinamica inversa con vincoli di base galleggiante (floating-base).
  • Gestisce dinamicamente l'inserimento di fasi di volo tramite azioni scalari ($\chi_{MPC}$) che attivano o disattivano vincoli di contatto e costi specifici durante l'iterazione in tempo reale (Real-Time Iteration - RTI).
  • Include vincoli per contatti puntuali (scivolamento nullo) e contatti di rotolamento (per robot ibridi).

• Formulazione del RL:

  • Azione: Comandi di velocità di base ($\xi_{MPC}$) e flag di iniezione per le fasi di volo ($\chi_{MPC}$).
  • Osservazione: Include dati propriocettivi, stime di velocità e forze di contatto derivate dalla soluzione precedente del MPC, e uno stato di "salute" del solver MPC (per rilevare divergenze). Non richiede dati di odometria esterna o sensori di contatto diretti.
  • Ricompense: Una somma ponderata di: tracciamento della velocità desiderata, penalizzazione della variazione delle azioni (smoothness) e minimizzazione del Cost of Transport (CoT) per l'efficienza energetica.

• Framework Software:

  • È stato sviluppato un framework scalabile che esegue migliaia di istanze MPC in parallelo su CPU, sincronizzate con ambienti di simulazione GPU (IsaacSim, MuJoCo). Questo permette un addestramento efficiente senza bisogno di dimostrazioni.

3. Contributi Chiave

1. Architettura Ibrida Innovativa: Unione di RL e MPC dove l'RL apprende direttamente la tempistica dei contatti (gite non periodici) senza dimostrazioni, delegando l'esecuzione dinamica al MPC.
2. Eliminazione della Randomizzazione del Dominio: Il sistema dimostra un trasferimento zero-shot (da simulazione a simulazione e da simulazione a realtà) senza l'uso di domain randomization, grazie alla robustezza intrinseca del MPC e alla separazione dei ruoli.
3. Adattabilità Multi-Piattaforma: Validazione su piattaforme con morfologie e pesi molto diversi (da 50 kg a 120 kg), inclusi robot quadrupedi puri e robot umanoidi ibridi (Centauro, 120 kg).
4. Emergenza di Comportamenti Complessi: Il sistema sviluppa spontaneamente gite non periodici, adattamenti di tempistica in base alla direzione e transizioni fluide tra locomozione su ruote e su gambe.
5. Framework Open Source: Rilascio di un framework software modulare che supporta l'addestramento massivamente parallelo di MPC su CPU.

4. Risultati Sperimentali

• Validazione in Simulazione:
  • Addestramento su piattaforme da 50 kg a 120 kg (incluso Centauro).
  • I robot hanno dimostrato la capacità di eseguire compiti di tracciamento di velocità su terreno piano, adattando dinamicamente i contatti (es. transizioni da trotto simmetrico a pattern asimmetrici o fasi di volo multiple) in risposta a cambi di direzione o velocità.
  • I robot ibridi (ruote + gambe) hanno mostrato un'efficienza energetica superiore (CoT ~0.12) rispetto alla locomozione puramente a gambe (CoT ~0.35) nelle stesse condizioni.
• Trasferimento Sim-to-Real:
  • Implementazione riuscita sul robot reale Centauro (120 kg) per compiti sia di locomozione a gambe che ibrida.
  • Il trasferimento è avvenuto zero-shot (nessun fine-tuning sulla realtà, nessuna randomizzazione del dominio).
  • Il sistema ha funzionato in tempo reale a bordo del robot, utilizzando solo encoder e IMU, stimando la posizione tramite lo stato del MPC.
• Terreni Non Piani:
  • Estensione dimostrata a terreni strutturati (piani a gradini piramidali) utilizzando dati di heightmap grezzi e permettendo all'RL di controllare anche i parametri delle fasi di volo (altezza di sollevamento e atterraggio).

5. Significato e Impatto

Questo lavoro rappresenta un passo significativo verso la locomozione robotica robusta e adattiva nel mondo reale.

• Superamento dei limiti attuali: Risolve il compromesso tra la complessità computazionale dell'ottimizzazione dei contatti (MPC puro) e la scarsa generalizzazione e l'inefficienza dei metodi RL puri.
• Praticità Industriale: La capacità di operare senza randomizzazione del dominio e senza necessità di tuning estensivo delle ricompense rende l'approccio molto più scalabile e applicabile a robot reali con morfologie diverse.
• Versatilità: La dimostrazione di successo su robot ibridi e su terreni complessi apre la strada a robot di servizio capaci di muoversi in ambienti non strutturati, combinando l'efficienza delle ruote con l'agilità delle gambe.

In sintesi, l'articolo propone una soluzione elegante che sfrutta i punti di forza di due paradigmi distinti (apprendimento e controllo ottimo) per ottenere un sistema di locomozione autonomo, efficiente e robusto, capace di emergere comportamenti complessi senza supervisione umana diretta sui pattern di movimento.