Learning Multi-Modal Whole-Body Control for Real-World Humanoid Robots

Titolo: Apprendimento del Controllo del Corpo Intero Multi-Modale per Robot Umanoidi nel Mondo Reale

1. Il Problema

La robotica umanoidi affronta una sfida fondamentale: progettare un'interfaccia unificata per comandare comportamenti complessi del corpo intero. Attualmente, lo sviluppo di controllori robusti richiede l'ingegneria manuale di sistemi separati per abilità specifiche (es. stare in piedi, camminare, manipolazione, imitazione), che sono limitati nella versatilità e difficili da estendere.
Le principali criticità identificate sono:

• Mancanza di unificazione: I sistemi esistenti utilizzano pipeline di elaborazione distinte per diverse modalità di input (comandi di velocità, target degli effettori finali, video, dati di motion capture).
• Frammentazione: Questo approccio frammentato rallenta lo sviluppo, riduce l'interoperabilità e complica il trasferimento delle politiche (policy) dalla simulazione all'hardware reale.
• Robustezza: I controllori esistenti spesso faticano a gestire aggiornamenti dinamici dei comandi, input rumorosi o imprecisi, e disturbi esterni, specialmente quando si combinano locomozione e manipolazione.

2. Metodologia: Masked Humanoid Controller (MHC)

Gli autori propongono il Masked Humanoid Controller (MHC), un controller appreso tramite Reinforcement Learning (RL) che offre un'interfaccia unificata e espressiva.

• Concetto Chiave - Mascheramento (Masking):
  Il MHC accetta come input "direttive di movimento" (motion directives) che sono sequenze di pose future con maschere binarie. Una direttiva $d = (\hat{q}_{1:H}, I_{1:H})$ specifica quali variabili di stato (es. solo le gambe, solo il busto, o tutto il corpo) sono vincolate a seguire un tracciato target, mentre le dimensioni "mascherate" (non specificate) vengono lasciate al controller per essere generate autonomamente. Questo permette di gestire input eterogenei (da joystick a video completi) con la stessa architettura.

• Architettura della Rete:

  • Il modello è una rete neurale ricorrente LSTM (Long Short-Term Memory).
  • Input: Lo stato propriocezionale attuale del robot ($s_t$) e il prossimo passo della direttiva mascherata ($d_i$).
  • Elaborazione: La direttiva viene codificata in un embedding (160 dimensioni), concatenata allo stato e processata da due strati ricorrenti (64 unità ciascuno).
  • Output: Offset per i setpoint dei controller PD di tutti i giunti attuatori (20 giunti sul robot Digit V3). Per i giunti mascherati, l'offset corrisponde al setpoint PD effettivo calcolato dal controller.

• Addestramento e Curriculum:
  L'addestramento avviene in simulazione (MuJoCo) utilizzando l'algoritmo PPO (Proximal Policy Optimization) con un curriculum a tre stadi progressivi:

  1. Locomozione: Focus su equilibrio di base e comandi di movimento del root (velocità, rotazione), con perturbazioni impulsive.
  2. Stabilità: Introduzione di perturbazioni continue sul busto per migliorare la capacità di recupero.
  3. Direttive del Corpo Intero: Addestramento su direttive completamente specificate (imitazione completa) e parzialmente specificate (es. solo braccia + comandi di locomozione, o solo gambe).
  • Randomizzazione del Dominio: Vengono randomizzati parametri fisici (massa, attrito, rumore degli encoder) per garantire il trasferimento sim-to-real.
  • Funzione di Ricompensa: Combina ricompense per il compito (task), lo stile (postura naturale) e la regolarizzazione, più una specifica ricompensa di tracciamento ($r_{track}$) che penalizza l'errore solo sui giunti non mascherati.

3. Contributi Chiave

1. Interfaccia Unificata Multi-Modale: Il MHC è il primo controller in grado di gestire in modo fluido un ampio spettro di input (comandi di velocità, imitazione parziale, imitazione completa, teleoperazione) attraverso un singolo framework basato sul mascheramento.
2. Generalizzazione e Robustezza: Il controller dimostra la capacità di "riempire i vuoti" (fill-in-the-blanks) per i giunti non specificati, generando movimenti del corpo inferiore stabili anche quando si controlla solo la parte superiore, e viceversa.
3. Transfer Sim-to-Real: Dimostrazione riuscita su un robot umanoide reale (Digit V3), mostrando che un singolo controller appreso può eseguire compiti diversificati nel mondo reale senza bisogno di ri-addestramento specifico per ogni modalità.
4. Validazione del Curriculum: Evidenzia come un curriculum di addestramento strutturato sia essenziale per ottenere stabilità e capacità di transizione fluida tra diversi comportamenti, superando i modelli addestrati senza curriculum.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sia in simulazione che sul robot Digit V3 reale.

• Confronto con Baseline:
  • Locomozione: Il MHC performa in modo competitivo rispetto allo stato dell'arte (SaW controller) per camminata e standing, con un drift del root (Root∆) inferiore o comparabile sotto perturbazioni di forza (50N-100N).
  • Imitazione: Rispetto a baseline come OffsetBlind (che ignora il movimento superiore nel piano di locomozione) e OffsetAware, il MHC ottiene un tasso di fallimento drasticamente inferiore (0.45% vs 4.8% - 49.2%) e un errore di posizione degli effettori finali (EMEPE) significativamente migliore (0.098m vs 0.156m/0.227m).
• Generalizzazione:
  • I modelli addestrati su dataset più ampi (combinazione di AMASS, Reallusion, video ottimizzati) generalizzano meglio su movimenti non visti durante l'addestramento.
  • L'uso di un curriculum ha portato a un miglioramento sostanziale nelle prestazioni di camminata e imitazione rispetto a un modello addestrato senza curriculum (MHCNC).
• Risultati nel Mondo Reale (Sim-to-Real):
  • Il MHC è stato testato su Digit V3 eseguendo movimenti di camminata, boxe e manipolazione di scatole (loco-manipulation).
  • Sebbene il tasso di fallimento reale (5%) e l'errore di giunto siano leggermente superiori rispetto alla simulazione, il sistema ha dimostrato la capacità di eseguire compiti altamente non banali, confermando l'efficacia del trasferimento.

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti significativo verso la creazione di robot umanoidi veramente versatili.

• Semplificazione dello Sviluppo: Elimina la necessità di avere controllori separati o interpreti complessi per ogni tipo di compito, permettendo agli sviluppatori di specificare comportamenti in modo flessibile.
• Ponte Sim-Real: Dimostra che l'addestramento in simulazione con randomizzazione del dominio e un curriculum ben progettato può colmare il divario con l'hardware reale, anche per compiti complessi che coinvolgono l'intero corpo.
• Futuro della Robotica: L'approccio basato sul mascheramento apre la strada a robot che possono adattarsi dinamicamente a nuovi input (es. comandi da VR, video, joystick) senza richiedere un ri-addestramento specifico, rendendo i robot umanoidi più accessibili per compiti di servizio e interazione umana.

In sintesi, il MHC fornisce un framework unificato che trasforma la complessità del controllo del corpo intero in un problema di tracciamento di traiettorie parziali, abilitando robot umanoidi a operare in modo robusto e adattivo in scenari reali diversificati.