Riepilogo Tecnico: MuGen - Controllore Generativo Multi-Abilità per la Locomozione di Robot Umanoidi

Enunciato del Problema

I robot umanoidi hanno raggiunto progressi significativi nella locomozione bipede attraverso l'apprendimento per rinforzo profondo (RL). Tuttavia, gli approcci esistenti spesso si basano su una modellazione delle ricompense specifica per il compito, che è difficile da progettare e manca di generalizzabilità attraverso compiti diversificati. Sebbene l'apprendimento per imitazione (IL) offra un'alternativa promettente sfruttando dataset di movimento umano, i metodi attuali affrontano due limitazioni principali:

1. Limitazioni Strutturali: Le politiche di tracciamento naive faticano a catturare la struttura complessa dello spazio delle azioni sotto vincoli cinematici e dinamici, rendendo difficile estrarre e riutilizzare pattern di movimento distintivi da dataset su larga scala.
2. Affidabilità Dinamica: La separazione tra generazione del movimento e controllo del robot spesso non garantisce che le traiettorie generate siano dinamicamente fattibili. Anche traiettorie cinematicamente plausibili possono essere non tracciabili dalla politica di controllo del robot, portando a instabilità o fallimenti.

MuGen affronta questi problemi proponendo un framework basato sui dati che apprende un sistema di controllo generativo direttamente dalla simulazione fisica, garantendo che le abilità apprese siano coerenti con i vincoli dinamici del robot.

Metodologia

MuGen impiega un framework di apprendimento Teacher-Student combinato con Autoencoder Variazionali Quantizzati vettorialmente (VQ-VAE) e Apprendimento per Rinforzo Basato su Modello (MBRL). Il sistema è addestrato in simulazione (NVIDIA IsaacGym) utilizzando il dataset di movimento LaFAN1.

1. Modello Generativo e Embedding delle Abilità

Il cuore di MuGen è uno spazio latente strutturato per le abilità di movimento appreso tramite un VQ-VAE.

• Encoder ($E$): Mappa gli stati del robot ($s$) e i movimenti di riferimento ($m$) in embedding continui ($z$).
• Collo di Bottiglia VQ: Quantizza questi embedding all'entrata più vicina in un libro dei codici addestrabile ($\hat{z} = B(z)$), creando uno spazio di abilità discreto.
• Decoder ($D$): Condiziona sul codice quantizzato e sullo stato corrente per produrre una distribuzione sui target delle giunture (azioni).
• Modello del Mondo ($W$): Un modello di dinamica differenziabile predice lo stato successivo ($s_{t+1}$) dato lo stato corrente e l'azione. Questo colma il divario tra riferimenti cinematici e azioni della politica, abilitando l'ottimizzazione basata su gradienti senza fare affidamento su gradienti RL basati su campioni.

2. Strategia di Addestramento

Il processo di addestramento è diviso in tre fasi per garantire una distillazione robusta della politica:

• Pre-addestramento: La Politica Teacher è addestrata utilizzando informazioni privilegiate (conoscenza completa dello stato) e il modello del mondo. Ottimizza congiuntamente la politica e il libro dei codici VQ per ricostruire i movimenti di riferimento minimizzando l'errore di tracciamento.
• Riscaldamento: Viene introdotta la Politica Student. Osserva informazioni limitate (simulando i vincoli dei sensori nel mondo reale) ma condivide il libro dei codici congelato con il teacher. Lo studente viene riscaldato mentre il teacher continua a generare rollout.
• Distillazione: Il teacher e il libro dei codici vengono congelati. La politica student viene addestrata per imitare il comportamento del teacher. Viene impiegata una nuova strategia di schedulazione progressiva (ispirata a DAgger): all'interno di una singola traiettoria di rollout, il controllo viene commutato casualmente tra teacher e student, con la probabilità di selezionare il teacher ridotta linearmente a zero. Questo permette al teacher di stabilizzare il robot se lo studente commette errori, prevenendo bruschi spostamenti di distribuzione.

3. Distillazione della Politica

La politica student apprende attraverso due obiettivi:

• Clonazione del Comportamento ($L_{BC}$): Minimizza la discrepanza diretta delle azioni tra lo studente e il teacher.
• Allineamento Latente ($L_{align}$): Incoraggia l'encoder dello studente a produrre embedding compatibili con il libro dei codici congelato del teacher, facilitando il trasferimento di conoscenza a livello di caratteristiche.

Contributi Chiave

1. Framework di Locomozione Generativa: MuGen introduce un framework che apprende uno spazio latente discreto e dinamicamente fattibile per la locomozione multi-abilità direttamente da dati di movimento umano eterogenei, eliminando la necessità di funzioni di ricompensa artigianali.
2. Distillazione Teacher-Student con VQ-VAE: Il documento propone un'architettura specifica in cui un teacher privilegiato apprende una rappresentazione delle abilità basata su VQ, che viene poi distillata in una politica student deployabile utilizzando un libro dei codici condiviso. Questo permette il trasferimento di complesse abilità dinamiche a una politica con capacità di osservazione limitate.
3. Strategia di Distillazione Progressiva: Gli autori sviluppano un nuovo meccanismo di schedulazione in cui le politiche teacher e student sono mescolate all'interno di singole traiettorie durante la distillazione. Questo approccio mitiga il calo di prestazioni spesso osservato quando si passa da impostazioni di osservazione privilegiata a limitate.
4. Deploy nel Mondo Reale: Il framework è stato validato su un robot umanoide Unitree G1, dimostrando la capacità di tracciare movimenti inediti (camminata, corsa, accovacciamento, danza) e generare nuovi movimenti autonomamente utilizzando solo sensori propriocettivi onboard.

Risultati Sperimentali

Gli autori hanno valutato MuGen sul robot Unitree G1 e in simulazione utilizzando un sottoinsieme del dataset LaFAN1 (circa 1 ora di dati di locomozione).

• Prestazioni di Tracciamento: In simulazione, MuGen ha raggiunto un Tasso di Sopravvivenza (SR) del 95,35% su movimenti inediti, superando significativamente le baseline (MLP Vanilla: 60,70%, basata su VAE: 51,51%). Ha inoltre dimostrato un errore di rotazione media delle giunture (MJRE) e un errore di velocità lineare media (MVE) inferiori rispetto alle baseline.
• Robustezza: Il sistema ha mantenuto la stabilità sotto randomizzazione del dominio (variazione di attrito, carico utile e rumore dei sensori). Studi di ablazione hanno confermato che gli embedding di abilità discreti (VQ) e una storia temporale moderata sono critici per la robustezza.
• Capacità Generativa: Addestrando un "encoder prior" per campionare abilità latenti dal libro dei codici basandosi esclusivamente sullo stato propriocettivo, il sistema ha generato con successo movimenti diversi e fluidi (camminata, corsa, svolta) senza traiettorie di riferimento.
• Esecuzione nel Mondo Reale: La politica è stata deployata sul Unitree G1 a 30 Hz, eseguendo con successo camminata in linea retta e camminata accovacciata, dimostrando la capacità del framework di colmare il divario sim-to-real.

Significato e Affermazioni

Il documento afferma che MuGen rappresenta un passo significativo verso controller generativi per robot umanoidi. Il suo significato principale risiede in:

• Generalizzazione: La capacità di apprendere un set di abilità compatto da dati non strutturati e applicarlo a movimenti e compiti di generazione inediti senza riaddestramento.
• Deployabilità: Il trasferimento riuscito di una politica generativa complessa basata sulla fisica a un robot umanoide reale con sensing limitato, superando il divario "sim-to-real" attraverso la randomizzazione del dominio e una strategia di distillazione robusta.
• Efficienza: Il metodo riduce la dipendenza da un'estesa ingegneria delle ricompense, sfruttando la similarità morfologica tra umani e robot per produrre comportamenti agili ed espressivi.

Gli autori riconoscono le limitazioni, incluse le difficoltà nel mantenere una posa in piedi stabile (a causa della sottorappresentazione delle pose statiche nei dati di addestramento) e la dipendenza da un modello del mondo semplificato. Tuttavia, sostengono che questo framework fornisca una base scalabile per lavori futuri nella generazione di movimento guidata da prompt e nell'adattamento a terreni più complessi.