💻 computer science

OMG: Omni-Modal Motion Generation for Generalist Humanoid Control

Il documento presenta OMG, un framework basato sulla diffusione e scalabile per il controllo umanoide generalista che combina un'architettura gerarchica con un dataset meticolosamente curato per abilitare la generazione di motion whole-body omnimodale allo stato dell'arte, condizionata da linguaggio, audio e movimenti di riferimento.

Autori originali: Siqiao Huang, Kun-Ying Lee, Dongming Qiao, Guanqi He, Zhenyu Wang, Yitang Li, Shaoting Zhu, Hang Zhao

Pubblicato 2026-06-10

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Siqiao Huang, Kun-Ying Lee, Dongming Qiao, Guanqi He, Zhenyu Wang, Yitang Li, Shaoting Zhu, Hang Zhao

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

L'Idea Centrale: Un Cervello e un Cervelletto per i Robot

Immaginate un robot umanoide (come l'Unitree G1 usato in questo studio) che cerca di imparare a ballare, camminare o salutare con la mano. Tradizionalmente, gli ingegneri dovevano insegnare al robot una competenza specifica alla volta, come insegnare a un cane a stare seduto o a stare fermo. Se volevate che il robot facesse qualcosa di nuovo, spesso dovevate ricominciare da capo o scrivere regole complesse.

Gli autori di questo articolo propongono un approccio diverso, ispirato al funzionamento del corpo umano. Hanno diviso il sistema di controllo del robot in due parti:

Il Cervello (OMG-DiT): Questo è il "pianificatore". Prende idee di alto livello (come "saluta con la mano" o la musica che suona) e capisce cosa il robot debba fare dopo.
Il Cervelletto (Motion Tracker): Questa è la "memoria muscolare". Prende il piano dal Cervello e assicura che le articolazioni del robot si muovano effettivamente in modo fluido e che non cada.

Il paper si concentra sulla costruzione di un "Cervello" molto più intelligente, capace di comprendere molti tipi diversi di istruzioni contemporaneamente.

Il Problema: Troppi Dialetti, Troppi Pochi Dati

Prima di questo articolo, i dati sul movimento dei robot erano come una biblioteca con libri scritti in lingue diverse, alcuni con pagine mancanti e altri che erano solo scarabocchi.

Alcuni dati avevano descrizioni testuali.
Alcuni avevano la musica.
Alcuni avevano video di esseri umani che ballavano.
Nessuno di essi era in un formato che il robot potesse effettivamente utilizzare.

Per risolvere il problema, il team ha creato OMG-Data. Pensate a questo come a un enorme progetto di traduzione e revisione editoriale. Hanno raccolto oltre 1.000 ore di dati sul movimento da varie fonti, li hanno puliti e hanno tradotto tutto nel "linguaggio" del loro specifico robot (l'Unitree G1). Hanno persino utilizzato un simulatore fisico per controllare ogni singolo movimento, assicurandosi che il robot non inciampasse o non danneggiasse le proprie articolazioni durante l'esecuzione.

La Soluzione: Il Generatore "Omni-Modale"

Il cuore del loro sistema è chiamato OMG-DiT. Potete immaginarlo come un traduttore universale e un direttore creativo uniti in uno solo.

Come funziona:
Immaginate di essere a una festa.

Input Testuale: Qualcuno grida: "Cammina avanti!". Il Cervello comprende questo e pianifica un percorso di camminata.
Input Audio: Qualcuno riproduce un ritmo hip-hop. Il Cervello sente il ritmo e pianifica un ballo che si adatti ad esso.
Input Visivo: Qualcuno saluta con le braccia. Il Cervello osserva e pianifica di copiare quel gesto.
Input Combinato: Qualcuno dice "Balla su questo ritmo!" mentre riproduce la musica. Il Cervello combina il significato delle parole con il ritmo della musica per creare un ballo unico.

La magia di OMG è che non ha bisogno di essere riaddestrato per ogni nuovo tipo di istruzione. Utilizza un "backbone condiviso" (una rete neurale centrale) che ha già imparato le regole generali del movimento. Quando fornite un nuovo tipo di istruzione (come un nuovo sensore o una nuova lingua), basta aggiungere un piccolo "adapter" leggero per collegare quel nuovo input al cervello esistente.

Obiettivi Chiave (Ciò che hanno dimostrato)

È un "Modello Fondazionale": Proprio come i grandi modelli linguistici (LLM) possono scrivere saggi, codice e poesie perché hanno imparato da enormi quantità di testo, questo modello ha imparato da enormi quantità di dati sul movimento. Grazie a ciò, può gestire nuovi compiti con pochissimo addestramento supplementare.
- Analogia: Se insegni a un essere umano a cavalcare una bicicletta, potrà capire come andare su uno skateboard molto più velocemente di chi non ha mai cavalcato nulla. Questo robot fa la stessa cosa.
Composizione Zero-Shot: Il modello può mescolare e abbinare istruzioni che non ha mai visto insieme prima.
- Esempio: Se è stato addestrato a camminare tramite comandi testuali e a ballare seguendo la musica separatamente, può seguire con successo il comando "Cammina avanti" mentre balla su una canzone specifica, anche se non ha mai visto quella combinazione esatta durante l'addestramento.
Esecuzione nel Mondo Reale: Non si sono limitati a simulare tutto su un computer. Hanno installato il sistema su un vero robot Unitree G1. Il robot poteva ascoltare l'audio, leggere il testo o osservare un essere umano, e iniziare immediatamente a muoversi in tempo reale senza cadere.

I Risultati in Parole Semplici

Qualità Migliore: Quando gli veniva chiesto di muoversi basandosi su testo o musica, il loro robot si muoveva in modo più naturale e accurato rispetto ai metodi precedenti.
Adattamento Più Rapido: Quando hanno cercato di insegnare al robot una nuova abilità (come seguire un particolare sensore di tracciamento delle mani chiamato "Pico"), il modello pre-addestrato ha imparato la nuova funzione in pochi minuti con pochissimi dati, mentre un modello addestrato da zero faticava e necessitava di molta più quantità di dati.
Scalabilità: Hanno scoperto che rendendo il "Cervello" più grande (aggiungendo più potenza di calcolo), il robot si muoveva meglio, suggerendo che questo approccio può diventare sempre più intelligente man mano che aggiungiamo dati e potenza.

Riassunto

Il paper presenta OMG, un sistema che fornisce ai robot umanoidi un "cervello generalista". Invece di programmare rigidamente ogni movimento, il robot impara un linguaggio universale del movimento da oltre 1.000 ore di dati. Ciò gli permette di ricevere istruzioni da testo, audio o movimenti umani, combinarli e generare istantaneamente movimenti fisici sicuri che un vero robot può eseguire. È un passo verso robot capaci di comprendere e reagire al mondo con la stessa flessibilità degli esseri umani.

Sintesi Tecnica: OMG: Generazione di Movimento Omni-Modale per il Controllo Umanoido Generalista

Problema

Il controllo del corpo intero per gli umanoidi ha fatto progressi significativi attraverso l'apprendimento per rinforzo, tuttavia gli approcci esistenti rimangono vincolati da due limitazioni primarie:

Specificità delle Skill: La maggior parte delle policy è legata a compiti e design di ricompense specifici, rendendole difficili da scalare verso un controllo general-purpose.
Rigidità Modale: I sistemi di motion tracking, pur essendo scalabili, riproducono principalmente movimenti di riferimento dati e mancano dell'autonomia necessaria per interpretare l'intento umano multi-modale di alto livello (ad esempio, linguaggio, audio o nuovi input sensoriali) senza dati di riferimento espliciti.

Gli autori sostengono che il raggiungimento di un controllo umanoido general-purpose richieda una struttura gerarchica che rispecchi i sistemi motori biologici: un "cervello" scalabile capace di ragionare con diverse modalità di condizionamento, situato sopra un "cervelletto" reattivo (motion tracker) che esegue questi piani. Le sfide principali nel realizzare ciò sono la scarsità di dati di movimento umanoidi di alta qualità e unici, e la difficoltà di costruire un generatore che supporti input multi-modali compositivi ed estensibili.

Metodologia

Il documento introduce OMG (Omni-Modal Motion Generation), un framework composto da un dataset su larga scala e un modello unificato basato sulla diffusione.

1. OMG-Data: Un Corpus Omni-Modale Unificato

Per affrontare la scarsità e l'eterogeneità dei dati, gli autori hanno curato OMG-Data, un corpus di oltre 1.174 ore di dati di movimento umanoidi unificati nello spazio di movimento del Unitree G1. La pipeline prevede:

Aggregazione: Combinazione di dataset eterogenei provenienti da domini della grafica e degli umanoidi (es. AMASS, AIST++, BEAT2, MotionGV).
Retargeting: Utilizzo del General Motion Retargeting (GMR) per mappare diverse rappresentazioni di movimento umano (SMPL, SMPL-X, FBX) sulla struttura scheletrica di Unitree G1.
Annotazione: Sfruttamento del modello vision-language Seed-1.8 per generare etichette testuali strutturate (azione e stile) per i segmenti di movimento privi di esse.
Filtraggio con Simulazione-in-the-Loop: Esecuzione dei movimenti retargetizzati in un simulatore MuJoCo con un controllore di tracking PD. Le traiettorie vengono rifiutate se causano cadute (definite da euristiche di altezza della radice e inclinazione) o violano i limiti articolari, garantendo che il dataset contenga solo traiettorie fisicamente fattibili e sicure.

2. OMG-DiT: Backbone di Diffusione Unificato

Il modello centrale, OMG-DiT, è un Diffusion Transformer progettato per mappare condizioni multi-modali in traiettorie future eseguibili dal robot.

Architettura: Opera direttamente nello spazio di movimento Unitree G1 (vettori di feature a 125 dimensioni per frame) senza un motion tokenizer appreso. Utilizza un obiettivo di predizione di $x$ con uno schema di rumore coseno.
Meccanismo di Condizionamento:
- Contesto Globale: Il linguaggio (tramite encoder T5 congelato) e la storia del movimento vengono iniettati come token di contesto globale tramite cross-attention.
- Segnali Allineati ai Frame: L'audio e i movimenti di riferimento umani sono iniettati tramite adattatori FiLM (Feature-wise Linear Modulation), che modulano le feature di frame specifici.
- Estensibilità: Nuove modalità (ad esempio, keypoint di Pico) possono essere incorporate tramite adattatori FiLM con inizializzazione a zero, permettendo al modello di apprendere nuove interfacce senza interrompere il prior di movimento pre-addestrato.
Strategia di Addestramento: Il modello è addestrato con Classifier-Free Guidance (CFG) eliminando casualmente le modalità di condizionamento durante l'addestramento. Ciò consente la composizione zero-shot delle modalità al momento dell'inferenza (ad esempio, combinando istruzioni testuali e audio).

3. Gerarchia di Controllo

OMG funziona come il generatore di alto livello in un sistema a cascata:

Generatore ( $\pi_\phi$ ): OMG-DiT predice future traiettorie di riferimento del corpo intero basandosi su input multi-modali e sulla storia.
Tracker ( $\pi_\psi$ ): Un motion tracker pre-addestrato (HoloMotion) converte questi riferimenti in azioni eseguibili nello spazio articolare sul robot.

Contributi Chiave

Framework OMG: Un framework unificato di generazione di movimento omni-modale che mappa linguaggio, audio, riferimenti umani e le loro composizioni in traiettorie fisicamente eseguibili per Unitree G1.
OMG-Data: Un dataset su larga scala e curato di oltre 1.000 ore di movimento umanoido omni-modale, allineato a un singolo embodiment robotico attraverso una rigorosa pipeline di retargeting e filtraggio.
OMG-DiT: Un backbone basato sulla diffusione che supporta un condizionamento estensibile. Dimostra che nuove modalità possono essere aggiunte tramite adattatori leggeri pur riutilizzando il prior di movimento condiviso.
Proprietà di Foundation Model: Il lavoro stabilisce che la generazione di movimento umanoido esibisce comportamenti simili a quelli dei foundation model, inclusa la scalabilità prevedibile con la dimensione del modello, l'adattamento efficiente in termini di campioni a nuovi compiti e la composizionalità zero-shot dei segnali di controllo.

Risultati Sperimentali

Gli autori hanno valutato OMG attraverso tre modalità primarie e diversi scenari di adattamento:

Text-to-Motion: OMG ha superato significativamente i baseline (GENMO, HYMotion, Kimodo) in termini di qualità del movimento (FID, Matching Score) e fedeltà di tracking (tasso di caduta, violazioni dei limiti articolari). Ad esempio, OMG-XL ha raggiunto un FID di 6.03 rispetto al 24.68 di HYMotion.
Audio-to-Motion: OMG ha dimostrato un allineamento audio (BeatAlign) e una qualità del movimento superiori rispetto a modelli dedicati audio-to-motion come LODGE e Bailando.
Human Reference-to-Motion: OMG ha superato sostanzialmente i metodi di retargeting basati su ottimizzazione (GMR, PHC) e su apprendimento (NMR, OmniRetarget) sia in termini di qualità del movimento che di fedeltà di tracking.
Adattamento Efficiente in Campioni:
- Few-Shot Text: Effettuando il fine-tuning su dati non visti (AMASS-CMU con solo l'1% dei dati), il modello pre-addestrato OMG ha ottenuto prestazioni paragonabili a un modello addestrato da zero su il 100% dei dati.
- Nuove Modalità: Nella teleoperazione con keypoint di Pico, il modello pre-addestrato ha superato costantemente l'addestramento da zero in tutti i budget di dati (1%, 10%, 100%).
Comportamento di Scaling: L'aumento dei parametri del modello da 50M a 500M ha portato a miglioramenti costanti nella qualità del movimento (MPJPE), confermando che la generazione di movimento beneficia di una maggiore capacità del modello.
Componibilità Zero-Shot: Il sistema ha eseguito con successo istruzioni complesse combinando testo e audio (ad esempio, "Alza le mani" seguendo un ritmo specifico) senza un addestramento esplicito su tali combinazioni.

Significato e Rivendicazioni

Il documento posiziona OMG come un passo concreto verso i foundation model per i robot umanoidi. Gli autori sostengono che il controllo umanoido generalista possa progredire non semplicemente migliorando i controller di basso livello, ma scalando il "cervello" di generazione del movimento che interfaccia l'intento umano con l'esecuzione fisica.

Le rivendicazioni chiave includono:

Generalizzabilità: Il framework unifica con successo diverse modalità di condizionamento sotto un unico backbone, andando oltre le policy specifiche per compito.
Efficienza dei Dati: Il pre-addestramento su un corpus massiccio e unificato consente una rapida adattabilità a nuovi compiti e modalità con un minimo di dati.
Scalabilità: Il sistema mostra leggi di scaling prevedibili, suggerendo che ulteriori miglioramenti possano essere ottenuti con modelli e dataset più grandi.
Vitalità nel Mondo Reale: Il sistema è implementato in tempo reale su un Unitree G1, dimostrando che la pianificazione generativa di alto livello può essere efficacemente accoppiata con il tracking reattivo per l'esecuzione fisica.

Gli autori riconoscono i limiti, notando che i dati di addestramento attuali sono principalmente movimenti su terreno piano e che il sistema utilizza attualmente una gerarchia modulare generatore-tracker piuttosto che un sistema end-to-end completamente ottimizzato congiuntamente. Suggeriscono che l'adattamento congiunto del generatore e del tracker, o l'incorporazione del feedback di esecuzione, rimanga una direzione per il lavoro futuro.