Technische Samenvatting: OMG: Omni-Modale Bewegingsgeneratie voor Generieke Humanoïde Controle

Probleemstelling

De controle over de volledige lichaamsbeweging van humanoïden is door reinforcement learning aanzienlijk geavanceerd, maar bestaande benaderingen blijven beperkt door twee primaire tekortkomingen:

1. Taakspecifiteit: De meeste policies zijn gebonden aan specifieke taken en beloningsontwerpen, wat ze moeilijk schaalbaar maakt voor algemene, doelgerichte controle.
2. Modaliteitsrigiditeit: Motion tracking-systemen, hoewel schaalbaar, reproduceren primair gegeven referentiebewegingen en missen het vermogen om hoogwaardige, multi-modale menselijke intentie (bijv. taal, audio of nieuwe sensoringangen) te interpreteren zonder expliciete referentiedata.

De auteurs stellen dat het bereiken van generieke humanoïde controle een hiërarchische structuur vereist die biologische motorische systemen weerspiegelt: een schaalbare "hersenen" die in staat is te redeneren met diverse conditionele modaliteiten, geplaatst bovenop een reactief "cerebellum" (motion tracker) dat deze plannen uitvoert. De kernuitdagingen bij het realiseren hiervan zijn de schaarste aan hoogwaardige, uniforme humanoïde bewegingsdata en de moeilijkheid van het bouwen van een generator die ondersteuning biedt voor compositionele, uitbreidbare multi-modale inputs.

Methodologie

Het artikel introduceert OMG (Omni-Modal Motion Generation), een framework bestaande uit een grootschalige dataset en een verenigd diffusion-gebaseerd model.

1. OMG-Data: Een Verenigde Omni-Modale Corpus

Om data-schaarste en heterogeniteit aan te pakken, hebben de auteurs OMG-Data samengesteld, een corpus van meer dan 1.174 uur aan humanoïde bewegingsdata, verenigd in de Unitree G1 bewegingsruimte. De pipeline omvat:

• Aggregatie: Het combineren van heterogene datasets uit graphics- en humanoïde domeinen (bijv. AMASS, AIST++, BEAT2, MotionGV).
• Retargeting: Het gebruik van General Motion Retargeting (GMR) om diverse menselijke bewegingsrepresentaties (SMPL, SMPL-X, FBX) naar de Unitree G1 skeletstructuur te mappen.
• Annotatie: Het inzetten van het Seed-1.8 vision-language model om gestructureerde tekstlabels (actie en stijl) te genereren voor bewegingssegmenten waar deze ontbraken.
• Simulation-in-the-Loop Filtering: Het uitvoeren van de geretargette bewegingen in de MuJoCo-simulator met een PD tracking controller. Trajecten worden afgewezen als ze leiden tot vallen (gedefinieerd door wortelhoogte en kantelheuristieken) of gewrichtslimieten schenden, waardoor wordt gegarandeerd dat de dataset alleen fysiek haalbare en veilige trajecten bevat.

2. OMG-DiT: Unified Diffusion Backbone

Het kernmodel, OMG-DiT, is een Diffusion Transformer die ontworpen is om multi-modale condities te mappen naar robot-uitvoerbare toekomstige trajecten.

• Architectuur: Het opereert direct in de Unitree G1 bewegingsruimte (125-dimensionale feature vectoren per frame) zonder een geleerde motion tokenizer. Het gebruikt een $x$-predictie objectief met een cosine noise schedule.
• Conditioneringsmechanisme:
  • Globale Context: Taal (via een bevroren T5 encoder) en bewegingsgeschiedenis worden geïnjecteerd als globale context tokens via cross-attention.
  • Frame-Uitgelijnde Signalen: Audio en menselijke referentiebewegingen worden geïnjecteerd via FiLM (Feature-wise Linear Modulation) adapters, die de features van specifieke frames moduleren.
  • Uitbreidbaarheid: Nieuwe modaliteiten (bijv. Pico keypoints) kunnen worden geïntegreerd via zero-initialized FiLM adapters, waardoor het model nieuwe interfaces kan leren zonder de vooraf getrainde motion prior te verstoren.
• Trainingsstrategie: Het model wordt getraind met Classifier-Free Guidance (CFG) door tijdens de training willekeurig conditioning modaliteiten weg te laten. Dit maakt zero-shot compositie van modaliteiten mogelijk tijdens de inferentie (bijv. het combineren van tekst- en audio-instructies).

3. Controle Hiërarchie

OMG fungeert als de hoogwaardige generator in een gekascadeerd systeem:

• Generator ($\pi_\phi$): OMG-DiT voorspelt toekomstige whole-body referentietrajecten op basis van multi-modale inputs en geschiedenis.
• Tracker ($\pi_\psi$): Een vooraf getrainde motion tracker (HoloMotion) zet deze referenties om in uitvoerbare joint-space acties op de robot.

Belangrijkste Bijdragen

1. OMG Framework: Een verenigd omni-modaal bewegingsgeneratie framework dat taal, audio, menselijke referenties en hun composities mapt naar fysiek uitvoerbare Unitree G1 trajecten.
2. OMG-Data: Een grootschalige, gecureerde dataset van 1.000+ uren aan omni-modale humanoïde beweging, uitgelijnd naar één enkele robot-embodiment via een rigoureuze retargeting en filtering pipeline.
3. OMG-DiT: Een diffusion-gebaseerde backbone die ondersteuning biedt voor uitbreidbare conditioning. Het toont aan dat nieuwe modaliteiten kunnen worden toegevoegd via lichtgewicht adapters terwijl de gedeelde motion prior behouden blijft.
4. Foundation Model Eigenschappen: Dit werk stelt vast dat humanoïde bewegingsgeneratie gedrag vertoont dat vergelijkbaar is met foundation models, inclusief voorspelbare schaling met modelgrootte, sample-efficiënte adaptatie aan nieuwe taken en zero-shot compositionality van controlesignalen.

Experimentele Resultaten

De auteurs evalueerden OMG over drie primaire modaliteiten en verschillende adaptatiescenario's:

• Text-to-Motion: OMG presteerde significant beter dan baselines (GENMO, HYMotion, Kimodo) op het gebied van bewegingskwaliteit (FID, Matching Score) en tracking nauwkeurigheid (Fall rate, Joint-limit violations). Bijvoorbeeld, OMG-XL behaalde een FID van 6.03 vergeleken met 24.68 voor HYMotion.
• Audio-to-Motion: OMG demonstreerde superieure audio-uitlijning (BeatAlign) en bewegingskwaliteit vergeleken met specifieke audio-naar-beweging modellen zoals LODGE en Bailando.
• Human Reference-to-Motion: OMG presteerde aanzienlijk beter dan optimalisatie-gebaseerde (GMR, PHC) en learning-gebaseerde (NMR, OmniRetarget) retargeting methoden in zowel bewegingskwaliteit als tracking nauwkeurigheid.
• Sample-Efficiënte Adaptatie:
  • Few-Shot Text: Wanneer gefinetuned op onbekende data (AMASS-CMU) met slechts 1% van de data, bereikte het voorgetrainde OMG-model prestaties die vergelijkbaar zijn met een model dat vanaf nul is getraind op 100% van de data.
  • Nieuwe Modaliteiten: In Pico keypoint teleoperatie presteerde het voorgetrainde model consistent beter dan training vanaf nul over alle data-budgetten (1%, 10%, 100%).
• Scaling Gedrag: Het verhogen van het aantal modelparameters van 50M naar 500M resulteerde in consistente verbeteringen in bewegingskwaliteit (MPJPE), wat bevestigt dat bewegingsgeneratie profiteert van een grotere modelcapaciteit.
• Zero-Shot Compositionality: Het systeem voerde succesvol complexe instructies uit waarbij tekst en audio werden gecombineerd (bijv. "Raise your hands" terwijl een specif kind ritme werd gevolgd) zonder expliciete training op dergelijke combinaties.

Betekenis en Claims

Het artikel positioneert OMG als een concrete stap richting foundation models voor humanoïde robots. De auteurs beweren dat generieke humanoïde controle niet enkel gevorderd kan worden door low-level controllers te verbeteren, maar door de bewegingsgenererende hersenen te schalen die menselijke intentie koppelen aan fysieke uitvoering.

Belangrijke claims zijn onder meer:

• Generaliseerbaarheid: Het framework slaagt erin diverse conditionele modaliteiten te verenigen onder één enkele backbone, waarmee de stap wordt gezet voorbij taakspecifieke policies.
• Data Efficiëntie: Pretraining op een massieve, verenigde corpus maakt snelle adaptatie aan nieuwe taken en modaliteiten mogelijk met minimale data.
• Schaalbaarheid: Het systeem vertoont voorspelbare scaling laws, wat suggereert dat verdere verbeteringen kunnen worden bereikt met grotere modellen en datasets.
• Real-World Bruikbaarheid: Het systeem is in real-time gedraaid op een Unitree G1, wat aantoont dat hoogwaardige generatieve planning effectief gekoppeld kan worden aan reactieve tracking voor fysieke uitvoering.

De auteurs erkennen beperkingen, waarbij zij opmerken dat de huidige trainingsdata voornamelijk bestaat uit beweging op vlakke grond en dat het systeem momenteel een modulaire generator-tracker hiërarchie gebruikt in plaats van een volledig joint-geoptimaliseerd end-to-end systeem. Zij suggereren dat het gezamenlijk adapteren van de generator en de tracker, of het incorporeren van uitvoering-feedback, een richting is voor toekomstig werk.