💻 computer science

OmniMotion-X: Versatile Multimodal Whole-Body Motion Generation

OmniMotion-X is een geavanceerd, veelzijdig multimodaal framework dat een autoregressieve diffusie-transformer en een nieuwe referentiebewegings-conditioneringsstrategie benut, getraind op de grootste unificerende bewegingsdataset (OmniMoCap-X), om realistische, coherente en controleerbare hele lichaamsbewegingen van mensen te genereren voor diverse taken zoals tekst-naar-beweging, muziek-naar-dans en spraak-naar-gebaar.

Oorspronkelijke auteurs: Guowei Xu, Yuxuan Bian, Ailing Zeng, Zhuo Chen, Mingyi Shi, Shaoli Huang, Wen Li, Lixin Duan, Qiang Xu

Gepubliceerd 2026-07-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Guowei Xu, Yuxuan Bian, Ailing Zeng, Zhuo Chen, Mingyi Shi, Shaoli Huang, Wen Li, Lixin Duan, Qiang Xu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren dansen. Je zou kunnen zeggen: "Beweeg je linkerarm," of een liedje afspelen en zeggen: "Dans op deze beat." Maar wat als je wilt dat de robot alles tegelijk doet? Wat als je wilt dat hij naar een liedje luistert, een gesproken verhaal volgt, reageert op een specifiek pad op de vloer en er nog steeds uitziet als een echt persoon die natuurlijk beweegt? Dit is de heilige graal van "bewegingsgeneratie", een vakgebied waar computerwetenschappers proberen machines te leren om menselijke bewegingen vanuit het niets te creëren. Lange tijd waren deze robots als onhandige beginners: ze konden dansen op muziek, of een tekstuele opdracht uitvoeren, maar ze konden die vaardigheden niet combineren. Ze werden ook vaak getraind op rommelige data, zoals proberen te leren zwemmen door naar wazige video's van mensen die in een zwembad spatten te kijken, in plaats van naar heldere beelden van echte zwemmers. De grote vraag die onderzoekers stellen is: Kunnen we één enkel "brein" bouwen dat al deze verschillende instructies tegelijkertijd begrijpt, leert van hoogwaardige data en vloeiende, realistische, langdurige menselijke bewegingen creëert zonder over zijn eigen voeten te struikelen?

Maak kennis met OmniMotion-X, een nieuw project dat fungeert als een superkrachtige dirigent voor een digitaal orkest van beweging. Denk aan eerdere modellen voor bewegingsgeneratie als solisten die slechts één instrument perfect konden spelen. Als je een vioolsolo wilde, belde je een ander model; voor een drumsolo een ander. Ze konden niet samen jammen. OmniMotion-X is echter een verenigd "sequence-to-sequence"-model. Stel je dit voor als een meesterverteller die niet alleen een script leest (tekst) of naar een ritme luistert (muziek), maar ook naar een vorige scène kan kijken (referentiebeweging) en kan zeggen: "Oké, gebaseerd op hoe ze zich net bewogen, is dit precies hoe ze zich nu moeten bewegen." Het gebruikt een slimme techniek genaamd een "Diffusion Transformer", wat lijkt op een beeldhouwer die begint met een blok ruizige, statische klei en langzaam de ruis wegbeitelt totdat er een perfecte, vloeiende dans verschijnt.

Het geheime ingrediënt hier is hoe de onderzoekers het model hebben onderwezen. In plaats van elke mogelijke instructie tegelijkertijd in de richting van de robot te gooien — wat zou zijn alsof je een hond probeert te leren zitten, blijven, apporteren en rollen, allemaal in dezelfde seconde — gebruikten ze een "weak-to-strong" trainingsstrategie. Eerst leerden ze het model eenvoudige concepten, zoals "beweeg je lichaam op basis van dit verhaal." Zodra de robot de basis onder de knie had, voegden ze langzaam moeilijkere beperkingen toe, zoals "nu moet je dit specifieke ritme matchen" of "nu moet je dit exacte pad volgen." Deze stapsgewijze aanpak voorkwam dat de robot in de war raakte of overweldigd werd.

Maar een slim brein heeft goede data nodig, en dat is waar de tweede helft van dit artikel uitblinkt. Het team realiseerde zich dat de meeste bestaande bewegingsdatasets leken op een rommelige stapel puzzelstukjes uit verschillende dozen: sommige waren kwalitatief slechte schattingen, andere hadden inconsistente beschrijvingen, en geen van hen paste bij elkaar. Om dit op te lossen, bouwden ze OmniMoCap-X, de grootste verenigde bewegingsdataset ooit gemaakt. Ze verzamelden 28 verschillende hoogwaardige motion capture-bronnen — denk aan 28 verschillende professionele dansgezelschappen en acteurs die zijn opgenomen met hightech pakken — en voegden deze samen tot één enorme, perfect georganiseerde bibliotheek. Ze standaardiseerden alles zodat de robot voor elke beweging dezelfde "taal" spreekt (genaamd SMPL-X). Ze gebruikten zelfs geavanceerde AI om de video's van deze bewegingen te bekijken en gedetailleerde, gestructureerde verhalen te schrijven over wat er gebeurde, zodat de robot niet alleen begrijpt dat een persoon bewoog, maar ook waarom en hoe.

De resultaten zijn indrukwekkend. Bij tests op taken zoals het omzetten van tekst in dans, het omzetten van spraak in gebaren, of het voorspellen van wat een persoon hierna zal doen, presteerde OmniMotion-X beter dan alle voorgaande methoden. Het genereerde niet zomaar willekeurig geflapper; het creëerde bewegingen die consistent en realistisch waren en die langdurig konden voortduren zonder uit elkaar te vallen. Als je het bijvoorbeeld vroeg om een dans te genereren op basis van een liedje, bewoog het niet zomaar willekeurig; het synchroniseerde de passen met de beat. Als je een "referentiebeweging" gaf (zoals een clip van iemand die loopt), kon het die wandeling naadloos voortzetten of de stijl aanpassen op basis van nieuwe instructies, terwijl de stijl en flow intact bleven.

De makers zijn echter eerlijk over wat hun robot nog niet kan. Hoewel het geweldig is in het bewegen van één persoon, heeft het moeite wanneer die persoon op een realistische manier moet interageren met complexe objecten of andere mensen (zoals een beker oppakken zonder hem te laten vallen, of een high-five geven aan een vriend). Het is ook een beetje traag; het duurt ongeveer 2,14 seconden om een enkele sample te generen, wat langzamer is dan sommige eenvoudigere modellen. Maar dit artikel bewijst dat door verschillende soorten data te verenigen en het model op een slimme, stapsgewijze manier te onderwijzen, we veel dichter bij het creëren van digitale mensen kunnen komen die bewegen met de gratie en complexiteit van het echte leven. Het is nog geen opgelost probleem, maar het is een enorme sprong voorwaarts in het leren van machines om te dansen, te gebaren en met ons mee te bewegen.

Technische Samenvatting: OmniMotion-X

Probleemstelling

Huidige methoden voor menselijke bewegingsgeneratie kampen met aanzienlijke beperkingen bij het bereiken van veelzijdige, multimodale, volledige lichaamscontrole. Bestaande benaderingen zijn grotendeels gefragmenteerd en vertrouwen op taakspecifieke architecturen (bijv. afzonderlijke modellen voor Text-to-Motion, Music-to-Dance of Speech-to-Gesture), wat de cross-task generalisatie belemmert. Bovendien hebben bestaande unificatiemodellen vaak moeite met:

Multimodale Conflict: Moeite met het balanceren van hoogwaardige semantische sturing (tekst) met laagwaardige fysieke beperkingen (gewrichtstrajecten, audio-ritmes), wat leidt tot optimalisatieproblemen en een aangetast regie-vermogen.
Data-schaarsheid en Kwaliteit: Het gebrek aan grootschalige, verenigde datasets. De meeste bestaande datasets zijn taakspecifiek, gebruiken inconsistente bewegingsformaten (BVH, SMPL, SMPL-H) of vertrouwen op niet-mocap schattingsmethoden die "garbage in, garbage out"-effecten introduceren. Daarnaast zijn tekstannotaties vaak inconsistent, gehallucineerd door LLM's zonder visuele context, of te simpel om hoogwaardige semantiek te vangen.
Temporele Consistentie: Het genereren van langdurige, coherente bewegingen die een consistente stijl en dynamiek behouden, blijft moeilijk, vooral bij het combineren van diverse invoercondities.

Methodologie

De auteurs stellen OmniMotion-X voor, een verenigde sequence-to-sequence autoregressieve diffusie-transformer ontworpen voor flexibele whole-body bewegingsgeneratie.

1. Modelarchitectuur

Kern Backone: Het model maakt gebruik van Diffusion Transformers (DiTs).
Multimodale Conditionering: In plaats van afzonderlijke controle-takken, concateneert OmniMotion-X conditioneringstokens als een prefix-context. De condities zijn:
- Tekst ( $c_t$ ): Semantische sturing via een T5-XXL encoder.
- Globale Beweging ( $c_g$ ): Ruimtelijk-temporele sturingssignalen.
- Spraak ( $c_s$ ) & Muziek ( $c_m$ ): Ritmische en stilistische afstemming via wav- en Librosa-encoders.
- Referentiebeweging ( $c_r$ ): Een nieuw conditioneringssignaal afgeleid van door de gebruiker verstrekte bewegingen of eerder gegenereerde clips. Dit fungeert als een bewegingsprior, die fijnmazige ruimtelijk-temporele context (stijl, dynamiek) biedt die een enkele startpose niet kan bieden.
Generatieparadigma: Het model gebruikt een autoregressieve aanpak, waarbij bewegingsclips clip-voor-clip worden gegenereerd. Het voorspelt direct de schone beweging $\hat{x}_0$ in plaats van ruis, gebruikmakend van een eenvoudige diffusie-objectief.

2. Trainingsstrategie: Weak-to-Strong Progressive Conditioning

Om het conflict tussen hoogwaardige semantiek en laagwaardige fysieke beperkingen aan te pakken, introduceren de auteurs een progressieve weak-to-strong mixed conditions trainingsstrategie:

Fase 1: Trainen met enkel tekstuele condities om de bewegings-semantische uitlijning vast te stellen.
Fase 2: Progressief integreren van sterkere, fijnere condities (Referentiebeweging, Globale Beweging).
Fase 3: Opnemen van audiosignalen (Spraak/Muziek).
Deze gefaseerde aanpak voorkomt dat het model overfit op dominante laagwaardige signalen (die de semantische verstandhouding zouden kunnen onderdrukken) en lost optimalisatieconflicten op door het bewegingsgeneratieproces geleidelijk te beperken.

3. OmniMoCap-X Dataset

Om dit framework te ondersteunen, hebben de auteurs OmniMoCap-X geconstrueerd, de grootste verenigde multimodale bewegingsdataset tot nu toe:

Schaal: 286,2 uur aan data bestaande uit 64,3 miljoen frames uit 28 publiekelijk beschikbare datasets.
Dekking: Ondersteunt 10 verschillende taken, waaronder Text-to-Motion (T2M), Music-to-Dance (M2D), Speech-to-Gesture (S2G), Human-Object Interaction (HOI), Human-Scene Interaction (HSI) en Human-Human Interaction (HHI).
Standaardisatie: Alle data is verenigd in het SMPL-X formaat (inclusclusief lichaam, handen, kaak en gezichtsuitdrukkingen) op 30 FPS, met genormaliseerde wereldcoördinaten.
Annotatiekwaliteit: De dataset bevat gestructureerde, hiërarchische captions gegenereerd door bewegingssequenties te renderen naar video's en deze te verwerken met GPT-4o (een Vision-Language Model). Dit zorgt ervoor dat de captions zowel laagwaardige kinematische details als hoogwaardige semantiek vatten, waardoor hallucinaties die gebruikelijk zijn bij tekst-alleen LLM-verfijning worden vermeden.

Belangrijkste Bijdragen

OmniMotion-X Framework: Een verenigde autoregressieve diffusie-transformer die diverse multimodale taken (T2M, M2D, S2G, GSTC) en de flexibele combinaties daarvan ondersteunt.
Referentiebeweging Conditionering: De introductie van referentiebeweging als een conditioneringssignaal om de consistentie in inhoud, stijl en temporele dynamiek aanzienlijk te verbeteren, wat interactieve, clip-voor-clip generatie mogelijk maakt.
Progressieve Trainingsstrategie: Een weak-to-strong mixed-conditioning aanpak die effectief omgaat met multi-granulaire beperkingen en optimalisatieconflicten voorkomt.
OmniMoCap-X Dataset: Een hoogwaardige, verenigde dataset met gestandaardiseerde SMPL-X formaten en VLM-gegenereerde hiërarchische captions, die de fragmentatie en kwaliteitsissues van eerdere datasets aanpakt.

Experimentele Resultaten

Uitgebreide evaluaties zijn uitgevoerd op testsets die uniform zijn gesampled uit OmniMoCap-X (280 samples over diverse scenario's).

Text-to-Motion (T2M): OmniMotion-X presteert aanzienlijk beter dan baselines (MDM, MLD, MoMask, MotionCraft) op het gebied van R-Precision, FID en Diversiteit. Het overtreft ook versies van deze baselines die getraind zijn op OmniMoCap-X, wat te danken is aan het gebruik van een sterkere tekstencoder (T5-XXL) en de referentiebewegingsprior.
Global Spatiotemporal Controllable Generation (GSTC): Het model vertoont een superieur vermogen om dichte ruimtelijke controle-signalen (gewricht/traject sturing) te volgen vergeleken met OmniControl, dat moeite heeft met generalisatie door kleinere datasetgroottes.
Music-to-Dance (M2D) & Speech-to-Gesture (S2G): Het model behaalt competitieve prestaties. Hoewel de FID-scores iets hoger zijn dan bij gespecialiseerde baselines, wordt dit toegeschreven aan de distributiekloof tussen de diverse trainingsdata (OmniMoCap-X) en de specifieke, kleinere testsets. Het model vertoont een hogere generatiediversiteit.
Ablatie-studies: Het verwijderen van de progressieve trainingsstrategie leidt tot een significante daling in de tekst-beweging uitlijning en de ruimtelijke-temporele controle, wat de noodzaak van de weak-to-strong aanpak bevestigt.

Betekenis en Claims

Het artikel claimt dat OmniMotion-X een nieuwe state-of-the-art vestigt voor veelzijdige, multimodale whole-body bewegingsgeneratie. Door diverse taken te verenigen onder één framework en gebruik te maken van een hoogwaardige, gestandaardiseerde dataset, maakt de methode de interactieve generatie van realistische, coherente en controleerbare langdurige bewegingen mogelijk.

De auteurs benadrukken dat het referentiebeweging mechanisme een cruciale innovatie is, die "clip-by-clip" autoregressieve generatie mogelijk maakt die de temporele consistentie en stijl behoudt, een capaciteit die eerder ontbrak in multimodale bewegingssynthese. Bovendien wordt de OmniMoCap-X dataset gepresenteerd als een fundamentele bron voor toekomstig onderzoek, die het "garbage in, garbage out"-probleem oplost door prioriteit te geven aan hoogwaardige mocap-data en consistente, visueel gegronde annotaties.

Erkende Beperkingen:
Het artikel merkt op dat het huidige model geen expliciete conditionering heeft voor fysieke interacties met scènes, objecten of andere mensen, wat de mogelijkheid beperkt om plausibele interactieve bewegingen in complexe omgevingen te genereren. Daarnaast is de inferentiesnelheid een bottleneck vanwege de uitgebreide contextlengte die nodig is voor het aggregeren van diverse multimodale condities, in plaats van het aantal parameters van het model zelf.