💻 computer science

Unleashing Infinite Motion: Scaling Expressive Quadrupedal Motion via Generative Video Priors

Dit artikel introduceert Uni-Mo, een volledig geautomatiseerde pijplijn die een LLM en video-diffusiemodellen gebruikt om een grootschalige, taalkundig geannoteerde dataset van diverse viervoetige bewegingen te genereren, wat het trainen van policies mogelijk maakt die succesvol expressieve, metgezelschap-achtige gedragingen op echte robots implementeren zonder afhankelijk te zijn van diergegevens.

Oorspronkelijke auteurs: Youzhi Liu, Li Gao, Yifei Qian, Liu Liu, Yang Cai, Ziqiao Li

Gepubliceerd 2026-06-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Youzhi Liu, Li Gao, Yifei Qian, Liu Liu, Yang Cai, Ziqiao Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De Robot Hond Die Alleen Kan Lopen

Stel je voor dat je een robothond hebt. Hij is geweldig in rennen, trappen beklimmen en herstellen als je hem een duw geeft. Maar als je hem iets anders vraagt—zoals buigen, dansen of een achterwaartse salto maken—staart hij je alleen maar aan. Het is alsoft een briljante atleet die alleen maar weet hoe hij op één plek moet joggen.

Lange tijd probeerden wetenschappers deze robots nieuwe trucjes te leren door echte dieren (zoals honden of cheetah's) te filmen en hun bewegingen te kopiëren. Maar deze aanpak heeft drie grote gebreken:

Het "Coöperatieve Dier"-probleem: Je kunt een echte hond niet vertellen: "Houd deze houding aan voor kalibratie" of "Doe een achterwaartse salto op commando." Ze doen gewoon wat ze willen.
Het "Translatie"-probleem: Een echte hond heeft een flexibele ruggengraat en een andere lichaamsvorm dan een robot. Proberen de beweging van een echte hond te kopiëren naar een robot is als het proberen te passen van een vierkante pen in een rond gat. De wiskunde loopt vaak vast en de robot doet iets onmogelijks of valt om.
Het "Saaiheid"-probleem: Omdat we afhankelijk zijn van echte dieren, krijgen we alleen de bewegingen die dieren van nature doen (lopen, rennen). We missen de leuke, expressieve dingen die we van robots willen dat ze doen.

De Oplossing: Uni-Mo (De "Imaginaire Hond" Fabriek)

De auteurs stellen een nieuw systeem voor genaamd Uni-Mo. In plaats van echte dieren te filmen, besloten ze de bewegingen te verbeelden met behulp van AI.

Denk er zo over na: in plaats van een echte hond in te huren om een dansroutine te leren, huur je een superintelligente AI-filmregisseur in. Je geeft de regisseur een tekstuele opdracht (zoals "Doe een achterwaartse salto") en de AI genereert een video van een robothond die precies dat doet.

Zo werkt de pijplijn, stap voor stap:

1. De Scenarist (LLM)

Eerst komt een Large Language Model (zoals een zeer creatieve schrijver) met honderden leuke ideeën voor wat de robothond kan doen. Het schrijft prompts zoals "Doe een tapdans," "Buig beleefd," of "Trap naar achteren."

2. De Filmregisseur (Video Diffusion Model)

Vervolgens gaan deze prompts naar een "Video Diffusion Model". Dit is een AI die video's kan genereren vanuit tekst.

De Oude Manier: Als je een standaard video-AI simpelweg vraagt om een robothond te laten dansen, raakt deze in de war. De poten van de robot kunnen smelten, de kop kan veranderen in een klodder, of het lichaam kan uitrekken als kauwgom. Dit wordt "Identity Drift" genoemd. Het is als een slecht special effect waarbij het personage elke seconde van vorm verandert.
De Nieuwe Truc (Identity Consistency Loss): De auteurs hebben een speciale regel voor de AI uitgevonden. Ze zeiden tegen de AI: "Hoe de robot ook beweegt, hij moet wel dezelfde robot blijven. Zijn lichaamsdelen mogen niet smelten of van vorm veranderen." Ze voegden een wiskundige "vangrail" toe (de Loss function) die de AI dwingt om het uiterlijk van de robot consistent te houden van het eerste tot het laatste frame. Nu genereert de AI een video waarin de robothond de hele tijd een solide, rigide machine blijft.

3. De Vertaler (3D Extractie)

Zodra de AI een perfecte video heeft gemaakt van de dansende robot, moet het systeem deze 2D-video omzetten in 3D-instructies die een echte robot kan begrijpen.

Omdat de video-generator werd gedwongen om de camera vast te houden en de vorm van de robot consistent te houden, kan het systeem de video gemakkelijk "lezen".
Het berekent precies waar elk gewricht heen moet bewegen en creëert zo een 3D "script" (traject) voor de robot.

4. De Repetitie (Training)

Het systeem neemt deze 3D-scripts en leert een echte robot (een Unitree Go2) hoe hij deze moet volgen met behulp van een standaard trainingsmethode. Het is alsof je de robot een dansinstructeur geeft die hem precies laat zien wat hij moet doen.

Het Resultaat: De "Quad-Imaginarium"

Het team heeft niet zomaar één video gemaakt; ze hebben een enorme bibliotheek gebouwd genaamd Quad-Imaginarium.

Omvang: Het bevat bijna 7.500 verschillende robotbewegingen, wat neerkomt op 18,5 uur aan unieke actie.
Variatie: Het bevat acrobatiek, gebaren en expressief gedrag dat echte dieren zelden vertonen.
Succespercentage:
- In de computersimulatie voerden de robots 97,6% van deze nieuwe bewegingen succesvol uit.
- Op een echte robot in de echte wereld waren 96,7% van de bewegingen succesvol zonder dat de robot omviel.

Waarom dit belangrijk is

Dit artikel bewijst dat we niet afhankelijk hoeven te zijn van echte dieren om robots te leren hoe ze moeten bewegen. Door AI te gebruiken om de "gedroomde" bewegingen te genereren en deze vervolgens zorgvuldig naar de realiteit te vertalen, kunnen we robothonden een persoonlijkheid geven. Ze kunnen stoppen met alleen maar "locomotie-machines" te zijn en "metgezellen" worden die kunnen dansen, gebaren en op rijke, expressieve manieren kunnen interageren.

Kortom: Ze hebben de methode van "het filmen van een echte hond" vervangen door een "het genereren van een perfecte robotfilm"-methode, ze hebben het probleem opgelost waarbij de robot in de video smolt, en ze hebben er succesvol een echte robot mee geleerd om dingen te doen die hij voorheen nooit zou kunnen.

Technische Samenvatting: Uni-Mo en Quad-Imaginarium

Probleemstelling

Hoewel vierpotige robots geavanceerde voortbewegingscapaciteiten hebben bereikt (bijv. het doorkruisen van puin, het beklimmen van trappen), blijft hun gedragsrepertoire beperkt tot basisgangen zoals lopen, trotteren en rennen. Dit staat in schril contrast met humanoïde robots, die steeds meer in staat zijn tot expressieve, gezelschap-achtige interacties (dansen, gebaren) gevoed door grootschalige menselijke bewegingsdatasets.

Huidige pogingen om dit succes voor vierpotige robots te repliceren, vertrouwen op een "animal-in-the-loop"-aanname: de robotbeweging wordt afgeleid van echte diergegevens (via motion capture of video-reconstructie) en vervolgens getarget naar de robot. De auteurs identificeren drie kritieke faalmodi in deze pijplijn:

Data-schaarste: Verzameling is afhankelijk van de medewerking van echte dieren, wat datasets beperkt tot basisvoortbeweging en complexe, expressieve gedragingen uitsluit.
Fragiele Reconstructie: Het reconstrueren van 3D-beweging uit diervideo's is moeilijk vanwege vervormbare oppervlakken, zelf-occlusie en de onvolwassenheid van parametrische diermodellen (bijv. SMAL) vergeleken met menselijke modellen (SMPL).
Ill-Posed Retargeting: Het overdragen van beweging van een biologisch skelet (bijv. een hond met een flexibele ruggengraat en digitigrade poten) naar een rigide robot (bijv. een vierpoot met een rigide romp en 3-gewrichts poten) resulteert vaak in fysiek onhaalbare bewegingen door topologische mismatches.

De paper stelt dat de oplossing bestaat uit het volledig verwijderen van de intermediaire dier-stap, waarbij bewegingsverwerving wordt geherdefinieerd als een generatieprobleem in plaats van een reconstructieprobleem.

Methodologie: De Uni-Mo Pijplijn

De auteurs stellen Uni-Mo voor, een volledig geautomatiseerde pijplijn die natuurlijke taalprompts omzet in inzetbare vierpotige policies. Het proces bestaat uit drie stadia:

1. Identiteits-consistente Videogeneratie

In plaats van te vertrouwen op bestaande diervideo's, synthetiseert het systeem bewegingsvideo's direct.

Basemodel: Een video-diffusiemodel (Wan2.2) wordt gefinetuned in een Image-to-Video (I2V) setup.
Input: Een canonieke referentieafbeelding van de doelrobot (Unitree Go2) en een bewegingsprompt gegenereerd door een Large Language Model (LLM).
De Identity Drift Uitdaging: Standaard video-diffusiemodellen lijden aan "identity drift", waarbij het lichaam van de robot niet-rigide vervormt of van uiterlijk verandert tussen frames, wat de vereiste rigid-body aanname schendt voor 3D-extractie.
Oplossing (Identity Consistency Loss): De auteurs introduceren een differentieerbare Identity Consistency Loss ( $L_{IC}$ ).
- Een "Appearance Bank" wordt geconstrueerd uit de trainingsdata met behulp van DINOv2 embeddings om de canonieke identiteit van de robot te representeren.
- Tijdens de training wordt het model gestraft als de kenmerken van het gegenereerde frame significant afwijken van de dichtstbijzijnde entry in de Appearance Bank.
- Deze loss wordt alleen toegepast op de low-noise expert van het diffusiemodel om perceptuele betrouwbaarheid te garanderen zonder de onderliggende bewegingsprior te eroderen.

2. 3D Traject-extractie

Gegenereerde video's worden omgezet in 3D-referentietrajecten in de configuratieruimte van de robot.

2D Keypoint Detectie: Een ViTPose-model detecteert 17 keypoints op de robot in elk frame.
Kinematische Optimalisatie: Een 2D-naar-3D optimalisatie lost de root-positie, oriëntatie en 12 gewrichtshoeken op. De camera-intrinsics en de initiële pose (canonieke URDF-staat) zijn vastgelegd, waardoor het probleem wordt gereduceerd tot een temporeel beperkte kinematische fit.
Constraints: De optimalisatie bevat een 2D-reprojectiefoutterm, temporal smoothness penalties en voetcontact-constraints om glijden te voorkomen.

3. Kwaliteitsfiltering en Policy Training

Om ervoor te zorgen dat alleen haalbare bewegingen worden gebruikt, wordt een meerstaps filterproces toegepast vóór de training:

CLIP Semantic Gate: Re-gerenderde trajecten worden vergeleken met de bronvideo; lage semantische gelijkenis triggert afwijzing.
Geometric Gate: Trajecten met hoge reprojectiefouten (>20px gemiddeld, >100px max) worden weggegooid.
Tracking-Error Gate: Een PPO tracking policy wordt getraind in simulatie. Trajecten waarbij de policy faalt (terminatie triggert) worden weggegooid.
Deployment: Overlevende policies worden overgedragen naar de echte robot.

Belangrijkste Bijdragen

Uni-Mo Pijplijn: Een volledig geautomatiseerd systeem dat natuurlijke taalprompts transformeert naar inzetbare vierpotige policies, waarbij de verwerving van beweging wordt opgeschaald met rekenkracht in plaats van dierlijke samenwerking.
Identity Consistency Loss: Een nieuwe fine-tuning doelstelling die structurele en esthetische consistentie afdwingt over gegenereerde videoframes, wat betrouwbare extractie van 3D-beweging uit algemene video-generatoren mogelijk maakt.
Quad-Imaginarium Dataset: De release van een grootschalige, open-source dataset met 7.488 taal-geannoteerde vierpotige bewegingen (18,5 uur). In tegen tegenstelling tot eerdere datasets zijn deze end-to-end gesynthetiseerd en bevatten ze diverse, niet-lokomotionele gedragingen (bijv. buigen, dansen, backflips) die voorheen onbereikbaar waren.

Resultaten

De auteurs valideren de pijplijn op een Unitree Go2 robot:

Videogeneratie: De toevoeging van de Identity Consistency Loss verbeterde de visuele getrouwheid aanzienlijk (FID verminderd van 66,65 naar 26,98) en voorkwam lichaamsvervorming vergeleken met baseline fine-tuning.
Extractie-efficiëntie: 68,1% van de gegenereerde kandidaten passeerde alle geometrische en semantische gates.
Simulatieprestaties: 97,6% van de 7.488 behouden trajecten werd succesvol getrackt door PPO policies in simulatie.
Real-World Deployment: Op een willekeurig gekozen set van 392 bewegingen behaalde de pijplijn een succespercentage van 96,7% op de fysieke robot, waarbij de robot complexe gedragingen zoals backflips, dansen en kruipen succesvol uitvoerde zonder te vallen.

Betekenis en Claims

De paper claimt dat de expressieve bewegingsverwerving voor vierpotige robots kan worden losgekoppeld van de beperkingen van biologische dataverzameling. Door bewegingsgeneratie te behandelen als een schaalbaar compute-probleem, maakt Uni-Mo de creatie van rijke, dierlijke gedragingen mogelijk die voorheen onmogelijk te vangen waren.

De auteurs benadrukken dat hun aanpak geen betere diermodellen of cross-morfologie retargeting algoritmen vereist. In plaats daarvan, door het dier uit de loop te halen en identiteitsconsistentie in synthetische video af te dwingen, bieden zij een "ready-to-use fundament" voor onderzoek naar gezelschap-achtige vierpotige robots. Het succes van de pijplijn demonstreert dat de kloof tussen lokomotie-georiënteerde robots en expressieve metgezellen overbrugd kan worden door generatieve AI, mits de gegenereerde data de fysieke en structurele integriteit behoudt die vereist is voor real-world controle.