⚡ electrical engineering

VLK: Learning Humanoid Loco-Manipulation from Synthetic Interactions in Reconstructed Scenes

Dit artikel introduceert VLK, een framework dat visie-taal-kinematica-supervisie synthetiseert uit met 3D Gaussian Splatting gereconstrueerde scènes om humanoïde robots te trainen voor effectieve sim-to-real perceptiegebaseerde loco-manipulatie zonder menselijke tussenkomst.

Oorspronkelijke auteurs: Yen-Jen Wang, Jiaman Li, Sirui Chen, Takara E. Truong, Pei Xu, Pieter Abbeel, Rocky Duan, Koushil Sreenath, Angjoo Kanazawa, Carmelo Sferrazza, Guanya Shi, Karen Liu

Gepubliceerd 2026-06-30

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yen-Jen Wang, Jiaman Li, Sirui Chen, Takara E. Truong, Pei Xu, Pieter Abbeel, Rocky Duan, Koushil Sreenath, Angjoo Kanazawa, Carmelo Sferrazza, Guanya Shi, Karen Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robotbutler wilt leren om door een huis te lopen, een doos op te pakken en deze op een tafel te zetten. Het moeilijkste deel is niet alleen vertellen aan de robot wat hij moet doen (zoals "pak de doos op"); het is het leren van zijn lichaam hoe het moet bewegen om dat te doen, terwijl hij naar de wereld kijkt door zijn eigen ogen.

Dit artikel presenteert een nieuwe manier om de robot deze vaardigheid te leren zonder dat er mensen fysiek duizenden keren de hand moeten houden. Hier is de uitsplitsing met behulp van eenvoudige analogieën:

Het Grote Probleem: De "Ontbrekende Schakel"

Om een robot te leren, heb je meestal drie dingen nodig die op exact hetzelfde moment gebeuren:

Wat het ziet: Een video vanuit de ogen van de robot.
Wat het hoort: Een stemcommando (bijv. "Loop naar de bank").
Wat het doet: Een perfecte kaart van hoe zijn hele lichaam bewoog om dat te laten gebeuren.

Bestaande databronnen zijn als een kapotte puzzel. Je hebt misschien video's van mensen die lopen, of robotbewegingen, maar je hebt zelden alle drie de stukjes perfect bij elkaar voor elke mogelijke kamer en taak. Het verzamelen van deze data in de echte wereld is traag, duur en gevaarlijk voor de robot.

De Oplossing: De "Digital Twin" Fabriek

De auteurs hebben een fabriek gebouwd die deze ontbrekende data volledig binnen een computer creëert. Denk aan een videogame-engine die nooit stopt met spelen.

De Wereld Nabouwen (Het Decor): Ze nemen echte foto's en scans van echte kamers (zoals een lab of een appartement) en veranderen deze in een hyperrealistische 3D-wereld. Het is also[f] het creëren van een "digitale tweeling" van een echte kamer waar de robot doorheen kan lopen.
De Onzichtbare Regisseur (Het Script): In plaats van een mens in te huren die rondloopt en zichzelf opneemt, gebruiken ze een computerprogramma om de robot te "regisseren". De computer weet precies waar de muren en meubels staan (geprivilegieerde informatie). Het zegt tegen de robot: "Loop naar de stoel," "Pak de doos op," en "Zet hem neer."
De Magische Camera (Het Perspectief): Zodra de computer de perfecte lichaamsbewegingen heeft bepaald, "speelt" het de scène af vanuit het perspectief van de robot. Het maakt een foto van wat de robot zou hebben gezien, waardoor er een perfecte match ontstaat tussen het commando, het beeld en de beweging.

Het Resultaat: 48.000 Lessen in een Flits

Met behulp van dit systeem genereerden ze 48.000 unieke trainingsvoorbeelden in slechts enkele dagen.

De Leraar: Een computerprogramma (het VLK-beleid) dat leert van deze 48.000 voorbeelden. Het leert naar een afbeelding te kijken, een commando te horen en precies te voorspellen hoe de gewrichten van de robot zich als volgende moeten bewegen.
De Leerling: Een echte robot (de Unitree G1) die deze voorspellingen uitvoert en probeert ze uit te voeren.

Hoe het werkt in het echte leven

Wanneer ze de echte robot testten:

Het Brein: De robot kijkt naar de kamer en hoort: "Pak de doos van de vloer op."
De Voorspelling: Op basis van de training voorspelt het een kort pad voor zijn hele lichaam om te bewegen.
De Tracker: Een apart, snel systeem neemt die voorspelling en zorgt ervoor dat de motoren van de robot daadwerkelijk bewegen, zodat de robot niet omvalt of de doos laat vallen.

Wat ze ontdekten

Het werkt: De robot liep succesvol door echte kamers, pakte dozen van de vloer op en plaatste ze op tafels.
Meer Data = Betere Vaardigheden: Hoe meer synthetische voorbeelden ze genereerden, hoe beter de robot werd. Simpel lopen was makkelijk te leren, maar het oppakken en plaatsen van objecten vereiste meer oefening (meer data).
Verlichting is belangrijk: Ze ontdekten dat als ze de robot niet trainden met verschillende lichtomstandigheden in de simulatie (zoals het aan- en uitzetten van lichten of het veranderen van schaduwen), de robot in de echte wereld in de war raakte. Het toevoegen van "visuele chaos" aan de training maakte de robot veel robuuster en aanpasbaarder.

Het Nadeel (Beperkingen)

De robot is momenteel erg goed in het bewegen van grote, doosachtige objecten die hij met beide handen kan vasthouden. Hij is nog niet goed in het oppakken van kleine, delicate dingen zoals een koffiekopje of een schroevendraaier. De trainingsdata richtte zich op grote interacties, dus de robot heeft de fijne motoriek die nodig is voor kleine objecten nog niet geleerd.

Kortom: Het artikel laat zien dat je een "digitale speeltuin" kunt bouwen waar een robot miljoen keren oefent tegenover een perfecte computerregisseur, en vervolgens de echte wereld in stapt om het werk daadwerkelijk te doen, allemaal zonder dat een mens zijn hand vasthoudt.

Technische Samenvatting: VLK – Leren van menselijke loco-manipulatie uit synthetische interacties in gereconstrueerde scènes

Probleemstelling

Perceptie-gebaseerde humanoïde loco-manipulatie vereist het mappen van hoogdimensionale egocentrische visuele observaties en natuurlijke taalinstructies naar gecoördineerde whole-body kinematische gedragingen. Een fundamentele flessenhals bij het opschalen van deze capaciteit is het gebrek aan grootschalige, gesynchroniseerde datasets die de volledige tuple bevatten van: (1) egocentrische visuele observaties, (2) taakinstructies, en (3) robot-compatibele whole-body kinematische trajecten.

Real-world teleoperatie levert hoogwaardige data, maar is duur en moeilijk op te schalen over diverse scènes en objecten.
Menselijke motion capture biedt rijke kinematische referenties, maar mist de bijbehorende robot-egocentrische beelden.
Egocentrische video-datasets bieden visuele ervaring, maar missen gekoppelde robot-kinematica of acties.

Consequent is er geen bestaande bron die de volledige vision-language-kinematics (VLK) supervisie biedt die noodzakelijk is voor schaalbare policy learning.

Methodologie

De auteurs stellen een pipeline voor die gekoppelde VLK-supervisie synthetisch genereert binnen metrische schaal gereconstrueerde binnenomgevingen. Het systeem ontkoppelt de generatie van wereld-assets, gedragssynthese en visuele rendering om datatekort te overwinnen.

1. Synthetische Data Generatie Pipeline

De pipeline werkt in drie stadia om 48.000 gekoppelde trajecten te produceren zonder menselijke interventie:

Scène Reconstructie en Annotatie: Binnenomgevingen worden gereconstrueerd uit iPhone 14 Pro scans met behulp van 3D Gaussian Splatting (3DGS) om fotorealistische details en metrische schaal te behouden. Semantische 3D bounding boxes en begaanbare regio's worden geannoteerd om beperkingen te definiëren voor bewegingssynthese.
Robot Bewegingssynthese: Gebruikmakend van de geannoteerde scène-beperkingen, synthetiseert het systeem Unitree G1 trajecten voor twee taakfamilies:
- Object-gerichte navigatie: Getraind op bewegingen van BONES-SEED.
- Object-interactie: Getraind op OMOMO sequenties, geretarget naar de G1-morfologie met behulp van OmniRetarget.
- Een conditioneel diffusiemodel genereert gekoppelde G1-object trajecten, geconditioneerd op taakinstructies, initiële staten, objectgeometrie en gewenste pols-contactlabels.
Egocentrische View Rendering: De gesynthetiseerde G1 trajecten worden afgespeeld in Isaac Sim binnen de gereconstrueerde 3DGS-scènes. Een virtuele ZED 2i camera (gekalibreerd aan de fysieke robot) rendert gekoppelde RGB-observaties. Domain randomization (verlichting, camera-extrinsics, brandpuntsafstand) wordt toegepast om de robuustheid tegen sim-to-real visuele verschillen te verbeteren.

2. Vision-Language-Kinematics (VLK) Policy

De kern van de geleerde component is een policy die korte-horizon whole-body kinematische trajecten voorspelt.

Input: Huidige egocentrische RGB-afbeelding ( $o_t$ ), taakinstructie ( $\ell$ ), en de huidige robot-kinematische staat ( $x_t$ ).
Output: Een toekomstig traject ( $\hat{x}_{t+1:t+H}$ ) van lengte $H=30$ (1 seconde bij 30 Hz) en binaire pols-object contactlabels.
Architectuur & Training: De policy wordt geïnitialiseerd vanuit een voorgetraind $\pi_0.5$ model en fijngetuned met behulp van een flow-matching formulering met een $x_0$ -predictie doelstelling. Hulplosses worden toegepast voor voet-vloer contact, trajectconsistentie, forward kinematics nauwkeurigheid en voet-slippen regularisatie.
Staat Representatie: De kinematische staat bevat root planaire verplaatsing, yaw, hoogte, 6D root oriëntatie, gewrichtshoeken (gecodeerd via sine/cosine om discontinuïteiten te vermijden), en contactlabels.

3. Whole-Body Tracking en Deployment

Executie: De voorspellingen van de VLK-policy dienen als hoog-niveau referenties voor een contact-bewuste whole-body tracker (gebaseerd op SceneBot). De tracker zet de voorspelde kinematica om in gewrichts-niveau PD-targets voor de fysieke Unitree G1.
Real-Time Systeem: De deployment maakt gebruik van een real-time VLA-systeem met Triton als inference backend. Op een RTX 5090 is de end-to-end latentie stabiel op 31 ms. Om bewegingsonscherpte te beheersen en continuïteit te garanderen, gebruikt het systeem sharpness-gebaseerde frame selectie en overlappende action chunks.

Belangrijkste Bijdragen

VLK Supervisie Generatie: Een nieuwe pipeline die 48.000 gekoppelde trajecten (egocentrische beelden, taal en kinematica) synthetiseert in gereconstrueerde 3DGS-scènes, waarmee de databottleneck voor humanoïde loco-manipulatie wordt aangepakt.
Ontkoppelde Data Synthese: Een methode die gebruikmaakt van geprivilegieerde scène-informatie (bijv. objectposities, botsingsgeometrie) om gedragsgeneratie te vergemakkelijken terwijl observaties achteraf worden gerenderd, wat massale opschaling mogelijk maakt zonder menselijke demonstraties.
Sim-to-Real Transfer: Een demonstratie dat een policy, volledig getraind op synthetische, gereconstrueerde scènes, succesvol perceptie-gebaseerde loco-manipulatie kan uitvoeren op een fysieke Unitree G1 in real-world omgevingen.
Contact-Bewuste Tracking: Integratie van voorspelde binaire contactlabels in de whole-body tracking loop om objecttransport tijdens manipulatie te stabiliseren.

Experimentele Resultaten

Het systeem werd geëvalueerd op de Unitree G1 in twee omgevingen (lab en appartement) met variërende meubelopstellingen.

Succesratio's (Real-World):
- Navigatie: Behaalde bijna perfect succes (19/20 tot 20/20) voor "Walk To" en "Turn Around" taken.
- Vloer Manipulatie: Hoog succes bij het oppakken en plaatsen van dozen vanaf de vloer (16/20 tot 20/20).
- Oppervlakte Manipulatie: Lagere succesratio's voor het plaatsen van dozen op oppervlakken (8/20 tot 15/20), toegeschreven aan beperkte dekking van ondersteunende oppervlakte-hoogtes in de geretargette interactie-data.
Simulatie vs. Realiteit: Het systeem behaalde hoge succesratio's in MuJoCo simulatie (met IsaacSim rendering), wat de closed-loop prestaties valideert vóór real-world deployment.
Data Volume Ablatie: Prestaties schalen met de hoeveelheid gesynthetiseerde data. Terwijl navigatie robuust is zelfs met beperkte data, vertoonden manipulatie-taken (specifiek "Pick Surface") significante verbetering, stijgend van 0% succes bij 10% datavolume naar 46% met de volledige dataset.
Domain Randomization: Visuele domain randomization was cruciaal voor de sim-to-real transfer. Het verwijderen ervan verminderde het loopsucces van 90% naar 41% onder visuele perturbaties.

Betekenis en Claims

Het papier claimt dat het synthetiseren van robot-compatibele interacties binnen gereconstrueerde scènes effectieve supervisie biedt voor sim-to-real perceptie-gebaseerde humanoïde loco-manipulatie.

De auteurs positioneren dit werk als een oplossing voor de databottleneck die schaalbare policy learning heeft belemmerd. Door partiële oplossingen te verbinden — 3DGS voor realistische wereld-assets en whole-body tracking voor gedragsexecutie — demonstreren zij een levensvatbare "Real-to-Sim-to-Real" pipeline. De resultaten suggereren dat het genereren van synthetische interacties in gereconstrueerde omgevingen een veelbelovende weg is naar schaalbare, perceptie-geconditioneerde humanoïde controle, met name voor taken die navigatie en het transport van grote objecten omvatten.

Erkende Beperkingen:
Het huidige systeem is beperkt door de dekking van de OMOMO dataset, waardoor het beter geschikt is voor bimanuele transport van doosvormige objecten dan voor het grijpen van kleine items (bijv. bekers, gereedschap). Daarnaast adresseert de contact-bewuste tracker de stabilisatie van grote-object-manipulatie, maar niet de precieze object-grasping. Het uitbreiden hiervan naar kleine-object-manipulatie zou rijkere interactie-data en gespecialiseerde low-level controllers vereisen.