🤖 AI

SceneBot: Contact-Prompted General Humanoid Whole Body Tracking with Scene-Interaction

SceneBot is een verenigd bewegingsvolgsysteem dat humanoïde robots in staat stelt om naadloos te generaliseren over vrije ruimtelijke voortbeweging en complexe, contactrijke taken door één enkel beleid te conditioneren op referentiebewegingen en geïnferreerde scène-interactiegrafen afgeleid van een nieuwe hindsight-scène-reconstructie-aanpak.

Oorspronkelijke auteurs: Sirui Chen, Shibo Zhao, Zhen Wu, Jiaman Li, Guanya Shi, C. Karen Liu

Gepubliceerd 2026-06-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sirui Chen, Shibo Zhao, Zhen Wu, Jiaman Li, Guanya Shi, C. Karen Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert lopen, dansen en zware dozen een trap op te tillen. Lange tijd werden robot-trainers geconfronteerd met een lastig probleem: ze konden robots perfect leren bewegen in lege kamers (vrije ruimte), maar zodra de robot een muur moest aanraken, op een trede moest stappen of een zwaar object moest pakken, raakte de robot in de war. Het is alsof je een danser vertelt: "beweeg je hand naar de doos", maar niet vertelt hoe hij die moet aanraken — moet hij er alleen langs strijken, of stevig genoeg vastpakken om hem te kunnen tillen? Zonder die specifieke instructie weet de robot niet of hij moet zweven of duwen.

SceneBot is een nieuwe oplossing ontwikkeld door onderzoekers van Stanford en Amazon. Zie het als een "universele vertaler" die één enkele robotbrein leert hoe het zowel lege kamers als rommelige, volle omgevingen waar aanraking noodzakelijk is, kan afhandelen.

Hier is hoe het werkt, onderverdeeld in eenvoudige concepten:

1. De "Contact Map" (Het geheime ingrediënt)

De meeste robots proberen alleen menselijke bewegingen na te bootsen (kinematica). SceneBot voegt een tweede laag instructie toe: Contact Labels.

De analogie: Stel je voor dat je leert een zware koffer een trap op te tillen. Een normale instructie zegt: "Beweeg je arm zo." SceneBot voegt een plakbriefje toe met de tekst: "Je hand moet hier op het handvat drukken," en "Je voet moet stevig op de trede staan."
Hoe het helpt: Dit vertelt de robot precies welke lichaamsdelen moeten duwen, trekken of tegen de wereld aan moeten rusten. Het verandelt vage bewegingsinstructies in een fysiek spel van "punten verbinden" met de omgeving.

2. De "Tijdreis"-data-engine

Om een robot hiervoor te trainen, heb je duizenden voorbeelden nodig van robots die interageren met trappen en dozen. Maar echte data is zeldzaam, en het filmen van robots die dit doen is traag en duur.

Het probleem: We hebben enorme hoeveelheden video's van mensen die dansen, lopen en dingen dragen, maar we hebben niet de 3D-modellen van de trappen of dozen waarmee zij interageren.
De oplossing (Hindsight Reconstruction): De onderzoekers bouwden een slim "tijdreis"-systeem. Ze nemen een video van een menselijke beweging, en de computer werkt achteruit om de scène te verzinnen.
- Als de hand van een mens in de buurt van een punt stopt met bewegen, zegt de computer: "Ah, ze hebben hier waarschijnlijk een doos vastgehouden," en print hij een virtuele doos in 3D.
- Als de voet van een mens een stap omhoog maakt, zegt de computer: "Ze moesten waarschijnlijk op een trap staan," en bouwt hij een virtuele trap.
Het resultaat: Ze hebben uren aan menselijke bewegingsdata omgezet in een enorme trainingsgym vol met virtuele trappen, dozen en oneffen grond, die allemaal perfect overeenkomen met de bewegingen van de robot.

3. Het "Eén-Brein"-beleid

Meestal heb je één brein nodig voor lopen, een ander voor het beklimmen van trappen, en een derde voor het dragen van spullen. SceneBot traint één enkel brein om dit allemaal te doen.

De magie: Door de robot zowel de "beweeg zo" instructies als de "raak dit aan" instructies te voeren, leert de robot een algemene vaardigheid. Hij kan over een vlakke vloer lopen en vervolgens direct overschakelen naar het dragen van een doos een trap op, zonder van "software" te veranderen.
Real-world test: Het paper laat zien dat de robot erin slaagt een doos op te pakken, deze te dragen en een trap op te lopen, allemaal in één vloeiende beweging.

4. De "GPS" voor de kop van de robot

Om te voorkomen dat de robot duizelig wordt of omvalt, hebben de onderzoekers ook verbeterd hoe de robot weet waar hij zich in de wereld bevindt.

Het probleem: Robots raken vaak in de war over hun eigen oriëntatie (welke kant boven is) wanneer ze hun hoofd snel bewegen.
De oplossing: Ze combineerden data van een laser scanner (LiDAR) en een sensor op de heupen van de robot (zoals het evenwichtsorgaan van een mens) om een supernauwkeurige "GPS" te creëren die de robot in balans houdt, zelfs wanneer hij complexe trucs uitvoert.

Samenvatting

SceneBot is als het geven van een "superzintuig" voor aanraking aan een robot. In plaats van alleen blindelings menselijke bewegingen te kopiëren, leert het waar en hoe je de wereld moet aanraken. Door een slimme truc te gebruiken om trainingsscènes te verzinnen uit menselijke video's, hebben de onderzoekers een enkele robot-policy geleerd om alles aan te kunnen: van dansen in een lege kamer tot het dragen van zware meubels een trap op, en dat allemaal zonder een ander programma nodig te hebben voor elke taak.

De onderzoekers stellen dat dit het eerste framework is dat vrije beweging naadloos verenigt met complexe, contact-intensieve taken, en ze zijn van plan hun code en data te delen zodat anderen erop voort kunnen bouwen.

Technische Samenvatting: SceneBot – Contact-gestuurde Algemene Humanoïde Whole-Body Tracking

Probleemstelling

Huidige reinforcement learning (RL) policies voor humanoïden hebben aanzienlijk succes geboekt bij het tracken van bewegingen in de vrije ruimte (bijv. lopen, rennen, dansen), maar worstelen met contact-rijke taken. Zuivere kinematische tracking is onvoldoende voor interactie met objecten en oneffen terrein, omdat het fysieke ambiguïteiten niet kan oplossen. Bijvoorbeeld: het bewegen van een pols naar een doos specificeert inherent niet of de robot aan het reiken, aan het raken of aan het tillen is; evenzo garandeert het plaatsen van een voet nabij een traptrede niet de generatie van voldoende grondreactiekracht om de trede op te stappen. Bestaande pipelines missen de scène-bewustheid die nodig is om interacties met zowel objecten als terrein over lange horizonten te coördineren, waarbij ze vaak vertrouwen op hoogwaardige teleoperatie of falen bij complexe loco-manipulatie taken.

Methodologie

SceneBot is een verenigd motion-tracking framework ontworpen om vrije-ruimte lokomotie, terreinverkenning en whole-body manipulatie binnen één enkele policy te afhandelen. De methodologie bestaat uit drie primaire componenten:

1. Hindsight Scène Reconstructie

Om de schaarste aan grootschalige datasets met gekoppelde bewegings- en scène-interactiedata aan te pakken, introduceert SceneBot een hindsight scène reconstructie pipeline:

Input: Geretargette menselijke bewegingstrajecten.
Scène Interactie Graaf: Het systeem construeert een heterogene graaf die temporele interacties vastlegt tussen robot sleutellinks (polsen, voeten, bekken) en scène-typen (terrein, objecten). Edges worden toegevoegd op basis van lage relatieve snelheid/versnelling en worden gepruned indien ze botsings- of force-closure beperkingen schenden.
Asset Generatie: Op basis van de interactiegraaf reconstrueert het systeem plausibele 2.5D hoogtekaarten voor terrein en parallelle plaatobjecten voor verplaatsbare items. Dit transformeert gewone menselijke bewegingsdata naar contact-rijke robot-scène interactiedata die geschikt is voor training.

2. Contact-geconditioneerde Policy Training

De kernpolicy wordt getraind met behulp van Proximal Policy Optimization (PPO) om zowel kinematische referentiebewegingen als expliciete contactlabels te tracken.

Inputs: De policy neemt kinematische commando's ( $g_t$ ), proprioceptieve staten ( $s_t$ ), root state schattingen ( $p_{root,t}$ ) en een binaire contact label vector ( $c_t$ ) als input. De contactlabels geven expliciet aan welke robotlinks contact moeten maken met het terrein of objecten.
Beloningsstructuur: Het trainingsdoel bevat standaard motion tracking beloningen, aangevuld met twee contact-specifieke termen:
- Contact Correctheid Beloning ( $r_{cr}$ ): Moedigt de robot aan om contact te maken wanneer de label 1 is. Deze beloning is asymmetrisch; deze is alleen actief wanneer contact gewenst is, wat straf voorkomt voor onbedoelde contacten in vrije-ruimte scenario's.
- Contact Duur Beloning ( $r_{dr}$ ): Moedigt het stabiel onderhouden van contact aan, afgeknipt op 0,5 seconden om te voorkomen dat de robot weigert objecten los te laten.
Stabilisatie: Een heuristische "magic force" wordt toegepast op gereconstrueerde objecten tijdens de vroege fase van de training om ervoor te zorgen dat ze het traject volgen totdat een stabiele greep is bereikt, wat frequente grasp-failure terminaties mitigeert.

3. Infrastructuur-vrije State Estimatie

Voor implementatie maakt SceneBot gebruik van SuperOdometry gecombineerd met onboard sensoren om de globale root state van de robot (positie, oriëntatie, lineaire snelheid) te schatten.

Sensor Fusie: Erkenning dat hoofd-gemonteerde IMU's (bijv. Livox) de bekken-dynamiek tijdens agressieve bewegingen mogelijk niet accuraat weergeven, fuseert het systeem een bekken-gemonteerde IMU (voor pitch/roll) met de yaw-schatting van SuperOdometry via een Kalman filter.
Initialisatie: De root hoogte wordt geschat met behulp van de laagste 5% punten van een gravity-aligned LiDAR scan.

Belangrijkste Bijdragen

Verenigd Framework: SceneBot wordt gepresenteerd als het eerste algemene motion tracking framework dat in staat is om vrije-ruimte lokomotie, oneffen terreinverkenning en whole-body object manipulatie naadloos te verenigen binnen één enkele policy.
Contact Conditioning: Het paper introduceert een nieuwe interface waarbij een hoogwaardige beslisser contact labels (welke links contact moeten maken met de scène) levert naast referentiebewegingen. Dit stelt de low-level policy in staat om fysieke ambiguïteiten op te lossen zonder dat een volledige visie-gebaseerde taak-policy vereist is.
Data Synthese Engine: De voorgestelde hindsight scène reconstructie methode genereert schaalbare, contact-rijke trainingsdata uit bestaande menselijke bewegingsdatasets (AMASS, OMOMO, Bones, Lafan), waarmee de bottleneck van schaarse geannoteerde interactiedata wordt overwonnen.
Zero-Shot Generalisatie: Het systeem demonstreert het vermogen om te generaliseren naar ongeziene bewegingen en ongeziene omgevingen, inclusief complexe langdurige taken zoals het naar boven dragen van een doos via een trap.

Experimentele Resultaten

Experimenten werden uitgevoerd op de Unitree G1 humanoïde platform in een MuJoCo sim-to-sim omgeving en gevalideerd met real-world state estimatie.

Prestatievergelijking: SceneBot bereikt prestaties die vergelijkbaar zijn met state-of-the-art vrije-ruimte trackers (SONIC) in vlak terrein scenario's, maar presteert aanzienlijk beter in scène-interactie taken.
- Terrein Interactie: Succespercentages daalden van 100% (met globale state) naar 45% wanneer globale root informatie werd verwijderd.
- Object Interactie: Zonder hand contact labels daalde de grasp succes rate naar bijna nul.
Ablatie Studies:
- Global State: Het opnemen van globale root positie en snelheid is cruciaal; lokale tracking alleen leidt tot drift en beweging-terrein mismatch.
- Contact Labels: Trainen met contact labels is essentieel voor succes. Interessant genoeg behoudt een model getraind met labels een betere prestatie (85% succes) zelfs wanneer labels tijdens testen op nul worden gezet, vergeleken met een model getraind zonder deze labels (45% succes), wat suggereert dat de contact conditioning het leren van balansmechanica vereenvoudigt.
- Reconstructie vs. Retargeting: Directe scène reconstructie presteert beter dan scène-bewuste retargeting (bijv. OmniRetarget) omdat het garandeert dat de gegenereerde scène haalbaar is voor de beweging, terwijl retargeting vaak moeite heeft met object uitlijning en penetratie beperkingen.
State Estimatie: De voorgestelde state estimatie pipeline behaalde een gemiddelde root positie fout van 0,032 m, oriëntatiefout van 0,018 rad, en lineaire snelheid fout van 0,092 m/s tegenover OptiTrack ground truth, met een 80% taak succes rate in real-world trials.

Betekenis en Claims

Het paper claimt dat SceneBot contact conditioning positioneert als een krachtige interface voor humanoïde controle, waardoor de kloof tussen vrije-ruimte motion tracking en complexe, contact-rijke scène interacties effectief wordt overbrugd. Door trainingsdata te synthetiseren via hindsight reconstructie, stelt het framework een enkele policy in staat om diverse, langdurige taken uit te voeren (bijv. een mand op te pakken, een trap op te klimmen en deze neer te zetten) zonder dat taak-specifieke tuning vereist is. De auteurs positioneren dit werk als een fundamentele stap richting fysieke intelligentie waarbij robots doelbewust contact kunnen gebruiken voor ondersteuning en manipulatie. Alle code en data zijn bedoeld om open-source te worden gemaakt.