💻 computer science

Scene2Demo: Self-Evolving Embodied Data Generation via Object-Action Graph

Scene2Demo is een zelf-evoluerend framework dat object-actie grafen en feedbackgestuurde verfijning gebruikt om automatisch hoogwaardige, uitvoerbare embodied data te genereren vanuit enkele afbeeldingen, wat het succes van taakplanning aanzienlijk verbetert en effectief leren van downstream robotbeleid mogelijk maakt.

Oorspronkelijke auteurs: Xiang Liu, Sen Cui, Guocai Yao, Zhong Cao, Jingheng Ma, Min Zhang, Changshui Zhang

Gepubliceerd 2026-08-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xiang Liu, Sen Cui, Guocai Yao, Zhong Cao, Jingheng Ma, Min Zhang, Changshui Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Robots die door onze huizen kunnen bewegen en helpen bij dagelijkse klussen zijn al lang een droom van sciencefiction, maar het bouwen ervan is een hardnekkig moeilijke realiteit gebleken. Het kernprobleem is niet alleen het leren van een machine hoe hij een arm moet bewegen, maar het leren hoe een machine een rommelige, onvoorspelbare wereld begrijpt en beslist wat de volgende stap is. Om deze vaardigheden te leren, hebben robots traditioneel enorme hoeveelheden data nodig: duizenden uren aan video waarin een mens een taak uitvoert, of miljoenen pogingen tot vallen en opstaan in een computersimulatie. Het handmatig verzamelen van deze data is traag, duur en vaak onmogelijk voor zeldzame of gevaarlijke scenario's. Onderzoekers hebben zich tot kunstmatige intelligentie gewend om deze data automatisch te genereren, maar vroege pogingen produceerden vaak simulaties die er weliswaar echt uitzagen, maar de natuurwetten overtraden, of instructies die een robot feitelijk niet kon opvolgen. De uitdaging is geweest om een systeem te creëren dat een enkele foto van een kamer en een simpel verzoek kan nemen, en vervolgens een werkende, op fysica gebaseerde simulatie kan bouwen waar een robot de taak succesvol kan oefenen, falend en zichzelf corrigerend totdat hij het goed krijgt.

Een team van onderzoekers heeft een nieuw systeem geïntroduceerd genaamd SCENE2DEMO, dat dit probleem aanpakt door te fungeren als een zelfverbeterende datafabriek. Het proces begint met een enkele foto van een echte kamer, zoals een keuken, en een eenvoudige tekstopdracht van een gebruiker, zoals "pak het glas op". Het systeem gebruikt eerst geavanceerde computer vision om die foto te reconstrueren tot een volledig interactieve 3D-simulatie. Het identificeert de objecten, hun vormen en hun locaties, en creëert zo een digitale tweeling van de scène die de natuurkundige wetten zoals zwaartekracht en botsing respecteert. Zodater deze virtuele kamer is gebouwd, raadt het systeem niet alleen hoe een robot moet bewegen; het breekt het verzoek van de gebruiker af in een logische sequentie van kleine, beheersbare stappen. Het behandelt de taak als een kaart, waarbij elke stop op de reis een specifieke actie is, zoals het openen van een deur of het optillen van een object, en zorgt ervoor dat het einde van de ene stap perfect de aanvang van de volgende stap vormt.

Het systeem probeert vervolgens dit plan uit te voeren in de simulatie. Als de robot slaagt, legt het systeem de volledige sequentie van bewegingen en camerabeelden vast als een perfect voorbeeld voor toekomstig leren. De ware kracht van SCENE2DEMO ligt echter in wat er gebeurt wanneer de robot faalt. In veel eerdere systemen werd een fout simpelweg weggegooid. Hier zet het systeem een zelfevolutiemechanisme in. Wanneer een stap misgaat — bijvoorbeeld als de robot tegen een deur botst of een object laat vallen — treden er twee gespecialiseerde digitale agenten op om onderzoek te doen. Eén agent fungeert als een veiligheidsinspecteur en bekijkt de video van de fout vanuit meerdere camerahoeken om precies te pinpointen wat er misging. De andere agent fungeert als een supervisor en gebruikt dat visuele bewijs om het plan te herschrijven. Het kan suggereren om de basis van de robot iets naar links te verplaatsen, of de arm iets verder uit te strekken, voordat de taak opnieuw wordt geprobeerd. Deze lus van proberen, falen, analyseren en corrigeren gaat automatisch door totdat de robot de taak succesvol voltooit.

De onderzoekers testten deze aanpak op meer dan honderd verschillende scenario's, variërend van eenvoudige taken zoals het oppakken van een kopje tot complexe, meerstaps klussen zoals het plaatsen van een glas in een koelkast. Zonder de zelfcorrectiefunctie slaagde het systeem in ongeveer 72 procent van de eenvoudige taken. Wanneer ze de zelfevolutielus toevoegden voor complexere, langdurige taken, verbeterde het succespercentage aanzienlijk en werd de kwaliteit van de individuele stappen veel betrouwbaarder. Het systeem was in staat om hoogwaardige trainingsdata te genereren die vervolgens werden gebruikt om een echte robotpolicy te onderwijzen. Wanneer een robot leerde van deze automatisch gegenereerde voorbeelden, behaalde hij een succespercentage van 96 procent bij het openen van een koelkast en een succespercentage van 92 procent bij het oppakken van een glas, wat bewees dat de door de machine gecreëerde data robuust genoeg was om een robot te leren de taak in de echte wereld uit te voeren.

Dit werk suggereert dat we niet handmatig elke mogelijke manier hoeven op te nemen waarop een robot met de wereld kan interageren. In plaats daarvan kunnen we, door een realistische simulatie te combineren met een feedbacklus die het systeem toestaat te leren van zijn eigen fouten, enorme bibliotheken van betrouwbare trainingsdata genereren. Het systeem vertrouwt niet op magie of perfect visie; het vertrouwt op een gestructureerd proces van problemen afbreken, testen en de oplossing verfijnen op basis van visueel bewijs. Hoewel het huidige systeem beperkt is tot specifieke soorten bewegingen en objecten, en nog steeds worstelt met de meest complexe fysieke beperkingen, toont het een duidelijke weg vooruit. Door de creatie van trainingsdata te automatiseren, zou deze aanpak robots uiteindelijk in staat kunnen stellen om nieuwe vaardigheden snel en veilig te leren, simpelweg door naar een foto van een kamer te kijken en te horen wat ze moeten doen.

Technische Samenvatting: SCENE2DEMO

Probleemstelling

Embodied robot learning vereist interactiedata die uitvoerbaar, fysiek valide en gestructureerd is voor downstream training. Het verkrijgen van dergelijke data handmatig is echter arbeidsintensief. Dit artikel behandelt het probleem van offline embodied data generatie: gegeven een enkele real-world RGB-afbeelding en een natuurlijke taalgebruikersquery (bijv. "pak het glas op"), hoe kan een systeem automatisch een volledige, uitvoerbare robottaak-dataset produceren? De gewenste outputs omvatten een interactieve gesimuleerde scène, configuraties voor taakuitvoering, primitieve actieflows, multi-view uitvoering-video's en observatie-actie datasets geschikt voor imitation learning en reinforcement learning.

Methodologie

De auteurs stellen SCENE2DEMO voor, een zelf-evoluerend framework dat een real-world afbeelding en een query omzet in uitvoerbare taakdata via een gestructureerde, multi-module workflow gecentreerd rond een Object-Action Graph. De pipeline werkt in twee hoofdstadia:

1. Scène-geconditioneerde Simulatie Substraat

Het systeem reconstrueert eerst een interactieve gesimuleerde scène vanuit een enkele real-world RGB-afbeelding met behulp van een pipeline gebaseerd op Digital Cousins [5]. Dit omvat:

Extractie: Het identificeren van objecten, maskers en puntenwolken met behulp van modellen zoals GroundedSAM-v2 en DepthAnything-v2.
Asset Matching: Het mappen van real-world objecten naar interactieve assets uit de BEHAVIOR-1K dataset met behulp van CLIP en DINOv2.
Reconstructie: Het genereren van een fysiek gefundeerde simulatieomgeving (met gebruik van OmniGibson) die semantische affordances en objecttoestanden behoudt.

2. Graaf-gebaseerde Taakgeneratie

Taakgeneratie wordt gedecomposeerd in vijf rol-gespecialiseerde modules om stabiliteit en uitvoerbaarheid te garanderen, waarbij ongecontroleerde outputs van Large Language Models (LLM's) worden vermeden:

Module 1 (Taakbegrip): Breidt de gebruikersquery uit naar een scène-gegronde taakbeschrijving.
Module 2 (Taakdecompositie): Decomponeert de taak in een sequentie van simpele taken op basis van symbolische definities. Een simpele taak $T$ wordt gedefinieerd als $\langle o_t, o_{s1}, o_{s2}, s_{init}, s_{goal} \rangle$ , waarbij $o_t$ het doelobject is, $o_{s1}$ en $o_{s2}$ ondersteunende objecten zijn, en $s_{init}/s_{goal}$ de initiële/doeltoestanden zijn.
Module 3 (BDDL Configuratie): Genereert Behavior Domain Definition Language (BDDL) bestanden die de logische grenzen ( $s_{init}$ en $s_{goal}$ ) voor elke subtaak definiëren.
Module 4 (Aanpassing Objectgrootte): Schaalt manipuleerbare objecten dynamisch om te passen binnen de beperkingen van de robot-gripper (bijv. ervoor zorgen dat een beker binnen een gripperbreedte van 0,06 m past).
Module 5 (Actieflow Planning): Mapt symbolische subtaken naar uitvoerbare primitieve actie-sequenties uit een gedeelde bibliotheek (bijv. Approach, Grasp, Navigate, Articulate Open). Het plant ook actie-transfers tussen opeenvolgende subtaken om te waarborgen dat de eindtoestand van de ene subtaak de volgende valide initialiseert.

Dit proces wordt gemodelleerd als een padplanningsprobleem op een Universal Object-Action Graph, waarbij knopen object-actie-tijd configuraties vertegenwoordigen en randen haalbare transities vertegenwoordigen.

3. Zelf-evolutie via Agentic Feedback

Om fouten aan te pakken die worden veroorzaakt door reconstructiefouten, grootte-mismatches of kinematische beperkingen, gebruikt SCENE2DEMO een closed-loop zelf-evolutie mechanisme:

Robotic Safety Inspector (Module 6): Voert de huidige actieflow uit in simulatie en analyseert multi-view videoframes (Global, Head, Wrist) om stap-voor-stap kritieken te produceren met betrekking tot bewegingsverificatie, toestands-transities en anomalieën.
Robotic Task Supervisor (Module 7): Aggregeert de kritieken, visuele rollouts, taakcontext en evolutiegeschiedenis. Het herziet de actieflow door de primitieve sequentie aan te passen, parameters te wijzigen (bijv. navigatie waypoints, extensie afstanden), of de volgorde van acties te veranderen.
Iteratie: De loop herhaalt zich totdat het doel is bereikt of een maximaal aantal iteraties is bereikt. Het systeem reset de simulator naar de initiële toestand van de subtaak voor elke nieuwe poging om reproduceerbaarheid te garanderen.

4. Downstream Policy Learning

Het framework slaat succesvolle demonstraties (puntenwolken, robotacties) op om behavior cloning policies te trainen. De policy architectuur gebruikt een PointNet encoder voor puntenwolken, fuseert deze met proprioceptieve staten, en maakt gebruik van een 4-laagse Causal Transformer om 10-DoF acties te voorspellen (7-DoF arm/gripper + 3-DoF mobiele basis).

Belangrijkste Bijdragen

SCENE2DEMO Framework: Een zelf-evoluerend systeem dat automatisch uitvoerbare embodied taakdata genereert vanuit een enkele RGB-afbeelding en een gebruikersquery.
Object-Action Graph Formulering: Een symbolische benadering van taakgeneratie die decompositie beperkt middels gedefinieerde simpele taken en actie-transfers, wat de stabiliteit en uitvoerbaarheid van long-horizon planning verbetert vergeleken met ongecontroleerde LLM-baselines.
Visuele Feedback-gestuurde Zelf-evolutie: Een mechanisme dat stap-voor-stap visuele inspectie en taak-niveau supervisie gebruikt om gefaalde actieflows iteratief te herzien, wat de succesratio's op complexe taken aanzienlijk verhoogt.

Experimentele Resultaten

De auteurs hebben SCENE2DEMO geëvalueerd over verschillende dimensies:

Primitieve Taakuitvoering: Op 102 automatisch gegenereerde scène-taak paren bereikte het systeem een uitvoeringssuccesratio van 71,6% (66,7% voor gearticuleerde objecten zoals het openen van deuren, 74,2% voor rigide objectmanipulatie).
Long-Horizon Taken: Op vier representatieve taken (bijv. "Zet het glas in de koelkast"), verbeterde zelf-evolutie de succesratio van volledige taken aanzienlijk vergeleken met alleen primitieve uitvoering. Bijvoorbeeld, op Taak T1 steeg de succesratio van 0% (primitief) naar 40% (met evolutie).
Baseline Vergelijkingen: SCENE2DEMO presteerde beter dan RoboGen en GenSim2 op het gebied van taakplanning en uitvoeringssucces onder automatische data-generatie instellingen. Opvallend genoeg, terwijl GenSim2 goed presteerde op eenvoudige open/sluit taken, had het moeite met pick/place taken waar SCENE2DEMO een competitieve prestatie behield.
Downstream Learning: Behavior cloning policies getraind op 100 gegenereerde demonstraties bereikten een succes van 96,0% bij het openen van een koelkast en een succes van 92,0% bij het oppakken van een glas, wat het nut van de gegenereerde data voor imitation learning valideert.
Ablatie Studies: Het framework toonde aan dat symbolische taakdefinities consistente decompositie over runs garanderen (in tegen tegenover ongecontroleerde baselines) en dat multi-view visuele feedback cruciaal is voor het succes van zelf-evolutie.

Betekenis en Beperkingen

Het artikel stelt dat SCENE2DEMO dient als een praktische offline data generatie engine die de handmatige inspanning vermindert die nodig is voor het construeren van embodied training data. Door herbruikbare, gestructureerde en uitvoerbare datasets te genereren, faciliteert het onderzoek naar imitation learning, reinforcement learning van demonstraties en world model training. Het zelf-evolutie mechanisme stelt het systeem in staat om fouten autonoom te corrigeren, wat het robuust maakt tegen de imperfecties die inherent zijn aan single-image scène reconstructie.

De auteurs erkennen de huidige beperkingen:

Actieruimte: Het systeem wordt beperkt door zijn primitieve actiebibliotheek, die momenteel operaties ondersteunt zoals open/sluit, pick/place en navigatie, maar niet fijnmazige dexterous taken (bijv. het vouwen van kleding).
Scène Reconstructie: Fouten kunnen voortkomen uit imperfecte scène reconstructie of ontbrekende interactieve assets (bijv. een magnetron die niet geopend kan worden).
VLM Afhankelijkheid: Het zelf-evolutie mechanisme leunt zwaar op de visuele redeneercapaciteiten van de onderliggende Vision-Language Models (VLMs), die moeite kunnen hebben met subtiele kinematische obstructies die niet zichtbaar zijn in 2D-weergaven.

Toekomstig werk suggereert het opnemen van sterkere RL-gebaseerde agents voor low-level controle, verbeterde scène reconstructie methoden en de ontwikkeling van een skill documentatie bibliotheek om correctiestrategieën op te slaan en op te roepen.