💻 computer science

ComSim: Building Scalable Real-World Robot Data Generation via Compositional Simulation

Dit paper introduceert ComSim, een hybride simulatiebenadering die klassieke en neurale simulatie combineert via een gesloten real-sim-real cyclus om schaalbare, hoogwaardige trainingsdata te genereren en de kloof tussen simulatie en de realiteit voor robotica te overbruggen.

Oorspronkelijke auteurs: Yiran Qin, Jiahua Ma, Li Kang, Wenzhan Li, Yihang Jiao, Xin Wen, Xiufeng Song, Heng Zhou, Jiwen Yu, Zhenfei Yin, Xihui Liu, Philip Torr, Yilun Du, Ruimao Zhang

Gepubliceerd 2026-04-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yiran Qin, Jiahua Ma, Li Kang, Wenzhan Li, Yihang Jiao, Xin Wen, Xiufeng Song, Heng Zhou, Jiwen Yu, Zhenfei Yin, Xihui Liu, Philip Torr, Yilun Du, Ruimao Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot wilt leren om complexe taken uit te voeren, zoals een fles schudden, blokken stapelen of een kaartje van tafel vegen. Om dit te kunnen, heeft de robot duizenden voorbeelden nodig van hoe deze taken eruitzien en hoe de bewegingen eruitzien.

Het probleem? Het verzamelen van deze voorbeelden in de echte wereld is een nachtmerrie. Je moet een menselijke operator hebben die de robot bedient, duizenden keren dezelfde handeling herhalen, en dat in elke denkbare situatie (verschillende objecten, verschillende achtergronden, verschillende lichtomstandigheden). Dat kost tijd, geld en is gewoon niet schaalbaar.

De auteurs van dit paper hebben een slimme oplossing bedacht die ze "Compositional Simulation" noemen. Laten we het uitleggen met een paar creatieve vergelijkingen.

De Drie Problemen (De "Drie Slechte Keuzes")

Om een robot te trainen, hebben onderzoekers tot nu toe meestal drie wegen bewandeld, maar elk had een groot nadeel:

De Echte Wereld (De Duurste Manier): Je laat een mens de robot besturen.
- Vergelijking: Het is alsof je een acteur wilt leren hoe een film te maken, maar je moet elke scène duizenden keren live opnemen met echte mensen. Het resultaat is perfect, maar het kost een fortuin en duurt eeuwen.
De Klassieke Simulatie (De "Plastic" Wereld): Je gebruikt een computerspelletje (zoals een video-game) om de robot te laten oefenen.
- Vergelijking: Dit is als een acteur die oefent in een studio met nep-muren en plastic bloemen. De bewegingen zijn perfect, maar als de acteur de echte set op gaat, ziet hij er belachelijk uit. De robot leert dat blokken "zwaar" zijn in de game, maar in de echte wereld zijn ze misschien lichter of glijden ze anders. Dit noemen we de "Sim2Real-kloof".
Neurale Simulatie (De "Hallucinerende" Kunstenaar): Je gebruikt een moderne AI (zoals Sora of Genie) om video's te maken die er echt uitzien.
- Vergelijking: Dit is als een kunstenaar die een schilderij maakt van een robot die een fles vastpakt. Het schilderij ziet er prachtig en echt uit, maar als je kijkt naar de beweging, ziet de robot plotseling drie handen of de fles vliegt door de lucht alsof er geen zwaartekracht is. De AI "hallucineert" details die fysiek onmogelijk zijn. De robot leert dan verkeerde bewegingen.

De Oplossing: De "Compositional Simulation"

De auteurs combineren het beste van de klassieke simulatie en de neurale simulatie. Ze noemen hun methode "Compositional Simulation".

Stel je dit proces voor als het maken van een superrealistische film:

Stap 1: De Regisseur (Klassieke Simulatie)

Eerst gebruiken ze een klassieke simulator (een soort strikt videospel) om de robot de bewegingen te laten doen.

Wat gebeurt er? De robot in het spel pakt de fles, schudt hem en zet hem neer. De bewegingen zijn perfect fysiek correct. De robot weet precies hoe zwaar de fles is en hoe hij moet bewegen.
Het probleem: De video ziet eruit als een ouderwets computerspel (plat, kunstmatig licht, plastic texturen).

Stap 2: De Visuele Effecten (Neurale Simulatie)

Vervolgens nemen ze die "ouderwetse" videobeelden en sturen ze door een speciale AI (een neurale simulator). Deze AI is getraind met een klein beetje echte video's van robots.

De Magie: De AI fungeert als een visueel effecten-team. Het neemt de bewegingen uit het computerspel en "verft" ze over in een realistische stijl. Het maakt de plastic fles eruitzien als een echte glazen fles, voegt schaduwen toe, maakt het licht natuurlijker en zorgt dat de achtergrond eruitziet als een echt kantoor.
De Belangrijkste Regel: De AI mag de beweging niet veranderen. Als de robot in het spel de fles vastpakt, moet de AI de fles ook vastpakken in de nieuwe video. Geen magie, geen hallucinaties.

Stap 3: De Resultaten (Pseudo-Real Data)

Het resultaat is een video die eruitziet als een echte opname, maar met de perfecte, fysiek correcte bewegingen van het computerspel.

Vergelijking: Het is alsof je een acteur hebt die zijn rollen perfect heeft geoefend in een studio (klassieke simulatie), en je gebruikt vervolgens de beste cameraman en belichtingstechnieken om het eruit te laten zien alsof het live op de set van een Hollywood-film wordt opgenomen (neurale simulatie).

Waarom werkt dit zo goed?

Schaalbaarheid: Omdat de bewegingen uit een computerspel komen, kunnen ze in seconden gegenereerd worden. Je kunt duizenden variaties maken (andere kleuren, andere objecten, andere posities) zonder dat een mens er ook maar één seconde aan hoeft te werken.
De Kloof Overbrugd: Omdat de AI getraind is om de "computerspel-look" om te zetten in "echte look", leert de robot op de video's die er echt uitzien. De robot denkt dat hij in de echte wereld oefent, terwijl hij eigenlijk in een veilige, gecontroleerde omgeving zit.
Minder Echte Data nodig: Je hebt maar een heel klein beetje echte data nodig om de AI te leren hoe de "verf" eruit moet zien. Daarna kan de AI zelf duizenden nieuwe voorbeelden maken.

Het Experiment

In het paper testen ze dit met taken zoals:

Een fles schudden.
Blokken stapelen.
Een kaartje van tafel vegen.

Ze trainden robots met hun methode en vergeleken ze met robots die alleen met echte data of alleen met computerspel-data werden getraind.

Resultaat: De robots getraind met hun "Compositional Simulation" waren veel beter. Ze konden taken uitvoeren die ze nooit eerder hadden gezien (bijvoorbeeld met een andere kleur fles of op een andere plek op tafel). Ze waren robuuster en maakten minder fouten.

Conclusie

Kortom: Dit paper introduceert een manier om robots te trainen door computerspel-mechanica te combineren met AI-visualisatie. Het is alsof je een robot een "droom" laat dromen van de echte wereld, waarbij de droom perfect fysiek correct is, maar eruitziet alsof hij wakker is. Dit maakt het mogelijk om robots veel sneller en goedkoper te leren complexe taken in de echte wereld uit te voeren.

Titel: Building Scalable Real-World Robot Data Generation via Compositional Simulation

1. Het Probleem

De robotics-gemeenschap maakt gebruik van fundamentele modellen (zoals Large Language Models en World Models) om robots complexere taken te laten uitvoeren. Een grote bottleneck voor de voortgang in dit veld is echter de schaarste aan grootschalige, hoogwaardige trainingsdata (video-actieparen).

Handmatige collectie: Het verzamelen van data in de echte wereld is duur, tijdrovend en dekt slechts een beperkt deel van de mogelijke real-world scenario's.
Klassieke simulatie: Simulatoren (zoals MuJoCo, Isaac Lab) kunnen enorme hoeveelheden data genereren, maar er bestaat een aanzienlijke domain gap tussen simulatie en realiteit. Dit betreft verschillen in uiterlijk (texturen, verlichting) en fysica (contactkrachten, sensorruis), wat leidt tot slechte prestaties wanneer modellen direct van simulatie naar de realiteit worden overgebracht (sim2real).
Neurale simulatoren: Nieuwe generatieve videomodellen kunnen realistische video's maken, maar missen vaak actie-consistentie. Ze hallucineren vaak fysiek onjuiste bewegingen, waardoor de gegenereerde data onbruikbaar is voor het trainen van robotbeleid.

2. Methodologie: Compositional Simulation

De auteurs introduceren een hybride aanpak genaamd Compositional Simulation. Deze methode combineert de precisie van klassieke simulatie met de realisme van neurale simulatie via een gesloten lus van Real-Sim-Real data-augmentatie.

Het proces verloopt in drie hoofdfasen:

A. Real2Sim Data Collectie (Digital Twin)

Om een neurale simulator te trainen die simulaties naar de realiteit kan vertalen, moet eerst een strikte alignatie worden bereikt:

Achtergrond en Objecten: De simulatieomgeving (kleuren, maten, texturen) wordt exact afgestemd op de fysieke opstelling.
Camera Kalibratie: De camera-intrinsieke en extrinsieke parameters in de simulatie worden gekalibreerd op basis van de echte camera.
Object Positie: De startposities van objecten in de echte wereld worden gemeten en exact overgebracht naar de simulatie.
Hierbij worden dezelfde trajecten (acties) uitgevoerd in zowel de echte wereld als de simulatie, wat resulteert in gepaarde datasets $(V_{sim}, V_{real}, A)$ .

B. Sim2Real Compositional Dynamic Video Generation

Een neurale simulator (gebaseerd op een Diffusion Transformer - DiT) wordt getraind om klassieke simulatievideo's om te zetten in realistische video's, terwijl de acties behouden blijven.

Compositional Dynamics: De DiT wordt geconditioneerd op twee dynamische factoren:
1. Control Dynamics: De acties van de robot (bijv. gripperbewegingen).
2. Visual Dynamics: De waarnemingen uit de simulatie.
Training: De simulator minimaliseert de verschil tussen de gegenereerde video en de echte video ( $L_{sim2real}$ ), waarbij de focus ligt op visuele consistentie zonder de actie-alignment te verliezen.
Dynamic Guidance: Tijdens het generatieproces worden de scores van beide dynamische factoren gecombineerd ("composited") om te zorgen dat de gegenereerde video zowel fysiek correct is als visueel realistisch.

C. Data Generatie en Training

Rule-Based Simulation: Er worden duizenden diverse trajecten gegenereerd in de klassieke simulator (RoboTwin) door actie-primitieven te combineren (geautomatiseerd via LLMs).
Pseudo Real Data: Deze klassieke simulatievideo's worden door de getrainde neurale simulator omgezet in "Pseudo Real Data" $(V_{pseudo-real}, A)$ .
Joint Training: Een robotbeleid (Diffusion Policy) wordt getraind op een combinatie van een kleine hoeveelheid echte data en een grote hoeveelheid Pseudo Real Data.

3. Belangrijkste Bijdragen

Concept & Paradigma: Introductie van "Compositional Simulation" als een schaalbare hybride methode die de kloof tussen klassieke simulatie en realiteit overbrugt.
Data Pipeline & Model: Een Real-Sim-Real augmentatiepijplijn met een neurale simulator die gebruikmaakt van Compositional Dynamic Video Generation. Dit zorgt voor nauwkeurige actie-video uitlijning en vermindert de sim2real domain gap.
Resultaten: Uitgebreide experimenten tonen aan dat deze methode de succesratio's van robotbeleid in de echte wereld aanzienlijk verhoogt en sterke generalisatie mogelijk maakt over verschillende ruimtelijke lay-outs en objectvariaties.

4. Experimentele Resultaten

De auteurs hebben hun methode getest op diverse manipulatie-taken (zoals flessen schudden, blokken stapelen, kaarten verplaatsen) met een Diffusion Policy (DP).

Kwaliteit van gegenereerde video's:
- De volledige pipeline (Ours-Full) presteerde significant beter dan baselines (Stable Diffusion, Zero-Shot modellen) op metrics zoals PSNR, SSIM, CLIP Score en FVD.
- Het combineren van Control en Visual Dynamics bleek cruciaal; modellen die alleen op acties (Control) of alleen op visuele input (Visual) werden getraind, faalden respectievelijk in actie-accuraatheid of visuele realisme.
Real-world Prestaties (Success Rates):
- Modellen getraind op 10 Real + 200 Pseudo Real data presteerden aanzienlijk beter dan modellen getraind op alleen 10 of 20 echte demonstraties.
- Ze presteerden zelfs beter dan modellen getraind op 200 klassieke simulatie-demonstraties, wat aantoont dat de "Pseudo Real" data de domain gap effectief oplost.
- Zelfs zonder enige echte data (200 Pseudo Real Zero-Shot) werden niet-triviale successen behaald.
Generalisatie:
- Ruimtelijke Generalisatie: Modellen getraind met Pseudo Real Data slaagden erin om objecten te manipuleren op posities die niet in de oorspronkelijke echte trainingsdata voorkwamen (Out-of-Domain), terwijl modellen die alleen op echte data of klassieke simulatie waren getraind, hierin faalden.
- Object Generalisatie: De methoden slaagden erin om te generaliseren naar nieuwe objecten (bijv. andere flesmerken of kaartkleuren) die niet tijdens het trainen waren gezien.

5. Betekenis en Conclusie

Deze paper biedt een schaalbare oplossing voor het data-probleem in de robotica. Door de sterke punten van klassieke simulatie (precisie, schaalbaarheid) te combineren met neurale simulatie (realisme), creëren de auteurs een "virtuele cyclus" die grote, diverse datasets genereert die direct bruikbaar zijn voor het trainen van robuuste robotbeleid.

Dit werk opent de deur naar Embodied Intelligence waarbij robots kunnen leren van synthetische data die zo realistisch is dat ze zonder uitgebreide real-world training complexe taken kunnen uitvoeren. Het reduceert de afhankelijkheid van dure en tijdrovende menselijke demonstraties en maakt robuuste generalisatie over verschillende omgevingen en objecten mogelijk.