🤖 AI

Mirage2Matter: A Physically Grounded Gaussian World Model from Video

Het artikel introduceert "Simulate Anything", een framework dat real-world omgevingen reconstrueert uit multi-view video's met behulp van 3D Gaussian Splatting en generatieve modellen om fysiek gefundeerde, bewerkbare simulaties te creëren die Vision Language Action-modellen in staat stellen om sterke zero-shot prestaties te behalen zonder dat daarvoor dure sensoren of interactiedata uit de echte wereld nodig zijn.

Oorspronkelijke auteurs: Zhengqing Gao, Ziwen Li, Xin Wang, Jiaxin Huang, Zhenyang Ren, Mingkai Shao, Hanlue Zhang, Tianyu Huang, Yongkang Cheng, Yandong Guo, Runqi Lin, Yuanyuan Wang, Tongliang Liu, Kun Zhang, Mingming Gong

Gepubliceerd 2026-02-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhengqing Gao, Ziwen Li, Xin Wang, Jiaxin Huang, Zhenyang Ren, Mingkai Shao, Hanlue Zhang, Tianyu Huang, Yongkang Cheng, Yandong Guo, Runqi Lin, Yuanyuan Wang, Tongliang Liu, Kun Zhang, Mingming Gong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot wilt leren hoe hij een banaan moet oppakken of een knop moet indrukken. De oude manier om dit te doen is door de robot te laten oefenen in de echte wereld. Maar dat is traag, duur en robots gaan dingen kapotmaken terwijl ze leren.

De nieuwe manier is om de robot te laten oefenen in een videogame (een simulator). Maar hier is het probleem: de meeste videogames zien er nep uit. Als een robot leert in een cartoonwereld, raakt hij in de war wanneer hij de echte, rommelige, getextureerde wereld ziet. Het is alsohad je iemand leert autorijden op een plat, grijs scherm en vervolgens verwacht dat diegene een hobbelige, regenachtige weg aankan.

Mirage2Matter is een nieuwe tool die dit oplost. Het bouwt een simulator die er precies zo uitziet en zich precies zo gedraagt als de echte wereld, maar die volledig is gebouwd vanuit eenvoudige video's die je met een gewone camera opneemt.

Zo werkt het, gebruikmakend van enkele eenvoudige analogieën:

1. De "Magische Foto" (3D Gaussian Splatting)

Normaal gesproken heb je dure lasers of speciale camera's nodig om een 3D-wereld te maken. Mirage2Matter is anders. Het neemt een reeks gewone foto's of een korte video van een kamer en een object (zoals een brood) en zet dit om.

Denk aan het maken van een foto en het daarna magisch veranderen in een 3D-beeldhouwwerk. De paper noemt dit 3D Gaussian Splatting. Stel je voor dat de kamer bestaat uit miljoenen kleine, onzichtbare, gloeiende ballonnen (Gaussians). Wanneer je vanuit één hoek kijkt, ziet het eruit als een foto. Wanneer je je hoofd beweegt, herschikken ze zich om een 3D-object te vormen. Dit legt de exacte look, textuur en belichting van de echte kamer vast.

2. De "Geest-schil" (Fysica versus Uiterlijk)

Er is een addertje onder het gras: die "gloeiende ballonnen" zien er geweldig uit, maar ze zijn te zacht om tegenaan te duwen of te pakken. Als een robot een ballon probeert te duwen, glijdt hij er gewoon dwars doorheen. De robot heeft iets nodig om tegenaan te botsen.

Daarom doet het systeem een tweede truc. Het kijkt naar het object in de video en gebruikt een AI om een "geest-schil" (een solide 3D-mesh) rondom het object te bouwen. Deze schil is onzichtbaar voor het oog, maar solide voor de fysica-engine van de robot.

De Analogie: Stel je een realistische wassen figuur van een persoon voor. Het ziet er exact uit als een mens (het 3D Gaussian-gedeelte), maar van binnen heeft het een hard skelet (de mesh), zodat je het kunt duwen zonder dat het smelt.

3. De "Liniaal en Passer" (Kalibratie)

Zelfs als de robot een realistisch uiterlijk en een solide schil heeft, kunnen de afmetingen fout zijn. De robot kan denken dat de tafel 3 meter hoog is terwijl deze eigenlijk 1 meter hoog is.

Mirage2Matter lost dit op met een kalibratiebord. Voordat je gaat filmen, leg je een speciaal bord met bekende afmetingen op de vloer. Het systeem gebruikt dit als een "liniaal" om de digitale wereld uit te rekken of in te krimpen totdat deze qua grootte perfect overeenkomt met de echte wereld. Het stemt ook de "ogen" (camera) van de robot af, zodat wat de robot in de simulatie ziet, op exact dezelfde plek zit als wat hij in de werkelijkheid ziet.

4. De "Frankenstein-film" (Hybride Rendering)

Nu moet de robot oefenen met bewegen. Het systeem draait de bewegingen van de robot in een fysica-engine (waar de solide schillen correct tegen elkaar botsen). Vervolgens neemt het de video van de bewegende robot en "plakt" deze in de realistische achtergrond.

De Analogie: Stel je een film voor waarbij de achtergrond een realistische, high-definition video van een keuken is, maar de acteur (de robot) een CGI-personage is. Normaal gesproken ziet de CGI er nep uit. Maar hier snijdt het systeem de echte robot uit de video en plakt deze op de realistische achtergrond, zodat de belichting en schaduwen perfect overeenkomen.

Het Resultaat: Zero-Shot Succes

De paper testte dit door een robot volledig binnen deze "Magische Simulator" te trainen. Ze hebben de robot tijdens de training nooit de echte wereld getoond.

Toen ze de getrainde robot in de echte keuken zetten om een banaan op te pakken of een knop in te drukken, werkte het bijna net zo goed als een robot die door mensen in de echte wereld is getraind.

De Bewering: De robot had geen extra "fine-tuning" of oefening in de echte wereld nodig. Hij leerde in de simulatie en wist direct wat hij moest doen in de werkelijkheid.

Waarom is dit een grote zaak?

Geen Speciale Apparatuur: Je hebt geen dure lasers nodig; een telefoon of een gewone camera is genoeg.
Niets Kapotmaken: Robots kunnen duizend keer crashen in de simulator zonder een enkel echt object te beschadigen.
Perfecte Match: Omdat de simulator is gebouwd van de daadwerkelijke kamer waar de robot zal werken, is er geen "verrassing" wanneer de robot de echte wereld betreedt.

Kortom, Mirage2Matter verandert een eenvoudige video in een perfecte digitale tweeling van de werkelijkheid, waardoor robots complexe fysieke taken snel en veilig kunnen leren voordat ze ooit de echte wereld aanraken.

Technische Samenvatting: Mirage2Matter

Probleemstelling

De schaalbaarheid van belichaamde intelligentie wordt fundamenteel beperkt door de schaarste aan hoogwaardige interactiedata uit de echte wereld die nodig zijn voor het trainen van Vision-Language-Action (VLA) modellen. Hoewel simulatie een oplossing biedt, lijden bestaande benaderingen aan een significante "sim-to-real" kloof.

Reconstructie-gebaseerde simulators (bijv. AI2Thor, Habitat, SAPIEN) vertrouwen vaak op handmatig gecreëerde assets en synthetische texturen, wat een visuele domeinkloof creëert. Recente 3D Gaussian Splatting (3DGS) extensies verbeteren de visuele getrouwheid, maar zijn vaak afhankelijk van dure sensoren, precieze robotkalibratie of dieptemetingen, en missen vaak mechanismen om fysieke wetten te vangen, waardoor taakspecifieke solvers vereist zijn.
Generatieve wereldmodellen bieden geautomatiseerde pipelines voor het synthetiseren van 3D-assets en het voorspellen van fysieke eigenschappen. Ze geven echter vaak prioriteit aan diversiteit boven geometrische nauwkeurigheid, wat leidt tot discrepanties tussen gegenereerde assets en hun tegenhangers in de echte wereld. Deze discrepanties verslechteren de omgevingsgetrouwheid en beperken het nut van de resulterende simulatie voor zero-shot implementatie.

Er is een kritieke behoefte aan een wereldmodel dat tegelijkertijd hoogwaardige visuele reconstructie vanuit gewone video's en fysiek gegronde interactiedynamica bereikt zonder gespecialiseerde hardware.

Methodologie: Mirage2Matter

Mirage2Matter is een fysiek gegrond Gaussian wereldmodel dat hoogwaardige embodied trainingsdata genereert uit multi-view video's. Het framework integreert fotorealistische reconstructie met fysica-gebaseerde simulatie via drie kernstadia:

1. Fotorealistische scène- en objectreconstructie

Het systeem reconstrueert zowel de omgeving als manipuleerbare objecten met behulp van twee parallelle takken:

Reconstructietak (3DGS): Maakt gebruik van 3D Gaussian Splatting (3DGS) om fotorealistische representaties te creëren.
- Scène: Een handheld video van de omgeving wordt verwerkt met COLOMP om Structure-from-Motion (SfM) punten en camerastandpunten te verkrijgen. Een scène 3DGS wordt getraind met een fotometrische objectief om de globale lay-out en fijne texturen vast te leggen.
- Objecten: Objectmaskers worden gesegmenteerd met SAM2 (gestuurd door tekstprompts) op geselecteerde frames. Object-specifieke 3DGS-modellen worden geoptimaliseerd met behulp van enkel gemaskeerde pixels om de voorgrond te isoleren en achtergrondruis te onderdrukken.
Generatieve tak (Meshes): Om fysieke simulatie mogelijk te maken, is expliciete oppervlaktegeometrie vereist. Foto's van objecten vanuit één enkel perspectief worden ingevoerd in Tripo3D om waterdichte meshes te generen in een canonieke pose. Deze meshes dienen als botsingsbestendige geometrische proxies voor de physics engine.

2. Cross-Domain Alignment

Om consistentie te waarborgen tussen de visuele representatie (3DGS) en de fysieke simulatie (meshes), stemt het systeem alle assets af op een verenigd robot-gecentreerd coördinatensysteem (het Genesis simulator wereldframe).

Scène Alignment: Tijdens de video-opname wordt een kalibratiebord geplaatst bij de locatie van de robotbasis. Scaled Iterative Closest Point (ICP) wordt uitgevoerd tussen de SfM-punten van het kalibratiebord en een virtueel robotwerkruimte-mesh. Deze similarity transform ( $S = (s, R, t)$ ) wordt toegepast op de SfM-punten en camerastandpunten voordat de scène 3DGS wordt getraind, waardoor het uiteindelijke model van nature is uitgelijnd met de simulator.
Object Alignment: De object 3DGS en de bijbehorende mesh worden uitgelijnd na optimalisatie. Een similarity transform wordt geschat tussen point clouds gesampled uit de 3DGS en de mesh, gevolgd door ICP-verfijning. De Gaussian-parameters (gemiddelde, schaal, rotatie) worden bijgewerkt om overeen te komen met de mesh-geometrie, wat verenigde rendering en simulatie mogelijk maakt.
Sim-to-Real Camera Kalibratie: Een ChArUco-bord bevestigd aan de end-effector van de robot wordt gebruikt om de hand-eye kalibratievergelijking op te lossen. Dit zorgt ervoor dat de head-mounted camera van de robot in de simulatie pixel-perfect overeenkomt met de camera in de echte wereld, waardoor de consistentie in de relatieve positie van de manipulator behouden blijft.

3. Data Generatie en Hybride Rendering

Zodra alles is uitgelijnd, assembleert het systeem een verenigd wereldmodel en genereert het trainingsdata:

Interactieve Plaatsing: Objecten worden binnen de scène geplaatst met behulp van interactieve transformaties, waarbij de scène 3DGS en de object 3DGS worden samengevoegd tot één Gaussian wereld ( $G_{world}$ ).
Fysica-gebaseerde Simulatie: De Genesis physics engine simuleert robotinteracties met behulp van de object meshes. Motion planning (IK en RRT) genereert botsingsvrije trajecten.
Hybride Rendering: Om trainingsvideo's te creëren, combineert het systeem de output van de twee takken:
1. De beweging en interactie van de robot worden gerenderd vanuit de Genesis simulator (voor kinematische/dynamische correctheid en botsingsrestricties).
2. De achtergrond en statische objecten worden gerenderd vanuit het 3DGS wereldmodel (voor fotorealisme).
3. Een robotmasker wordt geëxtraheerd uit de Genesis-video en wordt gebruikt voor alpha-compositing van de robot-voorgrond op de 3DGS-achtergrond, wat een definitief frame oplevert dat zowel fysiek consistent als visueel realistisch is.

Belangrijkste Bijdragen

Getrouwe en Fotorealistische Wereldrepresentatie: De auteurs reconstrueren hoogwaardige visuele representaties van omgevingen en manipuleerbare objecten met behulp van alleen gewone multi-view video's, waarbij fijne geometrie en uiterlijk worden vastgelegd zonder gespecialiseerde sensoren.
Fysiek Gegronde en Robot-Centrische Modellering: Door gebruik te maken van generatieve modellen voor botsingsbestendige meshes en een kalibratiepipeline te introduceren voor nauwkeurige schaalalignement, zorgt het systeem ervoor dat de simulatie consistent blijft met de echte wereld.
Praktische en Schaalbare Data Generatie: De aanpak maakt de laagkostige constructie van bewerkbare wereldmodellen met gegronde interactiedynamica mogelijk. Het ondersteunt grootschalige datasynthese, waardoor VLA-modellen die op deze data zijn getraind, sterke zero-shot generalisatie kunnen bereiken.

Experimentele Resultaten

De auteurs evalueerden Mirage2Matter door een VLA-model (PoSA-VLA) te trainen op gesimuleerde data en het vervolgens zonder verdere training (zero-shot transfer) in te zetten op een echte AlphaBot 1s robot.

Baselines: De methode werd vergeleken met DISCOVERSE en RoboSimGS, evenals een upper-bound Real-World trainingsset.
Taken: De evaluatie omvatte drie manipulatietaken: Grasp (Grijpen), Press Button (Knop indrukken) en Push/Pull (Duwen/Treken).
Prestaties:
- Grasping (Grijpen): Op echte objecten (banaan, croissant) behaalde Mirage2Matter succespercentages van respectievelijk 80,0% en 86,7%. Dit presteerde aanzienlijk beter dan DISCOVERSE (60,0%, 66,7%) en RoboSimGS (76,7%, 76,7%), en benaderde de Real-World training upper bound (96,7%, 90,0%).
- Taakniveau: Voor "Press Button" behaalde Mirage2Matter 93,3% succes vergeleken met 96,7% voor Real-World training. Voor "Push/Pull" behaalde het 73,3% vergeleken met 83,3%.
Ablatie-studies:
- Het vervangen van mesh-only objecten door 3DGS-gereconstrueerde objecten verbeterde het succespercentage bij het grijpen, wat het belang van visuele consistentie tussen objecten en de omgeving benadrukt.
- De prestaties schaalden positief met het aantal trainingsdemonstraties, waarbij 300 demonstraties optimale resultaten opleverden.

Betekenis en Claims

Het artikel beweert dat Mirage2Matter een praktisch pad biedt naar schaalbare belichaamde intelligentie door de simulatie-naar-real kloof te overbruggen. De auteurs schrijven de verbeterde zero-shot prestaties toe aan:

Hogere Visuele Getrouwheid: De verenigde 3DGS rendering vermindert de perceptuele kloof tussen simulatie en realiteit, met name in textuur, belichting en achtergrondgeometrie.
Visueel-Fysieke Consistentie: In tegen tegenstelling tot eerdere simulators die mesh-objecten mengen met 3DGS-achtergronden (wat visuele discrepanties veroorzaakt), rendert Mirage2Matter zowel de voorgrond als de achtergrond binnen een verenigde 3DGS-wereld. Dit voorkomt dat modellen "shortcut" gedragingen leren op basis van simulator-specifieke artefacten.
Fysieke Gronding: Het gebruik van Genesis-gebaseerde executie zorgt ervoor dat de geleerde policies de kinematische en botsingsrestricties respecteren, wat overfitting naar fysiek onmogelijke gedragingen voorkomt.

De auteurs concluderen dat hun framework de constructie van realiteitsconsistente wereldmodellen direct uit echte omgevingen mogelijk maakt, wat ondersteuning biedt bij het trainen van VLA-modellen die manipulatietaken in de fysieke wereld kunnen uitvoeren zonder extra fine-tuning.