$\mu_0$: A Scalable 3D Interaction-Trace World Model

Het artikel introduceert $\mu_0$, een schaalbaar 3D-wereldmodel dat vloeiende trajecten van interactiepunten voorspelt in plaats van dichte pixels of specifieke acties, wat belichaamings-agnostisch robotleren mogelijk maakt via een nieuw "TraceExtract"-systeem dat automatisch 3D-supervisie genereert uit diverse videobronnen.

De kern

Stel je voor dat je een robot wilt leren koken, schoonmaken of dingen bouwen. Meestal heb je twee slechte opties:

1. De "Pixel"-methode: Je laat de robot duizenden video's zien en vraagt hem om precies te voorspellen hoe elke individuele pixel op het scherm er hierna zal uitzien. Dit is alsof je een student vraagt om de kleur van elke baksteen in een muur te onthouden, alleen maar om te leren hoe je een deur opent. Het verspilt veel hersenkracht aan achtergronddetails (zoals de kleur van de vloer) die de robot niet echt helpen om te bewegen.
2. De "Actie"-methode: Je neemt een mens op die de taak uitvoert en vertelt de robot: "Beweeg je linkerarm 3 inch naar voren, en knijp dan." Het probleem is dat dit alleen werkt voor die specifieke robotarm. Als je de robot vervangt voor een robot met een andere vorm, zijn de instructies nutteloos. Je zou alles opnieuw moeten opnemen vanaf nul.

Maak kennis met µ0 (uitgesproken als "mu-zero"): Een nieuwe manier om robots te leren die precies tussen deze twee opties in zit. In plaats van pixels te bekijken of specifieke armbewegingen te onthouden, leert µ0 3D "interactietracés" te voorspellen.

Het kernidee: Het "Ghost Path" (Geestpad)

Denk aan een robot die probeert een kopje op te pakken. In plaats van na te denken over het hele kopje of de hele kamer, focust µ0 zich op specifieke "ghost points" (geestpunten) die belangrijk zijn:

• De punt van de grijper.
• Het handvat van het kopje.
• De plek waar de hand het tafelblad raakt.

µ0 voorspelt het vloeiende, 3D-pad dat deze specifieke punten in de toekomst zullen afleggen. Het is alsof je een gloeiende, onzichtbare lijn in de lucht tekent die precies laat zien waar het kopje naartoe moet gaan. Dit pad is embodiment-agnostic, wat betekent dat het niet uitmaakt of de robot een enorme industriële arm is, een kleine wieltjesrobot, of een menselijke hand. Als het "ghost path" zegt: "beweeg het kopje hierheen", kan elke robot uitzoeken hoe hij zijn eigen unieke lichaam moet bewegen om dat pad te volgen.

Hoe ze het hebben geleerd: De "TraceExtract" Fabriek

Om µ0 te onderwijzen, bouwden de onderzoekers een data-engine genaamd TraceExtract. Stel je een filmmonteur voor die duizenden rommelige video's bekijkt (van mensen, robots en verschillende camera's) en automatisch drie dingen doet:

1. Kiest de sterren: Het negeert de achtergrond en vindt de "sterren" van de show (het kopje, het gereedschap, de hand) met behulp van AI-visie.
2. Tekent de lijnen: Het tilt die punten naar de 3D-ruimte, waardoor een consistente 3D-route ontstaat, zelfs als de camera schudt of beweegt.
3. Schrijft het script: Het breekt de video op in kleine "events" (zoals "pak het kopje" of "schenk het water in") en schrijft een korte beschrijving voor elke beweging.

Dit verandert rommelige, ongelabelde video's in een helder tekstboek van: "Hier is een punt, en hier is het 3D-pad dat het moet volgen om dit doel te bereiken."

Het tweestaps leerproces

µ0 werkt in twee fasen, zoals een meesterarchitect en een bouwploeg:

1. De Architect (µ0): Eerst wordt µ0 getraind alleen op video's. Het leert een "World Model" te zijn. Het kijkt naar een afbeelding en een zin (bijv. "Pak de oranje mok op") en voorspelt de toekomstige 3D-paden van de belangrijkste punten. Het ziet nooit de motorcommando's van een robot; het leert simpelweg de fysica van waar dingen zouden moeten gaan. Eenmaal getraind is dit deel "bevroren"—het is een herbruikbare expert die nooit verandert.
2. De Bouwploeg (Action Expert): Wanneer je een specifieke robot wilt gebruiken, neem je de bevroren µ0 en koppel je daar een kleine, nieuwe "Action Expert" aan vast. Dit nieuwe onderdeel kijkt naar de 3D-paden die µ0 heeft voorspeld en begrijpt: "Oké, gegeven mijn specifieke armvorm, welke motorcommando's heb ik nodig om dat pad te volgen?"

Waarom dit een grote doorbraak is

De paper beweert dat µ0 een game-changer is omdat:

• Het schaalbaar is: Je kunt het trainen op elke video op het internet, niet alleen op dure robotopnames.
• Het efficiënt is: Het negeert de saaie achtergrond en focust alleen op de bewegende delen die er echt toe doen.
• Het beter werkt: In tests presteerden robots die µ0's "ghost paths" gebruikten net zo goed (en soms zelfs beter) dan robots die getraind waren op enorme hoeveelheden specifieke robot-actiedata.
• Het herbruikbaar is: Je kunt µ0 één keer trainen en het vervolgens in elke nieuwe robot die je bouwt pluggen zonder het hele systeem opnieuw te hoeven trainen.

Kortom, µ0 leert robots het concept van beweging (het 3D-pad) in plaats van de mechanica van beweging (de specifieke spiercommando's), waardoor ze kunnen leren van de enorme bibliotheek aan menselijke video's die online beschikbaar is.

Technische samenvatting

Technische Samenvatting: µ0: Een Schaalbaar 3D Interactie-Trace Wereldmodel

1. Probleemstelling

Robotleren staat voor een fundamentele "dataparadox": hoewel video's een schaalbare, overvloedige bron vormen van fysieke gedragsdata, is de meest effectieve supervisie voor besturing—actie-gelabelde robotdata—schaars, duur, hardware-specifiek en incompatibel tussen verschillende robot-embodiments.

Bestaande benaderingen voor wereldmodellen worstelen om deze kloof te overbruggen:

• Pixelspace video-modellen: Hoewel schaalbaar, besteden ze modelcapaciteit aan dichte verschijningsvorm en achtergrondreconstructie, waardoor ze vaak falen in het vastleggen van de metrische geometrie, contactstructuur en occlusiepatronen die nodig zijn voor manipulatie.
• Directe actiemodellen (bijv. Vision-Language-Action modellen): Deze blijven beperkt door de schaarste en embodiment-specifieke aard van gelabelde demonstraties.
• Bestaande bewegingsgecentreerde methoden: Eerdere 3D flow of trajectmodellen onder-samplen vaak kritieke kleine regio's (zoals gereedschapstips), verwarren objectbeweging met camerabeweging door in lokale/2D-coördinaten te werken, of koppelen lange demonstraties aan grove episode-niveau beschrijvingen in plaats van event-niveau intentie.

Het artikel stelt dat een schaalbare oplossing een representatie vereist die beschrijft wat er moet bewegen (interactiepunten) onafhankelijk van hoe een specifieke robot het beweegt, terwijl de globale 3D-structuur behouden blijft en beweging wordt uitgelijnd met taal.

2. Methodologie

De voorgestelde oplossing, µ0, is een query-geconditioneerd 3D trace-space wereldmodel. Het voorspelt niet direct dichte pixels of robot-specifieke acties. In plaats daarvan voorspelt het vloeiende 3D-trajecten voor semantisch geselecteerde interactiepunten (objecten, gereedschap, handen, contactregio's). Het systeem bestaat uit twee primaire componenten: TraceExtract (de data-engine) en µ0 (het wereldmodel).

2.1 TraceExtract: Een Schaalbare Data-pipeline

TraceExtract zet heterogene menselijke en robotvideo's om in event-gecaptioned 3D trace-supervisie. Het adresseert de beperkingen van eerdere fixed-grid methoden via drie stadia:

1. Semantische Keypoint Sampling: In plaats van uniforme grids gebruikt het DINOv2 features om patches te clusteren in entity-level groepen. Het wijst een vast keypoint-budget toe per entiteit, waarbij ruimtelijk diverse punten op hoge-zichtbaarheid frames worden geselecteerd. Een bewegingsfilter verwijdert statische of door de achtergrond gedomineerde tracks om te focussen op interactiesignalen.
2. 3D Trace Constructie: Om globale 3D-consistentie te behouden over lange video's met camerabeweging, gebruikt het systeem globale-lokale reconstructie. Het gebruikt ijle (sparse) anchor frames om een gedeeld globaal coördinatenstelsel te vestigen, reconstrueert dichte lokale chunks en lijnt deze terug uit naar het globale frame. Tracks worden gepropageerd over chunk-grenzen met behulp van de laatste geldige wereldruimte-positie. De resulterende traces worden geprojecteerd in een per-chunk referentiecamera om camerabeweging te verwijderen terwijl de beelduitlijning behouden blijft.
3. Event-Centrische Captioning: Lange demonstraties worden gesegmenteerd in bewegingsgecentreerde events op basis van trace-acceleratie. Prominente acceleratiepieken definiëren actie-ankers, en dalen definiëren chunk-grenzen. Een Vision-Language Model (VLM) genereert captions voor deze chunks (start, midden, eind), die vervolgens worden samengevoegd door een tekst-only LLM om fijnmazige en grove taak-samenvattingen te creëren.

2.2 Het µ0 Wereldmodel

µ0 is een modulaire architectuur ontworpen om toekomstige 3D-traces te voorspellen op basis van een observatie, taalinstructie en optionele keypoint-historie.

• Multi-Modale Conditionering Backbone: Het maakt gebruik van een vooraf getrainde SmolVLM2-2.2B om RGB-observaties en taalinstructies te coderen. Diepte (optioneel) wordt via een aparte trainbare patch stem gerouteerd voordat de diepere SigLIP-lagen worden gedeeld met RGB-tokens om geometrische aanwijzingen te exploiteren zonder de vooraf getrainde statistieken te verstoren.
• Permutatie-Equivariante Trace Expert: Deze component behandelt elk keypoint als een uitwisselbare query. Het representeert toekomstige beweging als cubic B-spline control points in plaats van dichte waypoints, wat compactheid en vloeiendheid garandeert. Elk query-token wordt gegrond door lokale DINO-features, Fourier embeddings voor pixellocatie, en segment-embeddings voor historie versus toekomst.
• Semantische Flow Matching: Het model wordt getraind als een conditional flow model over B-spline control points. Het leert om ruizige control points te denoisen naar schone toekomstige traces. De doelstelling omvat:
  • Flow loss: Het matchen van het snelheidveld van de control points.
  • Geldigheidsprognose: Het identificeren wanneer een traject moet stoppen (bijv. door occlusie).
  • Semantische rigiditeit: Het aanmoedigen van keypoints binnen dezelfde DINO-cluster om de lokale geometrie te behouden.
• Trace-Geconditioneerde Action Expert: Voor downstream robotbesturing is de vooraf getrainde µ0 (VLM backbone + Trace Expert) bevroren. Een Action Expert wordt getraind bovenop de trace-denoising features van µ0. De policy leest features uit een enkele partiële denoising stap, injecteert deze in de VLM-features via gated cross-attention, en voorspelt continue actie-chunks geconditioneerd op proprioceptie en gripper-beelden.

3. Belangrijkste Bijdragen

1. TraceExtract: Een schaalbare data-engine die event-gecaptioned 3D trace-supervisie extraheert uit heterogene video's via semantische keypoint selectie, globaal uitgelijnde 3D lifting en hiërarchische taal-captioning. Het schaalt de trace-curatie met ongeveer 8× ten opzichte van eerdere 3D trace datasets.
2. µ0: Een query-geconditioneerd 3D trace-space wereldmodel met een VLM backbone, een permutatie-equivariante Trace Expert, B-spline trace targets en semantische flow-matching training.
3. Trace-Geconditioneerde Actie Adaptatie: Een framework waarbij de bevroren µ0 dient als een herbruikbare bewegingsprior. Dit maakt actievrije video-pretraining effectief bruikbaar voor robot-policies, waarbij alleen actie-supervisie nodig is voor de specifieke robot-interface.

4. Experimentele Resultaten

4.1 Trace Voorspellingsprestaties

µ0 werd geëvalueerd op 2D en 3D trace voorspellings-taken tegen baselines inclusief getokeniseerde VLMs (bijv. Gemini, GPT), 2D flow modellen, en 3D trace modellen (bijv. TraceGen, Dream2Flow).

• Nauwkeurigheid: µ0 behaalde de beste Top-5 Average Displacement Error (ADE), Final Displacement Error (FDE), en Dynamic Time Warping (DTW) scores over alle tijdshorizons in zowel 2D als 3D settings.
• Efficiëntie: µ0 demonstreerde een voorspellingslatentie van 0.29s, wat 2.9× sneller is dan de op één na snelste 2D baseline (Track2Act met 0.85s) en aanzienlijk sneller dan grote VLM API's.
• Kwalitatief: µ0 produceerde coherente, doelgerichte traces en vermeed de ruis en misalignments die bij eerdere methoden werden waargenomen.

4.2 Downstream Robotbesturing

De auteurs evalueerden de bevroren µ0 in combinatie met een action expert in simulatie (RoboCasa365) en real-world (UR3 robot) scenario's.

• Simulatie (RoboCasa365): Op 8 manipulatie-taken bereikte µ0 + action expert een gemiddeld succespercentage van 30.25%. Dit presteerde beter dan de actie-gelabelde VLA π0 (25.25%), ondanks het feit dat µ0 geen actie-supervisie gebruikte tijdens de pretraining. Het presteerde ook aanzienlijk beter dan de vorige video-only baseline, TraceGen (23%).
• Real-World (UR3): Op drie taken (Pick & Place, Pour, Unfold Towel) bereikte µ0 + action expert een gemiddeld succespercentage van 91.7%. Dit overtrof:
  • VLM + action expert (zonder trace features) met 18.4 procentpunten.
  • De actie-gelabelde VLAs π0 en π0.5 met respectievelijk 20.0 en 11.7 procentpunten.
  • TraceGen + action expert met 10.0 procentpunten.
• Schaalbaarheid: Prestaties verbeterden met grotere modelgroottes en meer pretraining data. De schaalbaarheidsanalyse gaf aan dat de trace-representatie cruciale bewegingsstructuren biedt die door beperkte policy-capaciteiten niet zelfstandig kunnen worden hersteld.

5. Betekenis en Claims

Het artikel claimt dat 3D interactie-traces dienen als een schaalbare en overdraagbare representatie voor cross-embodiment manipulatie. Door de voorspelling van wat beweegt (de trace) te ontkoppelen van hoe het beweegt (de actie), vestigt µ0 een pad voor robotleren dat gebruik kan maken van overvloedige video-data zonder afhankelijk te zijn van dure, embodiment-specifieke actie-labels.

De auteurs benadrukken dat µ0 fungeert als een "herbruikbare bewegingsprior". Zodra de op video is voorgetraind, kan het model worden bevroren en gekoppeld aan verschillende action experts voor diverse robot-embodiments. De resultaten suggereren dat deze aanpak prestaties kan leveren die competitief zijn met, of superieur aan, state-of-the-art modellen die zijn voorgetraind op grootschalige actie-gelabelde datasets, terwijl de schaalbaarheid van video-only pretraining behouden blijft.

Door de auteurs genoemde beperkingen:

• µ0 erft fouten over van de perceptie-stack (clustering, 3D reconstructie, tracking, captioning).
• De representatie vangt geometrie en beweging, maar modelleert niet expliciet krachten, tactiele feedback of contactmodi.
• Huidige evaluaties zijn beperkt tot tabletop manipulatie met specifieke embodiments; bredere validatie op mobiele manipulatoren en complexe handen is toekomstig werk.