Technische Samenvatting: iMaC – Het vertalen van acties naar bewegings- en contactbeelden voor belichaamde wereldmodellen

1. Probleemstelling

Belichaamde wereldmodellen (embodied world models) beogen te dienen als realistische simulaties voor de evaluatie van robotbeleid en closed-loop rollouts, wat een schaalbare alternatief biedt voor dure en onveilige fysieke proeven. De betrouwbaarheid van deze modellen hangt echter af van hun vermogen om toekomstige videovoorspellingen nauwkeurig te conditioneren op robotacties.

Bestaande actie-geconditioneerde videomodellen coderen toekomstige acties doorgaans als compacte vectoren, die via geleerde modules (bijv. cross-attention, AdaLN, FiLM) worden geïnjecteerd. Deze abstractie dwingt het model om de fijne ruimtelijke gevolgen indirect af te leiden. In real-world manipulatie, waarbij centimeter-afwijkingen het verschil maken tussen contact, objectbeweging en taaksucces, is dergelijke indirecte afleiding onvoldoende. Bovendien visualiseren bestaande expliciete representaties (bijv. geprojecteerde sferen of actiekaarten) weliswaar acties, maar falen ze erin om de toekomstige robottoestand direct te controleren of de interactiegeometrie tussen de toekomstige robot en de huidige scène expliciet te beschrijven.

2. Methodologie

Het artikel stelt iMaC (images of Motion and Contact) voor, een belichaamd wereldmodel dat toekomstige acties vertaalt naar dichte, beeldachtige controles om videogeneratie te sturen. De aanpak is gebaseerd op een WAN2.2 Image-to-Video (IT2V) DiT-backbone en werkt via de volgende kerncomponenten:

2.1 Bewegingsbeelden (Robotkinematica)

Om te voorkomen dat het model robotbewegingen moet hallucineren vanuit abstracte vectoren, zet iMaC toekomstige gewrichtsactiesequenties om in Bewegingsbeelden (Motion Images).

• Mechanisme: Met behulp van de URDF van de robot en forward kinematics rendert het systeem de toekomstige robotconfiguraties vanuit de specifieke camerastandpunten (hoofd- en polscamera's) die in de observatie worden gebruikt.
• Functie: Deze gerenderde video's dienen als dichte controlesignalen die de toekomstige visuele staat (uiterlijk en pose) van de robot direct in de pixelruimte specificeren, waardoor de last voor het generatieve model om de robotgeometrie af te leiden, wordt verminderd.

2.2 Contactbeelden (Two-Stream Geometrie)

Om vast te leggen hoe de robotbeweging interageert met de scène, construeert iMaC Contactbeelden (Contact Images) op basis van 3D-puntenwolken. Dit omvat een hulp-dieptevoorspellingsvertakking waarbij dieptekaarten als gekleurde afbeeldingen worden gecodeerd om uit te lijnen met de RGB-input.

• Scene-to-Gripper Stream ($C_{s \to g}$): Berekent de afstand van de huidige scène-punten naar de toekomstige grijperpositie. Dit codeert welke delen van de huidige omgeving zich dicht bij de toekomstige end-effector bevinden.
• Robot-to-Scene Stream ($C_{r \to s}$): Berekent de afstand van de toekomstige robotpunten naar de huidige scène. Dit codeert de ruimtelijke relatie van de toekomstige robotmassa ten opzichte van de statische omgeving.
• Integratie: Deze afstandskaarten worden geprojecteerd en gedensifieerd tot beeldachtige controles, wat expliciete sturing biedt op contact-relevante ruimtelijke relaties.

2.3 Training-Time Rollout Strategie

Om langdurige manipulatie (long-horizon manipulation) te ondersteunen en exposure bias te mitigeren (waarbij het model tijdens training wordt getraind op ground-truth referenties, maar tijdens tests wordt getest op zijn eigen imperfecte generaties), maakt iMaC gebruik van een training-time rollout strategie.

• Tijdens de training genereert het model een videofragment, decodeert het laatste frame en gebruikt dit gegenereerde frame als de referentie-input voor het daaropvolgende fragment.
• Dit stelt het model in staat om te leren de daaropvolgende geometrische staten te construeren op basis van zijn eigen voorspellingen, in plaats van uitsluitend te vertrouwen op ground-truth referenties, wat de trainingscondities beter afstemt op closed-loop inferentie.

3. Belangrijkste Bijdragen

1. Ruimtelijk Expliciete Actie-conditionering: In tegenstelling tot methoden die compacte actievectoren gebruiken, vertaalt iMaC acties naar dichte, beeldachtige controles (Motion en Contact beelden) die de toekomstige robotverschijning en de robot-scène geometrie expliciet definiëren.
2. Two-Stream Geometrie Controles: De introductie van bidirectionele afstandskaarten (Scene-to-Gripper en Robot-to-Scene) voorziet het wereldmodel van precieze signalen voor contact en interactiedynamiek, die cruciaal zijn voor manipulatietaken.
3. Robuuste Long-Horizon Evaluatie: De training-time rollout strategie vermindert effectief de train-test mismatch in closed-loop generatie, wat minutenlange videogeneratie mogelijk maakt voor beleidsevaluatie.
4. Beleidsevaluatie Capaciteit: Het framework demonstreert het vermogen om verschillende beleid-checkpoints te rangschikken op basis van wereldmodel-succesindicaties, wat een sterke correlatie vertoont met real-world prestaties.

4. Experimentele Resultaten

De auteurs hebben iMaC geëvalueerd op acht uitdagende, langdurige real-robot manipulatietaken met gebruik van multi-view RGB-observaties.

• Kwaliteit van Videovoorspelling: iMaC bereikte state-of-the-art prestaties in taakgemiddelde metrieken (FID, PSNR, SSIM, FVD) vergeleken met baselines zoals Ctrl-World en ABot-PhysWorld, wat aantoont dat bewegings- en contactbeelden de actie-geconditioneerde voorspelling aanzienlijk verbeteren.
• Correlatie van Beleidsevaluatie: In closed-loop rollouts vertoonden de succesindicaties van iMaC een sterke positieve correlatie ($r \in [0.833, 0.956]$) met de werkelijke succespercentages in de echte wereld over zes van de acht taken. Dit geeft aan dat het model effectief de relatieve rangorde van verschillende beleidsfamilies en trainingscheckpoints kan behouden.
• Ablatie Studies:
  • Het verwijderen van Contactbeelden resulteerde in het falen van het model bij het correct grijpen van objecten, ondanks het genereren van plausibele interactie-achtige bewegingen, wat de noodzaak van contact-bewuste sturing benadrukt.
  • Het verwijderen van Bewegingsbeelden zorgde ervoor dat het model faalde in het produceren van precieze grijpbewegingen, omdat het een directe sturing miste over toekomstige robotconfiguraties.
  • Het gebruik van externe diepte (DA3) in plaats van de eigen voorspelde diepte van het model voor de constructie van contact leidde tot minder consistente contactgeometrie en gemiste grijpbewegingen.

5. Betekenis en Claims

Het artikel claimt dat iMaC een kritieke flessenhals in belichaamde wereldmodellen aanpakt: het gebrek aan ruimtelijke precisie in actie-conditionering. Door acties om te zetten in expliciete visuele en geometrische controles, maakt iMaC een betrouwbare simulatie van manipulatietaken mogelijk waarbij fijnmazige ruimtelijke relaties het succes bepalen.

De primaire betekenis ligt in de toepassing als beleidsevaluator (policy evaluator). De auteurs tonen aan dat iMaC kan dienen als een schaalbare, in-silico simulator om beleid-checkpoints te vergelijken en de prestaties in de echte wereld te schatten, zonder dat hiervoor taakspecifieke fysieke simulators of uitgebreide hardwareproeven nodig zijn. De sterke correlatie tussen wereldmodel-scores en uitkomsten in de echte wereld suggereert dat dergelijke modellen effectief kunnen dienen als gids voor checkpoint-selectie en beleidsverbetering, mits de taken niet lijden onder ernstige problemen met ontbrekende observaties (bijv. taken die sterk afhankelijk zijn van hoogte-relaties die niet zichtbaar zijn voor de camera's).