Robot-Factored World Models via Robot Rendering

Technische Samenvatting: Robot-gefactureerde Wereldmodellen via Robot Rendering

Probleemstelling
Actie-geconditioneerde video-wereldmodellen beogen toekomstige observaties te voorspellen vanuit een initiële staat en een actiesignaal, wat planning en beleidsverbetering mogelijk maakt zonder interactie met de echte wereld. Echter, er bestaat een fundamentele uitdaging in de manier waarop robotacties aan deze modellen worden gepresenteerd. In de fysieke robotica beïnvloeden acties toekomstige observaties via twee onderscheiden processen: (1) Actie-realisatie, waarbij controlesignalen worden omgezet in robotbeweging door de specifieke lichaamsbouw, controller en kinematica van de robot; en (2) Scène-respons, waarbij de omgeving reageert op die beweging via contact en objectdynamica.

Bestaande benaderingen conditioneren direct op robotspecifieke controlesignalen (bijv. gewrichtstorsies of Cartesiaanse posities), waardoor het wereldmodel gedwongen wordt het realisatieproces zelf te leren, wat lichaamsgebonden en redundant is. Omgekeerd lekt het conditioneren op gelogde toekomstige staten (gerealiseerde trajecten) de interactieresultaten (contact, compliantie, latentie) die het model juist beoogt te voorspellen. Het kernprobleem is het identificeren van een visueel conditioneringssignaal dat beschikbaar is bij implementatie, het leren van het realisatieproces vermijdt, en geen toekomstige interactieresultaten lekt.

Methodologie
De auteurs stellen Robot-gefactoreerde Wereldmodellen voor, die de robot-specifieke realisatie- en renderingprocessen ontkoppelen van het wereldmodel zelf. De methodologie introduceert een gedeelde visuele interface bestaande uit drie hoofdonderdelen:

1. Nominaal Traject-conditionering (Actie-realisatie):
   In plaats van ruwe commando's of gerealiseerde staten te voeden, verwerkt het systeem de actiesequentie $a_{1:F}$ door de eigen controller en kinematica van de robot in een scène-vrije omgeving om een nominaal traject $q_{1:F}$ te genereren. Dit traject vertegenwoordigt de beweging die de robot zou uitvoeren in vrije ruimte voordat er enige scène-interactie plaatsvindt. Het dient als een bij implementatie beschikbaar signaal dat de kloof tussen ruwe commando's en gerealiseerde staten overbrugt zonder contactuitkomsten te coderen.

2. Robot Rendering (Visuele Interface):
   Het nominale traject wordt gerenderd in het doelcameraframe met behulp van de URDF (Unified Robot Description Format) van de robot. Dit produceert:

   • Robot Mesh RGB ($M^{rgb}_{1:F}$): Een video van de geometrie van de robot (links, gripper, end-effector) zoals deze in de scène zou verschijnen.
   • End-Effector Diepte ($D^{eef}_{1:F}$): Diepte-informatie specifiek voor de end-effector.
     Deze rendering factoriseert de geometrie, kinematica en verschijning van de robot uit, en presenteert de actie aan het wereldmodel puur als zichtbare robotgeometrie in de pixelruimte.

3. Camera-bewuste Statische Context:
   Om scène-context te bieden zonder toekomstige dynamica te lekken, wordt de initiële scène-toestand $S_0$ gerenderd langs dezelfde cameratraject $C_{1:F}$ om statische scène RGB ($B^{rgb}_{1:F}$) en scène-diepte ($D^{scene}_{1:F}$) te produceren. Deze stroom biedt verschijning en geometrische context onafhankelijk van de interactie van de robot.

Modelarchitectuur
Het wereldmodel wordt geïnstantieerd als een latent video-diffusiemodel (specifiek gebruikmakend van een video-inpainting backbone). De conditioneringsinput $c$ wordt gevormd door het concateneren van de gecodeerde latente representaties van de statische scène-context, de gerenderde robotmesh, scène-diepte en end-effector-diepte. Het model leert de toekomstige video $V_{1:F}$ te voorspellen gegeven deze visuele inputs en een tekstprompt $T$ (die de scène-context beschrijft maar de actie of toekomstige uitkomst uitsluit). De trainingsdoelstelling minimaliseert de flow-matching loss tussen de voorspelde snelheid en de doel-snelheid in de latente ruimte.

Belangrijkste Bijdragen

1. Implementatie-realistische Interface: De auteurs introduceren een visuele interface die acties realiseert in nominale trajecten en deze rendert als camera-uitgelijnde URDF-mesh RGB en end-effector-diepte. Dit factoriseert scène-verschijning en gezichtspunt uit in een statische contextstroom.
2. Diepte-bewustzijn: De interface is uitgebreid met end-effector- en scène-diepte om geometrische ambiguïteiten (nabijheid, occlusie en waarschijnlijke contactmomenten) op te lossen die enkel door RGB-beeldvlakoverlap niet te onderscheiden zijn.
3. Generalisatie van Lichaamsbouw en Bron: Door acties te representeren als gerenderde geometrie in plaats van lichaamsgebonden controlesignalen, ontkoppelt de interface de wereldmodel van specifieke robotcontrollers. Dit maakt generalisatie naar ongeziene robot-embodiments mogelijk en staat de generatie van gegronde robot-interactievideo's toe vanuit geretargette menselijke demonstraties.

Experimentele Resultaten
De methode werd geëvalueerd op de DROID en RoboCasa-GR1 datasets, waarbij de gerenderde interface werd vergeleken met vector-geconditioneerde baselines (Ctrl-World met Cartesiaanse pose-conditionering en een AdaLN state-vector baseline).

• Kwantitatieve Prestaties: De gerenderde interface presteerde beter dan de vector-geconditioneerde baselines op zowel PSNR, SSIM als LPIPS-metrieken op beide datasets. Specifiek bereikte de combinatie van nominale mesh-rendering en diepte-aanwijzingen de beste resultaten (bijv. 24,61 PSNR op RoboCasa-GR1 versus 17,67 voor de state-vector baseline).
• Kwalitatieve Analyse: De gerenderde interface lokaliseerde scèneveranderingen rond de beweging en contactgebieden van de robot beter. Ablatie-studies bevestigden dat het gebruik van nominale trajecten (in plaats van ruwe acties) de uitlijning verbeterde, en dat het toevoegen van diepte-aanwijzingen aanzienlijk hielp om het model te laten onderscheiden tussen beeldvlakoverlap en daadwerkelijk fysiek contact.
• Generalisatie: Het model generaliseerde succesvol naar ongeziene robot-embodiments (bijv. een xArm 6 met een Inspire F1 hand) door simpelweg de nieuwe geometrie in dezelfde interface te renderen. Bovendien genereerde het succesvol robotmanipulatievideo's uit geretargette menselijke handbewegingen, wat aantoont dat de interface agnostisch is voor de bron van de beweging.

Betekenis en Claims
Het artikel claimt dat door de actie-realisatie en robot-rendering uit te factoren, het wereldmodel wordt bevrijd van het leren van lichaamsgebonden controle-dynamica en zich volledig kan concentreren op het gedeelde probleem van het voorspellen hoe een scène reageert op zichtbare robotgeometrie. Deze benadering lost de trade-off op tussen het leren van actie-realisatie en toekomstige-state lekkage op. De auteurs stellen dat deze "robot-gefactoreerde" benadering een consistente visuele interface biedt over verschillende gezichtspunten en robot-embodiments, wat robuustere planning en de generatie van gegronde interactievideo's uit diverse bewegingsbronnen, inclusief menselijke demonstraties, mogelijk maakt.

Beperkingen
De auteurs erkennen dat de aanpak een bekende robot-URDF en camera-naar-robot kalibratie vereist. Daarnaast gaat de statische contextstroom uit van een statische scène-representatie, die volledig beschikbaar is in simulatie maar slechts gedeeltelijk observeerbaar is in de echte wereld zonder feedforward 3D-reconstructie. Ten slotte is de trainingsdata (DROID) voornamelijk succesvol, wat betekent dat het model beperkte blootstelling heeft aan grijpfouten of slippen, wat de robuustheid in die specifieke scenario's kan beïnvloeden.