Technische Samenvatting: RepWAM – Wereldactiemodellering met Representatie

1. Probleemstelling

World Action Models (WAMs) beogen de kloof te overbruggen tussen passieve toekomstvoorspelling en belichaamde robotbesturing door een enkele latente ruimte te leren die visuele dynamiek voorspelt en de robotacties afleidt die nodig zijn om deze te realiseren. Huidige WAMs kampen echter met twee kritieke beperkingen in hun representatiedesign:

1. Tekortkomingen in Visuele Representatie: Bestaande WAMs erven doorga Tangentieel video-tokenizers van vooraf getrainde videogeneratiemodellen (bijv. WAN, VQ-VAE). Deze tokenizers zijn geoptimaliseerd voor pixelreconstructie, waarbij ze latente capaciteit wijden aan lage-niveau verschijning (achtergrondtexturen) in plaats van taakrelevante semantiek (objectidentiteit, ruimtelijke relaties, interactiekenmerken). Bijgevolg is instructiegestuurde wereldmodellering slecht gegrond, omdat taaldoelen moeten worden afgeleid uit een latente ruimte die gedomineerd wordt door variatie in verschijning.
2. Visuele-Actie Ontkoppeling: Visuele latents en motorische commando's bevinden zich in disjuncte ruimtes. Dit dwingt een Inverse Dynamics Model (IDM) om bij elke stap een significante modaliteitskloof te overbruggen, wat voorkomt dat de actie-expert motorische commando's effectief kan grond in de scène-inhoud.

De auteurs stellen dat de getrouwheid van WAMs wordt beperkt door deze latente ruimtes en vragen: Wat voor soort representatie heeft een wereldactiemodel eigenlijk nodig?

2. Methodologie: RepWAM

Het artikel stelt RepWAM voor, een representatie-gecentreerde WAM gebouwd op een Representation Visual-Action Tokenizer (RepViTok). Het framework bestaat uit drie kerncomponenten:

A. Representation Visual-Action Tokenizer (RepViTok)

RepViTok brengt visuele latents in lijn met een bevroren visueel fundamenteel model en induceert latente actie-tokens als transities binnen deze gedeelde semantische ruimte.

• Visuele Tokenisatie: Een Vision Transformer (ViT) autoencoder verwerkt visuele observaties. In tegenstelling tot standaard tokenizers wordt deze gesuperviseerd door een dubbel doel:
  1. Reconstructieverlies: Combineert $L_1$, perceptuele en adversariële verliezen om pixelgetrouwheid te garanderen.
  2. Feature Alignment Loss: Trekt video-latents naar een bevroren visueel fundamenteel model (bijv. Perception Encoder) via een lineaire projectie. Dit zorgt ervoor dat de latente ruimte hoogwaardige semantiek (objectidentiteit, interacties) vastlegt in plaats van alleen lage-niveau verschijning.
• Latente Actie-Tokenisatie: Voortbouwend op de uitgelijnde visuele tokens, leert een Latent Action Tokenizer (LAT) actie-tokens die transities tussen visuele toestanden representeren. Het koppelt een Inverse Dynamics Model (IDM) en een Forward Dynamics Model (FDM):
  • De IDM comprimeert de transitie tussen opeenvolgende latente frames ($z_t, z_{t+1}$) tot een compacte latente actie $\ell_t$.
  • De FDM realiseert $\ell_t$ als een transportmap (het routeren van visuele inhoud) en een residu, waardoor de volgende visuele latent wordt gereconstrueerd.
  • Dit ontwerp zorgt ervoor dat latente acties worden gedefinieerd als transformaties tussen semantische visuele toestanden, wat ze overdraagbaar maakt tussen verschillende belichamingen.

B. Causaal Wereldactiemodel

RepWAM pretraint een causale diffusie-transformer om gezamenlijk toekomstige visuele toestanden en latente acties te modelleren onder taalconditiering.

• Architectuur: Het model gebruikt een blok-causale maskering waarbij visuele en actie-tokens dezelfde aandachtsgewichten delen maar gebruikmaken van modaliteit-specifieke feed-forward netwerken (FFN's).
• Trainingsdoel: Het model wordt getraind met een conditional flow-matching objectief. Er wordt een chunk van visuele latents en gepaard latente acties gesampled en geïnterpoleerd met Gaussische ruis. Het netwerk regresseert de doel-snelheid om zowel de volgende visuele staat als de bijbehorende latente actie simultaan te voorspellen.
• Adaptatie: Na pretraining op grootschalige video-actie data, wordt het model aangepast aan echte robottrajecten voor closed-loop manipulatie.

3. Belangrijkste Bijdragen

1. Semantische Visuele-Actie Tokenisatie: De introductie van RepViTok, die visuele latents uitlijnt met een fundamenteel model en latente acties leert als transities binnen deze semantische ruimte, waarmee de "ondiepe" en "ontkoppelde" aard van bestaande WAM-representaties wordt aangepakt.
2. Gezamenlijk Modelleringsframework: Een verenigde architectuur die een causale diffusie-transformer pretraint om toekomstige visuele toestanden en latente acties gezamenlijk te voorspellen, gevolgd door adaptatie aan echte robotbesturing.
3. Empirische Validatie: Uitgebreide evaluatie op real-world dual-arm manipulatietaken en de RoboTwin 2.0 simulatie-benchmark, waaruit blijkt dat semantische uitlijning zowel de visuele dynamiekvoorspelling als de closed-loop uitvoering verbetert.

4. Experimentele Resultaten

De auteurs evalueerden RepWAM (1.3B en 5B parameter schalen) tegenover baselines inclusief $\pi_0.5$, Motus en Lingbot-VA.

• Real-World Manipulatie (Franka Dual-Arm):
  • Op taken zoals "Pick the fruit," "Push the drawer," en "Insert the tube" behaalde RepWAM-5B succespercentages van respectievelijk 60%, 80% en 60%.
  • Deze resultaten presteerden beter dan $\pi_0.5$ (met 10–50 procentpunten) en Lingbot-VA (met 10–20 procentpunten), met name op langdurige (long-horizon) en fijnmazige taken waar coherente visuele dynamiek cruciaal is.
• Simulatie Benchmarks (RoboTwin 2.0):
  • RepWAM-5B behaalde 89.3% op Easy taken en 88.4% op Hard taken, waarmee het de 50-taken gemiddelde van $\pi_0.5$ en Motus overtrof.
  • Opvallend genoeg werd RepWAM vanaf nul getraind zonder de gewichten van vooraf getrainde videogeneratiemodellen over te nemen, en toch bleef het competitief met modellen zoals Lingbot-VA die dergelijke pretraining wel gebruiken.
• Ablatie Studies:
  • Tokenizer Design: Het vervangen van de standaard WAN2.2 VAE door RepViTok verbeterde de Open-Loop Score (OLS) en de succespercentages bij echte robots, wat bevestigt dat semantische uitlijning cruciaal is voor instructie-opvolging.
  • Latent Action Training: Een "Two Stages" aanpak (pretraining op latente acties, gevolgd door adaptatie naar robotbesturing) presteerde significant beter dan "Joint Prediction" of training zonder latente acties, wat het nut van latente acties als intermediaire representatie valideert.
  • Classifier-Free Guidance (CFG): In tegenstelling tot videogeneratiemodellen bereikte RepWAM optimale prestaties met een CFG-schaal van 1.0 (geen extrapolatie), wat suggereert dat de semantische ruimte robuust genoeg is om de afhankelijkheid van CFG te verminderen.

5. Betekenis en Claims

Het artikel claimt dat representatie visuele-actie tokenisatie een veelbelovende fundering is voor wereldactiemodellen. Door visuele en actie-latents te grond in een gedeelde semantische representatie, demonstreert RepWAM dat:

• Expliciete toekomstige generatie niet strikt noodzakelijk is voor policy learning als de representatie taakrelevante semantiek bevat.
• Semantische uitlijning WAMs in staat stelt om sterke generalisatie en closed-loop prestaties te bereiken, zelfs zonder het overnemen van pretrained video generatie backbones.
• Deze aanpak beweegt richting generalistische robotpolicies door een representatieruimte te creëren waarin actie wordt begrepen als een transformatie van semantische toestanden in plaats van een disjunct motorisch commando.

De auteurs concluderen dat het ontwerp van de latente ruimte fundamenteel is voor de capaciteiten van belichaamde agenten, en dat RepWAM een stap zet naar meer interpreteerbare, overdraagbare en effectieve robotmanipulatie. Toekomstig werk wordt gesuggereerd om pretraining uit te breiden van robotica-specifieke video's naar grootschalige internet- en egocentrische menselijke video's.