Technische Samenvatting: WEAVER - Een Effectief Wereldmodel voor Robotische Manipulatie

Probleemstelling

Wereldmodellen (WM's), of geleerde simulators, bieden grote belofte voor robotica door het mogelijk te maken om beleidsevaluatie, verbetering en planning tijdens de testtijd uit te voeren met beperkte interactie in de echte wereld. Om deze downstream-mogelijkheden te ontsluiten, moet een robot-WM echter gelijktijdig drie vaak conflicterende desiderata vervullen:

1. Fideliteit: Het produceren van fysiek nauwkeurige voorspellingen die correleren met uitkomsten in de echte wereld.
2. Consistentie: Het genereren van coherente trajecten over lange voorspellingshorizonten, met name in de aanwezigheid van occlusies en interacties met meerdere stadia.
3. Efficiëntie: Het genereren van voorspellingen snel genoeg om real-time planning en iteratieve beleidsverbetering te ondersteunen.

Bestaande benaderingen slagen er niet in om alle drie de criteria simultaan te voldoen. Videogeneratiemodellen missen vaak efficiëntie; latente modellen (bijv. JEPA-stijl) kunnen een gebrek hebben aan de decodeerbaarheid die vereist is voor willekeurige visuomotorische beleidsevaluatie; en eerdere manipulatie-WM's (bijv. Ctrl-World) opereren te traag voor planning tijdens de testtijd. Bovendien introduceert robotische manipulatie unieke complexiteiten, zoals observatie vanuit meerdere perspectieven, inferentie van geoccludeerde objecten en de noodzaak voor hoogwaardige staatvoorspelling in plaats van alleen visuele esthetiek.

Methodologie: WEAVER Architectuur

De auteurs stellen WEAVER voor (World Estimation Across Views for Embodied Reasoning), een multi-view wereldmodel ontworpen om de trifecta van fideliteit, consistentie en efficiëntie te bereiken. De architectuur integreert ontwerpbeslissingen van videogeneratie, latente wereldmodellen en JEPA-stijl architecturen.

Kernarchitectuur

• Multi-View Encoding: WEAVER verwerkt meerdere cameraviews (bijv. pols en extern) samen met proprioceptieve staten. Het gebruikt een vooraf getrainde Stable Diffusion 3 VAE-encoder om beeldpatches en proprioceptieve tokens naar een latente ruimte te mappen.
• Latent Dynamics Model: De kernvoorspeller is een 2D transformer die toekomstige latente staten ($\hat{z}_t$) voorspelt, geconditioneerd op:
  • Sparse Memory: Lange-termijn context ($z_{mem}$) bestaande uit elke $k$-de voorgaande latente staat.
  • Short-Term History: Recente latente staten ($z_{hist}$) die de directe gevolgen van acties vastleggen.
  • Action Plan: Een blok van toekomstige acties ($a_t$).
• Voorspellingsdoelstellingen:
  • Latente Voorspelling: Getraind via Flow Matching om toekomstige latente staten te voorspellen. Om de consistentie op lange termijn te verbeteren, gebruikt het model Diffusion Forcing, waarbij ruisniveaus onafhankelijk over toekomstige tijdstappen worden gesampled.
  • Proprioceptieve Voorspelling: In tegenstelling tot sommige eerdere werken, voorspelt WEAVER expliciet toekomstige proprioceptieve staten (gewrichtsposities en grijperbreedte), wat cruciaal is voor de manipulatie van vervormbare objecten.
  • Reward & Critic Heads: Een lichtgewicht reward-head ($R$) en critic-netwerk ($V$) opereren direct op latente staten en taalinstructies. Dit maakt efficiënte scoring van actie-chunks mogelijk zonder afbeeldingen te decoderen of externe Vision-Language Models (VLMs) te raadplegen.

Training en Inferentie Optimalisatie

• Training: Het model wordt vooraf getraind op de DROID-dataset en fijn afgesteld op specifieke taakdata. Het maakt gebruik van SPRINT-blocks om patch-tokens agressief te verwijderen, wat de efficiëntie verbetert.
• Inferentie Acceleratie:
  • KV Caching: Toegepast op geheugen- en historie-tokens over denoising-stappen heen om de kosten van de forward pass te verminderen.
  • Rectified Flow: Het model wordt post-getraind met een rectified flow-doelstelling om hoogwaardige generatie binnen enkele forward passes mogelijk te maken (lage Number of Function Evaluations, NFE).
  • Progressive Noise: Er wordt een cosine noise schedule gebruikt om meer budget toe te wijzen aan gebieden met lage ruis, wat de fideliteit verhoogt.

Downstream Applicaties

WEAVER is ontworpen om drie specifieke downstream-taken te ondersteunen:

1. Beleidsevaluatie: Het uitvoeren van opgenomen real-world trajecten open-loop binnen de WM om succespercentages te voorspellen.
2. Beleidsverbetering: Het samplen van actie-chunks, het simuleren ervan in de WM, en het filteren op trajecten met een hoog voordeel om deze te distilleren naar het basisbeleid ($\pi_{0.5}$).
3. Planning tijdens de Testtijd: Het gebruik van een "Best-of-N"-benadering waarbij meerdere actie-chunks worden gesampled, geïmagineerd en geëvalueerd via latente reward/critic heads om de optimale actie voor uitvoering te selecteren.

Belangrijkste Resultaten

De auteurs evalueren WEAVER op vijf robotische manipulatietaken (Stack Bowls, PnP Bag, PnP Marker, PnP Towel, Pour Beans) met behulp van een Franka Emika Panda robot.

• Fideliteit vs. Efficiëntie: WEAVER Pareto-domeert de leidende baseline, Ctrl-World. Het bereikt lagere FID- en FVD-scores (wat duidt op hogere visuele fideliteit) terwijl het aanzienlijk minder inferentietijd vereist (bijv. 10–30s vs. 30–50s voor 10s rollouts). WEAVER behoudt een hoge kwaliteit zelfs bij een lage NFE (8–16), terwijl de kwaliteit van Ctrl-World significant afneemt wanneer de NFE daalt.
• Consistentie op Lange Termijn: WEAVER vertoont superieure prestaties in rollouts op lange termijn (tot 10s), waarbij het lagere foutenmarges behoudt vergeleken met baselines, met name bij taken die betrokken zijn bij occlusies en vervormbare objecten.
• Beleidsevaluatie: Wanneer gebruikt voor het evalueren van beleid, bereikt WEAVER-FT (fijn afgesteld) een Pearson-correlatie van $\rho = 0,870$ met real-world succespercentages, wat de pretrained baselines aanzienlijk overtreft.
• Beleidsverbetering: Het fijn afstellen van het $\pi_{0.5}$ fundament-model met behulp van synthetische data gegenereerd door WEAVER (zonder enige real-world interactie) verbetert de real-world succespercentages met 38%. Het combineren van synthetische en real-world data levert een extra verbetering van 11% op ten opzichte van alleen real-world data fijn afstellen.
• Planning tijdens de Testtijd: WEAVER maakt planning tijdens de testtijd mogelijk met een 5–10$\times$ versnelling ten opzichte van Ctrl-World. Deze planning-benadering verbetert het real-world succespercentage van het basisbeleid met 14% (tot 20% op specifieke taken) door het selecteren van actie-chunks met een hoog voordeel.
• Out-of-Distribution (OOD) Robuustheid: WEAVER behoudt sterke prestaties op OOD-taakdatasets, wat te danken is aan het gebruik van een vooraf getrainde encoder in plaats van het vanaf nul leren van een encoder.

Betekenis en Claims

Het artikel beweert dat WEAVER een belangrijke stap voorwaarts vertegenwoordigt door succesvol hoge fideliteit, consistentie op lange termijn en inferentie-efficiëntie te verenigen in één wereldmodel voor robotische manipulatie.

• Ontsluiten van Downstream Mogelijkheden: De auteurs stellen dat eerdere WM's beperkt werden door trade-offs (bijv. hoge fideliteit maar trage inferentie), wat real-time planning of efficiënte beleidsverbetering verhinderde. Het vermogen van WEAVER om alle drie de desiderata simultaan te vervullen, ontsluit deze voorheen ontoegankelijke mogelijkheden.
• Data-efficiëntie: De resultaten suggereren dat hoogwaardige wereldmodellen synthetische data kunnen generen die bijna even effectief is als kostbare real-world data voor beleidsverbetering, wat potentieel de afhankelijkheid van uitgebreide real-world interactie vermindert.
• Praktiseerbaarheid: Door inferentiesnelheden te bereiken die compatibel zijn met real-time beperkingen (via rectified flow en KV caching), maakt WEAVER wereldmodel-gebaseerde planning tijdens de testtijd tot een praktische realiteit voor fysieke robots, in plaats van slechts een theoretisch concept.

De auteurs erkennen beperkingen, waaronder gedeeltelijke observeerbaarheid (gebrek aan tactiele sensoriek), uitdagingen met complexe vervormbare dynamiek en de huidige beperking tot planning met een kort horizontaal tijdsbestek vanwege latentie. Ze stellen echter dat WEAVER een nieuwe baseline vestigt voor schaalbare, efficiënte en effectieve wereldmodellering in de robotica.