Multi-View Video Diffusion Policy: A 3D Spatio-Temporal-Aware Video Action Model

Probleemstelling

Robotische manipulatie vereist een diepgaand begrip van zowel de 3D ruimtelijke structuur van de omgeving als de temporele evolutie (hoe de omgeving verandert in de tijd). Bestaande beleidsmodellen (policies) lijden echter aan twee fundamentele beperkingen:

1. 2D-afhankelijkheid: De meeste methoden vertrouwen op 2D-visuele waarnemingen en missen de modellering van 3D-geometrie. Dit creëert een "waarneming-actie mismatch", omdat acties in een 3D-ruimte worden uitgevoerd. Dit vereist enorme hoeveelheden trainingsdata om dit gat te overbruggen.
2. Gebrek aan dynamisch inzicht: Veel moderne modellen (zoals Vision-Language-Action of VLA-modellen) gebruiken backbones die zijn voorgetraind op statische beeld-tekstparen. Deze zijn niet ontworpen om te voorspellen hoe scènes in de tijd evolueren, wat de capaciteit van de robot beperkt om toekomstige toestanden te anticiperen op basis van acties.

Het resultaat is dat bestaande systemen vaak inefficiënt zijn in datagebruik, slecht generaliseren naar nieuwe situaties en moeite hebben met complexe, dynamische taken.

Methodologie: MV-VDP

De auteurs stellen MV-VDP (Multi-View Video Diffusion Policy) voor, een nieuw kader dat 3D-structurele priors en temporele dynamica combineert via een diffusiemodel. De kern van de methode is het aligneren van het representatieformaat van videofinetuning met dat van videoforpretraining.

De architectuur bestaat uit drie hoofdblokken:

1. Multi-View Projectie Module:

   • In plaats van ruwe point clouds direct te verwerken, worden deze geprojecteerd op drie vaste orthografische weergaven (views).
   • De positie van de robot-end-effector wordt omgezet in heatmaps voor elke view.
   • Dit creëert een input bestaande uit multi-view RGB-afbeeldingen en bijbehorende multi-view heatmaps. Dit zorgt voor een 3D-bewust inzicht zonder complexe 3D-netwerken te hoeven trainen.

2. Multi-View Video Diffusie Transformer:

   • Het model bouwt voort op Wan2.2, een grote video foundation model (5B parameters) die oorspronkelijk is voorgetraind op single-view video's.
   • Om multi-view data te verwerken, wordt een View-Attention module toegevoegd aan elke Diffusion Transformer (DiT) blok. Dit zorgt voor interactie tussen de verschillende weergaven op elk tijdstip.
   • Het model leert gezamenlijk toekomstige RGB-video's en heatmap-sequenties te voorspellen. Door zowel de visuele evolutie als de actie-heatmaps te voorspellen, wordt de kloof tussen perceptie en controle verkleind.

3. Actie Decoding:

   • Positie: De pieklocaties van de voorspelde heatmaps worden via back-projection omgezet naar een continue 3D-traject van de end-effector.
   • Rotatie en Gripper: Een lichtgewicht predictor (gebaseerd op de denoised latents) voorspelt rotatie (Euler-hoeken) en de staat van de gripper.
   • De uiteindelijke actie bestaat uit een "chunk" van continue acties (positie, rotatie, gripper).

Kernbijdragen

• Conceptueel Inzicht: MV-VDP is, voor zover bekend, het eerste model dat een Video Foundation Model gebruikt om een 3D Video-Action Model (3D VAM) te construeren. Het koppelt videoforpretraining direct aan robotacties.
• Representatie-Alignement: Door acties te representeren als heatmaps die visueel overeenkomen met de input van het video-model, wordt het finetuning-proces veel efficiënter dan bij traditionele VLA-modellen.
• Geïntegreerde Voorspelling: Het model voorspelt niet alleen acties, maar ook de visuele consequenties (toekomstige video's), wat interpretatie en veiligheid vergroot.

Resultaten

De auteurs evalueren MV-VDP uitgebreid in simulatie (Meta-World) en in de echte wereld (Franka Research 3 robot).

• Data-efficiëntie:
  • In Meta-World bereikt MV-VDP een 89,1% succesrate met slechts 5 demonstraties per taak. Dit is aanzienlijk beter dan state-of-the-art baselines zoals DreamZero (61,1%) en Diffusion Policy (37,7%).
  • In real-world experimenten (met slechts 10 demonstraties) slaagt MV-VDP in complexe taken zoals het duwen van blokken (Push-T) en het scheppen van tortilla's, waar andere modellen (zoals DP3 en π0.5) vaak volledig falen.
• Robuustheid:
  • Het model is zeer robuust tegen variaties in hyperparameters. Opmerkelijk is dat het zelfs met 1 denoising-stap (in plaats van de gebruikelijke 50) nog steeds sterke prestaties levert, wat de inferentiesnelheid drastisch verhoogt.
• Generalisatie:
  • MV-VDP generaliseert goed naar ongezette omgevingen, inclusief veranderingen in achtergrond, objecthoogte, verlichting en objectcategorieën.
• Interpreteerbaarheid:
  • Omdat het model toekomstige video's voorspelt, kunnen gebruikers visueel controleren of een voorspelde actie veilig is voordat deze wordt uitgevoerd. Experimenten tonen aan dat dit het aantal botsingen in real-world deployments significant vermindert.

Significantie

MV-VDP markeert een belangrijke stap in de robotica door de kloof tussen generatieve videomodellen en robotbesturing te overbruggen.

1. Nieuwe State-of-the-Art: Het vestigt een nieuwe standaard voor data-efficiënte, multi-taak manipulatie, overtreffend bestaande 3D-gebaseerde methoden en Vision-Language-Action modellen.
2. Veiligheid: De mogelijkheid om de gevolgen van acties visueel te "dromen" (via video-voorspelling) biedt een krachtig mechanisme voor veiligheidsvalidatie zonder fysieke risico's.
3. Toekomstperspectief: Hoewel de inferentie momenteel nog traag is (ca. 4,6 seconden voor een actie-chunk), biedt de architectuur een solide basis voor verdere versnelling (bijv. via TurboDiffusion) om real-time controle mogelijk te maken.

Kortom, MV-VDP bewijst dat het gezamenlijk modelleren van 3D-ruimtelijke structuur en temporele dynamica via video foundation modellen de meest effectieve route is voor robuuste en data-efficiënte robotmanipulatie.