StemVLA:An Open-Source Vision-Language-Action Model with Future 3D Spatial Geometry Knowledge and 4D Historical Representation

StemVLA is een open-source Vision-Language-Action-model dat de robotmanipulatie verbetert door expliciete toekomstige 3D-ruimtelijke kennis en historische 4D-spatiotemporele representaties te integreren, wat leidt tot state-of-the-art prestaties op de CALVIN ABC-D-benchmark.

De kern

StemVLA: De robot die niet alleen kijkt, maar ook "voelt" en "voorspelt"

Stel je voor dat je een robot wilt leren om een rommelige kamer op te ruimen. De meeste robots die we vandaag hebben, kijken naar de kamer met hun camera's en proberen direct te raden wat ze moeten doen. Het is alsof ze proberen een puzzel op te lossen door alleen naar de randstukken te kijken, zonder te weten hoe het hele plaatje eruit ziet of hoe het zich in de toekomst zal veranderen. Ze zien een kopje, maar ze begrijpen niet dat als ze er te hard aan trekken, het zal vallen.

StemVLA is een nieuwe, slimme manier om robots te leren denken. Het is alsof we de robot niet alleen een bril geven, maar ook een tijdreiskap en een 3D-blik. Hier is hoe het werkt, vertaald naar simpele beelden:

1. De "Voorspeller" (De 3D Toekomst)

Normaal gesproken reageren robots op wat ze nu zien. StemVLA doet iets anders: het probeert te voorspellen hoe de kamer er over een seconde uitziet.

• De Analogie: Stel je voor dat je een bal gooit. Een gewone robot kijkt alleen naar de bal op dit moment. StemVLA is als een ervaren honkballer die de baan van de bal al ziet voordat hij landt.
• Hoe het werkt: In plaats van alleen naar een platte foto (2D) te kijken, bouwt StemVLA een 3D-model van de toekomst. Het denkt: "Als ik dit blokje hier pak, zal dat andere blokje hierheen vallen." Hierdoor weet de robot niet alleen waar objecten zijn, maar ook hoe ze zich in de ruimte verhouden en wat er gaat gebeuren.

2. De "Tijdmachine" (De 4D Geschiedenis)

Robots hebben vaak last van kortetermijngeheugen. Ze vergeten snel wat er een paar seconden geleden is gebeurd. StemVLA heeft echter een 4D-geheugen (3D ruimte + tijd).

• De Analogie: Een gewone robot kijkt naar een reeks losse foto's. StemVLA kijkt naar een film. Het ziet niet alleen dat een deur open staat, maar het ziet hoe de deur open ging, hoe snel dat ging, en in welke richting de hand bewoog.
• Hoe het werkt: De robot slaat de geschiedenis van de bewegingen op in een soort "tijdsfilm". Hierdoor kan hij patronen herkennen. Als hij ziet dat een object begint te trillen, weet hij dat het binnenkort valt, omdat hij de beweging uit het verleden heeft gezien. Dit helpt hem bij complexe taken die lang duren, zoals het stapelen van veel blokken zonder dat het omvalt.

3. De "Twee-vragen" Strategie

StemVLA gebruikt een slimme truc met twee speciale vragen (zoals in een quiz):

1. De Ruimte-vraag: "Hoe ziet de wereld eruit en hoe zal hij eruitzien?" (Dit zorgt voor het 3D-voorspellingsgedeelte).
2. De Actie-vraag: "Wat moet ik nu doen?" (Dit zorgt voor de beweging).

Door eerst de ruimte te begrijpen en de toekomst te voorspellen, wordt het antwoord op de tweede vraag veel slimmer en veiliger.

Wat heeft dit opgeleverd?

De makers van StemVLA hebben hun robot getest in een virtuele wereld (een soort videospelletje) met moeilijke taken.

• Resultaat: De robot was veel beter in het uitvoeren van lange reeksen taken (bijvoorbeeld: "pak de beker, loop naar de tafel, zet hem neer, pak de lepel") dan andere robots.
• Vergelijking: Waar andere robots na een paar stappen de draad kwijtraakten of de verkeerde beweging maakten, bleef StemVLA kalm en succesvol, omdat hij de "ruimte" en de "tijd" echt begreep.

Samenvatting

Kortom: StemVLA is een robot die niet blindelings op een foto reageert. Het is een robot die ruimtelijk denkt (als een architect die een 3D-model bouwt) en temporeel denkt (als een regisseur die een filmplanning maakt). Hierdoor is hij veel beter in staat om complexe, fysieke taken in een veranderende wereld veilig en slim uit te voeren.

(Noot: De auteurs van het artikel gebruiken nog cijfers als "XXX" voor hun exacte scores, maar de boodschap is duidelijk: deze nieuwe aanpak werkt veel beter dan de oude methoden.)

Technische samenvatting

Probleemstelling

Bestaande Vision-Language-Action (VLA) modellen, die visuele waarnemingen en taalkundige instructies combineren om robotacties te voorspellen, vertonen veelal beperkingen in dynamische omgevingen. De huidige benaderingen vertrouwen voornamelijk op directe mapping van 2D visuele input naar actiesequenties. Dit leidt tot de volgende tekortkomingen:

1. Gebrek aan 3D ruimtelijke structuur: Er wordt geen expliciete modellering gedaan van onderliggende 3D-ruimtelijke geometrie (zoals diepte of scène-indeling), wat essentieel is voor ruimtelijk redeneren.
2. Beperkte temporele dynamiek: Historische observaties worden vaak frame-voor-frame gecodeerd, wat de modellering van coherente spatiotemporele dynamiek over langere tijdshorizons beperkt.
3. Inefficiënte toekomstvoorspelling: Bestaande methoden die proberen toekomstige frames te voorspellen, genereren vaak redundante pixeldata in plaats van gestructureerde 3D-geometrische kennis, en missen vaak expliciete 3D-representaties.

Dit beperkt de robuustheid van robots bij complexe, langdurige manipulatietaken en beslissingen in dynamische omgevingen.

Methodologie: StemVLA

StemVLA is een nieuw framework dat expliciet toekomstgerichte 3D ruimtelijke kennis en historische 4D spatiotemporele representaties integreert in de actievoorspelling. Het model bestaat uit vier kerncomponenten:

1. 4D Historische Spatiotemporele Representatie:

   • In plaats van alleen ruwe pixeldata te gebruiken, gebruikt StemVLA de VGGT Aggregator [36] om latente 3D-ruimtelijke kenmerken (zoals diepte en ruimtelijke lay-out) uit historische 2D-beelden te extraheren.
   • Deze 3D-kenmerken worden vervolgens geaggregeerd over de tijd met behulp van een tijdsattentie-module genaamd VideoFormer [20].
   • Dit resulteert in een uniforme 4D spatiotemporele representatie die zowel ruimtelijke structuur als temporele consistentie en bewegingsdynamiek vastlegt.

2. 3D Toekomstige Ruimtelijk-Geometrische Wereldkennis (FSGWP):

   • Het model bevat een module die gestructureerde 3D-toekomstige wereldkennis voorspelt, in plaats van alleen toekomstige pixelwaarden.
   • Dit wordt bereikt door een leerbaar <spatial-geometric> query-token te gebruiken binnen een Multimodal Large Language Model (MLLM).
   • Tijdens het trainingsfase wordt deze module gesuperviseerd door een 3D Future Spatial-Geometry Supervision Module, die de voorspellingen vergelijkt met ground-truth labels gegenereerd door de VGGT Aggregator. Dit dwingt het model om de geometrische structuur van toekomstige scènes te begrijpen.

3. Gedeelde MLLM Backbone:

   • Een op GPT-2 gebaseerde MLLM fungeert als de fusie-kern. Deze integreert diverse inputs: natuurlijke taal-instructies, 2D-beeldobservaties, proprioceptieve toestanden en de gegenereerde 4D-historische en 3D-toekomstige kenmerken.
   • Het model gebruikt twee leerbare query-vectoren: <spatial-geometric> (voor wereldkennis) en <action> (voor actieplanning).

4. Actiegeneratie via Diffusie:

   • De gegenereerde actie-embeddings worden doorgegeven aan een Denoising-Diffusion Transformer (DiT).
   • De DiT genereert sequentiële actie-trajectoria door iteratief ruis te verwijderen, wat zorgt voor gladde en nauwkeurige controletaken.

Belangrijkste Bijdragen

• Expliciete 3D/4D Modellering: StemVLA is een van de eerste VLA-modellen die zowel toekomstige 3D-geometrische kennis als historische 4D spatiotemporele dynamiek expliciet modelleert voor robotmanipulatie.
• Latente 3D Representaties: Het introduceert het gebruik van latente 3D-kenmerken (via VGGT) als supervisiessignaal, wat redundante pixelvoorspelling vermeden en rijkere fysieke details behoudt.
• Dual-Query Mechanisme: Een innovatief ontwerp met twee query-tokens (<spatial-geometric> en <action>) die het model in staat stellen wereldkennis en actieplanning gescheiden maar gecoördineerd te redeneren.
• Open-Source Framework: Het biedt een volledig open-source implementatie die de staat van de kunst verbetert op standaard benchmarks.

Resultaten

Het model is uitgebreid getest op de CALVIN ABC-D en LIBERO benchmarks:

• CALVIN ABC-D: StemVLA behaalde state-of-the-art prestaties, met name op het gebied van langdurige taaksequenties. Het verbeterde het gemiddelde aantal succesvol voltooide taken in een reeks (Average Sequence Length) aanzienlijk ten opzichte van bestaande methoden zoals OpenVLA, RoboDual en VPP.
• LIBERO Benchmark: Op de LIBERO-datasets (Spatial, Object, Goal, Long) toonde StemVLA consistente verbeteringen.
  • Bijvoorbeeld op LIBERO-Long steeg het succespercentage van 83,5% (zonder 4D-representatie) naar 86,0% (volledig model).
  • Op LIBERO-Object steeg de nauwkeurigheid van 92,0% naar 96,0%.
  • De ablatiestudies bevestigden dat zowel de 4D-historische representatie als de 3D-toekomstige geometrische kennis essentieel zijn voor de prestaties, vooral bij ruimtelijk complexe en langdurige taken.

Betekenis en Toekomst

StemVLA markeert een belangrijke stap in de evolutie van Embodied AI door de kloof tussen 2D-visuele waarneming en 3D/4D-ruimtelijk redeneren te overbruggen. Door expliciete modellering van toekomstige geometrie en temporele dynamiek, kunnen robots beter anticiperen op veranderingen in de omgeving en robuustere beslissingen nemen bij langdurige taken.

Beperkingen en Future Work:
Het huidige model is beperkt tot parallelle grijpers en werkt in omgevingen met beperkte variatie in geometrie en materialen. De diffusie-architectuur kan soms wat onrustige bewegingen genereren. Toekomstig werk richt zich op:

1. Integratie van dexterous hand-manipulatie.
2. Schaalvergroting van datasets en on-policy fine-tuning.
3. Vervanging van de DiT-architectuur door efficiëntere Flow Matching-technieken voor soepelere real-time controle.

Samenvattend biedt StemVLA een krachtig kader voor robots om niet alleen te "zien" en "horen", maar ook de 3D-structuur van de toekomst en de 4D-dynamiek van het verleden te begrijpen voor superieure manipulatieprestaties.