From Spatial to Actions: Grounding Vision-Language-Action Model in Spatial Foundation Priors

Dit paper introduceert FALCON, een nieuw paradigma dat rijke 3D-ruimtelijke tokens afgeleid van RGB-beelden injecteert in de actiehead van Vision-Language-Action-modellen om de ruimtelijke redenering te verbeteren en state-of-the-art prestaties te bereiken in zowel simulatie als real-world taken.

De kern

FALCON: De Robot met een "Ruimtelijk Gevoel"

Stel je voor dat je een robot wilt bouwen die niet alleen kan lezen en praten, maar ook echt dingen kan doen in onze wereld: een glas water pakken, een bloem in een vaas zetten, of een deur openen.

Tot nu toe waren deze robots als tweedimensionale tekenaars. Ze konden een foto van een tafel zien en begrijpen dat er een appel op ligt (dat is hun "taal" en "visie"). Maar als ze moesten grijpen, hadden ze een groot probleem: ze zagen de wereld als een platte tekening. Ze wisten niet hoe ver de appel was, hoe groot hij was, of hoe hoog de vaas stond. Het was alsof ze probeerden een bal te vangen terwijl ze door een raam naar buiten keken zonder diepte te zien. Ze botsten vaak tegen dingen of grepen verkeerd.

De onderzoekers van dit paper hebben FALCON bedacht. De naam staat voor From Spatial to Action (Van Ruimte naar Actie). Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Platte" Robot

De slimme robothersenen (de grote taalmodellen) zijn geweldig in begrijpen wat er gebeurt. Maar ze zijn getraind op 2D-foto's. Als je ze vraagt: "Pak de rode beker die het hoogst staat," denken ze misschien: "O, ik zie een rode cirkel." Ze missen het gevoel van diepte en ruimte. Ze weten niet dat de ene beker dichter bij hen is dan de andere, of dat een blokje te groot is om in hun hand te passen.

2. De Oplossing: FALCON's Drie Slimme Trucs

FALCON lost dit op met drie creatieve ideeën:

A. De "Ruimtelijke Geest" (Embodied Spatial Model)
Stel je voor dat de robot een tweede brein heeft, speciaal voor ruimte. Dit is het Embodied Spatial Model.

• Hoe het werkt: Dit deel kijkt naar de foto's en berekent direct hoe de wereld eruitziet in 3D. Het is alsof de robot een onzichtbare 3D-scan maakt van de kamer, zelfs als hij alleen een gewone camera (RGB) heeft.
• De kracht: Als de robot ook een dieptecamera of een meetapparaat heeft, gebruikt hij die extra informatie om nog preciezer te zijn. Maar het mooie is: als die apparatuur niet beschikbaar is, werkt hij nog steeds goed. Hij is niet afhankelijk van dure, speciale hardware. Hij kan "ruimtelijk denken" met wat hij heeft.

B. De "Cerebellum" Strategie (Spatial-Enhanced Action Head)
Dit is misschien wel het slimste idee. In ons lichaam heeft het grote brein (cerebrum) de zware denkklusjes: "Wat moet ik doen?" en "Wat zegt de mens?". Het kleine brein (cerebellum) regelt de fijne motoriek: "Hoe beweeg ik mijn hand precies?" en "Hoe ver is het?".

• De oude manier: Vroeger probeerden ze de ruimtelijke informatie (diepte, afstand) te stoppen in het grote brein. Dat maakte het grote brein verward en het verloor zijn taalvaardigheid.
• De FALCON manier: Ze houden de twee gescheiden. Het grote brein (de taalmodellen) blijft zich bezighouden met de betekenis en de instructies. De ruimtelijke tokens (de 3D-informatie) gaan direct naar het "kleine brein" (de Actie-kop).
• De analogie: Het is alsof een chef-kok (het grote brein) zegt: "Maak een salade." De sous-chef (het kleine brein) krijgt dan direct de instructie: "Pak de kom die 30cm links staat en snijd de tomaat op 5cm hoogte." De chef hoeft niet te weten hoe je een mes vasthoudt, en de sous-chef hoeft niet te weten wat een "salade" is. Ze werken perfect samen.

C. De "Veilige Injectie"
In plaats van de 3D-informatie door het hele systeem te gooien (wat de taalvaardigheid verstoort), injecteren ze de ruimtelijke informatie alleen op het moment dat de robot zijn hand moet bewegen. Zo blijft de robot slim in taal, maar wordt hij ook slim in ruimte.

3. Wat Kan FALCON Nu?

In tests heeft FALCON laten zien dat hij veel beter is dan andere robots:

• Hij ziet diepte: Hij kan een blokje pakken dat ergens in de hoek staat, zelfs als er veel rommel op de tafel ligt.
• Hij past zich aan: Als je een groter blokje of een hoger glas neerzet, weet hij direct hoe hij zijn hand moet aanpassen. Andere robots botsten hier vaak tegenaan.
• Hij is flexibel: Hij werkt net zo goed met een simpele camera als met dure 3D-sensoren.

Conclusie

FALCON is een doorbraak omdat hij de robot niet dwingt om te kiezen tussen "slim in taal" en "slim in ruimte". Door de ruimtelijke informatie slim te koppelen aan de bewegingscontrole (in plaats van de taalcontrole), krijgt de robot een natuurlijk gevoel voor de 3D-wereld.

Het is alsof we een robot hebben gebouwd die niet alleen kan lezen, maar ook echt voelt waar de dingen zijn, waardoor hij eindelijk veilig en betrouwbaar dingen kan doen in onze echte, rommelige wereld.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "From Spatial to Actions: Grounding Vision-Language-Action Model in Spatial Foundation Priors" (FALCON), geschreven in het Nederlands.

1. Het Probleem

Bestaande Vision-Language-Action (VLA) modellen, die robots in staat stellen om natuurlijke taalcommando's te vertalen naar acties, zijn doorgaans gebaseerd op 2D foundation-modellen (zoals Vision Language Models of VLMs). Hoewel deze modellen uitstekende semantisch taalbegrip hebben, vertonen ze een kritiek tekort: het ontbreken van robuust 3D ruimtelijk redeneren.

De huidige aanpakken om dit probleem op te lossen, hebben twee grote nadelen:

1. Specifieke sensoren vereist: Methoden die expliciete 3D-data (zoals point clouds of dieptekaarten) gebruiken, werken vaak slecht als deze data niet beschikbaar is (gebrek aan modale transferbaarheid) en vereisen dure, gespecialiseerde hardware.
2. Zwakke cues en uitlijning: Methoden die zwakke 3D-cues (zoals pseudo-diepte) injecteren in de VLM zelf, riskeren de oorspronkelijke visueel-taal uitlijning te verstoren. Dit leidt tot een verslechtering van het zero-shot generalisatievermogen, vooral bij complexe ruimtelijke instructies.

Het resultaat is dat robots moeite hebben met taken die geometrie, diepte, objectgrootte of hoogte vereisen, wat de betrouwbaarheid van algemene robotbeleid (generalist policies) beperkt.

2. Methodologie: FALCON

De auteurs introduceren FALCON (From Spatial to Action), een nieuw paradigma dat rijke 3D ruimtelijke tokens injecteert in de actie-head van het model, zonder de visueel-taal backbone te verstoren. De architectuur bestaat uit drie kerncomponenten:

• 2D Vision-Language Model (VLM): Een voorgeïmplementeerde VLM (bijv. Kosmos-2) die visuele waarnemingen en taalinstrucies verwerkt om een semantische actie-token ($\hat{t}_{act}$) te genereren. Deze component behoudt zijn oorspronkelijke semantische integriteit.
• Embodied Spatial Model (ESM): Een module die afgeleid is van spatial foundation-modellen (zoals VGGT). Deze module verwerkt een derde-persoonsbeeld (side camera) en optionele geometrische input (dieptekaarten $D_t$ en cameraposities $P$).
  • Het ESM genereert een set ruimtelijke tokens ($T_{spl}$) die rijke 3D geometrische prioren bevatten.
  • Modale transferbaarheid: Het model is ontworpen om flexibel te zijn. Als diepte- of positiedata beschikbaar is, worden deze geïntegreerd voor hogere precisie. Als ze ontbreken, gebruikt het model alleen RGB-data en leunt het op de geometrische prioren van het foundation-model. Dit wordt bereikt via een stochastische conditioneringstrategie tijdens het trainen.
• Spatial-Enhanced Action Head: In plaats van ruimtelijke tokens te concateneren met de VLM (wat de taaluitlijning zou verstoren), worden de tokens verwerkt door een gespecialiseerde actie-head.
  • De ruimtelijke tokens worden gecomprimeerd (via max-pooling) en geprojecteerd naar de feature-ruimte van de VLM.
  • Ze worden vervolgens elementsgewijs opgeteld bij de semantische actie-token ($\hat{t}_{act}$).
  • Deze gefuseerde vector wordt gebruikt door een actie-predictor (MLP of LSTM) om de uiteindelijke robotacties te genereren.

Training Strategy:
Het trainen gebeurt in twee fasen om de pre-trained kennis te behouden:

1. Fase 1: De VLM en ESM zijn bevroren; alleen een lichte adapter wordt getraind om de ruimtelijke tokens te aligneren met de VLM-featurespace.
2. Fase 2: De VLM en adapter worden samen verfijnd, terwijl de ESM bevroren blijft. Dit zorgt ervoor dat de VLM zijn semantische features subtiel aanpast om ruimtelijke cues te incorporeren zonder de basisuitlijning te verliezen.

3. Belangrijkste Bijdragen

1. Integratie van Spatial Foundation Priors: FALCON haalt sterke geometrische prioren uit spatial foundation-modellen (die vanuit alleen RGB 3D-scènes kunnen reconstrueren) en injecteert deze direct in het actiebeslissingsproces.
2. Embodied Spatial Model (ESM): Een flexibele module die optioneel extra 3D-modi (diepte, pose) kan gebruiken voor hogere nauwkeurigheid, maar ook robuust blijft werken met alleen RGB-data. Dit lost het probleem van modale transferbaarheid op.
3. Spatial-Enhanced Action Head: Een architecturale innovatie die ruimtelijke informatie scheidt van de taalredenering. Door tokens direct in de actie-head te injecteren (in plaats van in de VLM), wordt de visueel-taal uitlijning behouden en wordt het model beter in staat om fijnmazige motorische controle te koppelen aan ruimtelijke cues.

4. Resultaten

FALCON werd geëvalueerd op drie simulatiebenchmarks (CALVIN, SimplerEnv) en 11 real-world taken.

• State-of-the-Art (SOTA) Prestaties: FALCON overtreft consistent concurrerende baselines (zoals RT-2, OpenVLA, SpatialVLA, RoboVLM) in zowel simulatie als realiteit.
  • Op de CALVIN benchmark (lange reeks taken) behaalde FALCON de hoogste "Tasks Completed in a Row" percentages en de langste gemiddelde taaklengte (bijv. 4.53 in ABCD→D setting).
  • Op SimplerEnv (WidowX en Google Robot) behaalde FALCON een algehele succesratio van 62.9%, wat aanzienlijk hoger is dan de beste concurrenten.
• Robuustheid in Realiteit: In real-world experimenten met rommelige scènes, variërende objectgroottes en hoogtes, toonde FALCON superieure prestaties. Waar andere modellen faalden bij objecten van verschillende maten of bij instructies over hoogte ("plaats het kopje op de onderste plank"), slaagde FALCON hierin met hoge betrouwbaarheid.
• Few-Shot Generalisatie: Het model toonde sterke generalisatie in few-shot scenario's, zelfs met onbekende objecten, achtergronden of taakbeschrijvingen.
• Modale Transfer: Experimenten toonden aan dat FALCON met alleen RGB-input presteert op het niveau van modellen die met RGB-D trainen, en dat het model profiteert van extra diepte-informatie tijdens de inferentie zonder opnieuw getraind te hoeven worden.

5. Betekenis en Impact

Dit paper biedt een fundamentele oplossing voor het "ruimtelijk redeneringsgat" in huidige VLA-modellen. De betekenis ligt in drie gebieden:

1. Praktische Toepasbaarheid: Door te werken met alleen RGB-data (maar optioneel diepte te gebruiken), maakt FALCON geavanceerde robotica toegankelijker voor omgevingen waar dure 3D-sensoren ontbreken of niet betrouwbaar zijn.
2. Architecturale Innovatie: De scheiding tussen semantische redenering (VLM) en ruimtelijke controle (Action Head) biedt een nieuwe blauwdruk voor het ontwerpen van robuuste robotbeleidssystemen die niet afhankelijk zijn van het hertrainen van de hele taal-kern.
3. Algemene Robotica: FALCON beweert een stap te zijn naar echte "generalist" robots die complexe, langdurige taken in ongestructureerde, real-world omgevingen kunnen uitvoeren met een menselijk niveau van ruimtelijk inzicht.

Samenvattend introduceert FALCON een nieuwe standaard voor hoe 3D-ruimtelijke kennis kan worden geïntegreerd in taalgestuurde robots, waarbij het de balans vindt tussen semantisch begrip, geometrische precisie en praktische inzetbaarheid.