Technische Samenvatting: G3VLA – Geometrische Inductieve Bias voor Vision-Language-Action Modellen

Probleemstelling

Vision-Language-Action (VLA) modellen, zoals RT-2, OpenVLA en $\pi_0$, hebben significante vooruitgang geboekt in algemene robotmanipulatie door gebruik te maken van semantische kennis van vooraf getrainde vision-language backbones. Echter, een kritieke beperking blijft bestaan: hun visuele tokens zijn geworteld in 2D-beeldcoördinaten in plaats van de gekalibreerde geometrie van de camera's van de robot. Deze mismatch is bijzonder uitgesproken in multi-camera opstellingen, waarbij bekende intrinsieke en extrinsieke parameters verschillende gezichten geometrisch koppelen, terwijl conventionele VLA-formuleringen deze gezichten verwerken als onafhankelijke 2D-beelden. Bijgevolg moeten de modellen de camerageometrie impliciet leren enkel op basis van actie-supervisie, een proces dat vaak inefficiënt is en de ruimtelijke precisie beperkt, vooral bij taken die nauwkeurige pose-schatting, afstandredenering en cross-view consistentie vereisen.

Bestaande pogingen om dit aan te pakken, zoals het voxeliseren van observaties (PerAct) of het liften van features naar 3D-velden (Act3D), vereisen vaak taakspecifieke architecturen die de pretrained VLM-semantiek niet volledig kunnen benutten. Andere bruggeslag-inspanningen (bijv. SpatialVLA, 3D-VLA) vereisen doorgaans expliciete 3D-sensorgegevens, grootschalige ruimtelijke pretraining of aanpassingen aan de actie-representatie. De centrale vraag die dit werk adresseert is: Kan gekalibreerde camerageometrie dienen als een lichtgewicht visueel-token pad voor pretrained VLAs om ruimtelijke generalisatie te verbeteren zonder de backbone, de actieruimte of het imitatie-doel te wijzigen?

Methodologie: G3VLA

De auteurs stellen G3VLA voor, een camera-bewust geometrisch framework dat gekalibreerde structuur direct injecteert in de visuele-tokenstroom van een pretrained VLA. De methode behoudt de pretrained backbone en de actieformulering, en introduceert geometrie uitsluitend via de visuele tokens.

Kerncomponenten

De Camera-Aware Geometric Module ($F_\psi$) bestaat uit drie sleutelcomponenten:

1. Intrinsic-Conditioned Ray Embeddings:
   Om de ambiguïteit op te lossen waarbij hetzelfde pixel $(x, y)$ onder verschillende intrinsieke parameters naar verschillende fysieke kijkrichtingen mapt, labelt de methode elke ViT patch token met de achterwaarts geprojecteerde kijkrichting. Voor een homogene pixelcoördinaat $u$ wordt de genormaliseerde projectieray berekend als $\tilde{r}^v(u) = (K^v)^{-1}u$. Een leerbare embedding $G_\phi$ projecteert deze ray map naar de patch grid en voegt deze toe aan de encoder output:
   $$z^v_{0,p} = z^v_p + G_\phi(R^v)_p$$
   Dit zorgt ervoor dat alle downstream aandacht opereert op tokens die zich bewust zijn van hun intrinsieke kijkrichting.

2. Projective Positional Encoding (PRoPE):
   Terwijl ray embeddings lokale kijkrichtingen coderen, leggen ze de geometrische relaties tussen tokens uit verschillende gezichten niet vast. PRoPE lost dit op door vaste projectieve transformaties af te leiden voor query-, key- en value-representaties op basis van per-view intrinsics ($K^v$), camera-to-world matrices ($T^v$) en patch locaties. Dit biedt cross-view aandacht met op het cameramodel gebaseerde projectieve relaties in plaats van enkel te vertrouwen op verschijningsgelijkenis.

3. Bidirectional Cross-View Fusion:
   De fusiemodule verwerkt tokens in twee stappen:

   • Frame Attention: Verwerkt tokens binnen elk camerastroom onafhankelijk om de view-lokale structuur te behouden.
   • Cross-View Attention: Vlakt view- en patch-dimensies af, waardoor alle geldige tokens bidirectioneel over verschillende gezichten kunnen aandacht geven, waarbij PRoPE als het positionele signaal wordt gebruikt. Dit wisselt geometrische context uit voordat de tokens de actie-modellen bereiken.

Trainingsstrategie: Two-Stage Curriculum & Geometrie Distillatie

Omdat de geometrische module vanaf nul wordt geïnitialiseerd en slechts schaarse taakniveau gradiënten ontvangt van de actie-loss, introduceren de auteurs een dichte hulp-geometrie distillatie-objectief en een twee-fasen trainingscurriculum:

• Geometrie Distillatie Objectief: Een hulp punt-head die aan de gefuseerde visuele tokens is bevestigd, voorspelt dichte per-pixel ray coördinaten ($\hat{q}^v_u$) en log-z diepte ($\hat{d}^v_u$). De supervisie-targets komen van ofwel ground-truth point maps (in simulatie) ofwel confidence-gated voorspellingen van een visuele geometrie-leraar ($\pi_3X$). De voorspellingen van de leraar worden gefilterd door een vertrouwensdrempel ($\tau=0.1$) om onbetrouwbare pixels te filteren, wat geen dieptesensoren of handmatige 3D-annotaties vereist.
• Two-Stage Training:
  • Fase 1 (Geometric Module Pre-training): De pretrained backbone is bevroren. Alleen de ray embeddings, cross-view fusielagen en de hulp punt-head worden bijgewerkt, waarbij de distillatie-loss domineert. Dit brengt de geometrische modules in lijn met het dichte leraar-signaal.
  • Fase 2 (Full Policy Fine-tuning): Alle parameters worden ontdooid. De actie-loss wordt dominant, terwijl de distillatie-loss fungeert als een lichtgewicht geometrische regularisator. Tijdens inferentie worden de hulp-head en de leraar weggegooid; de policy vereist enkel RGB-beelden, proprioceptie, taal en camera-kalibratie.

Belangrijkste Bijdragen

1. Identificatie van een Geometrische Gap: Het artikel benadrukt de mismatch tussen 2D-gegronde visuele tokens in pretrained VLAs en de gekalibreerde ruimtelijke structuur die nodig is voor precieze manipulatie.
2. G3VLA Framework: Een lichtgewicht, backbone-preserverend pad dat gekalibreerde camerageometrie injecteert via ray embeddings, PRoPE en cross-view fusie zonder de actieruimte of het imitatie-doel te wijzigen.
3. Geometrie Distillatie van $\pi_3X$: Een twee-fasen procedure die geometrische modules superviseert met behulp van confidence-gated dichte point maps van een visuele geometrie-leraar, waardoor de noodzaak voor handmatige 3D-annotaties of dieptesensoren vervalt.
4. Multi-Architectuur Validatie: De methode wordt gevalideerd over drie verschillende VLA-systemen ($\pi_0$, $\pi_0.5$, en GR00T 1.5), waarbij consistente winsten worden aangetoond en architecturale inzichten worden gegeven in hoe geometrische signalen naar actiegeneratie propageren.

Experimentele Resultaten

Simulatie Benchmarks

• LIBERO: Op de $\pi_0$ backbone verbeterde G3VLA (GT) de macro-gemiddelde succesrate van 84,6% naar 88,1% (+3,5 punten). De grootste winsten werden waargenomen in LIBERO-Object (+5,0) en LIBERO-Spatial (+4,0), wat bevestigt dat taken die objectlokalisatie en ruimtelijk redeneren vereisen, er het meeste baat bij hebben. G3VLA ($\pi_3X$) behaalde ook significante winsten (+2,4 ten opzien van de baseline), wat het nut van de door een leraar gedistilleerde geometrie bewijst.
• RoboCasa24 & RoboTwin2.0: G3VLA (GT) verbeterde de succesrates op RoboCasa24 (34,2% $\to$ 37,1%) en RoboTwin2.0 (44,0% $\to$ 49,0%). Opvallend genoeg presteerde G3VLA ($\pi_3X$) minder goed op RoboTwin2.0 (een daling naar 41,0%), wat de auteurs toeschrijven aan onbetrouwbare offline $\pi_3X$ point-map targets in visueel schone, textuurarme synthetische scènes.
• Backbone Compatibiliteit:
  • $\pi_0.5$: De winsten waren kleiner maar consistent (95,9% $\to$ 97,0%), wat de compatibiliteit bevestigt met sterkere, bijna verzadigde backbones.
  • GR00T 1.5: De resultaten waren gemengd. Winsten werden waargenomen met $\pi_3X$ supervisie maar niet met GT. De auteurs suggereren dat dit komt door de two-tower architectuur van GR00T 1.5, waarbij het diffusiebeleid toegang heeft tot visuele features via cross-attention naar een bevroren VLM, in plaats van direct geometrie-bewuste tokens te consumeren, wat het geometrische signaal verzwakt.

Real-World Resultaten

Geëvalueerd op een bimanuele UR5 robot met twee taken (Pick-and-Place Test Tube, Pouring Nut), toonde G3VLA de meest significante verbeteringen in Out-of-Distribution (OOD) settings (onbekende camerastandpunten).

• Op de "Pouring Nut" taak verbeterde G3VLA de OOD succesrates voor $\pi_0$ van ~70-75% naar ~83-87,5%.
• Kwalitatieve analyse toonde aan dat GT-gebaseerde varianten robuuste herstelgedragingen vertoonden (bijv. opnieuw grijpen, opnieuw uitlijnen) na tussenliggende fouten, die afwezig waren in de standaard baselines.

Ablatie Studies

• Geometrische Componenten: Het verwijderen van ray embeddings veroorzaakte de grootste daling (-2,0%), gevolgd door het verwijderen van PRoPE (-1,1%), wat hun complementaire rollen bevestigt.
• Trainingscurriculum: Het vervangen van het twee-fasen curriculum door één-fasen gezamenlijke training verminderde de prestaties met 0,7%, wat het belang benadrukt van het vooraf afstemmen van het geometrische pad vóór de actie-optimalisatie.
• Supervisie Bron: Ground-truth supervisie leverde het sterkste signaal, maar $\pi_3X$ distillatie herstelde het grootste deel van de winst, wat dient als een praktisch alternatief wanneer diepte niet beschikbaar is.

Betekenis en Claims

Het artikel claimt dat gekalibreerde camerageometrie een lichtgewicht en nuttige inductieve bias is voor ruimtelijke precisie in algemene VLA-policies. De primaire betekenis ligt in het demonstreren dat geometrische structuur kan worden geïnjecteerd in de visuele-tokenstroom van pretrained modellen zonder de backbone, de actieruimte of het imitatie-doel te wijzigen.

De auteurs concluderen bescheiden dat de effectiviteit van deze geometrische injectie afhangt van de architectuur: het is het meest effectief wanneer geometrie-bewuste tokens directe toegang hebben tot het actiegeneratiepad (zoals gezien bij $\pi_0$ en $\pi_0.5$). In architecturen waar het actiemodel indirect toegang heeft tot features (bijv. GR00T 1.5), wordt het voordeel verzwakt. Verder introduceert de afhankelijkheid van een visuele geometrie-leraar een gevoeligheid voor domein-mismatch (bijv. textuurarme scènes), wat suggereert dat hoewel leraar-distillatie een levensvatbare strategie is, ground-truth supervisie superieur blijft wanneer deze beschikbaar is.

Al met al biedt G3VLA een praktische aanpak om de ruimtelijke generalisatie van bestaande VLA-modellen te verbeteren, met name voor taken die gevoelig zijn voor objectlokalisatie en ruimtelijke relaties, door gebruik te maken van bekende camera-kalibratieparameters als een structurele prior.