Sintesi Tecnica: G3VLA – Bias Induttivo Geometrico per Modelli Vision-Language-Action

Problematica

I modelli Vision-Language-Action (VLA), come RT-2, OpenVLA e $\pi_0$, hanno ottenuto progressi significativi nella manipolazione robotica generalista sfruttando la conoscenza semantica di backbone vision-language pre-addestrati. Tuttavia, persiste un limite critico: i loro token visivi sono radicati in coordinate d'immagine 2D piuttosto che nella geometria calibrata delle telecamere del robot. Questa discrepanza è particolarmente pronunciata nelle configurazioni multi-camera, dove gli intrinseci ed estrinseci noti accoppiano geometricamente diverse viste, mentre le formulazioni VLA convenzionali elaborano queste viste come immagini 2D indipendenti. Di conseguenza, i modelli devono apprendere implicitamente la geometria della telecamera esclusivamente tramite la supervisione dell'azione, un processo che è spesso inefficiente e limita la precisione spaziale, specialmente in compiti che richiedono una stima accurata della posa, il ragionamento sulla distanza e la coerenza tra le viste.

I tentativi esistenti per affrontare questo problema, come la voxelizzazione delle osservazioni (PerAct) o l'innalzamento delle feature in campi 3D (Act3D), richiedono spesso architetture specifiche per il compito che non possono sfruttare appieno la semantica dei VLM pre-addestrati. Altre iniziative di collegamento (ad esempio, SpatialVLA, 3D-VLA) richiedono tipicamente input sensoriali 3D espliciti, pre-addestramento spaziale su larga scala o modifiche alla rappresentazione dell'azione. La domanda centrale affrontata da questo lavoro è: La geometria calibrata della telecamera può servire come un percorso di token visivi leggero per migliorare la generalizzazione spaziale dei VLA pre-addestrati senza modificare il backbone, lo spazio d'azione o l'obiettivo di imitazione?

Metodologia: G3VLA

Gli autori propongono G3VLA, un framework geometrico consapevole della telecamera che inietta la struttura calibrata direttamente nel flusso di token visivi di un VLA pre-addestrato. Il metodo preserva il backbone pre-addestrato e la formulazione dell'azione, introducendo la geometria esclusivamente attraverso i token visivi.

Componenti Core

Il Modulo Geometrico Consapevole della Telecamera ($F_\psi$) consiste di tre componenti chiave:

1. Ray Embeddings Condizionati dagli Intrinsici:
   Per risolvere l'ambiguità in cui lo stesso pixel $(x, y)$ mappa diverse direzioni di visione fisiche sotto diversi intrinseci, il metodo etichetta ogni token patch ViT con la sua direzione di visione proiettata all'indietro. Per una coordinata pixel omogenea $u$, il raggio di proiezione normalizzato è calcolato come $\tilde{r}^v(u) = (K^v)^{-1}u$. Un embedding apprendibile $G_\phi$ proietta questa mappa di raggi sulla griglia delle patch e la aggiunge all'output dell'encoder:
   $$z^v_{0,p} = z^v_p + G_\phi(R^v)_p$$
   Ciò assicura che tutta l'attenzione a valle operi su token consapevoli della propria direzione di visione intrinseca.

2. Projective Positional Encoding (PRoPE):
   Mentre i ray embeddings codificano le direzioni di visione locali, essi non catturano le relazioni geometriche tra i token provenienti da viste diverse. PRoPE affronta questo problema derivando trasformazioni proiettive fisse per le rappresentazioni di query, key e value basate sugli intrinseci per singola vista ($K^v$), matrici camera-to-world ($T^v$) e posizioni delle patch. Questo fornisce un'attenzione cross-view basata su relazioni proiettive del modello di camera piuttosto che affidarsi esclusivamente alla similarità di aspetto.

3. Fusione Bidirezionale Cross-View:
   Il modulo di fusione elabora i token in due passaggi:

   • Frame Attention: Elabora i token all'interno di ogni stream di camera indipendentemente per preservare la struttura locale della vista.
   • Cross-View Attention: Appiattisce le dimensioni di vista e patch, permettendo a tutti i token validi di prestare attenzione bidirezionalmente tra le viste, utilizzando PRoPE come segnale posizionale. Questo scambia il contesto geometrico prima che i token raggiungano il modello d'azione.

Strategia di Addestramento: Curriculum a Due Stadi e Distillazione della Geometria

Poiché il modulo geometrico viene inizializzato da zero e riceve solo gradienti sparsi a livello di task dalla perdita dell'azione, gli autori introducono un obiettivo di distillazione della geometria densa ausiliaria e un curriculum di addestramento a due stadi:

• Obiettivo di Distillazione della Geometria: Una testa di punto ausiliaria attaccata ai token visivi fusi predice le coordinate del raggio per pixel ($\hat{q}^v_u$) e la profondità log-z ($\hat{d}^v_u$). I target di supervisione provengono o da mappe di punti ground-truth (in simulazione) o da predizioni filtrate dalla confidenza di un insegnante di geometria visiva ($\pi_3X$). Le predizioni dell'insegnante sono filtrate da una soglia di confidenza ($\tau=0.1$) per eliminare i pixel inaffidabili, senza richiedere sensori di profondità o annotazioni 3D manuali.
• Addestramento a Due Stadi:
  • Stadio 1 (Pre-addestramento del Modulo Geometrico): Il backbone pre-addestrato è congelato. Solo i ray embeddings, i livelli di fusione cross-view e la testa di punto ausiliaria vengono aggiornati, con la perdita di distillazione che domina. Ciò allinea i moduli geometrici con il segnale denso dell'insegnante.
  • Stadio 2 (Full Policy Fine-tuning): Tutti i parametri sono sbloccati. La perdita dell'azione diventa dominante, mentre la perdita di distillazione agisce come un leggero regolarizzatore geometrico. All'inferenza, la testa ausiliaria e l'insegnante vengono scartati; la policy richiede solo immagini RGB, propriocezione, linguaggio e calibrazione della camera.

Contributi Chiave

1. Identificazione di un Gap Geometrico: Il paper evidenzia la discrepanza tra i token visivi radicati in 2D dei VLA pre-addestrati e la struttura spaziale calibrata richiesta per una manipolazione precisa.
2. Framework G3VLA: Un percorso leggero, che preserva il backbone, che inietta la geometria della camera calibrata tramite ray embeddings, PRoPE e fusione cross-view senza alterare lo spazio d'azione o l'obiettivo di imitazione.
3. Distillazione della Geometria da $\pi_3X$: Una procedura a due stadi che supervisiona i moduli geometrici utilizzando mappe di punti dense con soglia di confidenza da un insegnante di geometria visiva, eliminando la necessità di annotazioni 3D manuali o sensori di profondità.
4. Validazione su Multi-Architettura: Il metodo è validato su tre distinti sistemi VLA ($\pi_0$, $\pi_0.5$ e GR00T 1.5), dimostrando guadagni consistenti e fornendo approfondimenti architettonici su come i segnali geometrici si propagano alla generazione dell'azione.

Risultati Sperimentali

Benchmark di Simulazione

• LIBERO: Sul backbone $\pi_0$, G3VLA (GT) ha migliorato il tasso di successo medio macroscopico dall'84.6% all'88.1% (+3.5 punti). I maggiori guadagni sono stati osservati in LIBERO-Object (+5.0) e LIBERO-Spatial (+4.0), confermando che i compiti che richiedono localizzazione di oggetti e ragionamento spaziale ne beneficiano maggiormente. Anche G3VLA ($\pi_3X$) ha ottenuto guadagni significativi (+2.4 rispetto al baseline), provando l'utilità della geometria distillata dall'insegnante.
• RoboCasa24 & RoboTwin2.0: G3VLA (GT) ha migliorato i tassi di successo su RoboCasa24 (34.2% $\to$ 37.1%) e RoboTwin2.0 (44.0% $\to$ 49.0%). Notevolmente, G3VLA ($\pi_3X$) è andato peggio su RoboTwin2.0 (scendendo al 41.0%), cosa che gli autori attribuiscono a target di mappa di punti $\pi_3X$ inaffidabili in scene sintetiche visivamente pulite e povere di texture.
• Compatibilità del Backbone:
  • $\pi_0.5$: I guadagni sono stati minori ma consistenti (95.9% $\to$ 97.0%), confermando la compatibilità con backbone più forti e quasi saturi.
  • GR00T 1.5: I risultati sono stati misti. Sono stati osservati guadagni con la supervisione $\pi_3X$ ma non con GT. Gli autori suggeriscono che ciò sia dovuto all'architettura a due torri di GR00T 1.5, dove la policy di diffusione accede alle feature visive tramite cross-attention a un VLM congelato invece di consumare direttamente i token consapevoli della geometria, attenuando il segnale geometrico.

Risultati nel Mondo Reale

Valutato su un robot bimanuale UR5 con due compiti (Pick-and-Place Test Tube, Pouring Nut), G3VLA ha mostrato i miglioramenti più significativi nelle impostazioni Out-of-Distribution (OOD) (viewpoint della camera non visti).

• Sul compito "Pouring Nut", G3VLA ha migliorato i tassi di successo OOD per $\pi_0$ da circa il 70-75% all'83-87.5%.
• L'analisi qualitativa ha mostrato che le varianti basate su GT hanno esibito comportamenti di recupero robusti (ad esempio, ri-presa, ri-allineamento) dopo errori intermedi, che erano assenti nelle baseline vanilla.

Studi di Ablazione

• Componenti Geometrici: La rimozione dei ray embeddings ha causato il calo maggiore (-2.0%), seguita dalla rimozione di PRoPE (-1.1%), confermando i loro ruoli complementari.
• Curriculum di Addestramento: Sostituire il curriculum a due stadi con un addestramento congiunto a uno stadio ha ridotto le prestazioni dello 0.7%, evidenziando l'importanza di pre-allineare il percorso geometrico prima dell'ottimizzazione dell'azione.
• Fonte di Supervisione: La supervisione ground-truth ha fornito il segnale più forte, ma la distillazione $\pi_3X$ ha recuperato la maggior parte del guadagno, fungendo da alternativa pratica quando la profondità non è disponibile.

Significato e Rivendicazioni

Il paper sostiene che la geometria calibrata della camera è un bias induttivo leggero e utile per la precisione spaziale nelle policy VLA generaliste. Il significato primario risiede nel dimostrare che la struttura geometrica può essere iniettata nel flusso di token visivi di modelli pre-addestrati senza modificare il backbone, lo spazio d'azione o l'obiettivo di imitazione.

Gli autori concludono con modestia che l'efficacia di questa iniezione geometrica dipende dall'architettura: è più efficace quando i token consapevoli della geometria hanno accesso diretto al percorso di generazione dell'azione (come visto in $\pi_0$ e $\pi_0.5$). Nelle architetture in cui il modello d'azione accede alle feature indirettamente (ad esempio, GR00T 1.5), il beneficio è attenuato. Inoltre, la dipendenza da un insegnante di geometria visiva introduce una sensibilità al mismatch di dominio (ad esempio, scene povere di texture), suggerendo che, sebbene la distillazione dell'insegnante sia una strategia praticabile, la supervisione ground-truth rimane superiore quando disponibile.

Nel complesso, G3VLA offre un approccio pratico per migliorare la generalizzazione spaziale dei modelli VLA esistenti, in particolare per compiti sensibili alla localizzazione degli oggetti e alle relazioni spaziali, sfruttando i parametri di calibrazione della camera come un prior strutturale.