GeoAlign: Beyond Semantics with State-Guided Spatial Alignment in VLA Models

Sintesi Tecnica: GeoAlign

Problematica
Gli attuali modelli Vision–Language–Action (VLA) ottimizzano principalmente il grounding semantico, mappando osservazioni e istruzioni in azioni. Tuttavia, la manipolazione robotica fine spesso fallisce non per una mancanza di comprensione semantica, ma per una mancanza di allineamento spaziale consapevole della geometria. La manipolazione eseguibile richiede la gestione precisa di tolleranze strette, movimenti sensibili al contatto e interazioni con oggetti trasparenti o anulari—scenari in cui le rappresentazioni semantiche di alto livello sono insufficienti. Sebbene alcuni approcci tentino di arricchire le rappresentazioni visive con profondità o contesto 3D, l'affidamento su input di profondità misurati può fallire attorno a oggetti trasparenti o strutture sottili a causa dei limiti dei sensori. Al contrario, i metodi che incorporano direttamente la struttura spaziale nella generazione dell'azione spesso faticano a selezionare dinamicamente la geometria locale rilevante per l'esecuzione, mantenendo al contempo un'interfaccia di condizionamento compatta per i decoder di azione continui.

Metodologia
GeoAlign introduce un'architettura di Allineamento Spaziale Guidato dallo Stato (State-Guided Spatial Alignment) progettata per colmare il divario tra grounding semantico e manipolazione eseguibile senza fare affidamento su input di profondità grezzi durante il rollout della policy. Il framework opera in due fasi distinte:

1. Post-Training Potenziato dalla Geometria (GEP - Geometry-Enhanced Post-Training):

   • Un modello Depth Anything V2-Small viene inizializzato e sottoposto a post-training su un dataset RGB-D di dominio robotico (ottimizzato tramite perdita logaritmica invariante di scala).
   • Fondamentalmente, la testa di predizione della profondità viene scartata dopo questa fase. Le caratteristiche del lato encoder trattenute, ora denominate caratteristiche GEP, fungono da rappresentazioni geometriche derivate da RGB. Ciò consente al modello di apprendere indizi geometrici da immagini RGB che sono robusti ai fallimenti dei sensori comuni nelle mappe di profondità (ad esempio, la trasparenza).

2. Allineamento Spaziale Guidato dallo Stato:

   • Durante l'addestramento della policy e il rollout, il sistema elabora immagini RGB multi-view e istruzioni linguistiche per generare token semantici.
   • Simultaneamente, un ramo GEP congelato mappa le immagini RGB in una griglia di caratteristiche geometriche nello spazio dell'immagine.
   • Invece di utilizzare query apprese fisse o global pooling, GeoAlign genera query di stato propriocezione (proprioceptive-state queries). Lo stato attuale del robot ($s_t$) viene codificato e proiettato in $K=8$ slot di query.
   • Queste query guidate dallo stato eseguono una cross-attention sulla griglia di caratteristiche geometriche GEP per estrarre token di geometria compatti e dipendenti dalla fase. Questo meccanismo permette al modello di selezionare dinamicamente gli indizi di geometria locale rilevanti per l'attuale fase di manipolazione (ad esempio, raggiungere vs. inserire).
   • Gli 8 token di geometria compatti risultanti vengono concatenati con i token semantici per condizionare un decoder di azione Diffusion Transformer (DiT) (basato sull'architettura Isaac-GR00T N1.6-3B).

Contributi Chiave

• Allineamento Spaziale Guidato dallo Stato: Un'architettura in cui lo stato propriocezione del robot interroga attivamente una griglia di caratteristiche geometriche, estraendo token compatti che informano la generazione dell'azione in base alla fase corrente di manipolazione.
• Caratteristiche GEP derivate da RGB: Un metodo per ottenere caratteristiche potenziate dalla geometria post-addestrando un modello di profondità con supervisione di dominio robotico, utilizzando le caratteristiche dell'encoder per il condizionamento della policy piuttosto che le predizioni di profondità grezze.
• Validazione: Valutazione completa attraverso simulazione (LIBERO, SimplerEnv-Fractal) e ambienti reali (AgileX ALOHA), con studi di ablazione che isolano i contributi del post-training della geometria e del querying guidato dallo stato.

Risultati
GeoAlign dimostra miglioramenti significativi delle prestazioni rispetto ai baseline attraverso tre benchmark distinti:

• LIBERO: Ha raggiunto un tasso di successo medio del 99,0% su quattro suite, superando il baseline solo RGB (97,0%). I maggiori guadagni sono stati osservati nella suite "Spatial" (100,0%) e nella suite "Long" (96,6%), che richiedono un complesso ragionamento spaziale.
• SimplerEnv-Fractal: Ha raggiunto un successo medio dell'85,3% su tre famiglie di task (Pick Coke Can, Move Near, Open/Close Drawer), un miglioramento di 5,7 punti percentuali rispetto al baseline solo RGB.
• Realtà ALOHA: Ha raggiunto un successo medio del 78,8% su otto task critici per la geometria che coinvolgono contenitori trasparenti, rotoli di nastro anulari e oggetti occlusi. Questo ha superato il baseline controllato solo RGB (65,0%) e il modello $\pi_{0.5}$ (67,5%) sotto la stessa configurazione.

Gli studi di ablazione hanno confermato che sia il post-training della geometria nel dominio robotico sia il querying guidato dallo stato propriocezione sono essenziali per questi guadagni. Nello specifico, rimuovere il post-training ha ridotto le prestazioni di LIBERO al 95,9%, mentre rimuovere le query guidate dallo stato (utilizzando il global pooling o query apprese invece) ha ridotto le prestazioni rispettivamente al 91,6% e 96,2%.

Significatività e Claim
L'articolo sostiene che GeoAlign affronta con successo il problema della geometria locale nelle policy VLA, separando il ragionamento geometrico dagli input di profondità grezzi. Utilizzando caratteristiche geometriche derivate da RGB, modellate dalla supervisione della profondità ma interrogate dinamicamente dallo stato del robot, il modello ottiene un allineamento spaziale robusto per la manipolazione eseguibile. Gli autori sottolineano che questo approccio consente al decoder di azione di ricevere caratteristiche spaziali la cui rilevanza cambia attraverso le fasi di manipolazione, migliorando il successo nei task che richiedono un allineamento preciso e la gestione di geometrie visive impegnative (come la trasparenza) dove i normali sensori di profondità falliscono. Il lavoro si posiziona come una via complementare alla ricerca esistente sui VLA, concentrandosi specificamente sull'allineamento spaziale richiesto per il decoding di azioni fini piuttosto che sulla comprensione semantica generale.