Sintesi Tecnica: Modello di Azione Geometrica per l'Apprendimento di Policy Robotiche

Definizione del Problema

Lo sviluppo di policy di manipolazione robotica generaliste richiede modelli in grado di seguire istruzioni in linguaggio naturale e di ragionare sulle complesse interazioni tra oggetti, telecamere e azioni del robot nello spazio fisico 3D. Sebbene i recenti modelli Vision-Language-Action (VLA) e Video World-Action (WAM) sfruttino modelli di base su larga scala per prior semantici o temporali, essi operano principalmente su frame immagine 2D o spazi latenti derivati dal 2D. Di conseguenza, indizi geometrici 3D critici — come profondità, scala e occlusione — rimangono impliciti. Questa limitazione ostacola la generalizzazione rispetto ai cambiamenti ambientali, in particolare riguardo agli stati iniziali del robot e alle prospettive della telecamera. I tentativi esistenti di incorporare la geometria 3D trattano spesso i Geometric Foundation Models (GFM) meramente come estrattori di feature statiche o ne distillano le feature nei backbone VLA, fallendo nel riutilizzare la struttura geometrica multi-livello del GFM come proprio substrato temporale e di generazione dell'azione.

Metodologia: Il Geometric Action Model (GAM)

Gli autori propongono il Geometric Action Model (GAM), una policy di manipolazione condizionata al linguaggio che riutilizza direttamente un pretrained Geometric Foundation Model (GFM) come substrato condiviso per la percezione, la predizione temporale e la decodifica dell'azione.

Architettura Core

GAM opera dividendo un GFM pre-addestrato (ad es., DA3) in un livello intermedio $L_s$ e inserendo un Causal Future Predictor tra gli strati superficiali e profondi. Il framework funziona in tre stadi sequenziali:

1. Codifica delle Osservazioni: Gli strati superficiali del GFM ($E_{\le L_s}$) agiscono come encoder di osservazione. Elaborano osservazioni RGB multi-vista per estrarre feature latenti geometriche, producendo una sequenza di stati latenti geometrici per ogni timestep.
2. Predizione del Futuro Causale: Al livello di divisione, viene inserito un predittore transformer causale ($g_\phi$). Esso riceve i token latenti geometrici correnti, concatenati con i token che rappresentano le istruzioni del compito (tramite un encoder testuale congelato), gli stati propriocettivi e la cronologia delle azioni. Utilizzando l'attenzione auto-causale a blocchi (block-causal self-attention), questo predittore prevede simultaneamente due output:
   • Token geometrici latenti futuri ($\tilde{Z}^{(L_s)}_{t+1}$).
   • Un token di azione successiva predetta ($\tilde{a}_t$).
     Questo design permette al modello di apprendere la modellazione del mondo temporale condizionata al linguaggio con modifiche architettoniche minime, poiché solo il predittore inserito deve apprendere la fusione di linguaggio, proprioccezione e cronologia delle azioni con le feature del GFM.
3. Propagazione delle Feature e Decodifica: I token futuri predetti e il token di azione vengono instradati attraverso i restanti blocchi profondi del GFM ($D_{>L_s}$). I blocchi profondi, originariamente pre-addestrati per decodificare le feature superficiali in geometria 3D, sono riutilizzati per decodificare i token futuri predetti. Questa fase produce:
   • Geometria Futura: Decodificata tramite la testa di profondità del GFM in mappe di profondità future allineate all'azione.
   • Action Chunk: Decodificato tramite una testa di azione leggera in comandi di delta-pose o di giunto.

Obiettivo di Addestramento

La policy è addestrata end-to-end utilizzando una funzione di perdita multi-task:
$$\mathcal{L}_{total} = \lambda_{act}\mathcal{L}_{act} + \lambda_{feat}\mathcal{L}_{feat} + \lambda_{depth}\mathcal{L}_{depth}$$

• Perdita di Azione ($\mathcal{L}_{act}$): Regressione $\ell_1$ tra l'action chunk decodificato e le azioni esperte.
• Perdita di Feature ($\mathcal{L}_{feat}$): Allinea i token latenti futuri predetti con i token latenti del frame successivo reale (estratti da un GFM congelato) per ancorare il predittore alle transizioni geometriche temporali.
• Perdita di Profondità ($\mathcal{L}_{depth}$): Supervisiona le mappe di profondità future decodificate rispetto alla profondità futura reale (o pseudo-label in contesti del mondo reale) utilizzando penalità invarianti di scala e di gradiente.

Contributi Chiave

1. Architettura Unificata: GAM introduce un'architettura a backbone condiviso singolo che combina la modellazione del mondo temporale, la predizione dello spazio delle feature latenti e un substrato di un modello fondazionale geometrico.
2. Predizione dello Spazio dei Token Condiviso: Gli autori dimostrano che l'azione e la geometria possono essere predette all'interno di una sequenza di token autoregressiva condivisa. Un singolo passaggio in avanti produce sia i token di azione che i token della scena futura, decodificati da teste leggere, invece di fare affidamento su teste separate o processi di diffusione.
3. Riposizionamento dei GFM: A differenza dei lavori precedenti che utilizzano i GFM come estrattori statici, GAM riutilizza esplicitamente i blocchi profondi del GFM per decodificare i token futuri predetti, sfruttando appieno i prior geometrici del modello per la modellazione dinamica del mondo.

Risultati Sperimentali

Gli autori hanno valutato GAM attraverso diversi benchmark di manipolazione in simulazione (LIBERO, LIBERO-Plus) e nel mondo reale.

• Performance vs. Baseline: GAM raggiunge tassi di successo comparabili o superiori alle attuali baseline su scala di modelli fondazionali (VLA e WAM) pur utilizzando significativamente meno parametri (1.4B vs. 7B+).
• Robustezza: GAM dimostra una robustezza superiore alle perturbazioni out-of-distribution. In particolare, nell'impostazione di perturbazione della telecamera di LIBERO-Plus, GAM supera la migliore baseline di 9.7 punti percentuali.
• Efficienza: GAM raggiunge una latenza di inferenza feed-forward singola di 6.9 ms (circa 145 Hz), che è circa 55 volte più veloce delle policy basate sulla diffusione come Cosmos-Policy.
• Trasferimento nel Mondo Reale: In esperimenti nel mondo reale che coinvolgono quattro compiti di manipolazione, GAM ha superato sostanzialmente le baseline (incluse $\pi0.5$ e Spatial Forcing), mantenendo la robustezza sotto perturbazioni della telecamera dove altri modelli faticavano.

Significato e Rivendicazioni

Il paper sostiene che GAM rappresenti un passo significativo verso policy robotiche generaliste risolvendo le ambiguità spaziali inerenti ai modelli fondazionali centrati sul 2D. Integrando la dinamica del mondo geometrico direttamente nel percorso predittivo, GAM raggiunge un equilibrio tra alta accuratezza, robustezza ai cambiamenti ambientali ed efficienza computazionale. Gli autori pongono che il loro approccio dimostri che l'azione e la geometria possono essere modellate efficacemente in uno spazio latente condiviso, consentendo a un singolo backbone di gestire percezione, predizione dello stato futuro e controllo.

Gli autori riconoscono i limiti, notando che le capacità di ragionamento linguistico e di senso comune del modello sono vincolate dall'encoder testuale congelato utilizzato, suggerendo che l'integrazione di un grande modello linguistico o di un modulo di ragionamento esterno sia una direzione naturale per il lavoro futuro.