Technische Samenvatting: Geometric Action Model voor Robot Policy Learning

Probleemstelling

De ontwikkeling van generalistische robotmanipulatie-policies vereist modellen die natuurlijke taalinstructies kunnen opvolgen en tegelijkertijd kunnen redeneren over de complexe interacties tussen objecten, camera's en robotacties in de 3D-fysieke ruimte. Hoewel recente Vision-Language-Action (VLA) modellen en Video World-Action (WAM) modellen gebruikmaken van grootschalige foundation models voor semantische of temporele priors, opereren zij primair op 2D-beelden of 2D-afgeleide latente ruimtes. Gevolgelijk blijven cruciale 3D-kenmerken—zoals diepte, schaal en occlusie—impliciet. Deze beperking belemmert de generalisatie bij veranderingen in de omgeving, met name met betrekking tot de initiële staat van de robot en het camerastandpunt. Bestaande pogingen om 3D-geometrie te integreren behandelen Geometric Foundation Models (GFMs) vaak louter als statische feature-extractoren of distilleren hun features naar VLA-backbones, waarbij gefaald wordt om de multi-laag geometrische structuur van de GFM te hergebruiken als de eigen temporele en actie-genererende substantie van de policy.

Methodologie: Het Geometric Action Model (GAM)

De auteurs stellen het Geometric Action Model (GAM) voor, een taal-geconditioneerde manipulatie-policy die een vooraf getraind Geometric Foundation Model (GFM, bijv. DA3) direct hergebruikt als een gedeelde substantie voor perceptie, temporele voorspelling en actie-decodering.

Kernarchitectuur

GAM werkt door een vooraf getraind GFM te splitsen bij een intermediaire laag $L_s$ en een Causal Future Predictor tussen de ondiepe en diepe lagen te plaatsen. Het framework functioneert in drie opeenvolgende stadia:

1. Observatie-encodering: De ondiepe lagen van de GFM ($E_{\le L_s}$) fungeren als een observatie-encoder. Zij verwerken multi-view RGB-observaties om latente geometrische features te extraheren, wat resulteert in een sequentie van per-timestap geometrische latente toestanden.
2. Causale Toekomstvoorspelling: Bij de splitsingslaag wordt een causale transformer-voorspeller ($g_\phi$) ingevoegd. Deze neemt de huidige geometrische latente tokens, geconcateneerd met tokens die taakinstructies representeren (via een bevroren tekst-encoder), proprioceptieve staten en actiehistorie. Met behulp van block-causale zelf-aandacht voorspelt deze predictor simultaan twee outputs:
   • Toekomstige latente geometrische tokens ($\tilde{Z}^{(L_s)}_{t+1}$).
   • Een voorspelde volgende actie-token ($\tilde{a}_t$).
     Dit ontwerp maakt het mogelijk dat het model taal-geconditioneerde temporele wereldmodellering leert met minimale architecturale aanpassingen, aangezien alleen de ingevoegde predictor hoeft te leren hoe taal, proprioceptie en actiehistorie gefuseerd worden met GFM-features.
3. Feature Propagatie en Decodering: De voorspelde toekomstige tokens en de actie-token worden door de resterende diepe GFM-blokken ($D_{>L_s}$) gerouteerd. De diepe blokken, die oorspronkelijk getraind waren om ondiepe features te decoderen naar 3D-geometrie, worden hergebruikt om de voorspelde toekomstige tokens te decoderen. Deze fase produceert:
   • Toekomstige Geometrie: Gedecodeerd via de diepte-head van de GFM naar actie-gealigneerde toekomstige dieptekaarten.
   • Actie-chunk: Gedecodeerd via een lichtgewicht actie-head naar uitvoerbare delta-pose of joint commands.

Trainingsdoelstelling

De policy wordt end-to-end getraind met een multi-task loss functie:
$$\mathcal{L}_{total} = \lambda_{act}\mathcal{L}_{act} + \lambda_{feat}\mathcal{L}_{feat} + \lambda_{depth}\mathcal{L}_{depth}$$

• Actie-loss ($\mathcal{L}_{act}$): $\ell_1$ regressie tussen de gedecodeerde actie-chunk en expert-acties.
• Feature-loss ($\mathcal{L}_{feat}$): Align de voorspelde toekomstige latente tokens met de werkelijke volgende frame-latente tokens (geëxtraheerd uit een bevroren GFM) om de predictor te verankeren aan temporele geometrische transities.
• Diepte-loss ($\mathcal{L}_{depth}$): Superviseert de gedecodeerde toekomstige dieptekaarten tegen de grondwaarheid (ground-truth) toekomstige diepte (of pseudo-labels in real-world settings) met schaal-invariante en gradiënt-matching straffen.

Belangrijkste Bijdragen

1. Unified Architectuur: GAM introduceert een enkele gedeelde-backbone architectuur die temporele wereldmodellering, latente feature-space voorspelling en een geometric foundation model substantie combineert.
2. Gedeelde Token Space Voorspelling: De auteurs demonstreren dat actie en geometrie binnen een gedeelde autoregressieve token-sequentie voorspeld kunnen worden. Een enkele forward pass produceert zowel actie-tokens als toekomstige scène-tokens, die gedecodeerd worden door lichtgewicht heads, in plaats van te vertrouwen op aparte heads of diffusieprocessen.
3. Hergebruik van GFMs: In tegenstelling tot eerdere werken die GFMs gebruiken als statische extractoren, hergebruikt GAM expliciet de diepe blokken van de GFM om voorspelde toekomstige tokens te decoderen, waardoor het de geometrische priors van het model volledig benut voor dynamische wereldmodellering.

Experimentele Resultaten

De auteurs evalueerden GAM over diverse simulatie (LIBERO, LIBERO-Plus) en real-world robotmanipulatie benchmarks.

• Prestaties vs. Baselines: GAM bereikt succespercentages die vergelijkbaar zijn met of de huidige foundation-model-schaal baselines (VLA's en WAM's) overtreffen, terwijl het aanzienlijk minder parameters gebruikt (1.4B vs. 7B+).
• Robuustheid: GAM vertoont superieure robuustheid tegen out-of-distribution perturbaties. Met name in de camera-perturbatie setting van LIBERO-Plus presteert GAM 9.7 procentpunt beter dan de beste baseline.
• Efficiëntie: GAM bereikt een enkele feed-forward inferentie-latentie van 6.9 ms (ongeveer 145 Hz), wat ongeveer 55× sneller is dan diffusie-gebaseerde policies zoals Cosmos-Policy.
• Real-World Transfer: In real-world experimenten met vier manipulatietaken presteerde GAM aanzienlijk beter dan baselines (inclusief $\pi0.5$ en Spatial Forcing), waarbij de robuustheid behouden bleef onder camera-perturbaties waar andere modellen moeite mee hadden.

Betekenis en Claims

De paper claimt dat GAM een belangrijke stap vormt richting generalistische robot-policies door de ruimtelijke ambiguïteit op te lossen die inherent is aan 2D-centrische foundation models. Door geometrische wereld-dynamiek direct te integreren in het voorspellende pad van de policy, bereikt GAM een balans tussen hoge nauwkeurigheid, robuustheid tegen omgevingsveranderingen en computationele efficiëntie. De auteurs stellen dat hun aanpak bewijst dat actie en geometrie effectief gemodelleerd kunnen worden in een gedeelde latente ruimte, wat een enkele backbone in staat stelt om perceptie, toekomstige-toestand voorspelling en controle te beheren.

De auteurs erkennen beperkingen en merken op dat de taalredenering en commonsense-capaciteiten van het model begrensd worden door de bevroren tekst-encoder, wat suggereert dat het integreren van een Large Language Model of een extern redeneermodule een natuurlijke richting is voor toekomstig werk.