💻 computer science

GeoAlign: Beyond Semantics with State-Guided Spatial Alignment in VLA Models

GeoAlign introduceert een door de toestand gestuurde ruimtelijke uitlijningarchitectuur voor Vision-Language-Action-modellen die de manipulatieprestaties verbetert door een RGB-tak na te trainen met robotdomein-RGB-D-supervisie om geometrie-bewuste kenmerken te genereren die worden opgevraagd door proprioceptieve toestanden, waarmee staat-van-de-kunst resultaten wordt behaald op zowel gesimuleerde als real-world benchmarks.

Oorspronkelijke auteurs: Yizhi Chen, Zhanxiang Cao, Xinyi Peng, Yixiao Zheng, Xiaxi Si, Yiheng Li, Liyun Yan, Keqi Zhu, Xueyun Chen, Shengcheng Fu, Tianyue Zhan, Yufei Jia, Jinming Yao, Yan Xie, Kun Wang, Cewu Lu, Yue Gao

Gepubliceerd 2026-06-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yizhi Chen, Zhanxiang Cao, Xinyi Peng, Yixiao Zheng, Xiaxi Si, Yiheng Li, Liyun Yan, Keqi Zhu, Xueyun Chen, Shengcheng Fu, Tianyue Zhan, Yufei Jia, Jinming Yao, Yan Xie, Kun Wang, Cewu Lu, Yue Gao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert een delicate taak uit te voeren, zoals het oppakken van een glazen fles of het in een nauwe gleuf schuiven van een stuk tape. Je zou kunnen denken dat een robot alleen maar het object moet "zien" en moet "weten" wat hij moet doen. Maar zoals dit artikel uitlegt, is er een verborgen probleem: Robots krijgen vaak het "wat" goed, maar falen bij het "hoe".

Huidige robotbreinen (VLA-modellen genoemd) zijn erg goed in het begrijpen van taal en het identificeren van objecten ("Dat is een fles"). Ze worstelen echter vaak met de fijnmazige geometrie—de exacte vorm, de piepkleine openingen en de precieke uitlijning die nodig is om het object te bewegen zonder het te laten vallen of te laten botsen. Het is alsof je weet dat je een draad door een naald moet halen, maar je ogen alleen de algemene vorm van de naald zien, niet het minuscule gaatje in het oog van de naald.

Dit is hoe GeoAlign dit oplost, met behulp van een paar eenvoudige analogieën:

1. Het Probleen: De "Wazige Diepte" Camera

Normaal gesproken gebruiken robots speciale dieptecamera's om 3D-ruimte te begrijpen. Maar deze camera's zijn verschrikkelijk in het zien van transparante dingen (zoals glas) of dunne ringen (zoals tape-rollen). De dieptegegevens komen defect binnen, missen stukken of zitten vol gaten.

De oplossing uit het artikel: In plaats van te vertrouwen op een defecte dieptecamera, leert GeoAlign de robot om de 3 3D-vorm te visualiseren door alleen naar een standaard kleurenfoto (RGB) te kijken.
De analogie: Denk aan een meester-timmerman die naar een 2D-blauwdruk of een platte foto van een complexe stoel kan kijken en direct de 3D-structuur in zijn geest kan "voelen". GeoAlign traint de robot om dit te doen: het leert de "skeletstructuur" van het object uit een platte afbeelding te extraheren, waardoor het een mentale kaart van de geometrie creëert zonder een defecte 3D-sensor nodig te hebben.

2. De Innovatie: De "State-Guided" Zaklamp

Zodra de robot deze mentale 3D-kaart heeft, moet hij nog steeds weten waar hij naar moet kijken. Als de robot naar een kopje reikt, moet hij focussen op het handvat. Als hij gaat schenken, moet hij focussen op de rand.

Het probleem: De meeste robots kijken naar de hele scène tegelijkertijd, wat te veel informatie is.
De oplossing uit het artikel: GeoAlign gebruikt de eigen lichaamspositie van de robot (zijn "proprioceptieve staat") als een zaklamp.
De analogie: Stel je voor dat je in een donkere kamer bent met een zaklamp. Je hoeft niet de hele kamer te zien om een sleutel te vinden; je schijnt het licht gewoon precies daar waar je hand beweegt.
- Als de robot zijn hand uitsteekt, schijnt de "zaklamp" op de ruimte voor de grijper.
- Als de robot een ring uitlijnt, focust het licht op de rand van de ring.
- Het lichaam van de robot vertelt het brein: "Ik ben in deze specifieke pose, dus kijk hier voor de geometrische details die ik nu nodig heb."

3. Het Resultaat: Compacte "Geometrie Tokens"

In plaats van de robot een enorme, zware 3D-kaart te voeden die hem vertraagt, gebruikt GeoAlign de "zaklamp" om alleen de kleine, essentiële stukjes geometrie te pakken die nodig zijn voor de volgende beweging.

De analogie: In plaats van een hele bibliotheek aan boeken (de volledige 3D-kaart) mee te nemen naar de keuken, pakt de robot gewoon een enkel briefje met de exacte instructie die hij nodig heeft ("Draai 5 graden naar links"). Dit zijn compacte geometrie tokens. Ze zijn klein, snel en bevatten precies de ruimtelijke informatie die nodig is om de beweging uit te voeren.

Wat hebben ze bewezen?

De auteurs hebben dit systeem op drie manieren getest:

Gesimuleerde spellen (LIBERO): De robot loste 99% van de taken op en versloeg hiermee eerdere modellen. Het was vooral goed in taken die ruimtelijk inzicht vereisen (zoals stapelen of schuiven).
Gesimuleerde "fractale" taken: Het verbeterde de succesratio met ongeveer 5-6% ten opzichte van standaardmodellen.
Echte robots (ALOHA): Ze plaatsten de robot op een echte tafel. De robot ging succesvol om met lastige items zoals transparante tape en glazen flessen die robots normaal gesproken in verwarring brengen.
- Voorbeeld: Bij een taak met transparante tape slaagde de standaardrobot slechts 20% van de tijd. GeoAlign slaagde 35% van de tijd.
- Voorbeeld: Voor een transparante fles behaalde de standaardrobot 35%, terwijl GeoAlign 75% behaalde.

De Kernboodschap

GeoAlign is als het geven van een superkrachtige verbeelding en een slimme zaklamp aan een robot.

Het leert de 3D-vormen te "zien" van platte foto's (zelfs voor transparante objecten).
Het gebruikt de eigen lichaamspositie om precies te weten welk deel van die 3D-vorm op dit moment relevant is.
Het negeert de rommelige, defecte gegevens van dieptecamera's en focust op de zuivere, geometrische details die nodig zijn om daadwerkelijk zaken te pakken en te bewegen.

Het artikel concludeert dat hoewel dit niet elk probleem oplost (zoals het voorspellen of een robot tegen een muur botst die hij niet kan zien), het aanzienlijk helpt bij het uitvoeren van delicate, geometrie-intensieve taken waar robots voorheen op faalden.

Technische Samenvatting: GeoAlign

Probleemstelling
Huidige Vision–Language–Action (VLA) modellen optimaliseren primair voor semantische gronding, waarbij observaties en instructies naar acties worden vertaald. Echter, fijnmazige robotmanipulatie faalt vaak niet door een gebrek aan semantisch begrip, maar door een gebrek aan geometrie-bewuste ruimtelijke uitlijning. Uitvoerbare manipulatie vereist nauwkeurige afhandeling van krappe toleranties, contactgevoelige bewegingen en interacties met transparante of ringvormige objecten—scenario's waarin hoogwaardige semantische representaties onvoldoende zijn. Hoewel sommige benaderingen proberen visuele representaties te verrijken met diepte of 3D-context, kan de afhankelijkheid van gemeten diepte-inputs falen bij transparante objecten of dunne structuren door beperkingen van sensoren. Daartegenover staan methoden die ruimtelijke structuur direct in actiegeneratie integreren, die vaak moeite hebben met het dynamisch selecteren van relevante lokale geometrie terwijl een compacte conditionering-interface voor continue actie-decoders behouden blijft.

Methodologie
GeoAlign introduceert een State-Guided Spatial Alignment architectuur die is ontworpen om de kloof tussen semantische gronding en uitvoerbare manipulatie te overbruggen zonder afhankelijk te zijn van ruwe diepte-inputs tijdens de policy rollout. Het framework werkt in twee afzonderlijke stadia:

Geometry-Enhanced Post-Training (GEP):
- Een Depth Anything V2-Small model wordt geïnitialiseerd en post-getraind op een robot-domein RGB-D dataset met gebruik van metrieke diepte-supervisie (geoptimaliseerd via Scale-Invariant Logarithmic loss).
- Cruciaal is dat de diepte-predictiekop na deze fase wordt weggegooid. De behouden encoder-zijde features, nu getiteld GEP features, dienen als RGB-afgeleide geometrische representaties. Dit stelt het model in staat om geometrische aanwijzingen te leren uit RGB-beelden die robuust zijn tegen de sensorfouten die gebruikelijk zijn bij dieptekaarten (bijv. transparantie).
State-Guided Spatial Alignment:
- Tijdens de policy training en rollout verwerkt het systeem multi-view RGB-beelden en taalinstructies om semantische tokens te genereren.
- Gelijktijdig genereert een bevroren GEP-tak via RGB-beelden een image-space geometry feature grid.
- In plaats van vaste geleerde queries of globale pooling, genereert GeoAlign proprioceptieve-state queries. De huidige staat van de robot ( $s_t$ ) wordt gecodeerd en geprojecteerd in $K=8$ query slots.
- Deze state-guided queries voeren cross-attention uit over de GEP feature grid om compacte, fase-afhankelijke geometrie tokens te extraheren. Deze mechanisme stelt het model in staat om dynamisch lokale geometrische aanwijzingen te selecteren die relevant zijn voor de huidige manipulatiefase (bijv. reiken versus invoeren).
- De resulterende 8 compacte geometrie tokens worden geconcateneerd met semantische tokens om een flow-matching Diffusion Transformer (DiT) actie-decoder te conditioneren (gebaseerd op de Isaac-GR00T N1.6-3B backbone).

Belangrijkste Bijdragen

State-Guided Spatial Alignment: Een architectuur waarbij de proprioceptieve staat van de robot actief een geometrie feature grid bevraagt, waardoor compacte tokens worden geëxtraheerd die de actiegeneratie informeren op basis van de huidige manipulatiefase.
RGB-Derived GEP Features: Een methode om geometrie-verrijkte features te verkrijgen door een diepte-model te post-trainen met robot-domein supervisie, waarbij encoder-features worden gebruikt voor policy conditionering in plaats van ruwe diepte-predicties.
Validatie: Uitgebreide evaluatie over simulatie (LIBERO, SimplerEnv-Fractal) en real-world (AgileX ALOHA) omgevingen, inclusief ablatie-studies die de bijdragen van geometrie post-training en state-guided querying isoleren.

Resultaten
GeoAlign demonstreert significante prestatieverbeteringen ten opzichte van baselines over drie verschillende benchmarks:

LIBERO: Behaalde een gemiddelde succesrate van 99,0% over vier suites, waarmee het de RGB-only baseline (97,0%) overtreft. De grootste winsten werden waargenomen in de "Spatial" suite (100,0%) en de "Long" suite (96,6%), die complexe ruimtelijke redenering vereisen.
SimplerEnv-Fractal: Behaalde een gemiddeld succes van 85,3% over drie taakfamilies (Pick Coke Can, Move Near, Open/Close Drawer), een verbetering van 5,7 procentpunt ten opzichte van de RGB-only baseline.
Real-World ALOHA: Behaalde een gemiddeld succes van 78,8% op acht geometrie-kritische taken met betrekking tot transparante containers, ringvormige tape-rollen en geoccludeerde objecten. Dit presteerde beter dan de gecontroleerde RGB-only baseline (65,0%) en het $\pi_0.5$ model (67,5%) onder dezelfde setup.

Ablatie-studies bevestigden dat zowel de robot-domein geometrie post-training als de proprioceptieve-state-guided querying essentieel zijn voor deze winsten. Specifiek: het verwijderen van post-training liet de LIBERO-prestaties dalen naar 95,9%, terwijl het verwijderen van state-guided queries (het gebruik van globale pooling of geleerde queries in plaats daarvan) de prestaties respectievelijk deed dalen naar 91,6% en 96,2%.

Betekenis en Claims
Het artikel claimt dat GeoAlign er succesvol in slaagt het probleem van lokale geometrie voor VLA-policies aan te pakken door geometrische redenering te ontkoppelen van ruwe diepte-inputs. Door RGB-afgeleide geometrie features te gebruiken die gevormd zijn door diepte-supervisie maar dynamisch bevraagd worden door de staat van de robot, bereikt het model een robuuste ruimtelijke uitlijning voor uitvoerbare manipulatie. De auteurs benadrukken dat deze aanpak de actie-decoder in staat stelt om ruimtelijke features te ontvangen waarvan de relevantie verandert gedurende de verschillende manipulatiefases, wat de succesratio verbetert bij taken die precieze uitlijning en de afhandeling van uitdagende visuele geometrieën (zoals transparantie) vereisen waar standaard dieptesensoren falen. Dit werk positioneert zich als een complementaire route naar bestaand VLA-onderzoek, met een specifieke focus op de ruimtelijke uitlijning die vereist is voor fijnmazige actie-decoding in plaats van algemene semantische begrip.