Technische Samenvatting: GeoProp – Gronding van de Robottoestand in Visie voor Generieke Manipulatie

1. Probleemstelling

Huidige architecturen voor robotmanipulatie, variërend van diffusie-gebaseerde controllers tot Vision-Language-Action (VLA) modellen, lijden aan een structurele ontkoppeling tussen hoogdimensionele visuele observaties en laagdimensionele proprioceptieve feedback. Standaard fusiemethoden behandelen proprioceptie doorgaans als een geïsoleerde, niet-gegronde globale staatvector, die wordt gefuseerd via eenvoudige concatenatie of cross-attention.

De auteurs identificeren een kritieke beperking in dit paradigma: zonder een expliciete correspondentie tussen 3D-kinematica en 2D-visuele feature maps, moet het model de uitlijning tussen de fysieke toestand van de robot en de scène impliciet leren. Empirische analyse laat zien dat deze ongegronde aanpak contraproductief kan zijn, waarbij het spuriose correlaties introduceert die ervoor zorgen dat beleid (policies) zelfs onderpresteren ten opzichte van visuele baselines. De staatvector slaagt er niet in om de configuratie van de robot binnen het visuele manifold te verankeren, wat leidt tot diffuse aandachtspatronen die niet focussen op de grijper of de gemanipuleerde objecten.

2. Methodologie: GeoProp

Om dit aan te pakken, stellen de auteurs GeoProp voor, een lichtgewicht, plug-and-play adapter die proprioceptie uitlijnt met visie door middel van expliciete geometrische gronding en ruimtelijke feature sampling. GeoProp opereert op de interface tussen perceptie en staatrepresentatie zonder de backbone-architectuur te wijzigen. Het bestaat uit drie kerncomponenten:

2.1 Geometrische Projectie en Feature Gronding

In plaats van de proprioceptieve toestand $p_t$ als een globale vector te injecteren, projecteert GeoProp de 3D end-effector positie $r_t$ op het 2D-beeldvlak met behulp van cameraintrinsics ($K$) en extrinsics ($R, t$).
$$q_t = \Pi_K(R r_t + t)$$
De geprojecteerde beeldcoördinaat $q_t$ wordt in kaart gebracht naar een continue coördinaat $\bar{q}_t$ op de visuele feature grid. De visuele feature op deze locatie wordt gesampled via bilineaire interpolatie om een gegronde staatstoken ($\tau_t$) te creëren. Deze token draagt lokale scène-informatie die specifiek bij het huidige interactiepunt van de robot hoort, en erft de scène-semantiek over binnen dezelfde visuele latente ruimte.

2.2 Ruimtelijk Uitgelijnde Feature Modulatie

Om geometrische priors dieper in de visuele hiërarchie te injecteren, gebruikt GeoProp FiLM (Feature-wise Linear Modulation) geconditioneerd op de proprioceptieve toestand.

• Voor elke tussenliggende feature map $F^\ell_{enc}$ op niveau $\ell$, wordt de uitgelijnde gridcel $c^\ell_t$ geïdentificeerd die overeenkomt met de geprojecteerde end-effector.
• Een twee-laagse MLP voorspelt kanaalspecifieke modulatieparameters $\gamma^\ell_t$ en $\beta^\ell_t$ gebaseerd op $p_t$.
• De modulatie wordt alleen toegepast op de feature cel die geometrisch uitgelijnd is met de end-effector:
  $$F^\ell_{mod}[c] = \begin{cases} (1 + \gamma^\ell_t) \odot F^\ell_{enc}[c] + \beta^\ell_t & \text{indien } c = c^\ell_t \\ F^\ell_{enc}[c] & \text{anders} \end{cases}$$
  Dit zorgt ervoor dat de proprioceptieve conditionering ruimtelijk gelokaliseerd blijft voorafgaand aan multi-schaal aggregatie via een Feature Pyramid Network (FPN).

2.3 Voorspellende Kinematische Sampling

Om bewegingsintentie te vangen, breidt GeoProp de gegronde toestand uit met een voorspellende token.

• Met behulp van een temporeel venster van recente 3D-posities wordt een waypoint voor de nabije toekomst $\hat{r}_{t+1}$ geschat via polynomiale extrapolatie.
• Deze waypoint wordt geprojecteerd naar het beeldvlak en in kaart gebracht naar de feature grid om een look-ahead coördinaat $\bar{q}^{pre}_{t+1}$ te verkrijgen.
• Een voorspellende token ($\tau^{pre}$) wordt gesampled van de niet-gemoduleerde feature map op deze locatie. Dit biedt een ruimtelijke preview van de verwachte beweging zonder geconditioneerd te zijn op de staat-modulatie, waardoor de "look-ahead" context wordt ontkoppeld van de huidige toestand.

De uiteindelijke policy-input concateneert de gegronde staatstoken, de voorspellende token, en globale visuele tokens (en taal-tokens indien beschikbaar).

3. Belangrijkste Bijdragen

1. Empirische Analyse van Misalignement: De auteurs demonstreren dat het behandelen van proprioceptie als een ongegronde globale vector de manipulatieprestaties kan verslechteren in vergelijking met visuele baselines, wat de noodzaak voor expliciete, geometrie-gebaseerde staat-visie correspondentie motiveert.
2. GeoProp Adapter: Zij introduceren een plug-and-play module die 3D-proprioceptie transformeert naar beeld-gegronde visuele tokens. Dit overbrugt de representatieve kloof via geometrische projectie, gelokaliseerde FiLM-modulatie en de voorspellende sampling van bewegingsintentie.
3. Generaliseerbaarheid en Efficiëntie: GeoProp wordt gevalideerd over verschillende policy-architecturen (Diffusion Policy en VLA-modellen zoals $\pi_0$) en omgevingen (simulatie en de echte wereld). Het bereikt significante prestatiewinsten met een verwaarloosbare parameter overhead (2–3%).

4. Experimentele Resultaten

De auteurs evalueerden GeoProp over 67 taken, inclusief 63 simulatietaken en 4 real-world taken op een Mobile ALOHA systeem.

Simulatie Benchmarks

• Diffusion Policy (DP): Over 63 taken (MetaWorld, RLBench, RoboTwin) met zowel ResNet-18 als ViT-Base backbones, verbeterde GeoProp het gemiddelde succespercentage met 8,7% ten opzichte van de vanilla fusie baseline.
• VLA Model ($\pi_0$): Op de RoboTwin subset verbeterde GeoProp het succespercentage van het 3B-parameter $\pi_0$ model met 4,0%, waarbij het de vanilla baseline versloeg op 5 van de 7 taken.
• Ablatie Studies: Geometrische gronding werd geïdentificeerd als de primaire bron van verbetering. Het toevoegen van voorspellende sampling en gelokaliseerde FiLM-modulatie leverde complementaire winsten op. De methode presteerde beter dan alternatieve ruimtelijke gronding baselines zoals Heatmap injectie en RC-PE.

Real-World Experimenten

Geëvalueerd op een Mobile ALOHA bimanuele platform met vier huishoudelijke taken (Papier gooien, Koffie ophalen, Bureau opruimen, Tafel schoonmaken):

• Diffusion Policy: GeoProp bereikte een gemiddeld succespercentage van 50,0%, een absolute verbetering van 11,2% ten opzichte van de vanilla baseline en een 21,2% verbetering ten opzichte van de visuele-only baseline.
• $\pi_0$: GeoProp verbeterde het gemiddelde succespercentage van 43,8% naar 53,8% (+10,0pp).
• De winsten waren het meest uitgesproken in taken die precieze lokale contacten en uitlijning tussen grijper en object vereisen.

Robuustheid

GeoProp vertrouwt op camera-robot kalibratie. Onder synthetische extrinsieke perturbaties degradeerde de methode geleidelijk maar bleef superieur aan baselines voor translatiefouten tot 2,5 cm en rotatiefouten tot 1,5°.

5. Betekenis en Claims

Het artikel claimt dat GeoProp een eenvoudige maar impactvolle inductieve bias biedt voor generieke embodied policies. Door de robottoestand te verankeren aan co-gelokaliseerde visuele semantiek via analytische projectie, lost GeoProp de inherent aan standaard fusiemethoden aanwezige modaliteit-misalignment op.

De auteurs benadrukken dat deze aanpak framework-agnostisch is en zowel shallow fusion methoden (Diffusion Policy) als diepe cross-modality attention modellen ($\pi_0$) verbetert. De resultaten suggerieën dat expliciete geometrische gronding een kritiek onderdeel is voor het schalen van embodied AI, waardoor policies beter in staat zijn om proprioceptieve staten te associëren met relevante visuele bewijslast zonder complexe 3D-scène reconstructie of wijzigingen aan de backbone architectuur te vereisen.

Erkende Beperkingen:

• Vereist bekende camera-intrinsics en -extrinsics; prestaties verslechteren bij aanzienlijke kalibratie-drift.
• Grondt momenteel alleen de 3D end-effector positie, niet rijkere kinematische structuren (bijv. gewrichten, vingertoppen).
• Voorspellende sampling gaat uit van lokaal vloeiende beweging; abrupte richtingveranderingen kunnen leiden tot off-task look-ahead punten.
• Winsten nemen af of keren om wanneer het gemanipuleerde object de geprojecteerde end-effector blokkeert of wanneer de baseline al dicht bij de plafondprestatie zit.