🤖 AI

GeoProp: Grounding Robot State in Vision for Generalist Manipulation

GeoProp ist ein leichtgewichtiger Plug-and-Play-Adapter, der die allgemeine robotische Manipulation durch die explizite Verankerung des propriozeptiven Zustands in visuelle Merkmale mittels geometrischer Projektion und räumlicher Abtastung verbessert und dadurch die Performance der Policy über Simulations- und Realwelt-Aufgaben hinweg bei minimalem Parameter-Overhead signifikant steigert.

Ursprüngliche Autoren: Guoyang Zhao, Quanhao Qian, Gongjie Zhang, Wenhao Li, Jiuniu Wang, Xiaowei Lu, Deli Zhao, Ran Xu

Veröffentlicht 2026-07-09

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Guoyang Zhao, Quanhao Qian, Gongjie Zhang, Wenhao Li, Jiuniu Wang, Xiaowei Lu, Deli Zhao, Ran Xu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich einen Roboter vor, der versucht zu lernen, wie man Hausarbeiten erledigt, wie zum Beispiel eine Tasse aufzuheben oder einen Boden zu fegen. Um dies zu tun, benötigt er zwei Arten von Informationen:

Was er sieht: Ein Kamerafeed, der den Raum, die Tasse und den Boden zeigt.
Wo er ist: Sensoren in seinem eigenen Körper (Propriozeption), die ihm genau sagen, wo sich sein Arm und sein Greifer im 3D-Raum befinden.

Das Problem: Der „Lost in Translation“-Moment
In den meisten aktuellen Robotergehirnen werden diese beiden Arten von Informationen in getrennten Boxen aufbewahrt. Der Roboter erhält ein Bild des Raumes und separat eine Liste von Zahlen, die besagt: „Mein Arm befindet sich bei den Koordinaten X, Y, Z.“

Das Paper argumentiert, dass diese Trennung so ist, als würde man einem Koch ein Foto einer Küche zeigen und ihm gleichzeitig eine separate Notiz geben, in der steht: „Das Messer ist 3 Fuß links“, aber niemals direkt auf das Messer im Foto zeigt. Der Roboter muss raten, wie diese Zahlen mit dem Bild zusammenhängen. Oft rät er falsch, wird verwirrt und schneidet schlechter ab, als wenn er seine eigenen Körpersensoren einfach ignorieren und sich nur auf die Kamera verlassen würde.

Die Lösung: GeoProp (Das „GPS für die Augen des Roboters“)
Die Autoren haben ein einfaches Add-on namens GeoProp entwickelt. Denken Sie an einen smarten Übersetzer, der die Körpersensoren des Roboters sofort mit dem Kamerabild verbindet.

So funktioniert es, unter Verwendung einer kreativen Analogie:

Die Projektion (Mit dem Finger zeigen): Anstatt nur zu sagen „Meine Hand ist hier“, nimmt GeoProp die 3D-Position der Hand des Roboters und projiziert sie mathematisch auf den 2D-Bildschirm der Kamera. Es ist so, als würde der Roboter mit dem Finger direkt auf die Stelle im Foto zeigen, an der sich seine Hand tatsächlich befindet.
Das Sampling (Hineinzoomen): Sobald der Roboter genau weiß, wo sich seine Hand auf dem Foto befindet, „zoomt er“ in diese spezifische Stelle hinein, um die visuellen Details (Textur, Farbe, Form) direkt neben dem Greifer zu erfassen. Er erstellt ein spezielles „State Token“, das sagt: „Meine Hand ist hier, und hier ist das, was sie sieht.“
Die Modulation (Das Wichtige hervorheben): Er nutzt diese Information dann, um die Aufmerksamkeit des Roboters zu „hervorheben“ oder anzupassen. Stellen Sie sich einen Lehrer vor, der mit einem roten Marker den wichtigsten Teil eines Diagramms umkreist. GeoProp sagt dem Gehirn des Roboters: „Schau nicht auf den ganzen unordentlichen Raum; konzentriere deine Aufmerksamkeit genau hierher, wo deine Hand das Objekt berührt.“
Der Look-Ahead (Den nächsten Schritt vorhersagen): Um die Bewegung zu unterstützen, rät GeoProp auch, wo sich die Hand in einem Bruchteil einer Sekunde in der Zukunft befinden wird, basierend darauf, wie sie sich aktuell bewegt. Es sampelt die visuellen Merkmale an diesem zukünftigen Ort ebenfalls, was dem Roboter eine „Vorschau“ darauf gibt, wohin er als Nächstes steuert.

Die Ergebnisse: Eine einfache Lösung mit großen Gewinnen
Das Paper testete dies an 67 verschiedenen Aufgaben, die von einfachen Videospiel-Simulationen bis hin zu realen Robotern reichten, die sich in einem Haus bewegen.

In Simulationen: Als sie GeoProp zu bestehenden Robotergehirnen hinzufügten, stieg die Erfolgsquote um etwa 8,7 % für einen Typ von Roboter und um 4,0 % für einen anderen.
In der realen Welt: Auf einem echten Roboterarm (Mobile ALOHA) verbesserte es die Erfolgsrate um 10,6 %.
Die Kosten: Diese enorme Verbesserung wurde mit fast keiner zusätzlichen „Rechenleistung“ erreicht. Das Add-on vergrößerte die Größe des Roboters nur um 2–3 %.

Warum es wichtig ist
Das Paper behauptet, dass, indem man den Roboter dazu zwingt, seine Körpersensoren physisch mit dem, was er sieht, abzugleichen (geometrische Erdung), der Roboter schneller lernt und weniger Fehler macht. Er hört auf zu raten, wo seine Hand im Verhältnis zu den Objekten ist, und beginnt zu „wissen“, weil der visuelle Beweis direkt dort verankert ist, wo sein eigener Körper ist.

Erwähnte Einschränkungen
Die Autoren merken an, dass dieses System darauf angewiesen ist, dass die Kamera korrekt kalibriert ist. Wenn die Kamera angestoßen wird oder die interne Karte des Roboters für den Raum leicht daneben liegt, könnte der „zeigende Finger“ das Ziel verfehlen. Außerdem verfolgt es derzeit nur die Spitze der Hand (den Endeffektor), nicht jedes Gelenk oder jeden Finger einzeln, wessofern es bei extrem komplexen, geschicklichen Aufgaben, die die gesamte Körperbewegung beinhalten, Schwierigkeiten haben könnte.

Kurz gesagt ist GeoProp ein leichtgewichtiges Werkzeug, das Roboter lehrt, ihre Körpersensoren nicht als abstrakte Zahlen zu behandeln, sondern als direkten Zeiger auf die visuelle Welt.

Technisches Resümee: GeoProp – Verankerung des Roboterzustands in der Vision für generalistische Manipulation

1. Problemstellung

Aktuelle Architekturen für die robotergestützte Manipulation, die von diffusionsbasierten Controllern bis hin zu Vision-Language-Action (VLA)-Modellen reichen, leiden unter einer strukturellen Entkopplung zwischen hochdimensionalen visuellen Beobachtungen und niedrigdimensionalem propriozeptivem Feedback. Standardmäßige Fusionsmethoden behandeln die Propriozeption typischerweise als isolierten, nicht verankerten globalen Zustandsvektor, der mittels einfacher Konkatenation oder Cross-Attention fusioniert wird.

Die Autoren identifizieren eine kritische Einschränkung dieses Paradigmas: Ohne eine explizite Korrespondenz zwischen 3D-Kinematik und 2D-Bildmerkmalen (Visual Feature Maps) muss das Modell die Ausrichtung zwischen dem physischen Zustand des Roboters und der Szene implizit erlernen. Die empirische Analyse zeigt, dass dieser unverankerte Ansatz kontraproduktiv sein kann, da er spurende Korrelationen einführt, die dazu führen, dass Policies selbst gegenüber Vision-only-Baselines schlechter abschneiden. Der Zustandsvektor versäumt es, die Konfiguration des Roboters innerhalb der visuellen Mannigfaltigkeit zu verankern, was zu diffusen Aufmerksamkeitsmustern führt, die weder den Greifer noch die manipulierten Objekte fokussieren.

2. Methodik: GeoProp

Um dies zu adressieren, schlagen die Autoren GeoProp vor, einen leichtgewichtigen, Plug-and-Play-Adapter, der die Propriozeption durch explizite geometrische Verankerung und räumliche Merkmalsabtastung mit der Vision in Einklang bringt. GeoProp operiert an der Schnittstelle zwischen Wahrnehmung und Zustandsrepräsentation, ohne die Backbone-Architektur zu modifizieren. Es besteht aus drei Kernkomponenten:

2.1 Geometrische Projektion und Merkmalsverankerung

Anstatt den propriozeptiven Zustand $p_t$ als globalen Vektor einzuspeisen, projiziert GeoProp die 3D-Endeffektor-Position $r_t$ mittels der Kameraintrinsika ( $K$ ) und Extrinsika ( $R, t$ ) auf die 2D-Bildebene.
$q_t = \Pi_K(R r_t + t)$
Die projizierte Bildkoordinate $q_t$ wird auf eine kontinuierliche Koordinate $\bar{q}_t$ im visuellen Merkmalsgitter abgebildet. Das visuelle Merkmal an dieser Position wird mittels bilinearer Interpolation abgetastet, um ein gegrundetes Zustands-Token ( $\tau_t$ ) zu erstellen. Dieses Token trägt lokale Szeneninformationen spezifisch am aktuellen Interaktionspunkt des Roboters in sich und erbt die Semantik der Szene innerhalb dessenselben visuellen latenten Raums.

2.2 Räumlich ausgerichtete Merkmalsmodulation

Um geometrische Prioren tiefer in die visuelle Hierarchie einzuspeisen, verwendet GeoProp FiLM (Feature-wise Linear Modulation), das auf dem propriozeptiven Zustand konditioniert ist.

Für jedes Zwischenmerkkmalsbild $F^\ell_{enc}$ auf Ebene $\ell$ wird die ausgerichtete Gitterzelle $c^\ell_t$ identifiziert, die dem projizierten Endeffektor entspricht.
Ein zweischichtiges MLP sagt kanalweise Modulationsparameter $\gamma^\ell_t$ und $\beta^\ell_t$ basierend auf $p_t$ voraus.
Die Modulation wird nur auf die Zellengruppe angewendet, die geometrisch mit dem Endeffektor ausgerichtet ist:
$F^\ell_{mod}[c] = \begin{cases} (1 + \gamma^\ell_t) \odot F^\ell_{enc}[c] + \beta^\ell_t & \text{wenn } c = c^\ell_t \\ F^\ell_{enc}[c] & \text{andernfalls} \end{cases}$
Dies stellt sicher, dass die propriozeptive Konditionierung vor der mehrskaligen Aggregation via Feature Pyramid Network (FPN) räumlich lokalisiert bleibt.

2.3 Prädiktive kinematische Abtastung

Um die Bewegungsabsicht zu erfassen, ergänzt GeoProp das verankerte Token um ein prädiktives Token.

Unter Verwendung eines zeitlichen Fensters rezenter 3D-Positionen wird ein zukünftiger Wegpunkt $\hat{r}_{t+1}$ über einen kurzen Horizont mittels polynomischer Extrapolation geschätzt.
Dieser Wegpunkt wird auf die Bildebene projiziert und auf das Merkmalsgitter abgebildet, um eine Look-ahead-Koordinate $\bar{q}^{pre}_{t+1}$ zu erhalten.
Ein prädiktives Token ( $\tau^{pre}$ ) wird aus dem unmodulierten Merkmalsbild an dieser Position abgetastet. Dies liefert eine räumliche Vorschau der antizipierten Bewegung, ohne auf die Zustandsmodulation konditioniert zu sein, wodurch der „Look-ahead“-Kontext vom aktuellen Zustand entkoppelt wird.

Der finale Policy-Input konkateniert das verankerte Zustands-Token, das prädiktive Token sowie globale visuelle Tokens (und Sprach-Tokens, falls verfügbar).

3. Zentrale Beiträge

Empirische Analyse der Fehlausrichtung: Die Autoren zeigen, dass die Behandlung der Propriozeption als unverankerter globaler Vektor die Manipulationsleistung im Vergleich zu Vision-only-Baselines verschlechtern kann, was die Notwendigkeit einer expliziten, geometriebasierten Zustands-Vision-Korrespondenz begründet.
GeoProp Adapter: Sie führen ein Plug-and-Play-Modul ein, das die 3D-Propriozeption in bildverankerte visuelle Tokens transformiert. Dies überbrückt die Repräsentationslücke durch geometrische Projektion, lokalisierte FiLM-Modulation und prädiktive Abtastung der Bewegungsabsicht.
Generalisierbarkeit und Effizienz: GeoProp wird über verschiedene Policy-Architekturen (Diffusion Policy und VLA-Modelle wie $\pi_0$ ) und Umgebungen (Simulation und reale Welt) validiert. Es erzielt signifikante Leistungssteigerungen bei vernachlässigbarem Parameter-Overhead (2–3 %).

4. Experimentelle Ergebnisse

Die Autoren evaluierten GeoProp über 67 Aufgaben, darunter 63 Simulationsaufgaben und 4 reale Aufgaben auf einem Mobile ALOHA-System.

Simulations-Benchmarks

Diffusion Policy (DP): Über 63 Aufgaben (MetaWorld, RLBench, RoboTwin) mit sowohl ResNet-18 als auch ViT-Base Backbones verbesserte GeoProp die durchschnittliche Erfolgsrate um 8,7 % gegenüber der Vanilla-Fusion-Baseline.
VLA-Modell ( $\pi_0$ ): Im RoboTwin-Subset verbesserte GeoProp die Erfolgsrate des 3B-Parameter $\pi_0$ -Modells um 4,0 % und übertraf die Vanilla-Baseline in 5 von 7 Aufgaben.
Ablationsstudien: Die geometrische Verankerung wurde als primäre Quelle der Verbesserung identifiziert. Das Hinzufügen von prädiktiver Abtastung und lokalisierter FiLM-Modulation lieferte komplementäre Gewinne. Die Methode übertraf alternative räumliche Verankerungs-Baselines wie Heatmap-Injektion und RC-PE.

Reale Experimente

Evaluierung auf einer bimanualen Mobile ALOHA-Plattform mit vier Haushaltsaufgaben (Paper Toss, Coffee Retrieval, Desk Clearing, Table Cleaning):

Diffusion Policy: GeoProp erreichte eine durchschnittliche Erfolgsrate von 50,0 %, was eine absolute Verbesserung von 11,2 % gegenüber der Vanilla-Baseline und eine Verbesserung von 21,2 % gegenüber der Vision-only-Baseline darstellt.
$\pi_0$ : GeoProp verbesserte die durchschnittliche Erfolgsrate von 43,8 % auf 53,8 % (+10,0 pp).
Die Gewinne waren am deutlichsten in Aufgaben, die präzisen lokalen Kontakt und die Ausrichtung von Greifer und Objekt erforderten.

Robustheit

GeoProp ist auf die Kamera-Roboter-Kalibrierung angewiesen. Unter synthetischen Extrinsika-Perturbationen verschlechterte sich die Methode graduell, blieb aber für Translationsfehler bis zu 2,5 cm und Rotationsfehler bis zu 1,5° der Baseline überlegen.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass GeoProp einen einfachen, aber hochwirksamen induktiven Bias für generalistische Embodied-Policies bietet. Durch die Verankerung des Roboterzustands in ko-lokalisierten visuellen Semantiken mittels analytischer Projektion löst GeoProp die inhärente Modaliäts-Fehlausrichtung herkömmlicher Fusionsmethoden auf.

Die Autoren betonen, dass dieser Ansatz framework-agnostisch ist und sowohl flache Fusionsmethoden (Diffusion Policy) als auch tiefe Cross-Modality-Attention-Modelle ( $\pi_0$ ) verbessert. Die Ergebnisse legen nahe, dass explizite geometrische Verankerung eine kritische Komponente für die Skalierung von Embodied AI ist, da sie Policies ermöglicht, propriozeptive Zustände besser mit relevanten visuellen Evidenzen zu assoziieren, ohne komplexe 3D-Szenenrekonstruktionen oder Änderungen am Backbone zu benötigen.

Anerkannte Limitationen:

Erfordert bekannte Kamera-Intrinsika und -Extrinsika; die Leistung sinkt bei erheblicher Kalibrierungsdrift.
Verankert derzeit nur die 3D-Endeffektor-Position, nicht jedoch reichere kinematische Strukturen (z. B. Gelenke, Fingerspitzen).
Die prädiktive Abtastung setzt eine lokal glatte Bewegung voraus; abrupte Richtungswechsel können zu Off-Task-Look-Ahead-Punkten führen.
Die Gewinne nehmen ab oder kehren sich um, wenn das manipulierte Objekt den projizierten Endeffektor verdeckt oder wenn die Baseline bereits nahe am Maximum liegt.