Technisches Resümee: G3VLA – Geometrischer induktiver Bias für Vision-Language-Action-Modelle

Problemstellung

Vision-Language-Action (VLA)-Modelle wie RT-2, OpenVLA und $\pi_0$ haben signifikante Fortschritte in der allgemeinen Robotermanipulation erzielt, indem sie semantisches Wissen aus vortrainierten Vision-Language-Backbones nutzen. Es besteht jedoch eine kritische Einschränkung: Ihre visuellen Token sind in 2D-Bildkoordinaten verankert und nicht in der kalibrierten Geometrie der Roboterkameras. Diese Diskrepanz ist besonders ausgeprägt in Multi-Kamera-Setups, in denen bekannte Intrinsik und Extrinsik verschiedene Ansichten geometrisch koppeln, während konventionelle VLA-Formulierungen diese Ansichten als unabhängige 2D-Bilder verarbeiten. Folglich müssen die Modelle die Kamerageometrie implizit allein durch die Aktionsüberwachung erlernen, ein Prozess, der oft ineffizient ist und die räumliche Präzision einschränkt, insbesondere bei Aufgaben, die eine genaue Pose-Schätzung, Distanzargumentation und Cross-View-Konsistenz erfordern.

Bestehende Versuche, dies zu adressieren – etwa durch die Voxelisierung von Beobachtungen (PerAct) oder das Heben von Features in 3D-Felder (Act3D) – erfordern oft aufgabenspezifische Architekturen, die das Potenzial vortrainierter VLM-Semantik nicht voll ausschöpfen können. Andere Brückenversuche (z. B. SpatialVLA, 3D-VLA) benötigen typischerweise explizite 3D-Sensoreingaben, groß angelegtes räumliches Pretraining oder Modifikationen der Aktionsrepräsentation. Die zentrale Frage, die diese Arbeit adressiert, lautet: Kann kalibrierte Kamerageometrie als leichtgewichtiger visueller-Token-Pfad für vortrainierte VLAs dienen, um die räumliche Generalisierung zu verbessern, ohne das Backbone, den Aktionsraum oder das Imitationsziel zu modifizieren?

Methodik: G3VLA

Die Autoren schlagen G3VLA vor, ein kamera-bewusstes geometrisches Framework, das kalibrierte Strukturen direkt in den visuellen Token-Stream eines vortrainierten VLA injiziert. Die Methode bewahrt das vortrainierte Backbone und die Aktionsformulierung und führt Geometrie ausschließlich durch die visuellen Token ein.

Kernkomponenten

Das kamera-bewusste geometrische Modul ($F_\psi$) besteht aus drei Schlüsselkomponenten:

1. Intrinsik-konditionierte Strahl-Embeddings (Ray Embeddings):
   Um die Mehrdeutigkeit aufzulösen, bei der derselbe Pixel $(x, y)$ unter verschiedenen Intrinsiken auf unterschiedliche physische Sichtrichtungen abbildet, markiert die Methode jeden ViT-Patch-Token mit seiner rückprojizierten Sichtrichtung. Für eine homogene Pixelkoordinate $u$ wird der normalisierte Projektionsstrahl als $\tilde{r}^v(u) = (K^v)^{-1}u$ berechnet. Ein lernbares Embedding $G_\phi$ projiziert diese Strahlkarte auf das Patch-Grid und addiert sie zum Encoder-Output:
   $$z^v_{0,p} = z^v_p + G_\phi(R^v)_p$$
   Dies stellt sicher, dass alle nachgeschalteten Attention-Operationen auf Tokens operieren, die sich ihrer intrinsischen Sichtrichtung bewusst sind.

2. Projektive Positionale Kodierung (PRoPE):
   Während Ray-Embeddings lokale Sichtrichtungen kodieren, erfassen sie keine geometrischen Beziehungen zwischen Tokens aus verschiedenen Ansichten. PRope adressiert dies durch die Ableitung fixer projektiver Transformationen für Query-, Key- und Value-Repräsentationen basierend auf der pro-View Intrinsik ($K^v$), den Kamera-zu-Welt-Matrizen ($T^v$) und Patch-Positionen. Dies ermöglicht eine Cross-View-Attention basierend auf kameramodellbasierten projektiven Relationen anstatt rein auf Ähnlichkeit der Erscheinung.

3. Bidirektionale Cross-View-Fusion:
   Das Fusionsmodul verarbeitet die Tokens in zwei Schritten:

   • Frame Attention: Verarbeitet die Tokens innerhalb jedes Kamerastroms unabhängig, um die lokale View-Struktur zu bewahren.
   • Cross-View Attention: Flacht die View- und Patch-Dimensionen ab, sodass alle validen Tokens bidirektional über die Views hinweg mittels PRoPE als Positionssignal interagieren können. Dies tauscht geometrischen Kontext aus, bevor die Tokens das Aktionsmodell erreichen.

Trainingsstrategie: Zweistufiges Curriculum & Geometrie-Distillation

Da das geometrische Modul von Grund auf neu initialisiert wird und nur spärliche, aufgabenspezifische Gradienten aus dem Aktionsverlust erhält, führen die Autoren ein dichtes, auxiliäres Geometrie-Distillationsziel und ein zweistufiges Trainingscurriculum ein:

• Geometrie-Distillationsziel: Ein auxiliäres Point-Head, das an die fusionierten visuellen Tokens angeschlossen ist, sagt dichte pro-Pixel Strahlkoordinaten ($\hat{q}^v_u$) und Log-z-Tiefe ($\hat{d}^v_u$) voraus. Die Zielwerte stammen entweder aus Ground-Truth-Punktkarten (in der Simulation) oder aus konfidenzgesteuerten Vorhersagen eines visuellen Geometrie-Lehrers ($\pi_3X$). Die Lehrer-Vorhersagen werden durch einen Konfidenzschwellenwert ($\tau=0.1$) gefiltert, um unzuverlässige Pixel auszuschließen, wodurch keine Tiefensensoren oder manuellen 3D-Annotationen erforderlich sind.
• Zweistufiges Training:
  • Stufe 1 (Geometrisches Modul Pre-training): Das vortrainierte Backbone ist eingefroren. Nur die Ray-Embeddings, die Cross-View-Fusion-Layer und das auxiliary Point-Head werden aktualisiert, wobei der Distillationsverlust dominiert. Dies richtet die geometrischen Module an dem dichten Lehrer-Signal aus.
  • Stufe 2 (Volle Policy Fine-tuning): Alle Parameter werden auftauend (unfrozen). Der Aktionsverlust wird dominant, während der Distillationsverlust als leichtgewichtiger geometrischer Regularisierer fungiert. Bei der Inferenz werden das auxiliary Head und der Lehrer verworfen; die Policy benötigt lediglich RGB-Bilder, Propriozeption, Sprache und Kamera-Kalibrierung.

Wichtigste Beiträge

1. Identifizierung einer geometrischen Lücke: Die Arbeit hebt die Diskrepanz zwischen 2D-basierten visuellen Tokens in vortrainierten VLAs und der kalibrierten räumlichen Struktur hervor, die für präzise Manipulation erforderlich ist.
2. G3VLA-Framework: Ein leichtgewichtiger, Backbone-erhaltender Pfad, der kalibrierte Kamerageometrie via Ray-Embeddings, PRoPE und Cross-View-Fusion injiziert, ohne den Aktionsraum oder das Imitationsziel zu ändern.
3. Geometrie-Distillation von $\pi_3X$: Ein zweistufiges Verfahren, das die geometrischen Module unter Verwendung von konfidenzgesteuerten dichten Punktkarten eines visuellen Geometrie-Lehrers überwacht, wodurch manuelle 3D-Annotationen oder Tiefensensoren überflüssig werden.
4. Multi-Architektur-Validierung: Die Methode wird über drei verschiedene VLA-Systeme ($\pi_0$, $\pi_0.5$ und GR00T 1.5) hinweg validiert, was konsistente Gewinne zeigt und architektonische Erkenntnisse darüber liefert, wie geometrische Signale zur Aktionsgenerierung propagieren.

Experimentelle Ergebnisse

Simulations-Benchmarks

• LIBERO: Auf dem $\pi_0$-Backbone verbesserte G3VLA (GT) die durchschnittliche Erfolgsrate von 84,6 % auf 88,1 % (+3,5 Punkte). Die größten Gewinne wurden bei LIBERO-Object (+5,0) und LIBERO-Spatial (+4,0) beobachtet, was bestätigt, dass Aufgaben, die Objektlokalisierung und räumliche Argumentation erfordern, am meisten profitieren. G3VLA ($\pi_3X$) erzielte ebenfalls signifikante Gewinne (+2,4 gegenüber der Baseline), was die Nützlichkeit des durch den Lehrer destillierten Geometrie-Signals beweist.
• RoboCasa24 & RoboTwin2.0: G3VLA (GT) verbesserte die Erfolgsraten auf RoboCasa24 (34,2 % $\to$ 37,1 %) und RoboTwin2.0 (44,0 % $\to$ 49,0 %). Bemerkenswerterweise schnitt G3VLA ($\pi_3X$) auf RoboTwin2.0 schlechter ab (Abfall auf 41,0 %), was die Autoren auf unzuverlässige Offline-$\pi_3X$-Punktkarten-Targets in visuell sauberen, texturarmen synthetischen Szenen zurückführen.
• Backbone-Kompatibilität:
  • $\pi_0.5$: Die Gewinne waren kleiner, aber konsistent (95,9 % $\to$ 97,0 %), was die Kompatibilität mit stärkeren, nahezu gesättigten Backbones bestätigt.
  • GR00T 1.5: Die Ergebnisse waren gemischt. Gewinne wurden mit $\pi_3X$-Supervision beobachtet, aber nicht mit GT. Die Autoren vermuten, dass dies an der Two-Tower-Architektur von GR00T 1.5 liegt, bei der die Diffusions-Policy auf visuelle Features via Cross-Attention auf ein eingefrorenes VLM zugreift, anstatt geometrie-bewusste Tokens direkt zu konsumieren, was das geometrische Signal abschwächt.

Realwelt-Ergebnisse

Evaluierung auf einem bimanualen UR5-Roboter mit zwei Aufgaben (Pick-and-Place Test Tube, Pouring Nut). G3VLA zeigte die signifikantesten Verbesserungen in Out-of-Distribution (OOD) Settings (unbekannte Kameraperspektiven).

• Bei der Aufgabe "Pouring Nut" verbesserte G3VLA die OOD-Erfolgsrate für $\pi_0$ von ca. 70–75 % auf 83–87,5 %.
• Qualitative Analysen zeigten, dass GT-basierte Varianten robuste Erholungsverhaltensweisen (z. B. erneutes Greifen, Neuausrichten) nach Zwischenfehlern aufwiesen, die in Vanilla-Baselines fehlten.

Ablationsstudien

• Geometrische Komponenten: Das Entfernen der Ray-Embeddings verursachte den größten Abfall (-2,0 %), gefolgt vom Entfernen von PRoPE (-1,1 %), was deren komplementäre Rollen bestätigt.
• Trainingscurriculum: Der Ersatz des zweistufigen Curricums durch ein einstufiges gemeinsames Training reduzierte die Leistung um 0,7 %, was die Bedeutung der Vor-Ausrichtung des geometrischen Pfades vor der Aktionsoptimierung unterstreicht.
• Supervisionsquelle: Die Ground-Truth-Supervision lieferte das stärkste Signal, aber die $\pi_3X$-Distillation konnte den Großteil des Gewinns wiederherstellen, was sie zu einer praktischen Alternative macht, wenn Tiefe nicht verfügbar ist.

Bedeutung und Behauptungen

Das Paper behauptet, dass kalibrierte Kamerageometrie ein leichtgewichtiger und nützlicher induktiver Bias für die räumliche Präzision in generalistischen VLA-Policies ist. Die primäre Bedeutung liegt in der Demonstration, dass geometrische Strukturen in den visuellen Token-Stream vortrainierter Modelle injiziert werden können, ohne das Backbone, den Aktionsraum oder das Imitationsziel zu modifizieren.

Die Autoren kommen zu dem bescheidenen Schluss, dass die Effektivität dieser geometrischen Injektion von der Architektur abhängt: Sie ist am effektivsten, wenn geometrie-bewusste Tokens direkten Zugriff auf den Aktionsgenerierungspfad haben (wie bei $\pi_0$ und $\pi_0.5$). In Architekturen, in denen das Aktionsmodell indirekt auf Features zugreift (z. B. GR00T 1.5), wird der Nutzen abgeschwächt. Zudem führt die Abhängigkeit von einem visuellen Geometrie-Lehrer zu einer Sensitivität gegenüber Domänen-Mismatch (z. B. texturarme Szenen), was darauf hindeutet, dass die Lehrer-Distillation zwar eine praktikable Strategie ist, die Ground-Truth-Supervision jedoch überlegen bleibt, sofern verfügbar.

Insgesamt bietet G3VLA einen praktischen Ansatz zur Verbesserung der räumlichen Generalisierung bestehender VLA-Modelle, insbesondere für Aufgaben, die sensitiv auf Objektlokalisierung und räumliche Beziehungen reagieren, indem es bekannte Kamera-Kalibrierungsparameter als strukturellen Prior nutzt.