Direct Action-Head Injection of A Grounded 3D Point Unlocks Spatial and Task Generalization

Technische Zusammenfassung: Direkte Action-Head-Injektion eines geerdeten 3D-Punktes ermöglicht räumliche und Aufgaben-Generalisierung

1. Problemstellung

Vision-Language-Action (VLA)-Modelle nutzen groß angelegtes Vision-Language-Pretraining, um flexible Roboter-Manipulation zu ermöglichen. Diese Modelle weisen jedoch zum Testzeitpunkt eine erhebliche Instabilität entlang zweier kritischer Achsen auf:

• Räumliche Generalisierung: Die Leistung bricht zusammen, wenn sich die Objektpositionen von denen während des Trainings unterscheiden.
• Aufgaben-Generalisierung (Task Generalization): Modelle versagen, wenn eine vertraute Szene mit einer anderen Sprachinstruktion kombiniert wird, da sie oft memorisierte Trajektorien wiederholen, anstatt auf den neuen Befehl zu reagieren.

Bestehende Ansätze versuchen dies zu mildern, indem sie explizite räumliche Erdung (z. B. Objektpositionen) über Sprachprompts (Text-Tokens) oder visuelle Prompts (Bild-Overlays) bereitstellen. Die Autoren argumentieren, dass diese Methoden daran scheitern, systematisch zu adressieren, wie das räumliche Signal repräsentiert und injiziert wird. Das Vertrauen auf 2D-Repräsentationen zwingt die Policy dazu, die 3D-Geometrie intern aus visuellen und linguistischen Merkmalen zu rekonstruieren – eine Belastung, die eine robuste Generalisierung einschränkt.

2. Methodik

Das Paper schlägt ein leichtgewichtiges, modellagnostisches Modul vor, das die Art und Weise, wie Erdungssignale verarbeitet werden, grundlegend verändert: den Lifting eines 2D-Erdungspunktes in den 3D-Raum und dessen direkte Injektion in den Action-Head.

Die Pipeline besteht aus drei Stufen:

1. 3D-Lifting: Gegeben ist ein 2D-Zielpunkt (erhalten von einem handelsüblichen visuellen Erdungsmodul, wie einem VLM oder Detektor), hebt das System diesen Punkt mithilfe von Tiefeninformationen und Kameraparametern in den 3D-Raum. Es berechnet die relative Verschiebung ($d$) zwischen der Zielposition ($p_t$) und der aktuellen Greiferposition ($p_g$) im Roboter-Basisfestrahmen:
   $$d = p_t - p_g$$
2. Räumliches Embedding: Dieser 3D-Verschiebungsvektor wird mittels eines einfachen zwei-schichtigen Multi-Layer-Perceptrons (MLP) in ein räumliches Embedding ($z_{spatial}$) kodiert. Die Ausgabendimension entspricht der Hidden Size des Action-Heads.
3. Direkte Injektion via AdaLN: Moderne VLAs nutzen oft einen Diffusion Transformer (DiT) als Action-Head, der Adaptive Layer Normalization (AdaLN) zur Konditionierung verwendet. Anstatt das Signal zu den Input-Tokens oder Text-Prompts hinzuzufügen, injiziert die Methode das räumliche Embedding direkt in den AdaLN-Mechanismus. Das räumliche Embedding wird durch elementweise Addition mit dem Zeitstempel-Embedding ($z_{time}$) kombiniert, um die Skalierungs- ($\gamma$) und Shift-Parameter ($\beta$) der Normalisierungsschichten zu modulieren:
   $$\gamma, \beta = \text{Linear}(z_{time} + z_{spatial})$$
   Dies ermöglicht es der Policy, direkt während der Aktionsvorhersage auf relevante 3D-geometrische Informationen zuzugreifen, ohne das VLA-Backbone oder die Pretraining-Pipeline zu modifizieren.

3. Zentrale Beiträge

• Identifizierung des Engpasses: Die Autoren zeigen, dass die Repräsentation (2D vs. 3D) und der Injektionsmechanismus (Prompting vs. direkte Head-Injektion) die primären Faktoren für die Bestimmung der Generalisierung sind, nicht die Quelle des Erdungssignals selbst.
• Leichtgewichtige Architektur: Die vorgeschlagene Lösung erfordert keine Änderungen am VLA-Backbone oder den Pretraining-Daten. Sie fügt lediglich ein zwei-schichtiges MLP hinzu und nutzt bestehende AdaLN-Konditionierungsmechanismen.
• Backbone-Agnostik: Die Methode wird an mehreren unterschiedlichen VLA-Backbones validiert (GR00T-N1.6 und $\pi0.5$), was ihre Anwendbarkeit auf verschiedene Modellarchitekturen beweist.

4. Experimentelle Ergebnisse

Die Methode wurde auf den LIBERO- und LIBERO-PRO-Benchmarks evaluiert, die Aufgaben-Perturbation (Änderung der Instruktionen) und Positions-Perturbation (Änderung der Objektlokationen) beinhalten.

• Simulationsleistung:

  • Auf GR00T-N1.6 verbesserte die Methode die durchschnittliche Erfolgsrate unter Aufgaben-Perturbation von 31,2 % auf 77,5 % und unter Positions-Perturbation von 28,1 % auf 60,2 %.
  • Auf $\pi0.5$ wurden ähnliche Gewinne beobachtet, wobei die Erfolgsraten von 37,3 % auf 75,9 % (Aufgabe) und von 47,0 % auf 72,2 % (Position) stiegen.
  • Kontrollierte Vergleiche: Wenn identische Oracle-2D-Zielpunkte bereitgestellt wurden, lieferten 2D-Varianten (via Text, Visuell oder AdaLN-Prompts) nur moderate Verbesserungen. Im Gegensatz dazu erzeugte die via AdaLN injizierte 3D-Repräsentation dramatische Gewinne, was bestätigt, dass das 3D-Signal und die direkte Injektion die entscheidenden Faktoren sind.
  • Dateneffizienz: Eine mit diesem Ansatz trainierte Methode, die nur auf 20 Aufgaben trainiert wurde, übertraf Baselines, die auf 69 Aufgaben trainiert wurden, was darauf hindeutet, dass das architektonische Design die Skalierung der Daten für die Generalisierung überwiegt.
  • Robustheit: Die Methode blieb auch bei Training und Test mit verrauschten Tiefeneingaben effektiv.

• Validierung in der realen Welt:

  • Experimente mit einem Franka Emika Panda Roboter und handelsüblichen RGB-D-Sensoren bestätigten die Ergebnisse der Simulation.
  • Während Baselines und 2D-Prompt-Varianten unter Perturbationen in der realen Welt auf nahezu Null Erfolgsrate abfielen, behielt die vorgeschlagene Methode eine hohe Leistungsfähigkeit bei, was ihre praktische Anwendbarkeit trotz verrauschter Erdungseingaben demonstriert.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass die zentrale Erkenntnis eine „einfache, aber übersehene“ Einsicht ist: Wenn eine ausreichende 2D-Erdung gegeben ist, ist das Lifting des Signals in 3D und die direkte Injektion in den Action-Head der Schlüssel zur Freisetzung sowohl der räumlichen als auch der Aufgaben-Generalisierung in VLAs.

Die Autoren betonen, dass dieser Ansatz erhebliche Leistungssteigerungen ohne die Notwendigkeit komplexer 3D-Encoder, zusätzlicher Foundation-Modelle oder architektonischer Überarbeitungen erzielt. Die Arbeit legt nahe, dass das Feld die Integration räumlicher Signale übermäßig verkompliziert hat und dass eine direkte, geometrie-ausgerichtete Injektion in den Action-Head der effektivste Weg für robuste Roboter-Manipulation ist. Die Autoren weisen auf Einschränkungen hinsichtlich objekt-agnostischer Bewegungen und der Annahme verfügbarer 2D-Erdung hin, positionieren ihren Beitrag jedoch als fundierten Schritt zur Verbesserung der VLA-Robustheit.