VLA Models Are More Generalizable Than You Think: Revisiting Physical and Spatial Modeling

1. Problemstellung

Vision-Language-Action (VLA) Modelle haben zwar beeindruckende Leistungen bei Aufgaben innerhalb ihrer Trainingsverteilung (in-distribution) gezeigt, leiden jedoch unter einer starken Brittleness (Sprödigkeit), sobald sie mit neuen Kameraperspektiven, Lichtverhältnissen oder visuellen Störungen konfrontiert werden.

• Herausforderung: Herkömmliche Ansätze zur Verbesserung der Robustheit basieren oft auf massiver Datenerweiterung (Data-Centric) oder dem Training komplexer, geometrie-bewusster Architekturen. Diese Methoden sind jedoch rechenintensiv, teuer und oft nicht praktikabel für eine kontinuierliche Anpassung in der realen Welt.
• Forschungsfrage: Liegt das Versagen von VLA-Modellen unter neuen Blickwinkeln an mangelnder visueller Kapazität oder an einer Fehlausrichtung der internen Repräsentationen?

2. Methodischer Ansatz und Kernthese

Die Autoren führen eine konzeptionelle Zerlegung von VLA-Modellen in zwei Komponenten durch:

1. Spatial Modeling (Räumliche Modellierung): Übernommen durch den visuellen Encoder (z. B. ViT). Sie konstruiert räumliche Beziehungen (Position, Orientierung, Okklusion) aus dem Bild.
2. Physical Modeling (Physikalische Modellierung): Übernommen durch das VLM (Vision-Language-Model) und den Action Expert. Sie integriert Sprachinstruktionen und räumliche Repräsentationen, um Aktionen zu planen.

Die zentrale These: Die Degradation der Leistung bei Perspektivwechseln entsteht primär durch eine Fehlausrichtung im Spatial Modeling (die visuellen Embeddings passen nicht mehr zum trainierten VLM), während das Physical Modeling (die eigentliche Steuerungsfähigkeit) intakt bleibt.

Um dies zu beheben, schlagen die Autoren ein One-Shot-Anpassungsframework vor, das visuelle Repräsentationen mit minimalen, lernbaren Updates neu kalibriert, ohne das gesamte Modell neu zu trainieren. Zwei Methoden werden vorgestellt:

A. Feature Token Modulation (FTM)

• Prinzip: Eine globale affine Transformation der visuellen Token-Embeddings.
• Mechanismus: Es werden zwei lernbare Parametervektoren ($\gamma$ für Skalierung, $\beta$ für Verschiebung) eingeführt, die auf die Ausgabe des visuellen Encoders angewendet werden: $\hat{F} = (1 + \gamma) \odot F + \beta$.
• Effizienz: Extrem leichtgewichtig mit nur 4.000 Parametern (abhängig von der Embedding-Dimension).
• Ziel: Überprüfung, ob eine einfache Neuzentrierung und Skalierung der Feature-Verteilung ausreicht, um die Fehlausrichtung zu korrigieren.

B. Feature Linear Adaptation (FLA)

• Prinzip: Eine Erweiterung von FTM, die eine Low-Rank-Anpassung (ähnlich LoRA) direkt in die linearen Schichten des ViT-Encoders integriert.
• Mechanismus: Die Gewichtsmatrizen $W$ der linearen Schichten werden durch eine niedrigrangige Zerlegung $\Delta W = BA$ aktualisiert, wobei nur $A$ und $B$ trainiert werden.
• Effizienz: Benötigt 4,7 Millionen Parameter (im Vergleich zu 467 Millionen bei herkömmlichem LoRA-Finetuning).
• Ziel: Tiefere Neuausrichtung der internen Merkmale des visuellen Encoders.

3. Wichtige Beiträge

1. Diagnose der Schwachstelle: Nachweis, dass die Robustheit von VLA-Modellen nicht durch mangelnde physische Intelligenz, sondern durch eine Diskrepanz in der räumlichen Repräsentation begrenzt ist.
2. Unified One-Shot Framework: Entwicklung von FTM und FLA, die eine schnelle Anpassung an neue visuelle Domänen mit nur einer einzigen menschlichen Demonstration pro Aufgabe ermöglichen.
3. Libero-V Benchmark: Erstellung eines neuen Benchmarks, der das bestehende LIBERO-Dataset um vier Arten visueller Störungen erweitert: Kameraperspektive, Beleuchtung, Hintergrundtextur und Sensorrauschen.
4. Theoretische Fundierung: Theoretische Analyse zeigt, dass unter milden Annahmen (lokale Lipschitz-Stetigkeit der Policy und annähernd affine/low-rank Struktur der Verschiebung) kleine Korrekturen ausreichen, um die Policy-Leistung wiederherzustellen.

4. Ergebnisse

Die Methoden wurden auf dem LIBERO-Benchmark (insbesondere unter neuen Kameraperspektiven) und dem neuen Libero-V Benchmark evaluiert.

• Leistung bei neuen Perspektiven:
  • FTM (4k Parameter): Steigert die Erfolgsrate (Success Rate) von 48,5 % (Zero-Shot) auf 87,1 %.
  • FLA (4,7M Parameter): Erreicht eine Erfolgsrate von 90,8 %.
  • Vergleich: FLA übertrifft das starke LoRA-One-Shot-Baseline (90,3 %), verwendet dabei aber 99-mal weniger Parameter (4,7M vs. 467M).
• Robustheit gegenüber Störungen: Auf dem Libero-V Benchmark (Licht, Textur, Rauschen) erreicht FLA eine durchschnittliche Erfolgsrate von 94,8 % und liegt damit leicht über dem LoRA-Baseline, bei extrem hoher Parameter-Effizienz.
• Real-World-Validierung: Die Methode wurde erfolgreich auf einem echten Franka Emika Panda-Roboter getestet. Nach einer One-Shot-Anpassung konnte der Roboter komplexe Aufgaben (z. B. Schublade öffnen, Mikrowelle schließen) auch unter stark veränderten Kameraperspektiven und dynamischen Störungen erfolgreich ausführen.
• Visualisierung: t-SNE-Analysen zeigen, dass die visuellen Embeddings der neuen Perspektive nach der Anpassung (FLA) wieder nahtlos an die ursprüngliche Trainingsverteilung angrenzen (Manifold Alignment), während sie im Zero-Shot-Modus stark voneinander getrennt sind.

5. Bedeutung und Fazit

Das Paper widerlegt die Annahme, dass Robustheit in VLA-Modellen zwingend große Datenmengen oder komplexe Architekturen erfordert.

• Paradigmenwechsel: Es zeigt, dass vortrainierte VLA-Modelle bereits eine latente Robustheit besitzen, die durch gezielte, minimale Anpassung der visuellen Eingabe (Spatial Modeling) wieder aktiviert werden kann.
• Praktische Relevanz: Die vorgestellten Methoden (FTM/FLA) ermöglichen eine effiziente, kostengünstige und schnelle Anpassung von Robotern an neue Umgebungen (z. B. neue Kameras, Lichtverhältnisse) ohne das Risiko des Catastrophic Forgetting oder den Aufwand des Full-Model-Finetunings.
• Zukunftsausblick: Dies legt den Grundstein für skalierbare, adaptive Robotersysteme, die sich autonom an dynamische reale Umgebungen anpassen können.