💻 computer science

Primitive Subspaces Mediate Few-Shot Transfer in VLAs

Diese Arbeit zeigt, dass das Training von Vision-Language-Action (VLA)-Policies mit primitiv-segmentierten Episoden eine transferierbare Bibliothek von Sub-Skills schafft, die im Vergleich zum Training flacher Trajektorien eine signifikant sampel-effizientere Few-Shot-Aufgabenadaption ermöglicht, eine kausale Beziehung, die durch Subraum-Ablationsstudien bestätigt wurde.

Ursprüngliche Autoren: Anya Singh, Cabrel Happi, Jai Relan, Varun Nair, Vidyut Baradwaj

Veröffentlicht 2026-06-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Anya Singh, Cabrel Happi, Jai Relan, Varun Nair, Vidyut Baradwaj

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, Möbel zu bauen. Derzeit ist die Standardmethode so, als würde man für jedes einzelne Möbelstück einen spezialisierten Tutor engagieren. Wenn Sie möchten, dass der Roboter einen Stuhl baut, zeigen Sie ihm 50 Videos vom Bau eines Stuhls, und er lernt diese spezifische Aufgabe auswendig. Wenn Sie dann möchten, dass er einen Tisch baut, müssen Sie einen neuen Tutor engagieren, ihm 50 neue Videos zeigen und ihn von Grund auf neu trainieren. Das ist langsam, teuer und erfordert, dass der Roboter das Bauen des Stuhls „vergisst“, um den Tisch zu lernen.

Dieses Paper stellt eine andere Frage: Können wir dem Roboter zuerst eine „Bibliothek grundlegender Bewegungen“ beibringen, damit wir ihm später nur ein paar Videos einer neuen Aufgabe zeigen können und er dann selbstständig lernt, wie er diese grundlegenden Bewegungen kombiniert?

Hier ist die Aufschlüsselung ihres Experiments und ihrer Ergebnisse unter Verwendung einfacher Analogien.

Die Kernidee: „Flaches“ vs. „Primitiv-basiertes“ Training

Die Forscher testeten zwei Wege, Roboter zu trainieren, indem sie zwei verschiedene Roboter-„Gehirne“ (Architekturen namens OpenVLA und $\pi_{0.5}$ ) verwendeten:

Der „flache“ Ansatz (Der Auswendiglernende):
- Analogie: Stellen Sie sich vor, Sie lehren einen Schüler, indem Sie ihm einen kompletten Film zeigen, in dem jemand eine komplexe Maschine zusammenbaut. Sie sagen: „Schau dir diesen ganzen Film an und lerne, wie man die Maschine baut.“
- Ergebnis: Der Schüler lernt den ganzen Film auswendig. Wenn Sie ihm später eine neue Maschine zeigen, hat er Schwierigkeiten, weil er nur die spezifische Abfolge des ersten Films kennt, nicht aber die einzelnen Bestandteile.
Der „Primitiv-basierte“ Ansatz (Der Lego-Bauer):
- Analogie: Stellen Sie sich vor, Sie lehren denselben Schüler, aber dieses Mal brechen Sie den Film in winzige, beschriftete Clips herunter. Sie halten das Video an und sagen: „Dieser Clip ist ‚eine Schraube aufheben‘“. Dann: „Dieser Clip ist ‚eine Schraube hineindrehen‘“. Sie geben ihm ein Vokabular an Bassbewegungen (Primitiven) wie „aufheben“, „platzieren“, „einführen“ und „drehen“.
- Ergebnis: Der Schüler lernt eine Bibliothek grundlegender Bewegungen. Wenn Sie ihm später eine neue Maschine zeigen, muss er nicht alles neu lernen. Er muss nur ein paar Beispiele der neuen Maschine sehen und kann sagen: „Ah, ich weiß, wie man ‚aufhebt‘ und ‚einführt‘; ich kann diese kombinieren, um dies zu bauen.“

Das Experiment: Der „Few-Shot“-Test

Die Forscher hielten 6 spezifische Aufgaben zurück, die die Roboter während des Trainings nie gesehen hatten. Zum Testzeitpunkt gaben sie den Robotern eine geringe Anzahl an Demonstrationsvideos (von 0 bis 10 Videos) dieser neuen Aufgaben und baten sie, die Aufgabe ohne weiteres Training auszuführen.

Das Ziel: Zu sehen, wie viele Videos (Demonstrationen) der Roboter benötigt, um erfolgreich zu sein.
Das Ergebnis:
- Die „Primitiv-basierten“ Roboter waren unglaublich effizient. Mit nur 3 Videos erreichten sie fast das gleiche Niveau wie nach einem vollständigen Retraining mit 50 Videos.
- Die „flachen“ Roboter waren viel langsamer. Sie benötigten 10 Videos, um dasselbe Leistungsniveau zu erreichen, das die Primitiv-Roboter bereits mit 3 Videos erzielten.
- Die Lücke: Der Primitiv-Ansatz war 3-mal sampeleffizienter. Es ist, als hätte der Primitiv-Roboter eine neue Sprache in 3 Tagen gelernt, während der flache Roboter 10 Tage gebraucht hätte, um dasselbe zu lernen.

Das „Warum“: Der Beweis, dass es kein Zufall ist

Die Forscher wollten nicht nur wissen, dass es funktionierte, sondern auch warum. Sie vermuteten, dass der Roboter diese „Bassbewegungen“ in einem bestimmten Teil seines Gehirns (einem „Subraum“ seiner verborgenen Zustände) speichert.

Um dies zu beweisen, führten sie eine Simulation einer „Hirnoperation“ durch:

Der Test: Sie schalteten vorübergehend den spezifischen Teil des Robotergehirns aus, der diese Bassbewegungen verstand.
Das Ergebnis: Die Fähigkeit des Roboters, aus den wenigen Videos zu lernen, brach ein (die Leistung sank um 32 %).
Die Kontrolle: Als sie einen zufälligen, nicht verwandten Teil des Gehirns ausschalteten, blieb die Leistung des Roboters gleich.
Schlussfolgerung: Dies bewies, dass die Bibliothek der „Bassbewegungen“ nicht nur ein glücklicher Nebeneffekt war, sondern der essentielle Motor, der es dem Roboter ermöglichte, neue Aufgaben schnell zu lernen.

Die Kehrseite: Wann es nicht funktioniert

Die Forscher fanden auch eine Einschränkung. Der „Primitiv-basierte“ Ansatz funktioniert nur, wenn die neue Aufgabe aus bekannten Bassbewegungen besteht.

Analogie: Wenn Sie einem Roboter die Bewegungen „aufheben“, „platzieren“ und „schrauben“ beigebracht haben, kann er einen neuen Stuhl bauen. Aber wenn Sie ihm eine Aufgabe zeigen, die eine völlig neue Bewegung erfordert (wie „einen speziellen Faden drehen“), wird der Robbot verwirrt. Er versucht, die neue Bewegung in eine seiner alten, bekannten Kategorien zu pressen, was dazu führt, dass er schlechter abschneidet als der „flache“ Roboter, der einfach versucht, die ganze neue Aufgabe von Grund auf auswendig zu lernen.

Eine Korrektur zur Messung des Erfolgs

Das Paper wies auch auf einen technischen Fehler hin, wie wir derzeit messen, ob ein Roboter erfolgreich ist.

Das Problem: Wenn Roboter Aktionen in „Chunks“ (Gruppen von Schritten) statt Schritt für Schritt ausgeben, war die alte Art, ihre Richtigkeit zu prüfen, zu streng. Es war, als würde man einen Schüler bei einem 16-Fragen-Essay bewerten, indem man prüft, ob jedes einzelne Wort perfekt ist, anstatt zu prüfen, ob der Satz Sinn ergibt. Dies führte dazu, dass Roboter Tests durchfielen, die sie eigentlich bestanden hatten.
Die Lösung: Sie entwickelten ein neues, faireres Bewertungssystem, das diese „Chunks“ berücksichtigt und so sicherstellt, dass wir die Roboter nicht ungerechtfertigt für ihre Effizienz bestrafen.

Zusammenfassung

Dieses Paper zeigt, dass Roboter, wenn man ihnen während des Trainings ein Vokabular an Bassbewegungen (Primitiven) beibringt, viel besser darin werden, neue, komplexe Aufgaben mit sehr wenigen Beispielen zu lernen. Sie können diese Bassbewegungen wie Lego-Steine mischen und kombinieren. Dies funktioniert jedoch nur, wenn die neue Aufgabe aus Steinen gebaut ist, die der Roboter bereits kennt. Diese Methode könnte in Fabriken Zeit und Geld sparen, da Roboter nicht für jede neue Produktvariation von Grund auf neu trainiert werden müssten.

Technisches Resümee: Primitive Subspaces vermitteln Few-Shot Transfer in VLAs

Problemstellung

Die Bereitstellung von Vision-Language-Action (VLA)-Policies in industriellen Umgebungen wird derzeit durch hohe Nachjustierungskosten behindert. Das Standard-Deployment-Rezept sieht vor, aufgabenspezifische Demonstrationen zu sammeln und das VLA für jede neue Aufgabe oder Produktvariante feinabzustimmen. Dieser Ansatz skaliert linear mit den Erfassungskosten und erfordert eine erhebliche Infrastruktur, was in Kontexten mit kontinuierlichen Prozessänderungen unpraktikabel ist. Die Arbeit untersucht, ob VLAs Aufgaben zur Testzeit erwerben können, konditioniert auf eine geringe Anzahl von Demonstrationen, ohne dass Gewichtsaktualisierungen stattfinden. Konkret hypothetisieren die Autoren, dass die Struktur der Trainingsdaten entscheidend ist: Sie postulieren, dass VLAs, die mit expliziter Supervision auf Primitivebene trainiert wurden, kompositorischere Repräsentationen erlernen als solche, die auf flachen Trajektorien trainiert wurden, was einen besseren Few-Shot-Transfer ermöglicht.

Methodik

Experimentelles Design

Die Autoren führten ein kontrolliertes Experiment mit einem $2 \times 2$ -Design durch, das mit zwei unterschiedlichen VLA-Architekturen gekreuzt wurde:

OpenVLA: Ein autoregressives Modell mit 7 Milliarden Parametern basierend auf Llama-2.
$\pi_0.5$ : Eine Flow-Matching-Policy mit 16-Schritt-Aktions-Chunks basierend auf PaliGemma.

Beide Architekturen wurden unter Verwendung identischer LoRA-Rezepte (Rank 32, $\alpha=64$ , Lernrate $5 \times 10^{-5}$ ) feinabgestimmt, wobei die Hyperparameter über drei Trainings-Seeds hinweg konstant gehalten wurden. Die einzige Variable war die Sichtweise der Trainingsdaten:

Flaches Training (Flat Training): Episoden waren zusammenhängende Aufgabenpaare (z. B. „aufnehmen und einsetzen“) mit High-Level-Sprachprompts.
Primitives-Training (Primitive Training): Episoden wurden in einzelne Primitive-Aktionen segmentiert (z. B. „aufnehmen“ oder „einsetzen“) mit primitivespezifischen Sprachprompts.

Datensätze und Evaluierung

Primärer Datensatz: REASSEMBLE, ein kontaktreicher industrieller Montage-Datensatz basierend auf dem NIST Assembly Task Board 1 Benchmark.
Replikations-Datensatz: LIBERO-Long, ein Benchmark für häusliche Manipulation mit mehrstufigen Aufgabenstrukturen.
Held-Out Tasks: Sechs spezifische (Objekt, Aufgaben-Sequenz)-Kombinationen wurden vollständig aus dem Training ausgeschlossen. Diese Aufgaben variierten nach Objekt (Objekte mit in den Training gesehenen Primitiven, aber in neuen Kombinationen), Aufgaben-Sequenz (Primitive in neuen Abfolgen) und kompositorischer Distanz. Eine Out-of-Vocabulary-Kategorie (die einen im Training abwesenden Primitivtyp erfordert) wurde ebenfalls getestet.
Few-Shot-Protokoll: Zur Testzeit erhielten die Modelle eine High-Level-Aufgabenbeschreibung und $m \in \{0, 1, 3, 5, 10\}$ Demonstrations-Episoden. Die Demonstration wurde via Vision-Encoder-Features kodiert und dem Sprachprompt vorangestellt. Die Modelle führten Aktionen ohne Gewichtsaktualisierung aus.

Kausale Intervention

Um Kausalität zu etablieren, setzten die Autoren eine Subspace-Ablations-Intervention ein:

Linear Probing: Sie trainierten lineare Probes auf den Hidden States, um Richtungen zu identifizieren, die die Identität eines Primitivs kodieren.
Ablation: Zur Inferenzzeit projizierten sie die Hidden States auf das orthogonale Komplement des identifizierten, für Primitiv-Dekodierung geeigneten Subspaces (Layer 24) und entfernten dadurch effektiv die Primitiv-Informationen.
Kontrolle: Ein zufälliger Subspace gleicher Dimensionalität wurde ablated, um sicherzustellen, dass der Effekt spezifisch für die Primitiv-Repräsentationen war.

Methodische Korrektur

Die Autoren identifizierten ein Artefakt der „familienweiten Inflation“ bei der Evaluierung von Chunked Policies. Die elementweise Anwendung von Single-Step-Aktionsbereichs-Gates auf 16-Schritt-Chunks führte zu einer Falsch-Fehlerrate von 40–42 % gegenüber Ground-Truth-Human-Demonstrationen. Sie schlugen und implementierten ein korrigiertes Element-Level-Gate, das gegen die Ground-Truth-Chunk-Verteilungen kalibriert war, um eine faire Evaluierung zu gewährleisten.

Kernergebnisse

Effizienz des Few-Shot-Transfers

Primitive-bewusste Modelle zeigten einen signifikanten Vorteil in der Stichproben-Effizienz gegenüber flach trainierten Modellen:

Leistungsunterschied: Bei $m=3$ Demonstrationen erreichten primitive-trainierte Modelle Erfolgsraten von 0,62–0,66, während flach trainierte Modelle nur 0,31–0,34 erreichten (ein $\approx 2\times$ Vorteil).
Sättigung: Primitive-trainierte Modelle sättigten bei $m=5$ und erreichten 78 % der Full-Fine-Tuning-Obergrenze. Flach trainierte Modelle benötigten $m=10$ , um das gleiche Leistungsniveau zu erreichen, was einen $3\times$ Unterschied in der Stichproben-Effizienz anzeigt.
Robustheit: Dieser Vorteil replizierte sich über beide Architekturen (OpenVLA und $\pi_0.5$ ), drei Trainings-Seeds und die Cross-Dataset-Replikation auf LIBERO-Long.

Kausaler Beleg

Die Subspace-Ablations-Intervention bestätigte die Notwendigkeit von Primitiv-Repräsentationen:

Die Ablation des für Primitiv-Dekodierung geeigneten Subspaces verursachte einen Rückgang der Few-Shot-Erfolgsrate um 32 Prozentpunkte (z. B. von 0,62 auf 0,30 für OpenVLA).
Die Ablation eines zufälligen Subspaces gleicher Dimensionalität hatte einen vernachlässigbaren Effekt (innerhalb des Sampling-Rauschens), was bestätigte, dass die für Primitiv-Dekodierung geeignete Repräsentation kausal notwendig für den Transfer ist und nicht bloß korreliert.

Baseline-Vergleiche

Primitive-bewusster Few-Shot-Transfer übertraf mehrere Baselines bei $m=3$ signifikant:

Zero-shot Primitive Sequencing: +35 Prozentpunkte.
Octo-Style Demonstration-Conditioned Baseline: +21 bis 22 Prozentpunkte.
Diffusion Policy: Wurde deutlich unterboten.

Limitationen und Fehlermodi

Die Arbeit stellt fest, dass Primitive-bewusstes Training nicht universell die Leistung verbessert. Bei Aufgaben, die Out-of-Vocabulary-Primitive erfordern (z. B. eine „Rotate-to-Engage“-Aktion, die nicht im Trainingsvokabular enthalten ist), schnitten primitive-trainierte Modelle schlechter ab als flach trainierte Modelle. Die Autoren hypothetisieren, dass primitive-trainierte Modelle versuchen, neue Demonstrationen auf das nächstliegende bekannte Primitiv abzubilden, während flach trainierte Modelle dieses neue Verhalten möglicherweise flexibler erlernen.

Bedeutung und Behauptungen

Die Arbeit behauptet, den ersten kontrollierten Vergleich zu liefern, der zeigt, dass Primitive-bewusstes Training ein transferierbares Artefakt erzeugt: eine Bibliothek von Sub-Skills, die zur Inferenzzeit komponiert werden können.

Mechanismus: Die Autoren etablieren, dass explizite Primitive-Supervision während des Trainings die Repräsentationen der Sub-Skills vom Aufgabenkontext entkoppelt und so einen „für Primitiv-Dekodierung geeigneten Subspace“ in den Hidden States schafft, der kausal notwendig für den Few-Shot-Transfer ist.
Praktische Auswirkung: Für den industriellen Einsatz legen die Ergebnisse nahe, dass das Training mit Primitive-Segmentierung es einem VLA ermöglicht, $\sim 90 \%$ der Full-Fine-Tuning-Leistung mit nur 5 Demonstrationen zu erreichen, was die Kosten und Ausfallzeiten im Zusammenhang mit dem Retraining für neue Aufgabenvarianten drastisch reduziert.
Umfang: Die Erkenntnisse sind hinsichtlich der Generalisierung moderat; der Vorteil gilt für Aufgaben, die bekannte Primitivtypen rekombinieren, kehrt sich jedoch um, wenn Aufgaben grundlegend neue, im Training nicht vorhandene Primitive erfordern. Die Ergebnisse sind derzeit auf Simulation (REASSEMBLE und LIBERO-Long) und zwei spezifische Architekturen beschränkt.