💻 computer science

VLAs are Confined yet Capable of Generalizing to Novel Instructions

Dieser Artikel zeigt, dass Vision-Language-Action-Modelle (VLAs) ihre Schwierigkeiten bei der Aufgabenextrapolation und dem räumlichen Overfitting überwinden können, indem sie interne Textlatente durch Interpolation manipulieren, eine Technik, die auf neuen Instruktions-Benchmarks eine Erfolgsrate von 83 % erzielt und das Potenzial für versteckte, für Menschen nicht lesbare Prompt-Injektionen aufdeckt.

Ursprüngliche Autoren: Quanyi Li

Veröffentlicht 2026-05-04

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Quanyi Li

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten einen Roboter-Koch beim Kochen. Sie zeigen ihm zwei spezifische Rezepte:

Rezept A: „Legen Sie den Frischkäse in die Schüssel."
Rezept B: „Stellen Sie die Schüssel auf den Schrank."

Der Roboter lernt diese beiden Bewegungen perfekt. Er kann Rezept A ausführen und er kann Rezept B ausführen. Aber dann stellen Sie ihm eine neue Frage: „Legen Sie den Frischkäse auf den Schrank."

Logischerweise sollte der Roboter dies tun können. Er weiß, wie man den Käse greift, und er weiß, wie man zum Schrank gelangt. Er muss lediglich die beiden Fähigkeiten, die er bereits besitzt, kombinieren. Doch laut diesem Papier scheitern die meisten fortschrittlichen Roboterhirne (sogenannte Vision-Language-Action-Modelle oder VLAs) kläglich daran. Sie bleiben stecken und verhalten sich so, als hätten sie den Schrank oder den Käse noch nie gesehen, obwohl sie sie gerade in den vorherigen Schritten verwendet haben.

Das Problem: Der Roboter ist ein „Papagei", kein „Koch"

Die Autoren entdeckten, dass diese Roboter die Welt nicht wirklich verstehen. Stattdessen merken sie sich spezifische Szenen.

Stellen Sie sich einen Schüler vor, der die Antworten auf einen Übungstest auswendig gelernt hat, aber die Mathematik nicht versteht. Wenn Sie fragen: „Was ist 2 + 2?", sagen sie „4". Aber wenn Sie fragen: „Was ist 2 + 2, wenn die Zahlen in roter Tinte geschrieben sind?", geraten sie vielleicht in Panik.

Im Fall des Roboters hat er gelernt, dass „Frischkäse" immer mit dem spezifischen Ort auf dem Tisch verbunden ist, an dem er den Frischkäse während des Trainings gesehen hat. Er versteht nicht, dass „Frischkäse" ein Objekt ist, das sich bewegen kann; er denkt, „Frischkäse" ist dieser spezifische Ort. Das Papier nennt dies „räumliches Overfitting". Der Roboter ist so sehr darauf fokussiert, wo die Dinge in den Trainingsvideos waren, dass er ignoriert, wo sie sich im echten Moment tatsächlich befinden.

Die Lösung: Die „magische Rezeptkarte" (Text Latent)

Die Forscher wollten wissen: Ist der Roboter tief im Inneren wirklich intelligent oder ist er einfach nur defekt?

Sie fanden eine versteckte „Zutat" im Gehirn des Roboters, die Text Latent genannt wird.

Die Analogie: Stellen Sie sich das Gehirn des Roboters als eine riesige Bibliothek vor. Wenn Sie ihm einen Befehl geben wie „Legen Sie den Käse in die Schüssel", zieht der Roboter eine bestimmte, unsichtbare „Rezeptkarte" aus seinem internen Gedächtnis hervor. Diese Karte ist nicht in Wörtern geschrieben, die Sie lesen können; sie ist ein komplexes Muster elektrischer Signale (ein Vektor), das dem Roboter genau sagt, wie er sich bewegen muss.
Die Entdeckung: Die Forscher stellten fest, dass der Roboter diese Aktion perfekt ausführen würde, wenn sie diese unsichtbare „Rezeptkarte" für „Dinge in eine Schüssel legen" wieder in das Gehirn des Roboters injizierten – selbst wenn Sie ihm überhaupt keine Worte gaben. Die Karte war die Anweisung.

Der Durchbruch: Das Mischen der Karten (Text Latent Interpolation)

Das wahre Wunder geschah, als sie versuchten, das Problem „Frischkäse auf dem Schrank" zu lösen.

Sie nahmen die unsichtbare „Rezeptkarte" für Aufgabe A (Käse zur Schüssel) und die Karte für Aufgabe B (Schüssel zum Schrank). Dann erstellten sie eine glatte Mischung der beiden Karten.

Die Analogie: Stellen Sie sich vor, Sie haben zwei Musikstücke, die spielen. Das eine ist ein Jazz-Song, das andere ein Rock-Song. Anstatt abrupt von einem zum anderen zu wechseln, verwenden Sie einen Mixer, um den Jazz langsam auszublenden, während Sie den Rock einblenden.
Das Ergebnis: Indem sie diese beiden unsichtbaren Rezeptkarten im Gehirn des Roboters „mischten", kombinierte der Roboter die Fähigkeiten erfolgreich. Er griff den Käse, bewegte ihn zum Schrank und ließ ihn fallen.

Die Statistiken:

Ohne diesen Trick gelang es dem Roboter (namens π0) nur in 9 % der Fälle, diese neuen, kombinierten Aufgaben zu lösen.
Mit dem „Misch"-Trick stieg der Erfolg auf 83 %.

Dies bewies, dass der Roboter die Fähigkeiten die ganze Zeit über in sich hatte; er konnte nur nicht selbst herausfinden, wie man sie mischt. Die „Rezeptkarten" waren da, aber der Roboter brauchte einen Menschen, der ihnen half, sie zu vermischen.

Der große Test: Der „Libero-OOD"-Benchmark

Um zu beweisen, dass dies kein Zufall war, erstellten die Autoren einen neuen Test namens Libero-OOD. Dieser Test enthält 20 knifflige Aufgaben, bei denen der Roboter Fähigkeiten, die er bereits kennt, auf neue Weise kombinieren muss.

Das Ergebnis: Sie testeten die besten Roboterhirne der Welt (wie UniVLA, OpenVLA und π0-fast). Keines davon konnte dies allein bewältigen. Alle erzielten Ergebnisse unter 21 %.
Die Schlussfolgerung: Selbst die intelligentesten Roboter stecken derzeit in ihren Trainingsdaten fest. Ohne Hilfe können sie nicht verallgemeinern oder „den Teller verlassen".

Die Warnung: „Private Anweisungen"

Die Forscher entdeckten auch etwas etwas Unheimliches. Da diese „Rezeptkarten" nur Muster von Zahlen sind, kann man sie wieder in Text umwandeln.

Als sie versuchten, die „Rezeptkarte" für eine Aufgabe zu lesen, war der resultierende Text Kauderwelsch (wie QSize, black, plate).
Wenn man diesen Kauderwelsch jedoch wieder in den Roboter einspeiste, funktionierte er trotzdem!
Die Metapher: Es ist wie ein Geheimschlüssel, den nur der Roboter versteht. Man könnte eine geheime Anweisung in einem normal aussehenden Satz verstecken, und der Roboter würde ihr folgen, ohne dass jemand anderes es merkt. Dies wird als „Backdoor" bezeichnet und zeigt, dass diese Modelle mysteriöser sind als gedacht.

Zusammenfassung

Das Papier sagt uns, dass die intelligentesten Roboter von heute wie Musiker sind, die zwei Songs perfekt spielen können, aber keine neue Melodie improvisieren können. Sie merken sich die genauen Noten und Positionen aus ihren Übungsstunden, scheitern aber, wenn sich die Musik leicht ändert.

Die Autoren zeigten, dass der Roboter eine neue Melodie spielen kann, wenn wir manuell die „Notenblätter" (die Text Latents) aus zwei verschiedenen Songs mischen. Dies beweist, dass der Roboter das Talent hat, aber die Fähigkeit fehlt, seine eigenen Fähigkeiten zu kombinieren. Das Papier führt einen neuen Test (Libero-OOD) ein, um Forschern zu helfen, Roboter zu bauen, die tatsächlich lernen können, ihre eigenen Fähigkeiten zu mischen, anstatt nur Szenen auswendig zu lernen.

1. Problemstellung

Vision-Language-Action-Modelle (VLAs) haben bei in-Distribution-Aufgaben, die mit spezifischen Demonstrationen feinabgestimmt wurden, eine starke Leistung gezeigt. Allerdings haben sie erhebliche Schwierigkeiten mit Out-of-Distribution (OOD)-Aufgaben, insbesondere solchen, die Extrapolation erfordern (das neuartige Kombinieren erlernter Fähigkeiten).

Das Kernproblem: Ein VLA könnte erfolgreich lernen, „Frischkäse in eine Schüssel zu geben" und „eine Schüssel auf einen Schrank zu stellen", scheitert jedoch beim extrapolierten Auftrag „Frischkäse auf den Schrank zu stellen", obwohl die zugrundeliegenden Bewegungsprimitive (Greifen, Erreichen) bereits erlernt sind.
Die Frage: Überanpassen sich VLAs lediglich an demonstrierte Trajektorien, oder lernen sie zusammensetzbare interne Repräsentationen, die eine breitere Generalisierung unterstützen?
Die Lücke: Es fehlt an geeigneten Benchmarks, um dies zu testen, da bestehende OOD-Aufgaben oft zu schwierig (z. B. völlig neue Physik erfordern) oder zu einfach sind. Die Autoren schlagen vor, dass ein valider Benchmark aus Aufgaben bestehen sollte, die das Modell sollte durch Kombination bestehender Fähigkeiten lösen können, dies aber derzeit nicht autonom tut.

2. Methodik

Das Paper stellt einen Rahmen vor, der auf Mechanischer Interpretierbarkeit basiert, um die internen Zustände von VLAs zu untersuchen und zu manipulieren, mit einem spezifischen Fokus auf das Modell $\pi_0$ .

A. Extraktion von Text-Latents

Die Autoren hypothesieren, dass aufgaben spezifische Fähigkeitsrepräsentationen in den versteckten Zuständen von Text-Token (Aufgabenbeschreibungen) kodiert sind.

Definition: Ein Text-Latent ( $T$ ) ist ein aufgabenspezifischer Vektor, der durch Mittelung der versteckten Zustände von Text-Token über alle Transformer-Schichten und mehrere Demonstrationsepisoden für eine bestimmte Aufgabe abgeleitet wird.
Extraktion: $T = \frac{1}{K} \sum_{k=1}^{K} \sum_{i \in B_k} h_T(i)$ , wobei $h_T(i)$ die versteckten Zustände der Text-Token zum Zeitpunkt $i$ darstellt.
Funktion: Das Einspeisen von $T$ zurück in den Residual-Stream des Modells (speziell die versteckten Zustände der Text-Token) kann das zugehörige Aufgabenverhalten wiederherstellen, selbst ohne den ursprünglichen Text-Prompt.

B. Text-Latent-Interpolation (TLI)

Um Extrapolation zu erreichen, schlagen die Autoren vor, die Text-Latents zweier Basisaufgaben zu mischen, um ein neues, zusammengesetztes Verhalten zu erzeugen.

Mechanismus: Anstatt diskreter Text-Token zu interpolieren (was unmöglich ist), interpolieren sie die Text-Latents ( $T_1$ und $T_2$ ) innerhalb des Residual-Streams.
Formel: Zum Zeitpunkt $i$ wird der versteckte Zustand wie folgt modifiziert:
$h_T(i) = h_T(i) + [(1-\alpha)T_1 + \alpha T_2] - [(1-\alpha)T_2 + \alpha T_1]$
wobei $\alpha = i/\lambda$ die Übergangsgeschwindigkeit von Aufgabe 1 zu Aufgabe 2 steuert.
Wirkung: Dies führt das Modell dazu, mit dem Verhalten von Aufgabe 1 zu beginnen und sanft zu Aufgabe 2 überzugehen, wodurch Sub-Trajektorien effektiv „zusammengenäht" werden, um eine neue extrapolierte Aufgabe zu lösen.

C. Der Libero-OOD-Benchmark

Die Autoren stellen libero-ood vor, eine neue Benchmark-Suite mit 20 extrapolierten Aufgaben, die aus den Standard-LIBERO-Suiten (libero-goal, libero-spatial, libero-object) abgeleitet sind.

Design: Jede Aufgabe erfordert die Kombination einer Greifposition, die aus einer Aufgabe gelernt wurde, und einer Platzierungsposition, die aus einer anderen Aufgabe gelernt wurde. Die spezifische Trajektorie, die diese beiden Punkte verbindet, wurde im Training niemals gesehen.
Ziel: Zu testen, ob VLAs erlernte Fähigkeitsrepräsentationen autonom neu kombinieren können.

3. Hauptbeiträge

Entdeckung zusammensetzbarer Fähigkeitsrepräsentationen: Das Paper zeigt, dass VLAs (speziell $\pi_0$ ) interne Repräsentationen von Fähigkeiten besitzen, die individuell, aber zusammensetzbar sind. Während das Modell sie nicht autonom kombinieren kann, kann es durch Manipulation von Text-Latents dazu gezwungen werden.
Text-Latent-Interpolation (TLI): Eine neuartige Inference-Time-Interventionsmethode, die Aufgabenrepräsentationen mischt, um Extrapolation zu ermöglichen und die Erfolgsraten bei neuen Aufgaben ohne Nachtraining zu steigern.
Der Libero-OOD-Benchmark: Eine strenge Benchmark, die entwickelt wurde, um die Fähigkeit zur Neu-Kombination von Fähigkeiten zu isolieren. Sie filtert Aufgaben heraus, die für den Roboter unmöglich sind, und konzentriert sich stattdessen auf Aufgaben, die theoretisch durch den bestehenden Wissensschatz des Modells lösbar sind.
Identifikation von räumlichem Overfitting: Das Paper enthüllt einen kritischen Fehlermodus, bei dem VLAs Objektnamen mit festen räumlichen Positionen aus den Trainingsdaten assoziieren, anstatt die Objektidentität oder den aktuellen Zustand zu verstehen.

4. Experimentelle Ergebnisse

Leistung auf Libero-OOD

Versagen der Baseline: State-of-the-Art-VLAs ( $\pi_0$ , $\pi_0$ -fast, UniVLA, openvla-oft) erreichten auf den 20 extrapolierten Aufgaben von libero-ood eine Erfolgsrate von < 21 %, obwohl sie bei Standard-LIBERO-Aufgaben ~95 % erreichten.
TLI-Erfolg: Die Anwendung von TLI auf $\pi_0$ erhöhte dessen Erfolgsrate auf libero-ood von 9 % auf 83 %.
Vergleich: Kein anderes VLA erreichte auf dem Benchmark eine Erfolgsrate von über 21 %, was eine systemische Einschränkung aktueller Architekturen hinsichtlich der Extrapolation hervorhebt.

Aufgaben-Rekonstruktion und Sicherheitsimplikationen

Rekonstruktion: Das Einspeisen von Text-Latents in einen leeren Prompt ermöglichte es $\pi_0$ , Aufgaben mit einer Erfolgsrate von >80 % abzuschließen, was beweist, dass das Latent essentielles Aufgabenwissen erfasst.
Unembedding: Das Unembedding von Text-Latents in Token-IDs erzeugte „unklare Prompts" (oft unlesbar), die das Modell dennoch instruieren konnten. Dies deutet auf potenzielle Schwachstellen für private Anweisungen oder Backdoor-Angriffe hin.

Analyse von Fehlermodi: Räumliches Overfitting

Beobachtung: Wenn das Modell angewiesen wurde, ein Objekt (z. B. „Frischkäse") aufzunehmen, das an einen neuen Ort bewegt wurde, ignorierte das Modell oft die aktuelle Position des Objekts und bewegte sich zum Ort, an dem dieses Objekt in den Trainingsdemonstrationen erschien.
Evidenz: In Experimenten, bei denen Objektpositionen getauscht wurden, bewegte sich $\pi_0$ (und andere VLAs) konsistent zum „Trainingsort" des Objektnamens anstatt zum tatsächlichen Objekt.
Fazit: VLAs zeigen räumliches Overfitting, indem sie Objektnamen auf feste Koordinaten abbilden, anstatt ein echtes Objekt-Ziel-Verständnis zu lernen.

5. Bedeutung

Neudefinition von OOD-Generalisierung: Das Paper argumentiert, dass aktuelle VLAs nicht „kaputt", sondern „versperrt" sind. Sie besitzen die notwendigen Fähigkeiten, aber ihnen fehlt der Mechanismus, diese autonom neu zu kombinieren. Der vorgeschlagene Benchmark (libero-ood) bietet einen Standard, um diese latente Fähigkeit zu messen.
Interpretierbarkeit als Werkzeug: Durch den Einsatz mechanischer Interpretierbarkeit (Text-Latents) beweisen die Autoren, dass das Versagen nicht in einem Mangel an Wissen liegt, sondern in einem Versagen der Komposition. Dies verlagert den Forschungsfokus von der Sammlung weiterer Daten hin zur Verbesserung der internen Kompositionsmechanismen des Modells.
Sicherheit und Schutz: Die Entdeckung, dass Text-Latents in unklare Prompts unembedded werden können, hebt neue Vektoren für adversariale Angriffe und Backdoors in robotischen Systemen hervor.
Zukunftsrichtung: Die Ergebnisse deuten darauf hin, dass zukünftige VLA-Architekturen explizit so gestaltet werden müssen, dass sie die Neu-Kombination erlernter Repräsentationen unterstützen, anstatt sich auf Post-Training-Tricks wie TLI zu verlassen, um ihr Potenzial freizulegen.

Zusammenfassend liefert dieses Paper starke Belege dafür, dass VLAs das Potenzial zur Generalisierung haben, derzeit jedoch durch räumliches Overfitting und die Unfähigkeit, erlernte Fähigkeiten autonom zu komponieren, behindert werden. Die Einführung von libero-ood und TLI bietet der Gemeinschaft sowohl einen neuen Benchmark als auch eine Methode, um den internen „Black Box"-Charakter robotischer Policies zu untersuchen.