💻 computer science

CAST: Counterfactual Labels Improve Instruction Following in Vision-Language-Action Models

Das Papier schlägt CAST vor, eine Methode, die Vision-Language-Modelle nutzt, um kontrafaktische Labels zur Augmentierung von Roboter-Datensätzen zu generieren, wodurch die Befolgung von Instruktionen durch Vision-Language-Action-Modelle signifikant verbessert wird, ohne dass zusätzliche Datenerhebung erforderlich ist.

Ursprüngliche Autoren: Catherine Glossop, William Chen, Arjun Bhorkar, Dhruv Shah, Sergey Levine

Veröffentlicht 2026-06-10

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Catherine Glossop, William Chen, Arjun Bhorkar, Dhruv Shah, Sergey Levine

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, wie er sich in einem Haus bewegt oder Gegenstände aufhebt. Sie zeigen ihm ein Video eines Roboters, der einen Flur entlangläuft und nach rechts abbiegt. Sie sagen dem Roboter: „So sieht ‚geradeaus gehen‘ aus.“

Das Problem ist, dass der Roboter ein etwas fauler Schüler ist. Er bemerkt, dass der Roboter im Video jedes Mal nach rechts abbiegt, wenn er einen Flur sieht. Also lernt er eine Abkürzung: „Wenn ich einen Flur sehe, biege ich rechts ab.“ Er hört auf, auf Ihre spezifischen Anweisungen zu achten (wie „biege links am blauen Tisch ab“), weil er glaubt, dass das Bild des Flurs ihm bereits alles sagt, was er wissen muss. In den technischen Begriffen der Arbeit wird dies als „Posterior Collapse“ bezeichnet – der Roboter ignoriert Ihre Stimme und rät stattdessen einfach basierend auf dem, was er sieht.

Die CAST-Lösung: Das „Was wäre wenn?“-Spiel

Die Autoren dieser Arbeit, von der UC Berkeley und Princeton, haben einen cleveren Trick erfunden, um dies zu beheben. Sie nennen ihn CAST (Counterfactual Labels Improve Instruction Following).

Stellen Sie sich CAST wie einen kreativen Schreibcoach für Roboter vor. Anstatt dem Roboter nur den einen Pfad zu zeigen, den er tatsächlich genommen hat, lässt der Coach den Roboter ein „Was wäre wenn?“-Spiel spielen.

So funktioniert es, Schritt für Schritt:

Die ursprüngliche Szene: Der Roboter hat ein Video von sich selbst, wie er einen Flur entlangläuft.
Die „Was wäre wenn?“-Frage: Die Forscher nutzen eine superintelligente KI (ein Vision-Language-Modell), um denselben Flur zu betrachten und zu fragen: „Hey, was hätte der Roboter hier sonst noch tun können?“
- Original: „Gehe geradeaus.“
- Kontrafaktisch (Was wäre wenn): „Biege rechts am orangefarbenen Tisch ab“ oder „Bewege dich entlang der Wand auf der linken Seite.“
Den Pfad erfinden: Die KI erfindet nicht nur einen Satz; sie erfindet auch einen fiktiven Videopfad, der zu diesem neuen Satz passt. Sie stellt sich vor: „Okay, wenn der Roboter rechts am orangefarbenen Tisch abbiegt, wie würden die nächsten paar Sekunden aussehen?“
Die neue Lektion: Nun hat der Roboter zwei Lektionen für denselben Flur:
- Lektion A: „Gehe geradeaus“ (das echte Video).
- Lektion B: „Biege rechts am orangefarbenen Tisch ab“ (das erfundene Video).

Warum das alles verändert

Vor diesem Trick sah der Roboter einen Flur und dachte: „Das kenne ich! Ich biege rechts ab!“ Er brauchte Ihren Worten nicht zuzuhören.

Nach dem CAST-Trick sieht der Roboter denselben Flur, aber erkennt: „Warte, manchmal gehe ich geradeaus und manchmal biege ich rechts am orangefarbenen Tisch ab. Das Bild allein sagt mir nicht, was ich tun soll. Ich muss den spezifischen Worten zuhören, die du mir gibst, um zu wissen, welchen Pfad ich nehmen soll.“

Die Ergebnisse

Die Forscher testeten dies an zwei Arten von Robotern:

Navigationsroboter: Roboter, die sich im Innenbereich und im Freien bewegen.
Manipulationsroboter: Roboterarme, die Dinge wie Brokkoli oder Löffel aufheben.

Sie fanden heraus, dass die Roboter durch die Verwendung dieser „Was wäre wenn?“-Daten (ohne neue reale Videos sammeln zu müssen) viel besser darin wurden, Anweisungen zu befolgen.

In der Navigation verdoppelte sich die Erfolgsquote im Vergleich zu Robotern, die ohne diesen Trick trainiert wurden.
Bei Manipulationsaufgaben (wie dem Aufheben von Gegenständen, wenn ablenkende Objekte in der Nähe sind) verbesserten sie sich um 27 %.

Das Fazit

CAST ist wie das Geben einer Bibliothek von „alternativen Realitäten“ an einen Roboter. Indem man dem Roboter zeigt, dass dieselbe Szene je nach Anweisung zu vielen verschiedenen Ergebnissen führen kann, zwingt man ihn, aufzuhören zu raten und stattdessen zuzuhören. Es verwandelt einen Roboter, der nur „sieht und rät“, in einen Roboter, der wirklich „zuhört und handelt“.

Technische Zusammenfassung: CAST – Kontrafaktische Labels verbessern das Befolgen von Anweisungen in Vision-Language-Action-Modellen

Problemstellung
Generalistische Roboter benötigen die Fähigkeit, vielfältige, Open-Vocabulary-Sprachanweisungen zu befolgen. Während Vision-Language-Action (VLA)-Modelle eine vielversprechende Architektur zur Abbildung von Sprache auf Roboteraktionen bieten, haben sie derzeit Schwierigkeiten mit der präzisen Befolgung feingranularer Anweisungen. Eine primäre Einschränkung ist der Mangel an semantischer Diversität und sprachlicher Erdung in bestehenden Roboterdatensätzen. In vielen Datensätzen sind Beobachtungen stark mit spezifischen Aktionen korreliert (z. B. impliziert eine Kommode „öffne die Schublade“), was zu einem Posterior Collapse führt. Bei diesem Phänomen lernt die Policy, die Spracheingaben zu ignorieren und Aufgaben allein aus visuellen Beobachtungen abzuleiten, da die Sprache keine zusätzliche prädiktive Information liefert. Darüber hinaus fehlt es bestehenden Datensätzen oft an feingranularer Aufgabenvielfalt für ähnliche Beobachtungen, und einige Navigationsdatensätze enthalten gar keine Sprachlabels. Die Skalierung der Kuratierung von Daten zur Adressierung dieser Probleme ist kostspielig und mühsam.

Methodik: Kontrafaktische Augmentierung mit synthetischen Trajektorien (CAST)
Die Autoren schlagen CAST vor, ein Framework zur Datenausweitung (Data Augmentation), das Vision-Language-Modelle (VLMs) nutzt, um kontrafaktische Sprachlabels und synthetische Aktionen für bestehende, unkuratierte Roboter-Trajektoriedatensätze zu generieren. Die zentrale Erkenntnis ist, dass das Training von Policies auf mehreren unterschiedlichen Aktionen, die mit derselben Beobachtung assoziiert sind (aber durch unterschiedliche Anweisungen gesteuert werden), das Modell dazu zwingt, auf die Spracheingabe zu achten, um die korrekte Aktion vorherzusagen, wodurch der Posterior Collapse gemildert wird.

Die CAST-Pipeline operiert in vier Hauptstadien:

Identifizierung von Entscheidungspunkten: Bestehende Trajektorien werden basierend auf Verhaltensänderungen (z. B. Abbiegen, Anhalten) in atomare Chunks segmentiert. Diese Grenzen dienen als Entscheidungspunkte.
Generierung kontrafaktischer Anweisungen: An jedem Entscheidungspunkt wird ein VLM (speziell Gemini 2.5 Pro) mit der aktuellen Beobachtung und dem ursprünglichen Trajektorienkontext abgefragt. Das VLM generiert plausible kontrafaktische Anweisungen (z. B. „Drehe nach links“ statt des ausgeführten „Drehe nach rechts“) und entsprechende atomare Befehle (z. B. „links drehen“).
Generierung synthetischer Aktionen: Eine vortrainierte atomare Policy ( $\pi_a$ ), die auf realen Roboterdaten trainiert wurde, um einfachen atomaren Befehlen zu folgen (z. $\text{b„ge geradeaus“, „drehe links“}$ ), wird verwendet, um die tatsächlichen Aktions-Chunks für diese kontrafaktischen Anweisungen zu generieren. Diese Policy zweigt von der ursprünglichen Trajektorie ab, um ein neues, plausibles „kontrafaktisches Ende“ zu erstellen.
Datensatz-Augmentierung: Die ursprünglichen Trajektorien werden mit diesen neuen $(Beobachtung, kontrafaktische\_Anweisung, kontrafaktische\_Aktion)$ -Tupeln erweitert. Dieser erweiterte Datensatz wird verwendet, um die finale VLA-Policy zu trainieren, die als CounterfactualVLA bezeichnet wird.

Die Autoren liefern eine theoretische Begründung basierend auf der gegenseitigen Information (Mutual Information). Sie argumentieren, dass das Befolgen von Sprache verbessert wird, indem die gegenseitige Information $I(a; \ell|o)$ zwischen Aktion ( $a$ ) und Sprache ( $\ell$ ) unter Berücksichtigung der Beobachtung ( $o$ ) maximiert wird. Durch die Erhöhung der Entropie der atomaren Befehle ( $H(\ell_a|o)$ ) für eine gegebene Beobachtung, während gleichzeitig sichergestellt wird, dass der atomare Befehl aus der vollständigen Anweisung vorhersagbar bleibt ( $H(\ell_a|\ell, o)$ ), hebt CAST effektiv eine untere Schranke dieser gegenseitigen Information an.

Implementierungsdetails
Die Autoren instanziieren CAST in zwei Domänen:

Navigation: Unter Verwendung des GNM-Datensatzes (Indoor/Outdoor) nutzen sie eine Hindsight-Relabeling-Pipeline, um initiale Labels für unbeschriftete Daten zu generieren. Sie segmentieren Trajektorien in atomare Verhaltensweisen (links drehen/rechts drehen, geradeaus gehen, anhalten), um eine atomare Policy zu trainieren. Das VLM generiert kontrafaktische Navigations-Prompts, und die atomare Policy synthetisiert die entsprechenden Aktions-Chunks.
Manipulation: Unter Verwendung des Bridge-Datensatzes nutzen sie bestehende Aufgaben-Labels und Subtask-Dekompositionen (z. B. „aufheben“, „bewegen zu“) als atomare Befehle. Das VLM generiert kontrafaktische Aufgaben (z. B. ein Objekt auf einer anderen Oberfläche platzieren), und eine vortrainierte steuerbare Policy generiert die Aktionen.

In beiden Fällen ist das finale CounterfactualVLA eine fein abgestimmte Version des 3B PaliGemma VLM, das auf dem augmentierten Datensatz mittels Action Chunking trainiert wurde, um zeitliche Konsistenz zu gewährleisten.

Experimentelle Ergebnisse
Die Autoren evaluieren die Methode durch mehrere Linsen:

Label-Qualität: Menschliche Bewerter bewerteten die generierten Labels hinsichtlich Genauigkeit bezüglich Objekten, Bewegung und Szenen-Erdung. Die kontrafaktischen Labels wurden als korrekt und plausibel befunden.
Navigationsleistung: CounterfactualVLA wurde auf 27 Anweisungsfolgetasks in drei Umgebungen (Büro, Küche, Außenpark) getestet. Die Aufgaben umfassten Objektnavigation, referenzielle Navigation (räumliche Beziehungen) und kontinuierliche Navigation.
- CounterfactualVLA übertraf VLAs, die auf unaugmentierten Daten trainiert wurden, um 27 %.
- Es erreichte eine Erfolgsrate, die doppelt so hoch war wie die der Baseline.
- Es übertraf den Stand der Technik (State-of-the-Art) in diesem Bereich.
Manipulationsleistung: In der Evaluierung von Pick-and-Place-Aufgaben mit Distraktoren zeigte die Methode eine Leistungssteigerung von 27 % gegenüber einer VLA, die mit Standarddaten trainiert wurde.

Bedeutung und Ansprüche
Das Paper behauptet, dass CAST eine skalierbare, dateneffiziente Methode darstellt, um die Steuerbarkeit und die Fähigkeit zum Befolgen von Anweisungen von VLA-Policies zu verbessern, ohne dass zusätzliche reale Datenerhebung erforderlich ist. Durch die Nutzung von fertigen VLMs zur Generierung kontrafaktischer Daten adressiert die Methode das Problem des „Posterior Collapse“, das in aktuellen Datensätzen inhärent ist. Die Autoren positionieren diese Arbeit als einen „ersten Schritt hin zu echtem Open-Set Robotic Language Following“ und zeigen auf, dass die Augmentierung bestehender Datensätze mit synthetischen Kontrafakten die Fähigkeit eines Roboters signifikant verbessern kann, komplexe, feingranulare Befehle in diversen Umgebungen zu befolgen. Der Code, die Daten und die Checkpoints werden zur Förderung weiterer Forschung Open-Source zur Verfügung gestellt.

Technische Zusammenfassung: CAST – Kontrafaktische Labels verbessern das Befolgen von Anweisungen in Vision-Language-Action-Modellen

Mehr davon