💻 computer science

ChainVLA: Chaining Vision-Language-Action Queries through a Unified Execution State for Long-Horizon Manipulation

ChainVLA ist eine Vision-Language-Action-Policy mit 1,2 Milliarden Parametern, die durch das Verketten aufeinanderfolgender Abfragen über einen einheitlichen, revidierbaren Ausführungszustand, der rekurrentes Arbeitsgedächtnis für den Aufgabenfortschritt und Motion Tailing für die kontinuierliche Aktionsgenerierung kombiniert, eine überlegene Langzeit-Manipulationsleistung erzielt.

Ursprüngliche Autoren: Yuzhi Huang, Weijue Bu, Ziyi Xiong, Jie Wu, Fanding Huang, Jingyan Jiang, Zhi Wang

Veröffentlicht 2026-08-04

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yuzhi Huang, Weijue Bu, Ziyi Xiong, Jie Wu, Fanding Huang, Jingyan Jiang, Zhi Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, Ihr unordentliches Zimmer aufzuräumen. Sie geben ihm einen einfachen Befehl: „Räum das Spielzeug weg.“ Ein Roboter, der in winzigen, isolierten Schritten denkt, würde vielleicht auf den Boden schauen, einen roten Block aufheben und ihn in eine Kiste legen. Dann hält er inne. Er vergisst, dass er gerade den Block aufgehoben hat. Er schaut wieder auf den Boden, sieht einen blauen Block und hebt diesen auf. Aber was wäre, wenn der rote Block eigentlich unter dem blauen liegen sollte? Oder was, wenn der Roboter sich merken müsste, dass er die linke Seite des Zimmers bereits aufgeräumt hat, damit er nicht wieder dorthin geht? Dies ist die Herausforderung der „Long-Horizon Manipulation“ (langfristige Manipulation). Es geht nicht nur darum, einen Arm zu bewegen; es geht darum, eine laufende Geschichte im Kopf zu behalten, während die Hände beschäftigt sind.

In der Welt der Robotik verwenden Wissenschaftler etwas, das man „Vision-Language-Action“ (VLA)-Policies nennt. Betrachten Sie diese als das Gehirn des Roboters, das durch die Kamera sieht (Vision), Ihre Anweisungen liest (Language) und entscheidet, was zu tun ist (Action). Normalerweise arbeiten diese Gehirne in kurzen Intervallen. Sie erstellen einen Plan für die nächsten Sekunden, führen diese Bewegungen aus und hören dann sofort auf, um einen neuen Plan von Grund auf zu erstellen. Es ist, als würde man versuchen, einen Roman zu schreiben, indem man einen Satz schreibt, das Gedächtnis an den vorherigen Satz löscht und dann versucht, den nächsten Satz allein basierend auf der aktuellen Seite zu erraten. Das Problem ist, dass der Roboter oft den Faden der Geschichte verliert. Er vergisst, was er gerade erreicht hat, oder wird verwirrt, weil sein neuer Plan mit der Bewegung kollidiert, die er gerade ausführte. Diese Arbeit fragt: Wie können wir einen Roboter erschaffen, der sich an seine Geschichte erinnert und seine Bewegungen flüssig hält, während er gleichzeitig in Echtzeit die Welt betrachtet?

Der Roboter mit Gedächtnis und Schwung

Lernen Sie ChainVLA kennen. Es ist eine neue Art von Robotergehirn, das von Forschern entwickelt wurde, um das Problem des „vergesslichen Roboters“ zu lösen. Stellen Sie sich vor, Sie fahren mit dem Fahrrad einen gewundenen Pfad hinunter. Um aufrecht zu bleiben, benötigen Sie zwei Dinge: Sie müssen sich erinnern, wo Sie waren (Sind Sie gerade nach links abgebogen? Kommt ein Hügel?) und Sie müssen kontinuierlich in die Pedale treten, damit Sie nicht schwanken und stürzen. ChainVLA wurde gebaut, um genau das für Roboterarme zu tun.

Die meisten Robotergehirne von heute arbeiten wie ein Mensch, der ein Foto macht, eine Entscheidung trifft, das Foto weglegt, ein neues Foto macht und eine neue Entscheidung trifft. Sie tragen das „Gefühl“ der vorherigen Entscheidung nicht in die nächste hinein. ChainVLA ändert das Spiel, indem es diese Entscheidungen aneinanderreiht. Es erstellt einen speziellen „Execution State“ (Ausführungszustand), der wie ein Rucksack fungiert, den der Roboter trägt. Dieser Rucksack hat zwei sehr wichtige Fächer:

Das „Story“-Fach (Progress Context): Dieses hält das Gedächtnis darüber, was der Roboter bereits erreicht hat. Es ist wie eine mentale Checkliste. Wenn der Roboter gerade einen Block nach links bewegt hat, merkt sich dieses Fach: „Okay, die linke Seite ist frei.“ Es kombiniert ein schnelles Arbeitsgedächtnis (was gerade passiert) mit einem spärlichen Langzeitgedächtnis (wichtige Ereignisse, die vor einer Weile stattgefunden haben, wie „Ich habe zuerst den roten Block bewegt“). Dies hilft dem Roboter zu wissen, wo er sich im großen Bild der Aufgabe befindet.
Das „Momentum“-Fach (Motion Tail): Das ist der coole Teil. Wenn der Roboter beschließt, sich zu bewegen, sagt er nicht einfach nur „bewege dich vorwärts“. Er sagt eine ganze Sequenz von Bewegungen für die nächsten Sekunden voraus. Aber er führt nur die ersten paar Bewegungen tatsächlich aus, bevor er stoppt, um wieder nachzudenken. Der „Motion Tail“ ist der Teil dieser Vorhersage, der noch nicht ausgeführt wurde. ChainVLA speichert diesen unvollendeten Plan und speist ihn für den nächsten Schritt wieder in das Gehirn des Roboters ein. Es ist wie ein Läufer, der, selbst nachdem er kurz anhält, um die Schuhe zu binden, sich genau erinnert, wie schnell er gelaufen ist und in welche Richtung, damit er nicht bei Null anfangen muss.

Wie es in der Praxis funktioniert

Die Forscher haben diese Idee bei einigen schwierigen Aufgaben getestet. Eine der schwierigsten war die Aufgabe „Put Back Block“ (Block zurücklegen). Stellen Sie sich vor, ein Roboter muss einen Block an eine Stelle bewegen, dann ein anderes Objekt bewegen und schließlich den Block wieder auf den ursprünglichen Platz legen. Das Problem? Bis der Roboter bereit ist, den Block zurückzulegen, könnte der ursprüngliche Platz durch das neue Objekt von der Kamera verdeckt sein. Ein normaler Roboter würde in die Kamera schauen, nichts sehen und verwirrt sein. Er würde vergessen, wo der Platz war.

ChainVLA hingegen nutzt sein „Story“-Fach, um sich zu erinnern: „Hey, ich habe diesen Block vorhin dort platziert, auch wenn ich ihn jetzt nicht sehen kann.“ Gleichzeitig stellt das „Momentum“-Fach sicher, dass der Roboterarm beim Zurücklegen nicht ruckartig in eine seltsame, neue Richtung springt, die im Widerspruch dazu steht, wohin der Arm gerade zeigte.

Die Ergebnisse waren ziemlich dramatisch. In einem schwierigen Test namens RMBench war ChainVLA in 62,8 % der Fälle erfolgreich. Vergleichen Sie das mit anderen intelligenten Robotern:

Wenn man die „Story“ (Progress Context) entfernt, stürzt die Erfolgsquote auf 3,0 % ab. Der Roboter vergisst die Aufgabe komplett.
Wenn man das „Momentum“ (Motion Tail) entfernt, sinkt die Erfolgsquote auf 11,2 %. Der Roboter erinnert sich zwar an die Aufgabe, bewegt sich aber so ungeschickt, dass er scheitert.

Dies zeigt, dass beide Teile essenziell sind. Die „Story“ sagt dem Roboter, was er tun soll, und das „Momentum“ hilft ihm, dies flüssig zu tun, ohne über seine eigenen Füße zu stolpern.

Warum es wichtig ist

Die Arbeit legt nahe, dass das Lebendighalten der „unvollendeten Bewegung“ tatsächlich entscheidend dafür ist, sich an die Aufgabe zu erinnern. Es ist ein wenig wie ein Tanz: Wenn man zwischen den Schritten komplett aufhört zu tanzen, vergisst man vielleicht den Rhythmus. Aber wenn man den Rhythmus beibehält (der Motion Tail), kann das Gehirn die Choreografie (der Progress Context) besser behalten.

Als die Forscher versuchten, die Ungeschicklichkeit des Roboters zu beheben, indem sie lediglich die Bewegungen glätteten, nachdem der Roboter bereits entschieden hatte, was zu tun ist (ein gängiger Trick bei anderen Robotern), funktionierte es nicht. Der Roboter scheiterte trotzdem. Dies beweist, dass das Geheimnis nicht nur darin besteht, die Bewegungen schön aussehen zu lassen, sondern darin, die Idee der nächsten Bewegung in das Gehirn des Roboters einzuspeisen, bevor er eine neue Entscheidung trifft.

Kurz gesagt: ChainVLA legt nahe, dass Roboter, um langfristige, komplizierte Aufgaben bewältigen zu können, weniger wie eine Kamera sein sollten, die Schnappschüsse macht, sondern eher wie ein Geschichtenerzähler, der niemals den Platz im Buch verliert, während er gleichzeitig die Füße zum Takt der Musik bewegt. Dies ist ein kleiner Schritt in Richtung Roboter, die uns tatsächlich bei den unordentlichen, mehrstufigen Aufgaben des echten Lebens helfen können, ohne verwirrt zu werden oder alles fallen zu lassen.

Technisches Resümee: ChainVLA

Problemstellung

Langfristige robotergestützte Manipulation erfordert einen kontinuierlichen Ausführungsfluss, bei dem Entscheidungen sowohl von dem durch vorangegangene Aktionen etablierten Aufgabenfortschritt als auch von der Bewegungskontinuität laufender Aktionen abhängen. Bestehende Vision-Language-Action (VLA)-Policies operieren typischerweise in einem action-chunked, receding-horizon Regime. In diesem Design plant die Policy wiederholt ausgehend von der aktuellen Beobachtung, dem propriozeptiven Zustand und der Instruktion neu, sagt einen endlichen Aktionshorizont voraus, führt ein striktes Präfix aus und verwirft den Rest.

Dieses Design führt zu einem unvollständigen Cross-Query-Handoff auf zwei Ebenen:

Aufgabenebene: Frühere Aufgabenbelege (z. B. eine abgeschlossene Teilaufgabe oder das ursprüngliche Layout eines Objekts) verlassen möglicherweise das aktuelle Sichtfeld. Ohne ein explizites Gedächtnis dieser Ereignisse kann die Policy den korrekten nächsten Schritt nicht ableiten, wenn die aktuelle Ansicht mehrdeutig ist (z. B. die Aufgabe „Put Back Block“ in RMBench).
Bewegungsebene: Das Neuplanen verwirft das unausgeführte Fortsetzen der vorangegangenen Vorhersage. Dies führt dazu, dass das neu vorhergesagte Präfix potenziell nicht mit der bereits im Gange befindlichen Bewegung übereinstimmt, was Diskontinuitäten in Pose und Geschwindigkeit erzeugt. Da die ausgeführte Bewegung den Beobachtungsstrom für die nächste Abfrage formt, verschlechtern diese Diskontinuitäten die Qualität der Beobachtungen, die für die zukünftige Aufgabenfortschritts-Inferenz genutzt werden.

Bestehende Lösungen adressieren diese Probleme separat: Gedächtnis-erweiterte Policies bewahren die Aufgabenhistorie, vernachlässigen aber die Bewegungskontinuität, während zeitliche Ensembling-Verfahren oder Echtzeit-Ausführung die Bewegung bewahren, aber an langfristiger Aufgaben-Evidenz mangeln.

Methodik: ChainVsLA

ChainVLA ist eine 1,2B-Parameter starke VLA-Policy, die darauf ausgelegt ist, aufeinanderfolgende Abfragen durch einen gemeinsamen und revidierbaren Ausführungszustand ( $s_k = (g_k, u_k)$ ) zu verketten. Dieser Zustand wird über Query-Grenzen hinweg aufrechterhalten, was es der Policy ermöglicht, Aktionshorizonte unter der neuesten Beobachtung neu zu generieren und gleichzeitig den notwendigen Kontext beizubehalten.

1. Der Ausführungszustand

Der Zustand besteht aus zwei komplementären Komponenten:

Fortschrittskontext ( $g_k$ ): Trägt den aus Beobachtungen abgeleiteten Aufgabenfortschritt. Er ist eine Fusion aus:
- Arbeitszustand (Working State): Eine rekursive Zusammenfassung der aktuellen Ausführung, die bei jeder Abfrage unter Verwendung von Live-Token des aktuellen Inputs und einem begrenzten Cache rezenter Token aktualisiert wird.
- Spärliches Ereignisgedächtnis (Sparse Event Memory): Ein abrufbares Gedächtnis für spärliche, signifikante Meilensteine (z. B. Übergänge zwischen Phasen). Ereignisse werden basierend auf Phasen-Annotationen oder periodischen Regeln geschrieben und mittels einer Abfrage abgerufen, die auf der aktuellen Ausführungsschätzung und einer Alterskodierung basiert.
Bewegungsschwanz (Motion Tail, $u_k$ ): Trägt das unausgeführte Suffix der vorangegangenen Vorhersage. Diese Komponente überbrückt die Lücke zwischen dem ausgeführten Präfix und der nächsten Abfrage, indem sie ein „Kontinuations-Prior“ für die unvollendete Bewegung bereitstellt.

2. Query-Transition und Architektur

Bei jeder Abfrage $k$ erhält die Policy den aktuellen Input $x_k$ und den mitgeführten Zustand $s_k$ .

Zustandsaktualisierung: Der Encoder verarbeitet $x_k$ in multimodale Token. Eine gelernte Working-Query-Bank (Working-Query Bank) achtet auf diese Token und den vorherigen Arbeitszustand, um Live-Token ( $L_k$ ) und eine Zusammenfassung ( $\bar{W}_k$ ) zu erzeugen. Die Zusammenfassung ruft Ereignis-Evidenz ( $Z^e_k$ ) aus dem Sparse Event Memory ab.
Bildung des Fortschrittskontexts: $g_k$ wird durch die Fusion von $L_k$ und $Z^e_k$ gebildet.
Integration des Bewegungsschwanzes: Der eingehende Motion Tail ( $u_k$ ) konditioniert den Arbeitszustand und initialisiert den Prozess der Aktionsgenerierung. Speziell richtet er das normalisierte Suffix am vollständigen Horizont der Aktionsrepräsentation aus, um den initialen Mittelwert ( $\mu_{k+1}$ ) des Zustands des Decoders festzulegen.
Aktionsgenerierung: Ein Conditional-Flow-Decoder (DiT-Backbone) regeneriert den vollständigen Aktionshorizont $A_k$ , konditioniert auf $x_k$ , $g_k$ und $u_k$ . Entscheidend ist, dass der Decoder keine Position des Horizonts kopiert oder einfriert; er regeneriert jede Position basierend auf der neuesten Beobachtung, wodurch sichergestellt wird, dass der mitgeführte Zustand als revidierbares Prior und nicht als fester Plan fungiert.
Nächster Zustand: Nach der Ausführung des Präfixes wird das unausgeführte Suffix von $A_k$ zum Motion Tail ( $u_{k+1}$ ) für die nächste Abfrage.

3. Training

Das Training entrollt die Übergänge des Ausführungszustands in Episodenreihenfolge. Das Modell wird durch folgende Mechanismen supervidiert:

Standardmäßige Conditional-Flow-Aktionsziele.
Phasen-Supervision (sofern Annotationen vorhanden sind) für die Schätzung der Phase und die Schreibziele.
Ein Overlap-Konsistenz-Regularisierer, der Diskrepanzen zwischen den zeitlich ausgerichteten Überlappungen aufeinanderfolgender vorhergesagter Horizonte bestraft, um einen kohärenten Handoff zu fördern, ohne die Aktionen im neuen Horizont festzuschreiben.

Zentrale Beiträge

Identifikation von Cross-Query-Zustandskomponenten: Die Arbeit identifiziert Aufgabenfortschritt und unvollständige Bewegung als zwei komplementäre, asymmetrische Komponenten des Cross-Query-Ausführungszustands. Ablationsstudien zeigen, dass das Entfernen einer dieser Komponenten die Leistung drastisch reduziert, und deren Interaktion legt nahe, dass Bewegungskontinuität essenziell ist, um den für die Aufgabenfortschritts-Inferenz erforderlichen Beobachtungsstrom aufrechtzuerhalten.
ChainVLA-Policy: Eine 1,2B-Parameter starke Policy, die Abfragen durch einen gemeinsamen Zustand aus Fortschrittskontext und Bewegungsschwanz verkettet. Im Gegensatz zu bisheriger Arbeit regeneriert sie jeden Horizont unter der neuesten Beobachtung, während sie ein revidierbares Prior beibehält, das aus der vorangegangenen Vorhersage abgeleitet wurde.
Empirische Validierung: Umfassende Evaluierungen auf den RMBench- und LIBERO-Suites zeigen, dass ChainVLA bestehende gedächtnis-erweiterte und action-chunked Baselines übertrifft.

Ergebnisse

RMBench: ChainVLA erreicht eine durchschnittliche Erfolgsquote von 62,8 % über fünf gedächtnisabhängige Aufgaben. Dies übertrifft die stärkste gelistete Methode mit vollständiger Abdeckung (Mem-0 mit 52,8 %) deutlich und ist besonders effektiv bei der Aufgabe „Put Back Block“ (96 % vs. 90 % für Mem-0), bei der die Aufgaben-Evidenz das Sichtfeld verlässt.
LIBERO: Die Policy erreicht eine durchschnittliche Erfolgsquote von 98,8 % über vier Suiten (Spatial, Object, Goal, Long), wobei alle Suiten über 98 % Erfolg liegen.
Ablationsstudien:
- Das Entfernen des Fortschrittskontexts reduziert den RMBench-Erfolg auf 3,0 %.
- Das Entfernen des Motion Tails reduziert den RMBench-Erfolg auf 11,2 %.
- Das Ersetzen des mitgeführten Zustands durch Beobachtungshistorie und Post-Decoding-Temporal-Ensembling (FIFO Hist. + TE) liefert nur 35,6 % Erfolg.
- Post-Decoding-Glättungskontrollen (Linear Continuation, Temporal Ensemble) reduzieren zwar die Grenz-Diskontinuitäten, können aber den Aufgabenfolg nicht wiederherstellen, was darauf hindeutet, dass der Gewinn aus der Modell-seitigen Konditionierung des Generierungsprozesses resultiert und nicht bloß aus einer glatteren Ausführung.

Bedeutung

Die Arbeit behauptet, dass ChainVLA eine fundamentale Lücke in der langfristigen Manipulation schließt: das Fehlen eines vereinheitlichten Mechanismus, um sowohl langfristige Aufgaben-Evidenz als auch kurzfristige Bewegungskontinuität gleichzeitig zu handhaben. Die Ergebnisse legen nahe, dass Bewegungskontinuität nicht nur ein Kontrollziel ist, sondern eine Voraussetzung für eine zuverlässige Aufgabenfortschritts-Inferenz, da diskontinuierliche Bewegungen den Beobachtungsstrom in einer Weise verändern, die die Gedächtnisabfrage verschlechtert. Durch die Verkettung der Abfragen über einen gemeinsamen, revidierbaren Zustand ermöglicht ChainVLA Policies, Kohärenz über lange Horizonte aufrechtzuerhalten, ohne separate Planer oder Weltmodelle zu benötigen.