🤖 AI

Understanding Asynchronous Inference Methods for Vision-Language-Action Models

Dieser Beitrag stellt einen systematischen Vergleich von vier asynchronen Inferenzmethoden für Vision-Language-Action-Modelle unter kontrollierten Bedingungen vor und zeigt, dass die leichte residuale Korrektur (A2C2) auf den Benchmarks Kinetix und LIBERO besser abschneidet als andere Methoden, während die Simulation von Verzögerungen während des Trainings (TT-RTC) die robusteste Lösung ohne zusätzlichen Overhead bietet.

Ursprüngliche Autoren: Ayoub Agouzoul

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ayoub Agouzoul

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „langsame Koch" und der „hungrige Roboter"

Stellen Sie sich einen Roboter-Koch vor, der ein komplexes Gericht zubereiten möchte. Um dies zu tun, betrachtet der Koch (das KI-Modell) die Küche, liest das Rezept und plant dann die nächsten 10 Schritte des Kochvorgangs gleichzeitig. Dies wird als „Aktion-Chunking" bezeichnet. Anstatt zu entscheiden „Zwiebel hacken" und dann zu warten, um zu entscheiden „Karotte hacken", plant der Koch die gesamte Sequenz sofort. Das ist effizient.

Das Problem: Der Koch ist sehr nachdenklich, aber auch sehr langsam. Bis der Koch fertig ist, den Plan für die nächsten 10 Schritte aufzuschreiben, hat sich die Küche bereits verändert. Der Roboter hat sich bewegt, die Zutaten haben sich verschoben oder das Feuer ist hochgeschlagen. Der Plan, den der Koch gerade geschrieben hat, basiert nun auf einem alten Bild der Küche. Wenn der Roboter diesen „veralteten" Plan befolgt, hackt er vielleicht in die Luft statt in die Zwiebel.

Wenn der Roboter wartet, bis der Koch jeden Schritt fertig hat, bevor er sich bewegt, ist er zu langsam, um nützlich zu sein. Wenn er einfach mit dem alten Plan vorprescht, macht er Fehler.

Die vier Lösungen

Das Papier testet vier verschiedene Wege, um dieses Problem des „langsamen Kochs" zu lösen. Die Forscher haben einen einheitlichen Testbereich (wie eine riesige Simulations-Halle) aufgebaut, um zu sehen, welche Methode am besten funktioniert, wenn die Verzögerung länger wird.

1. IT-RTC: Der „Echtzeit-Editor"

Wie es funktioniert: Stellen Sie sich vor, der Koch schreibt den 10-Schritte-Plan, merkt aber, dass 3 Schritte bereits vergangen sind, bis er fertig schreibt. Anstatt das Papier wegzuwerfen, nimmt der Koch einen roten Stift, löscht die ersten 3 Schritte und schreibt dann schnell die verbleibenden 7 Schritte neu, um sie an die aktuelle Situation anzupassen.
Der Haken: Dieser Bearbeitungsprozess ist aufwendig. Der Koch muss zusätzliche Mathematik betreiben, um die alten Teile zu „rückgängig" zu machen und die neuen Teile zu „wiederherstellen". Es funktioniert gut bei kleinen Verzögerungen, wird aber bei langen Verzögerungen sehr langsam und unhandlich.

2. TT-RTC: Der Koch, für den „Übung Perfektion macht"

Wie es funktioniert: Anstatt den Plan nachdem er geschrieben wurde zu korrigieren, trainiert diese Methode den Koch, während des Lernens Verzögerungen zu üben. Während des Trainings wird dem Koch gesagt: „Hey, tu so, als würdest du 3 Schritte zu spät sein. Schreibe den Plan so, als wären die ersten 3 Schritte bereits erledigt, und gib mir nur den Rest."
Der Vorteil: Da der Koch gelernt hat, Verzögerungen zu erwarten, muss er beim eigentlichen Kochen keine zusätzlichen Korrekturen vornehmen. Er reicht einfach den Plan aus, und er ist bereits korrekt. Es fügt dem Kochprozess keine zusätzliche Zeit hinzu.

3. VLASH: Der „Zeitreisende"

Wie es funktioniert: Diese Methode versucht, die Zeit zu betrügen. Wenn der Koch in die Küche schaut, betrachtet er nicht nur den aktuellen Zustand; er nutzt die bekannten Bewegungen, um in seinem Geist vorzuspulen zu dem Punkt, an dem der Roboter sein wird, wenn der Plan fertig ist. Er schreibt den Plan basierend auf diesem zukünftigen Zustand.
Der Haken: In der realen Welt kann man die Zukunft nicht perfekt vorhersagen, ohne eine Kristallkugel zu haben. In den Tests des Papiers verwendeten sie eine „Kristallkugel" (perfekte Daten) für einen der Benchmarks, was dieser Methode einen großen Vorteil verschaffte, der im echten Leben möglicherweise nicht existiert. Außerdem, wenn die Verzögerung zu lang ist, wird die „Zeitreise"-Vermutung falsch, und der Plan scheitert.

4. A2C2: Der „Stichproben-Assistent"

Wie es funktioniert: Diese Methode behält den ursprünglichen Plan des Kochs genau so bei, fügt aber einen winzigen, superschnellen Assistenten hinzu. Der Koch schreibt den Plan, aber der Assistent steht neben dem Roboter. Bei jedem einzelnen Schritt, den der Roboter macht, betrachtet der Assistent die aktuelle Küche, überprüft den alten Plan des Kochs und macht eine winzige Korrektur, falls nötig.
Der Vorteil: Der Assistent ist sehr klein und schnell. Selbst wenn der Plan des Kochs alt ist, hält der Assistent den Roboter Schritt für Schritt in die richtige Richtung. Diese Methode war am zuverlässigsten, wenn die Verzögerungen lang waren.

Was haben sie herausgefunden?

Die Forscher testeten diese Methoden in zwei verschiedenen „Küchen" (Simulationen): einem einfachen 2D-Physikspiel (Kinetix) und einer komplexen 3D-Roboterarm-Aufgabe (LIBERO).

Der Gewinner für lange Verzögerungen (A2C2): Wenn die Verzögerung sehr lang wurde (wie das Warten auf 20 Schritte für einen Plan), war der Stichproben-Assistent (A2C2) der klare Gewinner. Er hielt den Roboter erfolgreich, selbst wenn der Koch sehr langsam war. Es war die einzige Methode, die nicht abstürzte, wenn die Verzögerung riesig war.
Der Gewinner für Geschwindigkeit und Einfachheit (TT-RTC): Wenn Sie das Modell neu trainieren können, ist TT-RTC das beste „Preis-Leistungs-Verhältnis". Es verlangsamt den Roboter überhaupt nicht und ist sehr stabil. Es ist wie dem Koch beizubringen, von Anfang an perfekt zu sein, sodass später keine Korrekturen mehr nötig sind.
Die „Old-School"-Methode (IT-RTC): Dies funktionierte bei sehr kurzen Verzögerungen okay, aber je länger die Verzögerung wurde, desto langsamer und ungeschickter wurde es, fast so schlecht wie gar nichts zu tun.
Die „Kristallkugel"-Methode (VLASH): Dies funktionierte überraschend gut, aber das Papier warnt davor, dass es auf dem perfekten Wissen über den zukünftigen Zustand beruhte (das echte Roboter nicht haben). Ohne dieses perfekte Wissen ist es möglicherweise nicht so stark.

Das Fazit

Wenn Sie einen Roboter bauen, der schnell reagieren muss:

Wenn Sie die KI neu trainieren können: Verwenden Sie TT-RTC. Es ist kostenlos ausführbar und sehr stabil.
Wenn Sie nicht neu trainieren können oder die Verzögerungen riesig sind: Verwenden Sie A2C2. Es fügt ein wenig zusätzliche Arbeit hinzu, rettet aber den Tag, wenn die Haupt-KI zu langsam ist.
Vermeiden Sie IT-RTC, wenn Sie lange Verzögerungen erwarten; es ist zu schwerfällig.

Das Papier sagt im Wesentlichen: „Warten Sie nicht einfach darauf, dass die langsame KI nachholt. Entweder lehren Sie sie, Verzögerungen zu erwarten, oder geben Sie ihr einen schnellen Assistenten, der ihre Fehler in Echtzeit korrigiert."

Technische Zusammenfassung: Verständnis asynchroner Inferenzmethoden für Vision-Language-Action-Modelle

1. Problemstellung

Vision-Language-Action (VLA)-Modelle haben sich als Paradigma für die allgemeine Robotersteuerung etabliert, indem sie visuelle Beobachtungen und Sprachanweisungen auf Aktionen abbilden. Moderne VLA-Richtlinien setzen häufig auf Action Chunking, bei dem eine Sequenz von $H$ zukünftigen Aktionen in einem einzigen Vorwärtsdurchlauf vorhergesagt wird, um Inferenzkosten zu amortisieren und sich akkumulierende Fehler zu reduzieren. Große VLA-Modelle leiden jedoch unter hoher Inferenz-Latenz (von zehn bis zu mehreren hundert Millisekunden).

Bei synchroner Ausführung hält der Roboter während der Inferenz an, was die Steuerfrequenz auf die Inferenzrate begrenzt, was für schnell reagierende Aufgaben unpraktisch ist. Naive asynchrone Ausführung entkoppelt Inferenz von Ausführung und wechselt zu neuen Chunks, sobald diese eintreffen. Dies führt jedoch zu drei Fehlermodi:

Diskontinuität an Chunk-Grenzen: Der neue Chunk ist mit Aktionen unvereinbar, die dem Roboter bereits zugewiesen wurden.
Veraltete Beobachtungen: Der neue Chunk basiert auf einer Beobachtung, die $d$ Schritte alt ist (wobei $d$ die Inferenzverzögerung in Steuerungsschritten ist).
Degradation im offenen Regelkreis: Zugewiesene Aktionen können sich während der Lebensdauer des Chunks nicht an Umweltveränderungen anpassen.

Obwohl vier Methoden vorgeschlagen wurden, um diese Probleme zu mildern – IT-RTC, TT-RTC, VLASH und A2C2 – wurden sie in inkompatiblen Codebasen mit unterschiedlichen Basisrichtlinien und Evaluierungsprotokollen entwickelt, was einen direkten Vergleich unmöglich macht.

2. Methodik

Die Autoren entwickelten zwei vereinheitlichte Codebasen (bt-kinetix in JAX/Flax und bt-libero in PyTorch/LeRobot), um alle vier Methoden unter harmonisierten Bibliotheken, Datensätzen und Basisrichtlinien zu integrieren. Sie bewerteten diese Methoden an folgenden Benchmarks:

Kinetix: Eine Suite für 2D-Kontinuierliche-Steuerung mit 10 dynamischen Umgebungen, unter Verwendung von MLP-Mixer-Richtlinien ( $H \in \{16, 30\}$ ).
LIBERO: Ein Manipulations-Benchmark mit 7 Freiheitsgraden unter Verwendung von SmolVLA ( $H=50$ ).

Die Evaluation umfasste Inferenzverzögerungen ( $d$ ) von bis zu 20 Steuerungsschritten (was reale Einsatzszenarien simuliert, die von lokalen GPUs bis hin zu Cloud-Inferenz über 4G reichen).

Die vier verglichenen Methoden

IT-RTC (Inference-Time Residual Correction via Training-free guidance): Ein trainingsfreier Ansatz unter Verwendung von Flow-Matching-Guidance. Er behandelt die ersten $d$ Aktionen eines neuen Chunks als bekannte Constraints und „inpaintet" die verbleibenden $H-d$ Aktionen während des Denoising-Prozesses unter Verwendung eines Pseudoinverse-Guidance-Terms. Es ist kein Nachtraining erforderlich, jedoch ist ein Rückwärtsdurchlauf (VJP) pro Denoising-Schritt erforderlich, was die FLOPs pro Schritt verdreifacht.
TT-RTC (Training-Time Residual Correction via Training-time delay simulation): Modifiziert den Trainingsprozess, um die Richtlinie auf Aktions-Präfixe zu konditionieren. Die Richtlinie lernt, nur die nicht-veralteten Postfix-Aktionen unter Angabe eines zugewiesenen Präfixes vorherzusagen. Es wird ein maskierter Verlust und nicht-verrauschte Ground-Truth-Präfixe während des Trainings verwendet. Es führt keinen Inferenz-Overhead ein und ist ein Drop-in-Ersatz für IT-RTC.
VLASH (Vision-Language-Action State-aware Conditioning): Adressiert veraltete Beobachtungen, indem der zukünftige Zustand des Roboters zum Ausführungszeitpunkt unter Verwendung bekannter vorheriger Aktionen geschätzt wird. Die Richtlinie wird auf diesen „vorausgerechneten" Zustand konditioniert, anstatt auf die veraltete Beobachtung. Es wird eine Temporal-Offset-Trainings-Augmentierung eingesetzt.
A2C2 (Asynchronous Action Correction via Correction head): Zielt auf Degradation im offenen Regelkreis ab. Es trainiert einen leichten Korrekturkopf, der in jedem Steuerungsschritt läuft und eine residuale Anpassung ( $\Delta a$ ) an die veralteten Aktionen der Basisrichtlinie ausgibt. Der Kopf konditioniert auf die neueste Beobachtung, Basisrichtlinien-Features und ein Feature für die Zeit im Chunk. Er ist mit anderen Methoden kombinierbar.

3. Hauptbeiträge

Vereinheitlichte Codebasen: Die Erstellung von bt-kinetix und bt-libero, die alle vier Methoden mit harmonisierten Abhängigkeiten integrieren und den ersten systematischen Vergleich ermöglichen.
Systematisches Benchmarking: Eine umfassende Evaluation über zwei unterschiedliche Benchmarks (Kinetix und LIBERO) mit variierenden Chunk-Größen ( $H$ ) und Verzögerungen ( $d$ bis 20), die Bereiche abdeckt, die für den realen Einsatz relevant sind (z. B. Edge-Server, Cloud-Inferenz).
Praktische Erkenntnisse: Analyse der Trade-offs zwischen Trainingskosten, Inferenz-Overhead und Generalisierung auf Out-of-Distribution (OOD)-Verzögerungen.

4. Ergebnisse

Kinetix-Ergebnisse (MLP-Mixer, $H=16, 30$ )

Leistung: A2C2 erzielte die höchste absolute Lösungsrate über nahezu alle Verzögerungen hinweg und behielt bis zu $d=8$ eine Lösungsrate von >90 % bei. TT-RTC war die robusteste trainingsbasierte Methode, zeigte Stabilität über verschiedene $d_{max}$ -Wahlen hinweg und generalisierte gut auf OOD-Verzögerungen.
IT-RTC: Wettbewerbsfähig bei niedrigen Verzögerungen, verschlechterte sich jedoch stark bei langen Chunks ( $H=30$ ) und hohen Verzögerungen ( $d > 8$ ), was darauf hindeutet, dass seine lineare VJP-Näherung versagt, wenn das Verhältnis von Präfix zu Postfix wächst.
VLASH: Zeigte einen Trade-off, der durch den Fine-Tuning-Verzögerungsbereich $[0, d_{max}]$ bestimmt wird. Ein breiteres $d_{max}$ verbesserte die Robustheit bei hohen Verzögerungen, beeinträchtigte jedoch die Genauigkeit bei niedrigen Verzögerungen.
TT-RTC vs. VLASH: TT-RTC war weitgehend unempfindlich gegenüber der Wahl von $d_{max}$ , während VLASH eine sorgfältige Abstimmung von $d_{max}$ an die erwartete Einsatzverzögerung erforderte.

LIBERO-Ergebnisse (SmolVLA, $H=50$ )

Umkehrung der Rangfolge: Die Rangfolge kehrte sich im Vergleich zu Kinetix bei höheren Verzögerungen um. A2C2 wurde bei hohen Verzögerungen ( $d \ge 4$ ) zur stärksten Methode und hielt einen Vorsprung von etwa 10 Punkten gegenüber den anderen.
IT-RTC & TT-RTC: Beide verschlechterten sich erheblich, wenn das Verhältnis von Präfix zu Postfix zunahm (aufgrund der längeren Chunk-Größe $H=50$ ). IT-RTC kollabierte jenseits von $d=8$ auf nahezu Basisleistung. TT-RTC, obwohl auf Kinetix stabil, verzeichnete auf LIBERO signifikante Genauigkeitsabfälle.
VLASH: Varianten mit breiterem $d_{max}$ ($8, 16$) blieben über Verzögerungen hinweg bemerkenswert stabil. Hinweis: Die Autoren betonen, dass VLASH-Ergebnisse auf LIBERO auf Ground-Truth-Zukunftszuständen (privilegierte Informationen) aufgrund von Diskrepanzen in Zustands-/Aktionsdimensionen beruhen und als Obergrenze für einsetzbare Varianten dienen.
Latenz: TT-RTC entsprach der Wandzeit-Latenz der naiven Basislinie. IT-RTC verursachte eine Latenzerhöhung von ca. 16 %. Der residuale Kopf von A2C2 fügte bei serieller Ausführung ca. 1,8 % Latenz hinzu.

Kostenanalyse

Inferenz-Overhead: IT-RTC verdreifacht die sequenziellen FLOPs der Denoising-Schleife. A2C2 akkumuliert Overhead proportional zum Ausführungshorizont $s$ (z. B. 50 Schritte auf LIBERO), was es pro Chunk auf großen Modellen teurer macht als IT-RTC, obwohl sein residueller Kopf isoliert betrachtet leichtgewichtig ist.
Trainingskosten: TT-RTC erfordert ein bescheidenes Fine-Tuning (ca. 25 % der Basis-Kosten auf Kinetix). VLASH und A2C2 erfordern umfangreicheres Training oder Nachtraining.
Break-Even: Auf LIBERO liegt der Break-Even-Punkt, an dem die einmaligen Trainingskosten von TT-RTC den wiederkehrenden Inferenz-Overhead von IT-RTC überwiegen, bei etwa 2,9 Millionen Episoden.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass keine einzelne Methode in allen Settings dominiert und die optimale Wahl von den spezifischen Einsatzbedingungen abhängt (Chunk-Größe, erwartete Verzögerung, Machbarkeit des Nachtrainings):

Wenn Nachtraining nicht möglich ist und die Verzögerung gering ist: IT-RTC ist eine sinnvolle Drop-in-Lösung.
Wenn Fine-Tuning möglich ist und Chunks kurz sind: TT-RTC bietet eine nahezu kostenlose Lösung mit keinem Inferenz-Overhead und robuster OOD-Generalisierung.
In VLA-Settings mit langen Chunks (z. B. SmolVLA): A2C2 ist die zuverlässigste Wahl für hohe Verzögerungen und lässt sich natürlich mit anderen Methoden kombinieren.
VLASH: Bleibt eine starke Wahl, sofern ein genauer Vorwärtszustandsmodell verfügbar ist und der Einsatzverzögerungsbereich zum Zeitpunkt des Fine-Tunings bekannt ist.

Die Autoren schließen, dass ihr systematischer Vergleich die Trade-offs zwischen diesen Methoden klärt und zukünftige VLA-Design- und Einsatzstrategien informiert. Sie weisen explizit auf Einschränkungen hin, darunter die Abhängigkeit von Oracle-Zukunftszuständen für VLASH auf LIBERO und die Annahme fester ganzzahliger Verzögerungen, was nahelegt, dass reale variable Latenzbedingungen Methoden verzögerungsbewusst wie TT-RTC und A2C2 weiter begünstigen könnten.