🤖 AI

Real-Time Execution with Autoregressive Policies

Diese Arbeit zeigt, dass autoregressive Policies durch die Anpassung von Tokenisierungshorizonten und die Anwendung von beschränktem Decoding eine Echtzeitausführung mit strikten Latenzgrenzen erreichen können und dadurch Flow-Matching-Gegenstücke sowohl in der Geschwindigkeit der Aufgabenerfüllung als auch in der Generalisierung übertreffen.

Ursprüngliche Autoren: Sangkyu Lee, Seohyeon Park, Tackgeun You, Avi Caciularu, Idan Szpektor, Hwasup Lim, Youngjae Yu

Veröffentlicht 2026-06-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sangkyu Lee, Seohyeon Park, Tackgeun You, Avi Caciularu, Idan Szpektor, Hwasup Lim, Youngjae Yu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter eine Aufgabe bei, wie zum Beispiel das Stapeln von Bechern oder das Aufheben eines Spielzeugs. Um dies zu tun, nutzt der Roboter ein „Gehirn“ (ein großes KI-Modell), das die Welt betrachtet, darüber nachdenkt, was zu tun ist, und dann Befehle an seine Arme sendet.

Das Problem mit diesen großen KI-Gehirnen ist, dass sie langsame Denker sind. Sie benötigen Zeit, um Informationen zu verarbeiten, bevor sie sprechen können. In der alten Arbeitsweise (Synchronous Inference) musste der Roboter seine Bewegung komplett stoppen, warten, bis das Gehirn fertig gedacht hatte, und dann erst wieder bewegen. Es ist wie ein Autofahrer, der bei jeder roten Ampel komplett anhalten muss, warten muss, bis die Ampel grün wird, und dann erst wieder losfährt. Das macht den Roboter tollpatschig, langsam und unresponsiv gegenüber plötzlichen Veränderungen.

Um dies zu beheben, versuchten Forscher normalerweise, ein anderes Modell eines „Gehirns“ (genannt Diffusion Policies) zu verwenden, das schneller denken konnte. Aber die Autoren dieser Arbeit fragten sich: Was wäre, wenn wir das ursprüngliche, langsamere „Autoregressive“ Gehirn genauso gut in Echtzeit zum Laufen bringen könnten?

So haben sie es gemacht, erklärt mit einer einfachen Analogie:

Die „Koch und Kellner“-Analogie

Stellen Sie sich vor, das Gehirn des Roboters ist ein Koch (das KI-Modell) und der Arm des Roboters ist ein Kellner.

Das alte Problem (Synchronous):
Der Kellner fragt den Koch: „Was soll ich als Nächstes tun?“ Der Koch unterbricht das Kochen, denkt lange nach, schreibt ein vollständiges 10-Schritte-Rezept auf ein Stück Papier und reicht es dem Kellner. Der Kellner liest das Ganze durch und beginnt dann, die Schritte auszuführen. Während der Kellner mit den ersten 5 Schritten beschäftigt ist, sitzt der Koch nur da und tut nichts, während er darauf wartet, dass der Kellner das nächste Rezept fertigstellt. Dies verursacht, dass der Roboter „pausiert“ und hinterherhinkt.

Die neue Lösung (Echtzeit-Ausführung mit Autoregressive Policies):
Die Autoren erkannten, dass sie die Art und Weise, wie der Koch und der Kellner miteinander kommunizieren, ändern können, ohne das Gehirn des Kochs selbst zu verändern.

Kleinere Chargen (Die Tokenisierungs-Horizonte):
Anstatt den Koch zu bitten, ein ganzes 10-Schritte-Rezept auf einmal zu schreiben, bitten wir ihn um nur 2 Schritte auf einmal. Das ist viel schneller zu schreiben.

Analogie: Der Koch schreibt eine winzige Notiz: „Schritt 1: Becher aufheben. Schritt 2: Zum Teller bewegen.“ Der Kellner schnappt sich diese Notiz sofort und beginnt sich zu bewegen.

Die Aktions-Warteschlange (Das Förderband):
Der Kellner bewahrt ein kleines Tablett (eine Warteschlange) mit diesen winzigen Notizen auf. Sobald der Kellner die erste Notiz erledigt hat, greift er sich die nächste vom Tablett.

Analogie: Der Kellner hält niemals inne, weil immer eine Notiz bereit auf dem Tablett liegt. Der Koch ist bereits damit beschäftigt, die nächste Notiz zu schreiben, während der Kellner die aktuelle bereits ausführt. Dies ist Asynchronous Inference (Denken während der Bewegung).

Der Sicherheitswächter (Constrained Decoding):
Da der Koch schneller schreibt, besteht das Risiko, dass er etwas schreibt, das zu lang ist oder keinen Sinn ergibt (wie ein Rezept, das sagt: „Spring zum Mond“). Die Autoren fügten einen „Sicherheitswächter“ hinzu, der die Arbeit des Kochs überprüft.

Analogie: Der Sicherheitswächter stellt sicher, dass der Koch nur Notizen schreibt, die kurz genug sind, um gelesen werden zu können, bevor der Kellner die Zeit abläuft. Wenn der Koch versucht, einen zu langen Satz zu schreiben, schneidet der Wächter ihn ab oder erzwingt eine einfachere Version. Dies garantiert, dass der Kellner niemals anhalten muss, um zu warten.

Die „Beste-Vermutung“-Strategie (Multi-Trajectory Decoding):
Während der Kellner beschäftigt ist, hat der Koch noch ein wenig zusätzliche Zeit. Anstatt nur eine Notiz zu schreiben, entwirft der Koch schnell vier verschiedene Versionen des nächsten Schritts und wählt die beste aus.

Analge: Der Koch denkt: „Option A: Nach links bewegen. Option B: Nach rechts bewegen. Option C: Hoch heben. Option D: Tief heben.“ Der Sicherheitswächter prüft alle vier schnell, und der Kellner wählt die beste aus, um sie auszuführen. Dies macht den Roboter intelligenter und präziser, ohne ihn zu verlangsamen.

Was haben sie herausgefunden?

Die Forscher testeten diese neue Methode an Robotern sowohl in Computersimulationen als auch in der realen Welt.

Schneller als das „langsame“ Gehirn: Obwohl das ursprüngliche „Autoregressive“ Gehirn dafür bekannt war, langsam zu sein, ließ diese neue Methode es so reibungslos laufen, dass es in vielen Aufgaben die neueren, „schnelleren“ Diffusion-Gehirne sogar übertraf.
Bessere Befolgung von Anweisungen: Da das Autoregressive Gehirn von Natur aus gut darin ist, komplexe Sprache zu verstehen (wie ein Mensch, der ein Rezept liest), befolgte es Anweisungen besser als andere Arten von Robotern, selbst wenn es sich schnell bewegte.
Kein Pausieren mehr: Der Roboter hielt niemals inne. Er reagierte sofort auf Veränderungen, weil der „Koch“ immer einen Schritt voraus war und die nächste Notiz schrieb, während der „Kellner“ sich bereits bewegte.

Das wichtigste Fazament

Das Paper beweist, dass man nicht zu einem völlig anderen KI-Gehirn wechseln muss, um einen Roboter in Echtzeit bewegen zu lassen. Man muss nur ändern, wie man das Gehirn nach Anweisungen fragt. Indem man Anweisungen in winzige Stücke zerlegt, sie auf ihre Geschwindigkeit prüft und das Gehirn denken lässt, während der Roboter sich bewegt, kann man selbst die „langsamen“ Denker schnell, geschmeidig und hochreaktiv machen.

Kurz gesagt: Tausche nicht den Motor aus; ändere nur das Getriebe.

Technisches Resümee: Echtzeit-Ausführung mit autoregressiven Policies

1. Problemstellung

Die Implementierung von großskaligen Vision-Language-Action (VLA) Modellen in der Robotik steht vor einem kritischen Engpass: der Inferenzlatenz. Die den Foundation-Modellen inhärenten großen Parametergrößen führen dazu, dass das „Denken-dann-Bewegen“-Paradigma (synchrones Inferenzverfahren) signifikante Leerlaufzeiten des Roboters verursacht. Während dieser Pause kann der Roboter nicht auf Umweltveränderungen reagieren, was sowohl die Reaktionsfähigkeit als auch die Aufgabenabschlussgeschwindigkeit beeinträchtigt.

Während jüngste Arbeiten die Echtzeit-Ausführung (asynchrone Inferenz oder „Denken-während-der-Bewegung“) adressiert haben, lag der Fokus primär auf diffusionsbasierten Policies (paralleles Dekodieren). Autoregressive Policies (sequentielles Dekodieren), die Vorteile in der Konvergenzgeschwindigkeit und der Generalisierbarkeit beim Befolgen von Instruktionen bieten, wurden in der Forschung zur Echtzeit-Ausführung weitgehend ausgeschlossen. Dies liegt daran, dass ihre sequentielle Natur typischerweise zu einer höheren Latenz ( $\delta_{t,H}$ ) führt, was sie für die strengen zeitlichen Anforderungen der asynchronen Steuerung ungeeignet macht, bei der der Roboter kontinuierlich Aktionen ohne Unterbrechung erhalten muss.

Die zentrale Herausforderung besteht darin, autoregressive Policies in der Lage zu machen, in Echtzeit zu operieren, ohne deren inhärente Vorteile zu opfern, indem sichergestellt wird, dass der Roboter trotz der variablen und oft hohen Latenz der Token-für-Token-Generierung einen kontinuierlichen Strom an Aktionen erhält.

2. Methodik

Die Autoren schlagen $\pi_0$ -REALFAST vor, ein Framework, das die Echtzeit-Ausführung für autoregressive Policies durch vier zentrale technische Anpassungen ermöglicht:

A. Entkopplung von Aktionshorizonten und Tokenisierung

Die Autoren definieren die Strategie des Action Chunking neu. Anstatt den gesamten Aktionshorizont $H$ auf einmal zu tokenisieren, setzen sie $H = 2m$ und tokenisieren in zwei Stufen:

Conditioning Prefix: Die ersten $m$ Aktionen (bereits ausgeführt oder in der Warteschlange) werden als Präfix tokenisiert ( $T_m(A_{0:m})$ ).
Vorhersage: Das Modell sagt die nächsten $m$ Aktionen ( $T_m(A_{m:2m})$ ) voraus, bedingt durch das Präfix und die aktuelle Beobachtung.
Dies reduziert die Anzahl der zu dekodierenden Token in einem einzelnen Inferenzschritt, was die benötigte Latenz $\delta_{t,m}$ zur Generierung des nächsten ausführbaren Chunks direkt senkt.

B. Beschränktes Dekodieren für Latenzgrenzen

Um zu garantieren, dass der Roboter niemals pausiert, muss das System sicherstellen, dass die Zeit zum Dekodieren des nächsten Chunks ( $\delta_{t,m}$ ) nicht die Zeit überschreitet, die der Controller für den Verbrauch des aktuellen Chunks benötigt ( $d_m \cdot \Delta t$ ).

Problem: Die Token-Längen in autoregressiven Modellen variieren, was die Latenz unvorhersehbar macht.
Lösung: Die Autoren implementieren beschränktes Dekodieren (constrained decoding). Sie modellieren den Dekodierungsprozess als ein begrenztes „Wechselgeldproblem“ unter Verwendung von dynamischer Programmierung (DP).
- Eine DP-Tabelle wird vorberechnet, um zu bestimmen, ob eine spezifische Token-Sequenzlänge $L$ innerhalb einer maximalen Schrittanzahl $B$ gültig detokenisiert werden kann.
- Während der Inferenz werden die Logits für Tokens maskiert, die die Latenzgrenze verletzen würden (d. h. zu einer Sequenz führen, die nicht innerhalb von $B$ Schritten detokenisiert werden kann).
- Dies garantiert, dass der Dekodierungsprozess innerhalb einer strikten Latenzgrenze $\delta'$ abgeschlossen wird, sodass $d_m \le m$ gilt.

C. Multi-Trajektorien-Dekodierung

Um die Leistung während der „Leerlaufzeit“ zu maximieren, die durch die Latenzlücke zwischen Inferenz und Aktionsverbrauch entsteht, verwenden die Autoren eine Multi-Trajektorien-Dekodierung.

Das Modell generiert $N$ Kandidaten-Trajektorien (z. B. $N=4$ ) parallel.
Da das Präfix (KV-Cache) geteilt wird, ist der Rechenaufwand marginal.
Die beste Trajektorie wird basierend auf der Likelihood ausgewählt, was die Erfolgsraten verbessert, ohne die Worst-Case-Latenzgrenze zu erhöhen.

D. Asynchroner Inferenz-Loop

Das System arbeitet asynchron:

Der Client (Robotercontroller) verwaltet eine Aktionswarteschlange (Action Queue, AQ).
Der Server (Policy) dekodiert die nächsten $m$ Tokens, bedingt durch das AQ-Präfix.
Sobald die Dekodierung abgeschlossen ist (innerhalb der Grenze), wird der neue Chunk an die AQ angehängt.
Der Roboter führt Aktionen aus der AQ kontinuierlich aus, wodurch sichergestellt wird, dass keine Pausen auftreten, selbst wenn die Policy noch am Berechnen des nächsten Chunks ist.

3. Zentrale Beiträge

Machbarkeit der Echtzeit-Ausführung autoregressiver Policies: Die Arbeit zeigt, dass autoregressive Policies eine Echtzeit-Ausführung erreichen können, was die Annahme widerlegt, dass sie für die asynchrone Steuerung zu langsam seien.
Latenzgarantiertes Dekodieren: Die Einführung des beschränkten Dekodierens via dynamischer Programmierung gewährleistet strikte Latenzgrenzen, eine Voraussetzung, um Roboter-Pausen in asynchronen Umgebungen zu verhindern.
Leistungsoptimierung: Die Kombination aus reduzierten Token-Horizonten ( $m$ ) und Multi-Trajektorien-Dekodierung ermöglicht es autoregressiven Policies, gleichwertige Flow-Matching-Policies (Diffusion) in Echtzeit-Szenarien zu übertreffen.
Robustheit gegenüber externer Latenz: Die Methode behält hohe Erfolgsraten bei, selbst wenn externe Latenzen (Netzwerk/Sensorik) variieren, sofern die Inferenzfrequenz ( $d_m$ ) korrekt gesteuert wird.

4. Experimentelle Ergebnisse

Die Autoren evaluierten $\pi_0$ -REALFAST (feingetunt von $\pi_0$ -FAST) gegen Baselines einschließlich $\pi_0$ (Flow-Matching) und $\pi_0.5$ (Flow-Matching mit FAST-Tokenizer) in sowohl simulierten als auch realen Umgebungen.

Simulierte Umgebung (LIBERO):
- $\pi_0$ -REALFAST übertraf $\pi_0$ mit Real-Time Action Chunking (RTC) konsistent über alle Aufgabenkategorien hinweg (Spatial, Object, Goal, Long).
- Es erreichte eine vergleichbare Leistung wie das fortgeschrittenere $\pi_0.5$ , obwohl $\pi_0.5$ auf größeren Datensätzen trainiert wurde.
- Die Studie verdeutlichte, dass das Erzwingen von $d_m \le m$ (Ermöglichen einer niedrigeren Inferenzfrequenz als die Aktionsverbrauchsrate) robuster ist als eine strikte $d_m = m$ Synchronisation, welche bei $\pi_0$ zu Leistungsdegradationen führte.
Reale Umgebung (DROID):
- In Zero-Shot-Tabletop-Manipulationsaufgaben übertraf $\pi_0$ -REALFAST die synchrone $\pi_0$ -FAST Baseline signifikant.
- Es war leistungsfähiger als $\pi_0$ und zeigte eine vergleichbare Leistung wie $\pi_0.5$ .
- Qualitative Analyse: Im Gegensatz zur synchronen Inferenz, die oft aufgrund von Überschwingen (Unfähigkeit, mitten in der Trajektorie anzupassen) zu Kollisionen führte, konnte $\pi_0$ -REALFAST Trajektorien in Echtzeit anpassen, um Kollisionen zu vermeiden, was den entscheidenden Wert häufiger Aktions-Updates unterstreicht.
Ablationsstudien:
- Beschränktes Dekodieren: Das Entfernen des beschränkten Dekodierens führte zu einer Verschlechterung der Leistung, was dessen Notwendigkeit bestätigt.
- Trainingsschritte: Das Modell erreichte schnell seine Spitzenleistung (innerhalb von 6k Schritten), was konsistent mit den schnellen Konvergenzeigenschaften autoregressiver Policies ist.
- Multi-Trajektorie: Eine Erhöung von $N$ (Anzahl der Trajektorien) verbesserte die Erfolgsraten, was den Nutzen der Nutzung von Leerlauf-Rechenkapazität validiert.

5. Bedeutung und Ansprüche

Die Arbeit behauptet, dass autoregressive Policies eine wettbewerbsfähige und lebensfähige Wahl für die Echtzeit-Robotersteuerung sind, sofern die Inferenzlatenz durch spezifische architektonische und Dekodierungsstrategien gesteuert wird.

Neubewertung der Trade-offs: Die Autoren argumentieren, dass das Feld die Reduzierung der Inferenzlatenz (um Reaktionsfähigkeit zu sichern) zu stark priorisiert hat, dies jedoch auf Kosten der Robustheit und Generalisierbarkeit der Policies geschah. Ihre Ergebnisse legen nahe, dass eine etwas höhere, aber gebundene Latenz, gepaart mit den Generalisierungsfähigkeiten autoregressiver Modelle, bessere Einsatzsergebnisse liefert als Low-Latency-Policies, denen diese Fähigkeiten fehlen.
Native Unterstützung: Die Ergebnisse motivieren das Pretraining von autoregressiven Policies, um die Echtzeit-Ausführung nativ zu unterstützen, anstatt sie als nachrangig gegenüber Diffusions-Ansätzen zu behandeln.
Limitierungen: Die Autoren merken bescheiden an, dass ihre Experimente derzeit auf Single-Arm-Systeme in relativ statischen Tabletop-Umgebungen beschränkt sind. Die Erweiterung auf bimanuale oder hochdynamische Aufgaben würde das Dekodieren von mehr Tokens erfordern, was strengere Latenzgrenzen setzt, die möglicherweise weitere architektonische Innovationen (z. B. Speculative Decoding) notwendig machen.

Zusammenfassend lässt sich sagen, dass die Arbeit etabliert, dass autoregressive Policies mit asynchroner Inferenz, Anpassung des Tokenisierungs-Horizonts und beschränktem Dekodieren die Leistung von Diffusions-Gegenstücken in der Echtzeit-Roboter-Implementierung erreichen oder sogar übertreffen können, indem sie deren überlegene Fähigkeiten beim Befolgen von Instruktionen und der Konvergenz nutzen.