💻 Informatik

Real-Time Robot Execution with Masked Action Chunking

Dieses Paper stellt REMAC vor, eine Methode, die die Echtzeit-Roboter-Ausführung durch die Adressierung intra-Chunk-Inkonsistenz mittels maskiertem Action-Chunking und präfix-erhaltender Sampling-Verfahren verbessert und dadurch eine robuste sowie schnellere Aufgabenerfüllung ohne zusätzliche Latenz ermöglicht.

Ursprüngliche Autoren: Haoxuan Wang, Gengyu Zhang, Yan Yan, Yuzhang Shang, Ramana Rao Kompella, Gaowen Liu

Veröffentlicht 2026-01-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Haoxuan Wang, Gengyu Zhang, Yan Yan, Yuzhang Shang, Ramana Rao Kompella, Gaowen Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboterarm beizubringen, ein Glas Saft einzuschenken, ohne etwas zu verschütten. Um dies zu tun, muss der Roboter „denken“ (Daten verarbeiten) und „handeln“ (seinen Arm bewegen) zur exakt gleichen Zeit.

Das Problem ist, dass das Denken Zeit benötigt. Bis der Roboter seine Berechnung abgeschlossen und einen Befehl zur Bewegung gesendet hat, hat sich die Welt bereits leicht verändert. Wenn der Roboter wartet, bis die Berechnung abgeschlossen ist, bevor er sich bewegt, bewegt er sich zu langsam und unbeholfen. Wenn er sich bewegt, während er denkt, versucht er unter Umständen zwei verschiedene Dinge gleichzeitig zu tun, was dazu führen kann, dass er den Becher fallen lässt.

Dieses Paper stellt eine neue Methode namens REMAC vor, die Robotern hilft, sich geschmeidig und schnell zu bewegen, selbst wenn ihr „Denken“ leicht verzögert ist.

Die zwei großen Probleme

Die Autoren identifizierten zwei spezifische Gründe, warum Roboter scheitern, wenn sie versuchen, gleichzeitig zu denken und zu handeln:

Das „Zucken“-Problem (Inter-Chunk-Diskontinuität):
Stellen Sie sich vor, ein Roboter erhält eine Liste von 5 Anweisungen, um seinen Arm in einer glatten Kurve zu bewegen. Er führt die ersten zwei aus, hält dann aber an, um eine neue Liste von 5 Anweisungen zu erhalten. Wenn die neue Liste nicht perfekt mit der aktuellen Position des Arms übereinstimmt, könnte der Roboter ruckeln oder zu einer neuen Position springen. Es ist wie ein Tänzer, der mitten in einer Pose innehält, um nach dem nächsten Schritt zu fragen, und dann plötzlich in eine völlig andere Bewegung schnellt.
Das „Veraltet“-Problem (Intra-Chunk-Inkonsistenz):
Dies ist das schwierigere Problem, auf das sich das Paper konzentriert. Stellen Sie sich vor, der Roboter hat eine Liste von 5 Anweisungen. Er beginnt, diese auszuführen. Aber bis der Roboter zur dritten Anweisung auf dieser Liste gelangt, haben seine „Augen“ (Sensoren) bereits etwas Neues gesehen. Die Anweisung auf der Liste wurde für die alte Ansicht erstellt, aber der Robksi befindet sich nun in einer neuen Situation. Es ist, als würde man einer GPS-Route folgen, die vor 10 Sekunden berechnet wurde; man wird vielleicht angewiesen, links abzubiegen, aber man ist die Abzweigung bereits passiert. Der Roboter versucht etwas zu tun, das für seine aktuelle Realität nicht mehr sinnvoll ist.

Die Lösung: REMAC

Die Autoren schlagen ein System namens REMAC (Real-time Execution with Masked Action Chunking) vor, um dieses Problem zu lösen. Sie nutzen zwei Haupttricks:

1. Das „Augenbinden“-Training (Masked Action Chunking)

Normalerweise zeigt man einem Roboter beim Training die ganze Liste von 5 Anweisungen und sagt: „Führe alle diese aus.“ Aber in der realen Welt führt der Roboter nur die ersten paar aus, bevor er anhalten muss, um neue Anweisungen zu erhalten.

REMAC ändert dieses Training. Während der Übungsphase legen die Forscher eine „Augenbinde“ über die Trainingsdaten des Roboters. Sie verbergen die ersten paar Anweisungen auf der Liste und lassen den Roboter nur von den Anweisungen lernen, die er tatsächlich ausführen wird.

Die Analogie: Stellen Sie sich vor, Sie bringen einem Schüler das Autofahren bei. Anstatt ihm eine Karte der ganzen Stadt zu geben, decken Sie die ersten paar Kurven auf der Karte ab und zeigen ihm nur den Teil, durch den er gerade fährt. Dies zwingt den Schüler dazu, zu lernen, wie er auf die aktuelle Straße reagiert, anstatt nur eine lange, starre Route auswendig zu lernen, die eventuell nicht mehr passt, wenn er verzögert wird.

2. Die „Selbstkorrektur“-Schleife

Das System lehrt den Roboter auch, darauf zu schauen, was er gerade eben getan hat, und dies zu nutzen, um seine nächste Bewegung anzupassen. Es ist wie ein Musiker, der auf die Note hört, die er gerade gespielt hat, um sicherzustellen, dass die nächste Note perfekt passt, anstatt nur blind die Noten zu lesen.

Wie es in der Praxis funktioniert

Die Autoren haben dies auf zwei Arten getestet:

In einem Videospiel (Simulation): Sie erstellten 12 verschiedene virtuelle Roboteraufgaben. REMAC ermöglichte es den Robotern, Aufgaben schneller und erfolgreicher abzuschließen, selbst wenn die Verzögerung beim „Denken“ erhöht wurde.
In der realen Welt: Sie verwendeten einen echten Roboterarm (einen Franka Research 3), um Objekte wie Gurken und sogar einen Rubik's Cube aufzunehmen.
- Das Ergebnis: Andere Methoden ließen den Roboter entweder zu oft pausieren (was zu ruckartigen Bewegungen führte) oder ließen Objekte fallen, weil sie veralteten Anweisungen folgten. REMAC hielt den Roboter in Bewegung, arbeitete flüssig und schloss die Aufgaben häufiger erfolgreich ab, selbst wenn die Netzwerkverbindung langsam war.

Warum es besonders ist

Die meisten bisherigen Methoden versuchten, diese Probleme erst nach einem Fehler des Roboters zu beheben (wie ein Patch zur Laufzeit). REMAC behebt das Problem, indem es den Roboter schon im Vorfeld anders trainiert.

Kein zusätzlicher Lag: Im Gegensatz zu anderen Methoden, die zusätzliche Schritte hinzufügen, um die Bewegungen zu glätten (was den Roboter verlangsamt), läuft REMAC genauso schnell wie die ursprüngliche Roboter-Software.
Plug-and-Play: Es kann in bestehende „Robotergehirne“ integriert werden, ohne dass diese von Grund auf neu gebaut werden müssen.

Kurz gesagt: REMAC lehrt Roboter, Verzögerungen zu erwarten und Anweisungen zu ignorieren, die bereits veraltet sind, sodass sie in einer chaotischen, realen Umgebung reibungslos und schnell agieren können.

Technisches Resümee: Echtzeit-Robotersteuerung mit Masked Action Chunking (REMAC)

Problemstellung

Echtzeit-Ausführung ist entscheidend für cyber-physische Systeme wie Roboter, die in dynamischen Umgebungen operieren, wo selbst geringfügige Verzögerungen zum Aufgabenfehler führen können. Während Vision-Language-Action (VLA)-Modelle die robotergestützte Manipulation vorangebracht haben, bleibt die Gewährleistung der Echtzeit-Reaktionsfähigkeit eine Herausforderung.

Bestehende Ansätze stehen vor einem Zielkonflikt zwischen Geschwindigkeit und Genauigkeit:

Modellseitige Beschleunigung opfert oft die Genauigkeit zugunsten der Geschwindigkeit.
Action Chunking (Vorhersage einer Sequenz von Aktionen pro Schritt) verbessert die Effizienz, reduziert jedoch die Reaktionsfähigkeit auf plötzliche Zustandsänderungen und führt zu Diskontinuitäten an den Chunk-Grenzen.
Asynchrone Inferenz (Vorhersage des nächsten Chunks während der Ausführung des aktuellen Chunks) gewährleistet eine kontinuierliche Verfügbarkeit von Aktionen, verschärft jedoch zwei spezifische Fehlermodi:
1. Inter-Chunk-Diskontinuität: Inkohärente Übergänge zwischen aufeinanderfolgenden Aktions-Chunks aufgrund divergierender latenter Modi.
2. Intra-Chunk-Inkonsistenz: Ein kritischer, oft übersehener Aspekt, bei dem die innerhalb eines Chunks ausgeführten Aktionen teilweise nicht mit der aktuellen Wahrnehmung übereinstimmen. Konkret sind die ersten $d$ Aktionen eines Chunks (wobei $d$ die Inferenzverzögerung ist) vom vorherigen Chunk geerbt (konditioniert auf eine ältere Beobachtung $o_{t-h}$ ), was zu einer Diskrepanz mit dem aktuellen Zustand $o_t$ führt.

Vorherige Methoden adressierten primlich die Inter-Chunk-Diskontinuität durch Korrekturen zur Testzeit (z. B. Glättung, Inpainting oder Gradientenkorrektur). Diese beruhen jedoch häufig auf Heuristiken, die anfällig für Fehler sind, oder führen zusätzliche Latenz ein und ignorieren weitgehend die Intra-Chunk-Inkonsistenz.

Methodik: REMAC

Die Autoren schlagen Real-time Execution with Masked Action Chunking (REMAC) vor, eine Strategie zur Anpassung während der Trainingszeit, die korrektive Anpassungen auf einer vortrainierten Flow-Matching-Policy erlernt, ohne zusätzliche Inferenzlatenz zu verursachen. Die Methode zielt sowohl auf die Intra-Chunk-Konsistenz als auch auf die Inter-Chunk-Kontinuität ab.

1. Masked Action Chunking

Um die Intra-Chunk-Inkonsistenz zu adressieren, modifiziert REMAC das Trainingsziel, um die Verzögerung zwischen Beobachtung und Ausführung zu berücksichtigen.

Prefix Masking: Der Trainingsverlust wird auf den „ausführbaren“ Teil des Aktions-Chunks beschränkt. Eine verzögerungsbedingte Prefix-Maske $m_d$ schließt die ersten $d$ Aktionen (die vom vorherigen Chunk geerbt wurden und somit nicht mit der aktuellen Beobachtung übereinstimmen) vom Überwachungs-Signal aus. Dies zwingt die Policy, sich darauf zu konzentrieren, robuste Vorhersagen für die verbleibenden Aktionen trotz der Unsicherheit des geerbten Präfixes zu erlernen.
Self-Conditioned Curriculum: Um die Bedingungen zur Testzeit während des Trainings zu simulieren (wenn ausgeführte Aktionen nicht verfügbar sind), führen die Autoren ein Curriculum ein, das den Trainingsinput schrittweise von Ground-Truth-Aktionen zu den eigenen Vorhersagen der Policy verschiebt. Dies wird durch das Mischen der Ground-Truth-Chunk $A_t$ mit der Vorhersage der vortrainierten Policy $\tilde{A}_t$ unter Verwendung eines skalierten Mischparameters $\sigma$ erreicht. Dies mildert den Exposure Bias und stabilisiert das Training.
Residual Alignment ( $\Delta$ -matching): Ein zusätzlicher Verlustterm regt das Modell dazu an, die residuelle Korrektur relativ zur vortrainierten Policy zu erlernen, indem die induzierte Anpassung explizit mit der Differenz zwischen der vortrainierten Vorhersage und der Ground Truth abgeglichen wird.

2. Prefix-Preserved Sampling

Die Sampling-Pipeline wird zur Testzeit angepasst, um mit dem Trainingsverfahren übereinzustimmen:

Initialisierung: Der initiale latente Aktionszustand wird nicht aus einer Gaußschen Prior-Verteilung gezogen, sondern unter Verwendung der Aktionen initialisiert, die während der Verzögerungszeit ausgeführt werden sollen (das „Präfix“ aus dem vorherigen Chunk).
Bewahrtes Ausführen (Preserved Execution): Während der Integrationsschritte des Flow-Matching-Samplers wird das überlappende Segment zwischen dem aktuellen und dem kommenden Chunk (die Aktionen, die bereits für die Ausführung festgesetzt sind) beibehalten und nicht neu generiert. Nur der verbleibende Teil des Chunks wird synthetisiert.

3. Implementierung

Parameter-Effizienz: Die Methode verwendet Low-Rank Adaptation (LoRA), um die vortrainierte Policy feinabzustimmen, wobei maximal 1,5 % der Parameter hinzugefügt werden. Dies ermöglicht es dem Modell, verzögerungsbewusste Anpassungen zu erlernen, während die ursprüngliche Vorhersagekapazität des Modells erhalten bleibt.
Null Latenz-Overhead: Die LoRA-Gewichte werden in das Backbone integriert, und das Sampling-Verfahren erfordert keine zusätzliche Berechnung, wodurch sichergestellt wird, dass keine zusätzliche Inferenzverzögerung im Vergleich zur Basis-Policy entsteht.

Kernbeiträge

Identifizierung der Intra-Chunk-Inkonsistenz: Das Paper hebt hervor, dass die Fehlabstimmung zwischen geerbten Aktionen und der aktuellen Wahrnehmung ein kritischer Fehlermodus in der asynchronen Inferenz ist, der sich von der Inter-Chunk-Diskontinuität unterscheidet.
REMAC-Framework: Eine neuartige Trainingsstrategie, die Masked Action Chunking, Self-Conditioned Curriculum Scheduling und Residual Alignment kombiniert, um verzögerungsbewusste Policies zu erlernen.
Latenzfreie Anpassung: Im Gegensatz zu Korrekturmethoden zur Testzeit (z. B. RTC, BID), die zusätzlichen Rechenaufwand verursachen, führt REMAC keinen zusätzlichen Inferenz-Latenz-Overhead ein.
Kompatibilität: Die Methode ist als Plug-and-Play-Erweiterung konzipiert, die mit bestehenden Algorithmen zur Testzeit kombiniert werden kann.

Experimentelle Ergebnisse

Die Autoren evaluierten REMAC über 12 simulierte Aufgaben (Kinetix) und drei reale Greifaufgaben mit einem Franka Research 3 Roboter.

Simulation (Kinetix):
- REMAC übertraf die Baselines (Naive Async, Bidirectional Decoding, RTC) konsistent über alle Inferenzverzögerungen ( $d=0$ bis $d=4$ ) hinweg.
- Es zeigte höhere Erfolgsraten und schnellere Aufgabenabschlusszeiten.
- Die Leistungsdegradation war im Vergleich zu den Baselines bei zunehmender Verzögerung signifikant geringer.
- Ablationsstudien bestätigten, dass jede Komponente (Prefix Masking, Curriculum, $\Delta$ -matching) zur endgültigen Leistung beitrug, wobei die vollständige Methode die höchsten Erfolgsraten erreichte.
Einsatz in der realen Welt:
- In Aufgaben, die das Greifen von Objekten unterschiedlicher Schwierigkeit beinhalten (z. B. ein Rubik's Cube mit geringer Toleranz), erreichte REMAC einen höheren Fortschritt beim Abschluss der Aufgabe als Synchronous Inference, Naive Async, Temporal Ensembling und RTC.
- Bei injizierten Verzögerungen von bis zu 150 ms (um Netzwerk-/Hardware-Latenz zu simulieren) behielt REMAC seine Robustheit bei, während die Leistung von RTC aufgrund der zusätzlichen Latenz signifikant abfiel.
- Kinematische Analysen zeigten, dass REMAC im Vergleich zu synchronen Methoden glattere Trajektorien mit weniger abrupten Änderungen in Geschwindigkeit und Beschleunigung erzeugte.

Bedeutung

Das Paper behauptet, dass REMAC eine robuste Lösung für die Roboter-Echtzeitsteuerung unter asynchroner Inferenz bietet, indem es die Ursache der Intra-Chunk-Inkonsistenz durch Anpassung zur Trainingszeit statt durch Heuristiken zur Testzeit adressiert. Durch die Befähigung der Policies, gegenüber Diskrepanzen zwischen beabsichtigten Aktionen und der tatsächlichen Ausführung resilient zu bleiben, ohne zusätzliche Latenz zu verursachen, ermöglicht REMAC einen schnelleren und zuverlässigeren Aufgabenabschluss in dynamischen Umgebungen. Die Autoren positionieren die Methode als vielseitige Backbone-Verbesserung, die nahtlos in bestehende VLA-Frameworks integriert und mit anderen Strategien zur Testzeit kombiniert werden kann, um weitere Gewinne zu erzielen.