🤖 AI

TempoVLA: Learning Speed-Controllable Vision-Language-Action Policies

TempoVLA führt eine geschwindigkeitssteuerbare Vision-Language-Action-Policy ein, die Variable-Speed Trajectory Augmentation (VSTA) und explizite Geschwindigkeitskonditionierung nutzt, um Robotern zu ermöglichen, ihre Ausführungsgeschwindigkeit dynamisch für sowohl schnellere Transitphasen als auch langsamere, präzise Kontaktphasen anzupassen und dadurch die festen Geschwindigkeitsbeschränkungen bestehender Modelle zu überwinden.

Ursprüngliche Autoren: Dong Jing, Jingchen Nie, Tianqi Zhang, Jiaqi Liu, Huaxiu Yao, Zhiwu Lu, Mingyu Ding

Veröffentlicht 2026-06-05

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Dong Jing, Jingchen Nie, Tianqi Zhang, Jiaqi Liu, Huaxiu Yao, Zhiwu Lu, Mingyu Ding

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen Roboter, der gelernt hat, eine Aufgabe zu erledigen, wie zum Beispiel Becher zu stapeln oder ein Handtuch zu falten, indem er einem Menschen dabei einmal zugesehen hat. Das Problem ist, dass dieser Roboter in einer „Ein-Geschwindigkeits-Welt“ feststeckt. Wenn die menschliche Demonstration langsam war, bewegt sich der Roboter ewig langsam. Wenn die menschliche Demonstration schnell war, rast er ewig umher. Er kann nicht entscheiden, bei einem empfindlichen Teil der Arbeit langsamer zu werden oder bei einer Bewegung durch leeren Raum schneller zu werden.

TempoVLA ist ein neues System, das dem Roboter einen „Lautstärkeregler“ für seine Geschwindigkeit gibt. Es ermöglicht einem einzigen Robotergehirn, exakt dieselbe Aufgabe mit 0,5-facher Geschwindigkeit (super langsam und vorsichtig), 1-facher Geschwindigkeit (normal) oder 2-facher Geschwindigkeit (super schnell) auf Kommando auszuführen.

So haben sie es gemacht, unterteilt in zwei einfache Teile:

1. Der „Videoschnitt-Experte“ (Datenseite)

Bevor der Roboter trainiert wurde, mussten die Forscher die Trainingsvideos korrigieren. Sie entwickelten ein cleveres Werkzeug namens VSTA (Variable-Speed Trajectory Augmentation).

Stellen Sie sich eine Roboter-Demonstration wie einen Film vor.

Um es schneller zu machen: Der Editor nimmt eine Reihe aufeinanderfolgender Frames und verschmilzt sie zu einem großen Sprung. Es ist, als würde man die langweiligen Teile eines Films überspringen, um direkt zur Action zu gelangen.
Um es langsamer zu machen: Der Editor nimmt eine große Bewegung und teilt sie in viele winzige, langsame Schritte auf. Es ist, als würde man für eine bestimmte Szene einen „Zeitlupen-Effekt“ hinzufügen.

Entscheidend ist, dass dieser Schnitt nicht verändert, was der Roboter tut (die Semantik), sondern nur, wie schnell er es tut. Sie nahmen eine ursprüngliche Demonstration und verwandelten sie in eine Bibliothek derselben Aufgabe, die in sechs verschiedenen Geschwindigkeiten ausgeführt wird.

2. Der „Geschwindigkeitssender“ (Modellseite)

Sobald der Roboter über diese Bibliothek aus schnellen und langsamen Beispielen verfügt, bringen Sie ihm einen neuen Trick bei. Sie geben dem Roboter einen einfachen „Geschwindigkeitssender“ (eine Zahl wie 0,5, 1,0 oder 1,5), den er während seiner Arbeit „sieht“.

Wenn Sie dem Roboter sagen: „Mach das mit 1,5-facher Geschwindigkeit“, schaut der Roboter in seine Trainingsdaten, sieht die schnellen Beispiele und sagt größere, kühnere Bewegungen voraus.
Wenn Sie sagen: „Mach das mit 0,5-facher Geschwindigkeit“, schaut er auf die langsamen Beispiele und sagt winzige, vorsichtige Bewegungen voraus.

Der Roboter muss nicht für jede neue Geschwindigkeit von Grund auf neu trainiert werden. Er lernt einfach, auf den „Geschwindigkeitssender“ zu hören und seine Muskelbewegungen entsprechend anzupassen.

Der „Smart Pilot“-Bonus

Die Arbeit zeigt auch, dass man diesen Roboter mit einem „Smart Pilot“ (einem großen KI-Sprachmodell) koppeln kann. Anstatt dass Sie manuell „langsamer werden“ tippen, beobachtet der Smart Pilot das Kamerabild des Roboters.

Szenario: Der Roboter greift über einen leeren Tisch.
- Smart Pilot: „Freie Bahn! Werde schnell!“ (Der Roboter beschleunigt).
Szenario: Der Robbot ist kurz davor, einen zerbrechlichen Becher zu greifen.
- Smart Pilot: „Gefahrenzone! Werde langsamer!“ (Der Roboter verlangsamt sich bis zum Kriechseltempo).

Dies schafft einen Roboter, der natürlich beschleunigt, wenn es sicher ist, und abbremst, wenn er Präzision benötigt – und das alles ohne menschliches Eingreifen.

Was sie herausgefunden haben

Flexibilität: Der Robbot kann problemlos während des Betriebs zwischen Geschwindigkeiten wechseln.
Bessere Leistung: Überraschenderweise hat das Training des Roboters auf diesen gemischten Geschwindigkeiten ihn tatsächlich im Vergleich zu Robotern, die nur auf Normalgeschwindigkeit trainiert wurden, bei der normalen Geschwindigkeit (1x) besser gemacht. Es scheint, dass das Lernen von Bewegungen in verschiedenen Geschwindigkeiten dem Roboter hilft, die Aufgabe besser zu verstehen.
Grenzen: Es gibt eine physische Grenze. Wenn man den Roboter zu schnell werden lässt (wie bei 4-facher Geschwindigkeit), können die physischen Motoren und Controller des Roboters den Anweisungen des Gehirns nicht mehr folgen, und er beginnt, sein Ziel zu verfehlen. Aber innerhalb eines vernünftigen Bereichs (0,5x bis 1,5x) funktioniert es perfekt.

Kurz gesagt: TempoVola verwandelt einen starren, ein-geschwindigkeits-basierten Roboter in einen flexiblen Arbeiter, der sein eigenes Tempo wählen kann, was ihn sicherer für präzise Aufgaben und schneller für Routineaufgaben macht.

Technisches Resümee: TempoVLA

Problemstellung

Bestehende Vision-Language-Action (VLA)-Modelle für die Robotermanipulation erben eine einzige, feste Ausführungsgeschwindigkeit aus ihren Trainingsdemonstrationen. Diese Starrheit ist eine signifikante Einschränkung, da reale Manipulationsaufgaben zwischen risikoarmen Transitphasen (die eine schnelle Ausführung erfordern) und hochriskanten Kontaktphasen (die langsame, präzise Bewegungen verlangen) alternieren. Aktuelle Bemühungen zur Änderung der Ausführungsgeschwindigkeit – wie Modellkompression, KV-Cache-Wiederverwendung oder Reinforcement Learning – verschieben die Policy typischerweise zu einer anderen festen Geschwindigkeit, anstatt eine explizite, bedarfsorientierte Steuerung zu ermöglichen. Darüber hinaus konzentrieren sich diese Methoden fast ausschließlich auf die Beschleunigung, während die Verlangsamung (die für Präzisionsinsertionen und fragile Übergaben essenziell ist) weitgehend ununtersucht bleibt. Die Kernherausforderung besteht darin, ein einzelnes VLA mit expliziter, bidirektionaler Geschwindigkeitssteuerung auszustatten, ohne dessen Basisarchitektur von Grund auf neu zu trainieren oder neue Daten zu sammeln.

Methodik

Die Autoren schlagen TempoVLA vor, ein Framework, das es einer einzelnen VLA-Policy ermöglicht, Aufgaben mit variablen Geschwindigkeiten auszuführen, die durch einen expliziten Skalar $s$ gesteuert werden. Der Ansatz besteht aus zwei gekoppelten Komponenten: einer datenseitigen Augmentierungsstrategie und einem modellseitigen Konditionierungsmechanismus.

1. Variable-Speed Trajectory Augmentation (VSTA)

VSTA ist eine Online-Datenaumentierungsstrategie, die jede bestehende Demonstration auf eine Zielgeschwindigkeit $s$ umzeitet, während die Bewegungssemantik erhalten bleibt. Sie operiert in drei Schritten:

Bewegungskonsistente Segmentierung: Demonstrationen werden basierend auf Bewegungsmodi (Stillstand, Translation, Rotation oder Translation-und-Rotation) und Greifer-Events segmentiert. Grenzen werden an Moduswechseln oder Richtungsumkehrungen gesetzt, um semantische Konsistenz zu gewährleisten.
Chunk-Level Speed Transform: Innerhalb jedes Segments wird die Zielgeschwindigkeit $s$ dadurch realisiert, dass $q$ Quellframes auf $p$ Ausgabeframes abgebildet werden ( $s = q/p$ ). Die gesamte Bewegung $\Delta$ eines Chunks wird akkumuliert und dann in $p$ gleich große Schritte mit gleicher Magnitude aufgeteilt (mittels linearer Interpolation). Dies bewahrt die integrierte Bewegung des Chunks, verändert jedoch die Trajektorienform innerhalb des Chunks. Diese Operation ist gültig für Aktionsräume, die unter Addition abgeschlossen sind (z. B. kartesische Translationen, Gelenkgeschwindigkeiten und Achsen-Winkel-Vektoren).
Online Chunk-Start Sampling: Um zu vermeiden, dass Beobachtungen während des Re-Timings verworfen werden, wird der Start-Offset der Chunks für jedes Trainingsbeispiel randomisiert. Dies stellt sicher, dass im Verlauf des Trainings jeder Quellframe schließlich als gültiger Chunk-Start dient und zum Trainingssignal beiträgt.

2. Speed Conditioning Mechanism

Die Policy $\pi_\theta(o_t, s)$ wird auf dem augmentierten Datensatz trainiert, wobei der Geschwindigkeitsskalat $s$ als expliziter Konditionierungseingang zugeführt wird. Das Paper evaluiert drei leichtgewichtige Injektionsschemata:

Textual Prefix: Voranstellen eines Satzes (z. B. „Führe die Aufgabe mit 1,5-facher Geschwindigkeit aus“) vor die Sprachinstruktion.
Speed-Modulated RMSNorm: Verwendung eines kleinen MLPs, um $s$ einzubetten und es zum Timestep-Embedding hinzuzufügen, welches wiederum die RMSNorm der Action-Expert-Layer moduliert.
Soft Prompt mit Speed Anchors: Einfügen von lernbaren Soft-Prompt-Tokens, die diskreten Geschwindigkeitsankern entsprechen, in den Encoder-Input.

Experimente zeigen, dass die Geschwindigkeitssteuerung mit minimalem Engineering-Aufwand injiziert werden kann und weitgehend unabhängig vom spezifischen Konditionierungsmechanismus ist, wobei das Textual Prefix aufgrund seiner Einfachheit und Flexibilität als Standard gewählt wurde.

3. Dynamische Geschwindigkeitssteuerung mit VLM Scheduler

Über feste Befehle hinaus unterstützt TempoVLA eine automatisierte dynamische Geschwindigkeitsplanung, wenn es mit einem High-Level Vision-Language Model (VLM) gekoppelt wird. Das VLM beobachtet die Szene und weist pro-Chunk Geschwindigkeitsbefehle zu, was es dem System ermöglicht, während der risikoarmen Transitphase zu beschleunigen und während der hochriskanten Kontaktphasen zu verlangsamen, ohne menschliches Eingreifen.

Zentrale Ergebnisse

Simulation (LIBLIBERO Benchmark)

Machbarkeit: VSTA generiert erfolgreich ausführbare Demonstrationen über einen Bereich von Geschwindigkeiten (0,5x bis 2x) mit vernachlässigbarem Bewegungsfehler ( $< 5 \times 10^{-8}$ ).
Leistungssteigerungen: Das Training mit VSTA verbessert die Standard-1x-Erfolgsrate im Vergleich zu einer Single-Speed-Baseline. Die Spitzenleistung tritt oft bei moderaten Geschwindigkeiten (1,25x oder 1,5x) auf, was darauf hindeutet, dass die Komprimierung von „Rhythmus-Padding“ in Teleoperationsdaten durch VSTA zu einer entschlosseneren Ausführung führt.
Granularität: Eine feinere Geschwindigkeitsgranularität im Training (z. B. ein 7-Geschwindigkeitsbereich) liefert eine bessere Leistung über alle Geschwindigkeiten hinweg als gröbere Bereiche.
Grenzen: Bei extremen Geschwindigkeiten (z. B. 4x) sinkt die Leistung ab, was auf die Unfähigkeit des Low-Level-Controllers zurückzuführen ist, große Aktionsmagnituden innerhalb eines einzelnen Kontrollintervalls zu verfolgen, und nicht auf ein Versagen der Policy.

Reale Experimente

Setup: Einsatz an einem 7-DoF Franka-Arm mit einem Parallelgreifer bei fünf Aufgaben (Pick-and-Place und Manipulation deformierbarer Objekte).
Erfolgsrate: VSTA steigerte die Standard-1x-Erfolgsrate von 80,0 % (Baseline) auf 88,0 %.
Dynamische Planung: In Kombination mit einem GPT-4o Scheduler erreichte das System eine durchschnittliche Erfolgsrate von 96 % und übertraf damit die beste Fixed-Speed-Konfiguration. Der Scheduler identifizierte die Phasen (Freiraum vs. Kontakt) korrekt und passte die Geschwindigkeiten entsprechend an, blieb jedoch konservativ und versandte selten die maximale 1,5x Geschwindigkeit.
Realisierte Geschwindigkeit: Die realisierte Ausführungsgeschwindigkeit folgte eng den befohlenen Geschwindigkeiten (z. B. 1,29x realisiert für 1,25x befohlen), was die getreue Übersetzung der Policy-Vorhersagen in die Hardware-Ausführung bestätigt.

Bedeutung und Ansprüche

Das Paper behauptet, dass TempoVLA eine leichtgewichtige Plug-and-Play-Lösung für die bidirektionale Geschwindigkeitssteuerung in bestehenden VLAs bietet. Seine primären Beiträge sind:

Bidirektionale Steuerung: Es ermöglicht sowohl Beschleunigung als auch Verlangsamung aus einer einzigen Policy heraus und adresset damit eine Lücke in der bisherigen Forschung, die sich hauptsächlich auf die Beschleunigung konzentrierte.
Dateneffizienz: Es erreicht dies ohne neue Datenerhebung, indem es VSTA nutzt, um bestehende Demonstrationen umzutakten.
Implizite Augmentierung: Der Prozess des Umzeitens von Daten wirkt als effektive Augmentierung, die die Standard-1x-Leistung verbessert, indem die Policy gezwungen wird, feinere Objekt- und Ziel-bewusste Merkmale zu lernen, anstatt feste Beobachtung-zu-Magnitude-Abbildungen auswendig zu lernen.
Dynamische Planung: Es demonstriert, dass die Ausführungsgeschwindigkeit als neuer Kontrollkanal für High-Level-Reasoner (VLMs) dienen kann, was eine phasenbewusste Ausführung ermöglicht, bei der der Roboter autonom die Balance zwischen Geschwindigkeit und Präzision hält.

Die Autoren betonen, dass die Policy selbst zwar ein breites Spektrum an Geschwindigkeiten unterstützt, die Obergrenze der realisierten Geschwindigkeit jedoch durch die Tracking-Bandbreite des Low-Level-Controllers bestimmt wird. Dies deutet darauf hin, dass zukünftige Arbeiten eine Co-Optimierung des Controllers beinhalten könnten, um das Geschwindigkeitssteuerungs-Enveloppe der Policy voll auszuschöpfen.