🤖 AI

TempoVLA: Learning Speed-Controllable Vision-Language-Action Policies

TempoVLA introduit une politique Vision-Langage-Action contrôlable en vitesse qui exploite l'Augmentation de Trajectoire à Vitesse Variable (VSTA) et un conditionnement explicite de la vitesse pour permettre aux robots d'ajuster dynamiquement leur vitesse d'exécution pour des phases de transit plus rapides ainsi que pour des phases de contact plus lentes et précises, surmontant ainsi les limitations de vitesse fixe des modèles existants.

Auteurs originaux : Dong Jing, Jingchen Nie, Tianqi Zhang, Jiaqi Liu, Huaxiu Yao, Zhiwu Lu, Mingyu Ding

Publié 2026-06-05

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Dong Jing, Jingchen Nie, Tianqi Zhang, Jiaqi Liu, Huaxiu Yao, Zhiwu Lu, Mingyu Ding

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un robot qui a appris à effectuer une tâche, comme empiler des gobelets ou plier une serviette, en regardant un humain le faire une seule fois. Le problème est que ce robot est coincé dans un monde à « vitesse unique ». Si la démonstration de l'humain était lente, le robot bouge lentement pour toujours. Si la démonstration de l'humain était rapide, le robot fonce partout pour toujours. Il ne peut pas décider de ralentir pour une partie délicate du travail ou d'accélérer lorsqu'il se déplace simplement dans un espace vide.

TempoVLA est un nouveau système qui donne aux robots un « bouton de volume » pour leur vitesse. Il permet à un seul cerveau de robot d'effectuer exactement la même tâche à 0,5x de vitesse (super lent et prudent), 1x (vitesse normale) ou 2x (super rapide), sur commande.

Voici comment ils ont procédé, divisé en deux parties simples :

1. Le « Monteur Vidéo » (Côté Données)

Avant d'enseigner au robot, les chercheurs ont dû corriger les vidéos d'entraînement. Ils ont créé un outil ingénieux appelé VSTA (Variable-Speed Trajectory Augmentation).

Considérez une démonstration de robot comme un film.

Pour le rendre plus rapide : l'éditeur prend un groupe de cadres consécutifs et les fusionne en un grand saut. C'est comme sauter les parties ennuyeuses d'un film pour arriver directement à l'action.
Pour le rendre plus lent : l'éditeur prend un grand mouvement et le divise en de nombreuses petites étapes lentes. C'est comme ajouter des effets de « ralenti » à une scène spécifique.

Crucialement, cet éditage ne change pas ce que le robot fait (la sémantique), mais seulement comment vite il le fait. Ils ont pris une démonstration originale et l'ont transformée en une bibliothèque de la même tâche réalisée à six vitesses différentes.

2. Le « Sélecteur de Vitesse » (Côté Modèle)

Une fois que le robot possède cette bibliothèque d'exemples rapides et lents, ils lui apprennent un nouveau tour. Ils donnent au robot un simple « sélecteur de vitesse » (un nombre comme 0,5, 1,0 ou 1,5) qu'il peut voir pendant qu'il travaille.

Si vous dites au robot : « Fais cela à une vitesse de 1,5x », le robot regarde ses données d'entraînement, voit les exemples rapides et prédit des mouvements plus grands et plus audacieux.
Si vous dites : « Fais cela à une vitesse de 0,5x », il regarde les exemples lents et prédit des mouvements minuscules et prudents.

Le robot n'a pas besoin d'être réentraîné de zéro pour chaque nouvelle vitesse. Il apprend simplement à écouter le « sélecteur de vitesse » et à ajuster ses mouvements musculaires en conséquence.

Le Bonus du « Pilote Intelligent »

L'article montre également que vous pouvez coupler ce robot à un « Pilote Intelligent » (un grand modèle de langage IA). Au lieu de taper manuellement « ralentis », le Pilote Intelligent regarde le flux vidéo de la caméra du robot.

Scénario : Le robot tend le bras au-dessus d'une table vide.
- Pilote Intelligent : « Chemin dégagé ! Va vite ! » (Le robot accélère).
Scénario : Le robot est sur le point de saisir un gobelet fragile.
- Pilote Intelligent : « Zone de danger ! Ralentis ! » (Le robot ralentit au pas de l'escargot).

Cela crée un robot qui accélère naturellement quand c'est sûr et décélère quand il a besoin de précision, et ce, sans intervention humaine.

Ce qu'ils ont découvert

Flexibilité : Le robot peut passer d'une vitesse à l'autre avec succès.
Meilleure Performance : De manière surprenante, entraîner le robot sur ces vitesses mixtes l'a rendu meilleur à la vitesse normale (1x) que les robots entraînés uniquement sur la vitesse normale. Il semble que le fait d'apprendre à se déplacer à différentes vitesses aide le robot à mieux comprendre la tâche.
Limites : Il existe une limite physique. Si vous demandez au robot d'aller trop vite (comme à 4x la vitesse), les moteurs physiques et les contrôleurs du robot ne peuvent pas suivre les instructions de son cerveau, et il commence à manquer sa cible. Mais dans une plage raisonnable (0,5x à 1,5x), cela fonctionne parfaitement.

En résumé, TempoVLA transforme un robot rigide à vitesse unique en un travailleur flexible capable de choisir son propre rythme, ce qui le rend plus sûr pour les tâches délicates et plus rapide pour les tâches de routine.

Résumé Technique : TempoVLA

Problématique

Les modèles de Vision-Langage-Action (VLA) existants pour la manipulation robotique héritent d'une vitesse d'exécution unique et fixe issue de leurs démonstrations d'entraînement. Cette rigidité est une limitation significative car les tâches de manipulation dans le monde réel alternent entre des phases de transit à faible risque (nécessitant une exécution rapide) et des phases de contact à haut risque (exigeant un mouvement lent et précis). Les efforts actuels pour modifier la vitesse d'exécution — tels que la compression de modèle, la réutilisation du cache KV ou l'apprentissage par renforcement — déplacent généralement la politique vers une autre vitesse fixe plutôt que de permettre un contrôle explicite et à la demande. De plus, ces méthodes se concentrent presque exclusivement sur l'accélération, laissant la décélération (essentielle pour l'insertion de précision et les transferts fragiles) largement inexplorée. Le défi central consiste à doter un VLA unique d'un contrôle de vitesse bidirectionnel explicite sans réentraîner son architecture de base de zéro ni collecter de nouvelles données.

Méthodologie

Les auteurs proposent TempoVLA, un cadre qui permet à une politique VLA unique d'exécuter des tâches à des vitesses variables contrôlées par un scalaire explicite $s$ . L'approche se compose de deux composantes couplées : une stratégie d'augmentation côté données et un mécanisme de conditionnement côté modèle.

1. Augmentation de Trajectoire à Vitesse Variable (VSTA)

La VSTA est une stratégie d'augmentation de données en ligne qui ré-cadence n'importe quelle démonstration existante à une vitesse cible $s$ tout en préservant la sémantique du mouvement. Elle opère en trois étapes :

Segmentation Cohérente avec le Mouvement : Les démonstrations sont segmentées selon des modes de mouvement (repos, translation, rotation, ou translation-et-rotation) et des événements de préhension (gripper). Les limites sont placées aux changements de mode ou de direction pour assurer la cohérence sémantique.
Transformation de Vitesse au Niveau du Bloc (Chunk) : À l'intérieur de chaque segment, la vitesse cible $s$ est réalisée en mappant $q$ images sources vers $p$ images de sortie ( $s = q/p$ ). Le mouvement total $\Delta$ d'un bloc est accumulé puis divisé à nouveau en $p$ étapes d'amplitude égale via une interpolation linéaire. Cela préserve le mouvement intégré du bloc tout en modifiant la forme de la trajectoire intra-bloc. Cette opération est valide pour les espaces d'action clos sous l'addition (ex: translations cartésiennes, vitesses articulaires et vecteurs angle-axe).
Échantillonnage de Début de Bloc en Ligne : Pour éviter de rejeter des observations lors du processus de recadrage temporel, l'offset de départ des blocs est randomisé pour chaque échantillon d'entraînement. Cela garantit qu'au cours de l'entraînement, chaque image source finit par servir de début de bloc valide, contribuant ainsi au signal d'entraînement.

2. Mécanisme de Conditionnement de la Vitesse

La politique $\pi_\theta(o_t, s)$ est entraînée sur le jeu de données augmenté avec le scalaire de vitesse $s$ injecté comme entrée de conditionnement explicite. L'article évalue trois schémas d'injection légers :

Préfixe Textuel : Prépendre une phrase (ex : « Effectuez la tâche à une vitesse de 1,5x ») à l'instruction linguistique.
RMSNorm Modulée par la Vitesse : Utiliser un petit MLP pour intégrer $s$ et l'ajouter à l'embedding de l'étape temporelle (timestep), qui module ensuite la RMSNorm des couches d'expert d'action.
Soft Prompt avec Ancres de Vitesse : Insérer des jetons de soft-prompt apprenables correspondant à des ancres de vitesse discrètes dans l'encodeur.

Les expériences indiquent que le contrôle de la vitesse peut être injecté avec un effort d'ingénierie minimal et est largement indépendant du mécanisme de conditionnement spécifique, le préfixe textuel étant choisi par défaut pour sa simplicité et sa flexibilité.

3. Contrôle de Vitesse Dynamique avec un Planificateur VLM

Au-delà des commandes fixes, TempoVLA supporte un ordonnancement de vitesse dynamique automatisé lorsqu'il est couplé à un Modèle de Vision-Langage (VLM) de haut niveau. Le VLM observe la scène et distribue des commandes de vitesse par bloc, permettant au système d'accélérer pendant les phases de transit à faible risque et de ralentir pour les phases de contact à haut risque sans intervention humaine.

Résultats Clés

Simulation (Benchmark LIBERO)

Faisabilité : La VSTA génère avec succès des démonstrations exécutables sur une plage de vitesses (0,5x à 2x) avec une erreur de mouvement négligeable ( $< 5 \times 10^{-8}$ ).
Gains de Performance : L'entraînement avec la VSTA améliore le taux de réussite par défaut à 1x par rapport à une base à vitesse unique. La performance maximale survient souvent à des vitesses modérées (1,25x ou 1,5x), suggérant que la compression du « remplissage de rythme » (rhythm padding) des données de téléopération par la VSTA conduit à une exécution plus décisive.
Granularité : Une granularité de vitesse plus fine lors de l'entraînement (ex : une plage de 7 vitesses) produit de meilleures performances pour toutes les vitesses par rapport aux plages plus grossières.
Limites : À des vitesses extrêmes (ex : 4x), la performance se dégrade en raison de l'incapacité du contrôleur de bas niveau à suivre de grandes amplitudes d'action dans un intervalle de contrôle unique, et non à cause d'un échec de la politique.

Expériences en Monde Réel

Configuration : Déployé sur un bras Franka à 7 degrés de liberté avec une pince parallèle sur cinq tâches (pick-and-place et manipulation d'objets déformables).
Taux de Réussite : La VSTA a augmenté le taux de réussite par défaut à 1x de 80,0 % (base) à 88,0 %.
Ordonnancement Dynamique : Lorsqu'il est couplé à un planificateur GPT-4o, le système a atteint un taux de réussite moyen de 96 %, surpassant la meilleure configuration à vitesse fixe. Le planificateur a correctement identifié les phases (espace libre vs contact) et a ajusté les vitesses en conséquence, bien qu'il soit resté conservateur, ne dispatchant que rarement la vitesse maximale de 1,5x.
Vitesse Réalisée : La vitesse d'exécution réalisée suit de près les vitesses commandées (ex : 1,29x réalisé pour 1,25x commandé), confirmant la traduction fidèle des prédictions de la politique vers l'exécution matérielle.

Signification et Revendications

L'article affirme que TempoVLA fournit une solution légère et prête à l'emploi (plug-and-play) pour le contrôle de vitesse bidirectionnel dans les VLA existants. Ses principales contributions sont :

Contrôle Bidirectionnel : Il permet à la fois l'accélération et la décélération à partir d'une politique unique, comblant une lacune des travaux précédents qui se concentraient principalement sur l'accélération.
Efficacité des Données : Il y parvient sans nouvelle collecte de données, en utilisant la VSTA pour recadrer temporellement les démonstrations existantes.
Augmentation Implicite : Le processus de recadrage temporel des données agit comme une augmentation efficace qui améliore la performance par défaut à 1x, forçant la politique à apprendre des caractéristiques plus fines dépendant de l'objet et du but, plutôt que de mémoriser des correspondances fixes entre observation et amplitude.
Ordonnancement Dynamique : Il démontre que la vitesse d'exécution peut servir de nouveau canal de contrôle pour les raisonneurs de haut niveau (VLM), permettant une exécution sensible aux phases où le robot équilibre de manière autonome vitesse et précision.

Les auteurs soulignent que si la politique elle-même supporte une large gamme de vitesses, la limite supérieure de la vitesse réalisée est dictée par la bande passante du contrôleur de bas niveau, suggérant que les travaux futurs pourraient impliquer un co-ajustement du contrôleur pour exploier pleinement l'enveloppe de contrôle de vitesse de la politique.