🤖 machine learning

Reinforcement Learning for Real-Time Vision-Language-Action Policies

Cet article introduit Real-Time EXPO-FT, un cadre d'apprentissage par renforcement qui découple la génération d'actions expressives et lentes de l'édition d'actions réactives et rapides afin de permettre une adaptation efficace en termes d'échantillonnage et de haute performance des grands modèles Vision-Langage-Action aux dynamiques du monde réel malgré la latence d'inférence.

Auteurs originaux : Perry Dong, Kuo-Han Hung, Dorsa Sadigh, Chelsea Finn

Publié 2026-09-17

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Perry Dong, Kuo-Han Hung, Dorsa Sadigh, Chelsea Finn

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Les robots ont longtemps lutté pour se déplacer avec la fluidité des êtres vivants. Bien qu'ils puissent être programmés pour suivre un ensemble rigide d'instructions dans une usine, le monde réel est désordonné, imprévisible et évolue rapidement. Pour naviguer dans ce milieu, les chercheurs se sont tournés vers un type d'intelligence artificielle connu sous le nom de modèle vision-langage-action. Il s'agit de programmes informatiques massifs entraînés sur de vastes quantités de données, leur permettant de comprendre ce qu'ils voient à travers une caméra, de lire une instruction textuelle et de décider comment bouger un bras robotique. Ils sont puissants car ils ont vu de nombreux exemples du fonctionnement du monde, agissant comme une immense bibliothèque d'expérience. Cependant, il y a un inconvénient majeur : parce que ces modèles sont si grands et complexes, ils prennent un temps de réflexion notable. Dans la fraction de seconde qu'il faut à l'ordinateur pour traiter une image et décider d'un mouvement, le monde physique a déjà changé. Si un robot essaie d'attraper une balle ou de faire tenir un objet en équilibre, l'information qu'il a utilisée pour prendre sa décision est déjà obsolète au moment où il effectue réellement le mouvement, ce qui provoque souvent l'échec de l'action.

Une équipe de chercheurs de l'Université de Stanford a développé une nouvelle façon d'enseigner à ces grands modèles comment agir en temps réel, même lorsqu'ils sont lents à réfléchir. Leur approche, appelée Real-Time EXPO-FT, résout le problème du délai en divisant la prise de décision du robot en deux parties distinctes. Au lieu de forcer le modèle massif et lent à effectuer chaque petit ajustement de l'instant, ils le laissent effectuer le travail de fond consistant à planifier un chemin général, tandis qu'un programme informatique beaucoup plus petit et plus rapide gère les corrections immédiates. Imaginez un chef d'orchestre dirigeant un orchestre ; le chef définit le tempo et la mélodie générale, mais les musiciens individuels doivent ajuster leur jeu instantanément pour rester en rythme. Dans ce système, le grand modèle agit comme le chef d'orchestre, proposant une séquence de mouvements basée sur ce qu'il a vu un instant auparavant. Ensuite, un assistant léger observe l'état actuel du monde et apporte de minuscules et rapides modifications aux mouvements proposés pour s'assurer qu'ils sont toujours corrects pour l'instant précis où le robot doit agir. Cela permet au robot d'utiliser la connaissance profonde du grand modèle sans être freiné par sa vitesse de réflexion lente.

Les chercheurs ont testé cette méthode dans deux environnements très différents : un monde de physique simulé et le monde physique réel. Dans la simulation, ils ont mis le robot au défi avec dix tâches dynamiques différentes, telles que faire tenir une balle en équilibre sur une assiette, frapper un ballon de football en évitant un défenseur et attraper un objet en mouvement. Ils ont comparé leur nouvelle méthode à plusieurs techniques existantes qui tentaient de gérer les délais. Les résultats étaient clairs : la nouvelle approche a permis au robot de réussir presque tous les essais, surpassant toutes les autres méthodes, y compris celles qui n'avaient pas à gérer de délais du tout. Ce fut une découverte significative car elle a montré qu'en enseignant explicitement au système à tenir compte de sa propre lenteur, le robot pouvait devenir plus fiable que des systèmes théoriquement plus rapides mais moins adaptables.

Pour prouver que cela fonctionnait dans le monde réel, l'équipe a déplacé le robot dans un laboratoire et lui a confié quatre tâches exigeantes nécessitant une réaction constante et rapide. Celles-ci comprenaient maintenir une balle de ping-pong en équilibre sur une plaque rotative, ramasser un bloc sur une surface tournante, attraper un objet passé par un autre bras robotique et frapper un ballon dans un but pendant qu'un défenseur se déplace autour. Les chercheurs ont limité le temps d'entraînement à seulement dix minutes d'interaction du robot avec l'environnement, garantissant que le système puisse apprendre rapidement sans avoir besoin d'heures interminables de pratique. Avant d'appliquer leur méthode, le taux de réussite du robot sur ces tâches était assez bas, tournant autour de 42 pour cent. Après avoir utilisé ce nouveau cadre d'entraînement en temps réel, le taux de réussite a bondi à 97 pour cent. Le robot a appris à s'adapter aux mouvements chaotiques des objets et aux contraintes temporelles des tâches sans aucune intervention humaine durant le processus d'apprentissage.

L'étude a également exploré la capacité du système à résister à différentes conditions. Lorsque les chercheurs ont artificiellement augmenté le délai de réflexion du robot, la nouvelle méthode a maintenu son haut niveau de performance, alors que les autres méthodes ont échoué à mesure que le délai augmentait. De même, lorsque la vitesse des objets en mouvement augmentait, le robot utilisant ce nouveau cadre a continué à réussir, tandis que les autres approches peinaient à suivre. Cela démontre que le système ne fonctionne pas seulement pour une vitesse ou un délai spécifique, mais qu'il est suffisamment robuste pour gérer la nature imprévisible d'un environnement dynamique. Les chercheurs ont noté que, bien que leur système soit très efficace, il repose encore sur un humain pour réinitialiser le robot après la fin d'une tâche, et qu'il nécessite une définition spécifique du succès pour chaque tâche. Cependant, la réussite fondamentale est la démonstration que de grands et puissants modèles d'IA peuvent être rendus opérationnels en temps réel, comblant ainsi le fossé entre la planification lente et réfléchie de l'intelligence artificielle et les exigences de réaction rapide du monde physique.

Résumé Technique : Real-Time EXPO-FT

Énoncé du Problème
Le réglage fin par apprentissage par renforcement (RL) de modèles de vision-langage-action (VLA) pré-entraînés et de grande taille est prometteur pour un déploiement robotique fiable. Cependant, l'échelle de ces modèles introduit une latence d'inférence significative. Dans des environnements réels dynamiques, l'observation utilisée pour générer une action est souvent obsolète au moment où l'exécution se produit. Cela crée un décalage de distribution où la politique agit sur des informations d'état obsolètes, ce qui dégrade considérablement la fiabilité et les performances. Bien que des travaux antérieurs aient exploré l'exécution asynchrone (par exemple, le Real-Time Chunking) pour atténuer la latence, ces méthodes reposent principalement sur l'apprentissage par imitation et manquent de mécanismes pour aller au-delà de la distribution d'entraînement. De plus, l'application directe du RL standard à des politiques retardées ne parvient pas à capturer tous les gains de fiabilité du RL car les actions sont prédites à partir d'observations précédentes, brisant la propriété de Markov requise pour l'attribution de crédit standard.

Méthodologie : Real-Time EXPO-FT
Le papier propose Real-Time EXPO-FT, un cadre qui découple la génération d'actions lentes et expressives de l'édition d'actions rapides et réactives pour permettre le réglage fin par RL sous des contraintes de temps réel. L'approche s'appuie sur EXPO-FT, un système de RL efficace en termes d'échantillonnage pour le réglage fin de VLA, et l'intègre aux concepts de Training-Time Real-Time Chunking (RTC).

L'architecture centrale se compose de trois composants opérant sur des échelles de temps différentes :

Génération d'actions VLA asynchrone (Lente) : Une politique de base VLA pré-entraînée et de grande taille ( $\pi_{VLA}$ ) s'exécute de manière asynchrone en arrière-plan. Elle génère plusieurs candidats de blocs d'actions (chunks) basés sur une observation $s_t$ et le préfixe d'action "engagé" du bloc précédent ( $a^{prev}_{t:t+d}$ ) pour tenir compte du délai d'inférence $d$ . Cette étape utilise le flow-matching pour échantillonner des candidats diversifiés.
Éditions synchrones rapides (Rapides) : Une fois que le robot atteint le temps d'exécution $t+d$ et acquiert la dernière observation $s_{t+d}$ , une politique d'édition légère ( $\pi_{edit}$ ) effectue une prise de décision réactive. Elle prend les blocs candidats générés par la VLA et les édite en fonction de l'état actuel pour corriger tout changement d'état survenu pendant le délai d'inférence.
Sélection via la fonction Q : Une fonction Q apprise ( $Q_\phi$ ) évalue à la fois les candidats originaux de la VLA et les candidats édités sous l'état actuel $s_{t+d}$ . Le système sélectionne le bloc d'actions ayant la valeur Q la plus élevée pour l'exécution.

Procédure d'Entraînement

Réglage fin de la VLA : La VLA de base est ajustée en utilisant un objectif de flow-matching modifié qui simule le délai d'inférence pendant l'entraînement. La perte est masquée pour exclure les $d$ premières actions (la fenêtre de délai), forçant le modèle à apprendre à prédire les actions restantes conditionnées par le préfixe engagé.
Entraînement de la politique d'édition : La politique d'édition est entraînée pour maximiser la valeur Q des actions éditées, apprenant ainsi efficacement à déplacer la sortie de la politique de base vers des régions de l'espace d'action à plus haute valeur.
Entraînement du critique : Le critique est entraîné en utilisant l'apprentissage par différence temporelle sur des blocs d'actions complets. Pour réduire le coût computationnel lors de la mise à jour de Bellman, la méthode emploie un mécanisme de filtrage de l'espace de bruit (inspiré de FASTER). Un critique léger ( $Q^{dn}_\psi$ ) évalue les vecteurs de bruit candidats avant le décodage complet, permettant au système de filtrer les candidats dans l'espace de bruit et de n'effectuer qu'un seul décodage VLA pour le meilleur candidat avant d'appliquer les éditions.

Contributions Clés

Cadre pour le RL en temps réel : Le papier introduit le premier cadre permettant le réglage fin par RL de grands modèles VLA qui tient explicitement compte de la latence d'inférence tout en maintenant des fréquences de contrôle en temps réel.
Architecture de contrôle découplée : Il propose un nouveau découplage entre la génération de comportement à haute capacité et lente (VLA) et la correction d'état rapide et réactive (Politique d'Édition), permettant au système de tirer parti des connaissances préalques de la VLA tout en conservant la réactivité.
Adaptation efficace en termes d'échantillonnage : En combinant l'efficacité d'échantillonnage d'EXPO-FT avec des stratégies d'exécution en temps réel, la méthode permet une adaptation rapide aux environnements dynamiques avec un minimum de données en ligne.

Résultats Expérimentaux
Les auteurs évaluent Real-Time EXPO-FT sur le benchmark Kinetix (10 tâches de simulation) et sur quatre tâches réelles dynamiques (Passage d'objet par robot, Équilibrage de balle, Coup de football sur table et Ramassage d'objet dynamique).

Simulation : Sur le benchmark Kinetix, Real-Time EXPO-FT a obtenu les meilleures performances parmi les méthodes retardées et non retardées dans 10 environnements sur 10. Il a nettement surpassé les bases retardées (DSRL, EXPO-FT avec/sans RTC) et a même dépassé la base RLPD non retardée (81,4 % contre 96,2 % de taux de réussite moyen) malgré un délai d'inférence de 4 étapes.
Monde Réel : Dans des expériences réelles limitées à 10 minutes de données robotiques en ligne, Real-Time EXPO-FT a amélioré le taux de réussite moyen de la politique de 42 % (12,5/30) à 97 % (29/30). Il a atteint une performance quasi parfaite (30/30) sur le Ramassage Dynamique et le Passage d'Objet, et 28/30 sur l'Équilibrage de Balle et le Coup de Football, surpassant substantiellement toutes les bases.
Robustesse : La méthode a démontré des performances stables à travers diverses latences d'inférence et vitesses d'environnement, alors que les bases comme RTC se sont considérablement dégradées à mesure que les délais augmentaient.

Signification et Revendications
Le papier affirme que Real-Time EXPO-FT comble avec succès l'écart entre la haute fiabilité du réglage fin par RL et la réactivité requise pour la manipulation dynamique dans le monde réel. En modélisant explicitement la latence d'inférence et en découplant la génération d'actions de l'exécution, la méthode permet de déployer de grands modèles VLA dans des boucles de contrôle à haute fréquence sans sacrifier les performances. Les résultats démontent qu'il est possible de parvenir à une adaptation rapide et efficace en termes d'échantillonnage à des dynamiques réelles complexes sans intervention humaine pendant l'entraînement, surmontant le décalage de distribution causé par la latence du modèle.

Limites
Les auteurs reconnaissent que leur implémentation actuelle repose sur des opérateurs humains pour les réinitialisations de l'environnement, ce qui introduit une charge opérationnelle. De plus, le signal de récompense repose sur des classificateurs de succès spécifiques à la tâche (fondés sur des règles ou appris), nécessitant une conception manuelle pour chaque nouvelle tâche. Le papier note que l'automatisation des réinitialisations et l'exploration d'autres formulations de récompenses restent des questions ouvertes pour des travaux futurs.

Résumé Technique : Real-Time EXPO-FT

Articles similaires