🤖 machine learning

VLCP: Vision Language Control Policy Closed-Loop Code Replanning for Robot Manipulation

VLCP introduit une politique de manipulation robotique sans entraînement qui maintient un modèle vision-langage gelé et permet un contrôle en boucle fermée en le faisant réécrire dynamiquement son propre code de contrôle Python toutes les $K$ étapes sur la base d'observations multi-vues, atteignant une amélioration du taux de réussite décuplée par rapport aux bases de référence en boucle ouverte grâce à la récupération d'échec en cours d'épisode.

Auteurs originaux : Dhia Naouali, Minghan Wu, Claudia Wong, Abhinav Puthran, Omar G. Younis

Publié 2026-08-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Dhia Naouali, Minghan Wu, Claudia Wong, Abhinav Puthran, Omar G. Younis

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le monde de la robotique, il existe un écart persistant entre ce qu'un ordinateur peut comprendre et ce qu'il peut réellement faire. Pendant des années, les scientifiques ont tenté de combler ce fossé en apprenant aux robots à parler le langage du mouvement, forçant de puissants modèles d'intelligence artificielle à apprendre un nouveau vocabulaire spécialisé de commandes motrices. Cette approche nécessite des quantités massives de données d'entraînement et prive souvent le robot de sa capacité de raisonnement, le laissant mémoriser des actions spécifiques plutôt que de comprendre la situation. Une idée plus récente suggère qu'au lieu d'apprendre un nouveau langage à un robot, nous devrions le laisser parler celui qu'il connaît le mieux : le code informatique. En demandant à une IA d'écrire un court programme qui dit au robot comment bouger, les chercheurs peuvent préserver l'intégrité du raisonnement de l'IA. Cependant, une faille majeure de cette méthode est que le programme est écrit une seule fois, avant que le robot ne commence à bouger. Si le robot rate une saisie ou heurte quelque chose, le programme continue de s'exécuter aveuglément, portant cette erreur jusqu'à la fin de la tâche sans aucun moyen de la corriger.

Une nouvelle étude introduit un système appelé VLCP, qui change les règles en permettant au robot de réécrire ses propres instructions pendant qu'il travaille encore. Les chercheurs ont construit un cadre où un modèle d'intelligence artificielle pré-entraîné et figé agit comme un superviseur. Au lieu d'envoyer un ensemble unique de commandes au départ, le système fait une pause toutes les cinquante étapes pour observer la situation actuelle du robot grâce à des caméras et des capteurs. Il demande ensuite à l'IA d'écrire une nouvelle fonction Python courte pour gérer les cinquante étapes suivantes en fonction de ce qu'il vient de voir. Si le robot a échoué à ramasser un objet lors de la phase précédente, l'IA remarque l'échec dans les images, écrit un nouveau morceau de code pour corriger l'approche, et réessaie, le tout au cours de la même tentative. Cela crée une boucle fermée où le logiciel de contrôle lui-même est édité en temps réel, plutôt que simplement les mouvements du robot qui sont ajustés.

Les chercheurs ont testé ce système dans un environnement simulé contenant cinquante-sept tâches différentes, allant de la simple saisie d'objets à des séquences complexes dans des environnements de cuisine et de salon. Ils ont comparé leur méthode à une version du même système qui écrivait le code une seule fois au début et ne regardait jamais en arrière. La différence était flagrante. Le système qui réécrivait son code au fur et à mesure réussissait trente-cinq pour cent des tâches, tandis que celui qui s'en tenait à son plan original n'en réussissait que trois pour cent. Cette amélioration décuplée se vérifiait dans chaque type de scène testée. La clé de ce succès n'était pas seulement que le robot pouvait voir ses erreurs, mais qu'il pouvait changer les instructions mêmes qui les causaient. Dans près de trente pour cent des cas où le robot avait initialement échoué à saisir un objet, le système a détecté l'erreur, a réécrit l'approche et a réussi à soulever l'article plus tard au cours de la même tentative. Sans cette capacité d'éditer le code en cours de tâche, ces échecs auraient été permanents.

Pour s'assurer que ce processus soit pratique, l'équipe a mesuré la puissance de calcul requise. Comme l'IA réutilise la majeure partie des mêmes informations de fond pour chaque vérification, le système n'a besoin de traiter qu'une petite quantité de nouvelles données à chaque fois. Cela a permis au robot de faire une pause, de réfléchir et de réécrire ses instructions environ dix fois au cours d'une seule tâche sans devenir trop lent ou trop coûteux à exploiter. L'étude a également montré que cette méthode ne reposait pas sur la mémorisation de phrases ou d'instructions spécifiques par le robot. Lorsque les chercheurs ont modifié la formulation des descriptions de tâches, les performances du système sont restées stables, alors que d'autres modèles dépendant de données d'entraînement éprouvaient des difficultés importantes lorsque le langage changeait légèrement. Cela suggère que le système comprend véritablement l'objectif plutôt que de simplement faire correspondre des motifs.

Les chercheurs ont pris soin de noter que leurs résultats proviennent d'une simulation informatique, et non d'un robot physique dans une pièce réelle. Le système dépend actuellement d'informations numériques parfaites sur l'emplacement des objets, ce que les caméras du monde réel ne peuvent pas toujours fournir avec une telle certitude. De plus, le temps nécessaire à l'IA pour générer un nouveau code signifie que cette approche est mieux adaptée aux tâches qui ne nécessitent pas de réactions à la fraction de seconde. Malgré ces limites, l'étude démontre une voie claire pour l'avenir : en maintenant l'IA dans le langage du code et en lui permettant de corriger ses propres erreurs au fur et à mesure qu'elles surviennent, les robots peuvent devenir beaucoup plus capables sans avoir besoin d'être réentraînés sur des milliers de démonstrations humaines. Ces travaux suggèrent que l'avenir du contrôle des robots ne réside peut-être pas dans l'apprentissage de nouvelles façons de bouger, mais dans le fait de leur donner la liberté d'éditer leurs propres plans à mesure qu'ils apprennent.

Résumé Technique : VLCP (Vision Language Control Policy)

Énoncé du Problème
Les approches actuelles pour le déploiement des modèles de Vision-Langage (VLM) de pointe en robotique reposent généralement sur des modèles Vision-Langage-Action (VLA). Ceux-ci nécessitent d'affiner (fine-tuning) des VLM pré-entraînés pour émettre des jetons d'action de bas niveau (par exemple, des positions articulaires ou des jetons moteurs spécialisés) que le modèle n'a jamais rencontrés lors de son pré-entraînement. Cette adaptation risque de sacrifier les capacités de raisonnement intrinsèques du modèle et nécessite de vastes ensembles de données de démonstration. De plus, les méthodes existantes de type « Code-as-Policy » génèrent un code de contrôle une seule fois avant le début de l'exécution. Si un échec survient pendant l'exécution (par exemple, une saisie manquée), ces systèmes en boucle ouverte ne peuvent pas récupérer car la politique est fixe. Inversement, les méthodes existantes en boucle fermée qui réagissent aux observations opèrent souvent au niveau de la tâche ou du langage (re-sélection de sous-tâches ou tentative de répétition de politiques fixes) plutôt qu'en réécrivant le code de contrôle sous-jacent qui a causé l'échec.

Méthodologie
VLCP propose un cadre de boucle fermée sans entraînement qui maintient le VLM gelé et l'utilise pour générer une fonction de contrôle Python à horizon court. L'innovation centrale consiste à fermer la boucle au niveau même du code de contrôle au sein d'un seul épisode.

Représentation Code-as-Policy : Au lieu d'émettre des jetons moteurs, le VLM gelé écrit une fonction Python control(obs, J) qui prend en entrée des observations RGB multi-vues, l'état proprioceptif et le Jacobien de l'effecteur terminal. Cette fonction produit un dictionnaire de cibles de positions articulaires pour le contrôleur PD du simulateur.
Replannification en Boucle Fermée : L'épisode est divisé en blocs de $K$ $K$ étapes (par défaut $K=50$ $K = 50$ ). Au début de chaque bloc, le VLM est interrogé pour générer une nouvelle fonction de contrôle basée sur l'état actuel.
- Observation : Le VLM reçoit des images RGB multi-vues synchronisées, l'état numérique (pose de l'effecteur, positions articulaires, poses d'objets) et un delta d'état explicite.
- Réécriture : Si le bloc précédent a échoué (par exemple, une tentative de saisie a manqué), le VLM observe la signature de l'échec dans les nouvelles images et réécrit la fonction de contrôle pour corriger l'approche pour le bloc suivant. Cela permet une récupération pendant l'épisode, et non seulement entre les essais.
Bibliothèque de Compétences (Skill Library) : Les modules d'aide (skills) écrits lors de n'importe quelle replanification sont sauvegardés dans un répertoire partagé sur disque. Ils sont ré-injectés textuellement dans le prompt système des replanifications ultérieures (tant au sein du même épisode qu'entre les épisodes), permettant à la politique d'accumuler et de réutiliser des compétences sans entraînement.
Ingénierie de Prompt : Le prompt est structuré pour maximiser le cache des jetons. Il inclut un préfixe statique (documentation, API, exemples), une bibliothèque de compétences dynamique et un « goal pin » (description de la tâche) qui survit à la troncature du contexte. Les images ne sont incluses que dans le tour utilisateur en direct pour éviter l'encombrement du contexte.

Contributions Clés

Cadre VLCP : Un système de manipulation en boucle fermée sans entraînement qui interroge un VLM gelé tous les $K$ pas pour réécrire la fonction de contrôle en fonction des observations en direct et des deltas d'état.
Bibliothèque de Compétences Inter-Épisodes : Un mécanisme où les modules d'aide générés lors des replanifications sont persistés et ré-injectés dans les futurs prompts, permettant l'accumulation de compétences sans ré-entraînement.
Ablation Contrôlée (La Boucle) : Une comparaison rigoureuse avec un cas dégénéré en boucle ouverte ( $K=T$ , où le VLM n'est interrogé qu'une seule fois par épisode). Cela isole la contribution de la boucle de replanification intra-épisode, en maintenant constants le simulateur, l'API, le modèle et l'ensemble de tâches.
Récupération Quantifiée : Une mesure directe de la récupération intra-épisode, démontrant que le système peut détecter et corriger des saisies ratées en milieu d'épisode.
Analyse de Faisabilité : Une démonstration que l'approche est économiquement viable via le cache de prompt, ne nécessitant qu'environ 10 appels de VLM par épisode avec des taux de succès de cache élevés.

Résultats
Évalué sur un balayage de 57 tâches à travers trois familles de scènes (Object Picks, Kitchen Scenes, Living-Room Scenes) dans MuJoCo/RoboVerse :

Taux de Succès : Le VLCP en boucle fermée ( $K=50$ ) a atteint un taux de succès combiné de 35,1 %. En revanche, le système identique fonctionnant en mode boucle ouverte ( $K=T$ ) n'a atteint que 3,5 %. Cela représente une amélioration décuplée avec des intervalles de confiance à 95 % non chevauchants sur toutes les familles de scènes.
Mécanisme de Récupération : L'analyse des traces enregistrées a révélé que 27,3 % des saisies échouées ont été récupérées avec succès par une replanification ultérieure. La variante en boucle ouverte avait un taux de récupération de 0 % par construction.
Généralisation : Sous reformulation d'instruction (changement de la formulation des instructions de tâche), VLCP a maintenu des performances stables (40,0 % dans les conditions originales et modifiées), tandis qu'une base VLA affinée (VLA-0) a montré un effondrement significatif des performances sur des tâches spécifiques lors du changement de formulation.
Efficacité : Le système a atteint un taux médian de succès de cache de jetons d'entrée de 84 %. Un épisode nécessite un nombre médian de 10 appels de replanification, avec une latence médiane de 18,8 secondes par replanification. Les 778 blocs de contrôle générés ont été analysés et compilés avec succès (validité de 100 %).

Signification et Revendications
L'article affirme que VLCP démontre que fermer la boucle au niveau du code de contrôle est une frontière distincte et efficace pour la manipulation robotique.

Préservation du Raisonnement : En gardant le VLM gelé et en l'utilisant pour écrire du code (un langage dans lequel il est fluide) plutôt que de l'affiner pour des actions, la méthode préserve les capacités de raisonnement pré-entraînées du modèle.
Le Lieu de la Correction : Les auteurs soutiennent que les méthodes précédentes échouent car elles tentent de répéter des politiques fixes ou passent à des planificateurs sans corriger la cause racine (le code de contrôle). VLCP est l'une des rares méthodes qui réécrit l'artefact défaillant en milieu d'épisode.
Viabilité Sans Entraînement : Les résultats suggèrent qu'une approche sans démonstration et sans entraînement peut atteindre une performance absolue forte (35,1 %) sur des tâches de manipulation complexes, à condition que le système puisse s'auto-corriger via la réécriture de code.
Substrat d'Apprentissage Continu : La bibliothèque de compétences inter-épisodes offre une voie naturelle vers l'apprentissage continu, où la compétence s'accumule au fil des épisodes sans ré-entraînement.

Les auteurs reconnaissent des limites, notant que l'implémentation actuelle repose sur les poses d'objets fournies par le simulateur (contournant le bruit de perception) et est contrainte par la latence d'inférence du VLM, ce qui la rend adaptée à des tâches de manipulation lentes plutôt qu'à un contrôle réactif à haute fréquence. Ils soulignent que la contribution est la boucle elle-même, et non un programme spécifique généré.

Résumé Technique : VLCP (Vision Language Control Policy)

Articles similaires