💻 computer science

Harness VLA: Steering Frozen VLAs into Reliable Manipulation Primitives via Memory-Guided Agents

Harness VLA est un cadre agentique augmenté par la mémoire qui améliore la fiabilité des modèles Vision-Langage-Action gelés dans des tâches de manipulation complexes en les traitant comme des primitives riches en contacts et rejouables, et en les composant avec une bibliothèque fixe de primitives analytiques, atteignant ainsi des gains de performance significatifs sur des benchmarks tels que LIBERO-Pro et RoboCasa365 sans nécessiter de réglage fin du modèle.

Auteurs originaux : Yixian Zhang, Huanming Zhang, Feng Gao, Xiao Li, Zhihao Liu, Chunyang Zhu, Jiaxing Qiu, Yuchen Yan, Jiyuan Liu, Wenhao Tang, Zhengru Fang, Yi Nie, Changxu Wei, Yu Wang, Wenbo Ding, Chao Yu

Publié 2026-07-10

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yixian Zhang, Huanming Zhang, Feng Gao, Xiao Li, Zhihao Liu, Chunyang Zhu, Jiaxing Qiu, Yuchen Yan, Jiyuan Liu, Wenhao Tang, Zhengru Fang, Yi Nie, Changxu Wei, Yu Wang, Wenbo Ding, Chao Yu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un cerveau de robot super intelligent qui est exceptionnel dans une chose précise : saisir des objets aux formes bizarres, tourner des boutons collants ou appuyer sur des boutons. C'est comme un chef de classe mondiale capable de couper des légumes et de saisir un steak parfaitement. Mais si vous lui demandez de planifier tout un dîner, de naviguer dans une cuisine bondée ou de trouver où se trouve le sel quand la table a été déplacée, il est totalement perdu. Il pourrait essayer de couper le pot à sel parce qu'il a été entraîné sur une disposition de table spécifique, ou il pourrait se figer si les instructions changent légèrement.

C'est le problème des robots actuels de type « Vision-Language-Action » (VLA). Ils sont excellents pour la partie « contact » (toucher et déplacer des choses), mais très mauvais pour la partie « planification » lorsque les choses deviennent désordonnées ou différentes de leur entraînement.

Entrez en scène Harness VLA. Voyez cela non pas comme un nouveau cerveau de robot, mais comme un brillant chef de projet qui prend le relais pour gérer la cuisine.

L'alliance : Le Manager et le Spécialiste

Dans ce nouveau système, le cerveau du robot (le VLA) est « gelé ». Cela signifie que nous ne le réentraînons pas et ne lui apprenons pas de nouveaux tours. Il reste exactement tel qu'il est, un spécialiste des tâches riches en contact. Le système Harness VLA enveloppe ce spécialiste d'un « manager » (un agent IA).

Voici comment ils travaient ensemble :

Le Manager (Le Planificateur) : C'est le patron. Il regarde la tâche (ex : « Mets le lait dans le frigo »), examine la pièce et décompose le travail en petites étapes logiques. Il utilise un ensemble restreint et fixe d'« outils analytiques » — comme un GPS pour déplacer le bras, une commande simple pour ouvrir la pince, ou un mouvement pour faire pivoter le poignet. Ces outils sont comme les réflexes de base d'un robot : prévisibles, fiables et parfaits pour se déplacer dans l'espace vide.
Le Spécialiste (Le VLA Gelé) : Le manager n'appelle le spécialiste que lorsque les choses deviennent délicates. Quand le robot doit réellement saisir un carton de lait glissant, tourner un robinet ou appuyer sur un bouton, le manager dit : « D'accord, spécialiste, à toi ! ». Le spécialiste fait sa magie pendant quelques secondes, puis rend le contrôle au manager.

La Recette Secrète : Un Carnet de Mémoire

La vraie magie ne réside pas seulement dans l'alliance ; c'est la Mémoire.

Imaginez que le manager possède deux carnets :

Le Carnet de Tâches : Après que le robot a résolu avec succès un problème une fois, le manager note la séquence des étapes qu'il a suivies. Mais voici la partie intéressante : au lieu de noter des coordonnées exactes comme « déplacer à x=1,2, y=0,5 », il note de la logique comme « déplacer vers le bol rouge ». De cette façon, si le bol est à un endroit différent demain, le manager peut toujours utiliser le même plan, en réorientant simplement les étapes vers le nouvel emplacement.
Le Carnet Global : C'est une collection de « règles empiriques » et de « leçons apprises » de nombreuses tâches différentes. Il contient des notes telles que : « Si la pince se ferme mais que l'objet ne bouge pas, c'est une saisie ratée — réessayez », ou « Toujours vérifier le signal de succès avant de célébrer ».

Lorsqu'une nouvelle tâche arrive, le manager consulte ces carnets. Si le robot échoue, le manager ne baisse pas les bras. Il lit les « règles d'échec », ajuste le plan, repositionne le robot et tente à nouveau l'aide du spécialiste. C'est comme un humain apprenant à faire du vélo : vous tombez, vous vous souvenez de ce qui s'est mal passé, vous ajustez votre équilibre et vous réessayez.

Ce que ce système N'EST PAS

L'article est très clair sur ce que ce système ne fait pas. Il argumente explicitement contre deux idées courantes :

Il ne cherche PAS à rendre le cerveau du robot plus gros ou plus intelligent. Les auteurs n'ont pas entraîné un nouveau modèle d'IA massif pour tout faire. Ils ont gardé le cerveau gelé et petit.
Il ne donne PAS au robot une bibliothèque infinie de nouvelles compétences. Le manager n'invente pas de nouveaux outils à la volée. Il utilise un petit ensemble fixe d'outils (Déplacer, Pivoter, Saisir, Relâcher) et apprend à les combiner parfaitement.

L'article suggère que tenter de faire d'une seule IA géante un outil capable de tout faire (planification, mouvement et saisie) est précisément le problème. En divisant le travail, le système devient beaucoup plus fiable.

Les Résultats : Est-ce que ça fonctionne ?

Les auteurs ont testé ce système dans plusieurs mondes virtuels, allant de simples jeux de table à des simulations de cuisine complexes. Les résultats sont assez impressionnants :

Sur un test standard appelé LIBERO-Pro, où les instructions étaient modifiées ou les objets déplacés, le système Harness VLA a réussi 38,6 points de pourcentage de plus souvent que les meilleures méthodes précédentes.
Sur une simulation de cuisine appelée RoboCasa365, il a amélioré les taux de réussite de 25,4 points de pourcentage.
Sur un test de robot à deux bras appelé RoboTwin, il a atteint un taux de réussite de 58,4 %.

L'article montre qu'en laissant un manager intelligent gérer la planification et la mémoire, et en n'utilant le cerveau « spécialiste » gelé que pour la saisie réelle, le robot peut gérer bien mieux les changements désordonnés du monde réel qu'auparavant. C'est un rappel que parfois, la meilleure façon de construire un super-robot n'est pas de lui donner un plus gros cerveau, mais de lui donner un meilleur manager.

Résumé Technique : Harness VLA

Énoncé du Problème

La manipulation robotique conditionnée par le langage nécessite un système capable à la fois d'un contrôle précis et riche en contacts, et d'un raisonnement robuste sur le langage, les scènes et les tâches à long horizon. Les approches actuelles font face à un compromis fondamental :

Modèles Vision-Langage-Action (VLA) de bout en bout : Ces modèles excellent dans les tâches de contact locales conditionnées par l'image (ex. : saisir des objets irréguliers, tourner des robinets), mais sont entraînés sur des trajectoires en distribution. Ils échouent souvent lors de perturbations de déploiement telles que le reciblage sémantique, le ré-assignation d'objectifs, les changements de disposition spatiale, ou lorsque des compétences courtes doivent être composées en routines plus longues. Un seul échec de contact instable peut faire dérailler l'ensemble d'un déroulement monolithique.
Agents de Codage LLM : Ces agents offrent un raisonnement sémantique et compositionnel fort en synthétisant des programmes exécutables sur des API de perception et de contrôle. Cependant, les primitives purement analytiques (ex. : transport par cinématique inverse, contrôle de la pince) peinent avec la saisie irrégulière, le placement contraint et l'interaction avec des objets articulés. De plus, l'extension de ces systèmes nécessite souvent l'expansion de la bibliothèque de compétences, forçant l'agent à valider la sécurité et la réutilisabilité des nouvelles compétences générées.

Le défi central est de combiner les forces visuomotrices locales des VLA avec le raisonnement compositionnel des agents sans nécessiter de réglage fin (finetuning) du VLA ou d'expansion du vocabulaire de primitives au moment du déploiement.

Méthodologie : Harness VLA

Les auteurs proposent Harness VLA, un cadre d'agent augmenté par la mémoire qui traite un VLA gelé non pas comme une politique monolithique, mais comme une primitive réitérable et riche en contacts au sein d'une bibliothèque fixe de contrôleurs analytiques.

1. Architecture du Système

Le système fonctionne via une interaction par tours, de type autoregressif, entre un Planificateur Agentique ( $\Pi$ ) de haut niveau et un moteur physique.

Bibliothèque de Primitives Fixes ( $\mathcal{P}$ ) : Le planificateur est restreint à un petit ensemble fixe de primitives. Cela inclut :
- Primitives Analytiques : Contrôleurs déterministes, basés sur des modèles, pour les tâches sans contact (ex. : MOVE TO, ROTATE WRIST, SET GRIPPER, NAVIGATE TO). Ils gèrent le transport en espace libre, la mise en place, l'ajustement de la posture et le relâchement.
- Primitive VLA (VLA ACT) : Une seule primitive apprise qui encapsule un VLA pré-entraîné et gelé. Elle est invoquée uniquement pour les phases locales riches en contacts (ex. : saisie, insertion, actionnement de fixations).
Modules de Mémoire :
- Mémoire Spécifique à la Tâche : Stocke les traces de composition de primitives réussies (format JSONL) provenant d'une graine de référence. Ces traces sont paramétrées (remplaçant les coordonnées concrètes par des requêtes symboliques) pour permettre un ré-ancrage rapide (few-shot re-grounding) dans de nouvelles dispositions spatiales.
- Mémoire Globale : Stocke les règles de succès réutilisables et les modèles d'échec (ex. : "éviter les saisies vides", "re-préparer si le contact échoue") distillés de l'exploration.

2. Boucle d'Exécution

Le cadre suit une exécution de type REPL (Read-Eval-Print Loop) :

Amorçage Exploratoire : Sur une graine de référence, le planificateur découvre de manière autonome une solution en itérant à travers des compositions de primitives. Il utilise une primitive RESET pour réessayer en cas d'échec. En cas de succès, il abstrait la trace dans la Mémoire Spécifique à la Tâche et extrait des heuristiques pour la Mémoire Globale.
Évaluation du Déploiement : Face à des perturbations non vues (ex. : inversions de positions, redirections d'instructions), le planificateur récupère la trace de la Mémoire Spécifique à la Tâche. Il ré-ancre dynamiquement la trace en utilisant des observations RGB-D en direct et consulte la Mémoire Globale pour éviter les modes d'échec connus. Le planificateur orchestre la séquence : utilisant des primitives analytiques pour la mise en place et le transport, et invoquant VLA ACT uniquement lorsque le robot est dans une configuration locale favorable au contact.

3. Principes de Conception Clés

Délégation Asymétrique : L'ancrage sémantique, la composition à long horizon et le raisonnement au niveau de la scène sont gérés par le planificateur. Le VLA gelé est strictement réservé aux opérations locales riches en contacts où sa distribution d'entraînement est informative.
Contact Réitérable : Le planificateur traite VLA ACT comme une tentative locale. Si une phase de contact échoue (ex. : saisie instable), le planificateur peut repositionner le robot (changer la pose d'approche ou le point de vue) et réessayer l'invocation du VLA, plutôt que de faire échouer l'ensemble de l'épisode.
Pas de Finetuning : Le squelette (backbone) du VLA reste gelé. Le système étend la portée opérationnelle du VLA en changeant quand et comment il est invoqué, et non en mettant à jour ses poids.

Contributions Clés

Cadre Agentique Augmenté par la Mémoire : Une architecture novatrice qui expose un VLA gelé comme une primitive au sein d'une bibliothèque fixe, permettant une manipulation à long horizon et sous perturbation sans finetuning du VLA ni expansion du vocabulaire.
Analyse Empirique des Primitives Fixes : Démontre qu'une petite bibliothèque de primitives fixes est suffisante lorsque le planificateur apprend à l'orchestrer. Les invocations répétées orchestrées par le planificateur peuvent recadrer les tentatives fragiles du VLA, tandis que les primitives analytiques résolvent la structure sans contact.
Performance de Benchmark Robuste : Le cadre atteint des résultats de pointe sur des benchmarks standards et fortement perturbés, surpassant significativement les baselines VLA directes et les méthodes agentiques antérieures.

Résultats Expérimentaux

Les auteurs ont évalué Harness VLA sur quatre familles de benchmarks : LIBERO, LIBERO-Pro, RoboCasa365 et RoboTwin C2R.

LIBERO Standard : Harness VLA (utilisant un planificateur Codex ou Claude Code) a atteint un taux de succès global de 96,0 %, préservant une performance compétitive avec le VLA gelé sous-jacent (95,3 %) tout en permettant la robustesse aux perturbations.
LIBERO-Pro (Perturbé) : Sous des perturbations de redirection d'instruction et d'inversion de position, Harness VLA a nettement surpassé la plus forte baseline (RATS).
- Harness VLA (CC) : 82,4 % de succès global.
- Harness VLA (Codex) : 72,1 % de succès global.
- Amélioration par rapport à RATS (43,8 %) : +38,6 points de pourcentage.
- Amélioration par rapport à la baseline RLinf gelée (50,0 %) : +32,4 points de pourcentage.
RoboCasa365 (Cuisine Domestique) : Harness VLA a amélioré la baseline RLDX-1 gelée (30,0 %) pour atteindre 55,4 % (Codex) et 48,6 % (CC), un gain de +25,4 points de pourcentage.
RoboTwin C2R (Bimanuel Zero-Shot) : Dans un contexte de transfert de propre à aléatoire, Harness VLA a élevé le taux de succès du backend LingBot-VLA gelé (50,4 %) à 58,4 %.

Analyse des Mécanismes :

Ré-ancrage Sémantique : Le planificateur analyse explicitement les descriptions de tâches et ré-assigne les cibles, empêissant le VLA de répéter les comportements de l'entraînement lorsque les instructions changent.
Invocation Adaptative : Les taux de succès augmentent rapidement dès les premières invocations de VLA orchestrées par le planificateur, démontant que réitérer les tentatives de contact après un repositionnement est critique pour la robustesse.
Division du Travail : Les primitives analytiques gèrent la majorité des transports et mises en place sans contact (ex. : 84,2 % des appels dans LIBERO), réservant le VLA pour les phases spécifiques riches en contacts où il est le plus efficace.

Signification et Revendications

L'article affirme que Harness VLA démontre que les VLA pré-entraînés sont plus efficaces lorsqu'ils sont isolés au contrôle visuomoteur riche en contacts, tandis que l'abstraction des liaisons sémantiques et spatiales à un agent de niveau supérieur empêche les échecs catastrophiques courants dans les déploiements monolithiques.

Les auteurs soutiennent que leur approche offre une voie pratique vers une manipulation robuste sans le coût computationnel du finetuning de grands modèles VLA pour chaque nouvelle tâche ou environnement. En traitant le VLA comme un "spécialiste du contact" et l'agent comme "l'orchestrateur", le système étend l'utilité des modèles gelés à des scénarios hors distribution. Ce travail souligne que la clé de la robustesse ne réside pas dans l'expansion de la bibliothèque de compétences, mais dans l'apprentissage de la portée opérationnelle des primitives fixes par une composition guidée par la mémoire et des mécanismes de réessai adaptatifs.

Limites : Les auteurs notent que le système repose sur une boucle de rétroaction ouverte entre le planificateur et le VLA, manque de finetuning conjoint via des récompenses environnementales (suggérant des travaux futurs avec l'apprentissage par renforcement), et est contraint par l'absence de légendage d'image granulaire pour les scènes très encombrées. Ils suggèrent également une intégration future avec des systèmes de découverte automatique de compétences (comme ASPIRE) pour étendre la bibliothèque de primitives lorsque nécessaire.