Résumé Technique : VoLo : Un orchestrateur physique pour la manipulation à horizon long et à vocabulaire ouvert

1. Énoncé du problème

La manipulation robotique dans le monde réel est de plus en plus caractérisée par des instructions à vocabulaire ouvert et des tâches à horizon long. Contra\à l'opération de type « pick-and-place » basée sur des modèles, ces tâches exigent que les robots interprètent un langage naturel flexible (par exemple, « mets chaque objet sur la table dans le bol, sauf le bloc rouge »), raisonnent sur des scènes complexes comprenant plusieurs objets, maintiennent une mémoire d'état à travers les étapes et s'adaptent pour se remettre des échecs.

Les approches existantes font face à des limitations significatives dans ce régime :

• Modèles d'action vision-langage (VLA) et modèles d'action du monde (WAM) de bout en bout : Bien qu'ils fassent preuve d'une grande dextérité, ils manquent souvent de planification robuste, de surveillance en temps réel et de capacité de récupération après un échec dans des scènes complexes à objets multiples. Leur exécution est largement en boucle ouverte.
• Approches de type « Code-as-Policy » pilotées par LLM/VLM : Ces méthodes supportent un raisonnement explicite mais sont souvent contraintes par des ensembles d'outils et des API de contrôle fixes, peinant avec la manipulation riche en contacts et négligeant fréquemment les mécanismes de surveillance et de récupération.
• Systèmes hiérarchiques : Les systèmes actuels qui associent un planificateur VLM à un exécuteur VLA « câblent de manière rigide » le flux de contrôle. Ils traitent le VLA comme un exécuteur fixe plutôt que comme une capacité interruptible, ce qui limite la capacité du système à composer de manière adaptative la perception, l'action et les outils de récupération au milieu d'un déroulement.

Le défi central est l'orchestration physique : contrairement aux agents virtuels qui peuvent mettre le monde en pause pour raisonner, les agents physiques doivent prendre des décisions alors que le monde continue de bouger. Cela nécessite un système capable de surveiller la divergence entre la croyance et la réalité, d'interrompre les actions en cours de manière sécurisée et de rediriger via une replanification ou un changement d'outil.

2. Méthodologie : VoLoAgent

Les auteurs proposent VoLoAgent, un orchestrateur physique qui unifie des capacités robotiques hétérogènes en un seul agent en boucle fermée géré par un modèle vision-langage (VLM).

Architecture centrale

VoLoAgent traite le VLA/WAM non pas comme le seul exécuteur, mais comme un outil interruptible parmi d'autres, aux côtés de modèles de perception et de primitives d'action classiques. Le système fonctionne via une boucle Surveillance–Arrêt–Redirection :

1. Planification : Le VLM décompose l'instruction de l'utilisateur en sous-objectifs atomiques, les stockant dans une mémoire externe.
2. Exécution et Surveillance : L'agent émet des appels d'outils (typiquement un déroulement VLA pour un contrôle continu) et surveille l'exécution de manière concurrente.
   • Outils asynchrones : Le mouvement du robot s'exécute indépendamment du raisonnement de l'agent.
   • Mémoire double : Un contexte de surveillance « rapide » (observation actuelle, sous-objectif actif) est lu à haute fréquence (0,2 Hz) pour détecter une divergence, tandis qu'un contexte de délibération « lent » (historique des tâches, catalogue d'outils) est consulté uniquement lors des points de planification.
3. Récupération : Si un échec est détecté (par exemple, mauvais objet, collision, blocage), l'outil actif est mis en veille (mise en veille sécurisée), et le VLM entre dans une phase de délibération pour choisir une stratégie de récupération :
   • Continuer : Reprendre si l'alarme était un faux positif.
   • Replanifier : Réémettre la décomposition des sous-objectifs restants.
   • Réécrire : Exécuter le VLA avec une nouvelle instruction de sous-objectif.
   • Changer d'outils : Invoquer un modèle de perception (par exemple, SAM3, Molmo2) ou une primitive (par exemple, grasp [saisir], place [poser]) pour corriger l'état avant de rendre le contrôle au VLA.

Familles d'outils

• VLA/WAM : Fournit un contrôle visuomoteur continu (par exemple, $\pi_{0.5}$, DreamZero) mais peut avoir du mal avec l'ancrage à vocabulaire ouvert.
• Outils de Perception : Détection et segmentation à vocabulaire ouvert (par exemple, GroundingDINO, SAM3, Molmo2).
• Primitives d'Action : Primitives de mouvement ancrées géométriquement (par exemple, grasp(target), place(destination)) qui combinent la perception avec la cinématique inverse (IK) et GraspGen.

3. Benchmark : RoboVoLo

Pour évaluer ces capacités, les auteurs introduisent RoboVoLo, un benchmark de haute fidélité construit sur le simulateur RoboLab (NVIDIA Isaac Lab). Il comprend 126 tâches réparties en 15 catégories et 4 suites :

1. Sens Commun : Nécessite d'inférer l'intention à partir du contexte de la scène (par exemple, trier des objets selon leur rôle fonctionnel).
2. Mémoire : Nécessite de suivre l'état à travers les actions (par exemple, inverser l'ordre d'empilement, se rappeler les configurations originales).
3. Références Complexes : Nécessite de résoudre des indices linguistiques fins (spatiaux, ordinaux, de taille, de négation).
4. Connaissance du Monde : Nécessite d'appliquer des connaissances externes (mathématiques, art, chimie, recyclage).

Le benchmark inclut à la fois des métriques de succès au niveau de la tâche et des diagnostics détaillés des modes de défaillance (échecs au niveau du robot comme « bloqué » ou « mauvais objet », et échecs au niveau du VLM comme des erreurs de planification ou de surveillance).

4. Résultats expérimentaux

Les expériences ont été menées en simulation (126 tâches RoboVoLo + 120 tâches RoboLab-Vague) et sur un vrai robot Franka FR3 (14 tâches).

Principales conclusions

• Performance supérieure : VoLoAgent (Full) surpasse substantiellement les modèles VLA uniques, les systèmes de type « code-as-policy » et les bases de type TAMP sur toutes les suites.
  • Sens Commun : Amélioration de +38,9 % par rapport à la meilleure base de référence.
  • Références Complexes : Amélioration de +30,2 %.
  • Mémoire : Amélioration de +14,3 %.
  • Robot Réel : A atteint un taux de succès de 42,9 % contre 14,3 % pour un VLA autonome ($\pi_{0.5}$), soit une amélioration de 3x.
• Récupération d'échec : VoLoAgent a récupéré de 54 % des épisodes d'échec (38/70), alors que le VLA de base n'a récupéré que de 13 % (11/86).
• Complémentarité : Le système tire parti des forces de différents outils. Par exemple, lorsqu'un VLA saisit le mauvais objet, une primitive de saisie guidée par la perception peut repositionner la pince, permettant au VLA de terminer la manipulation riche en contacts.
• Études d'ablation :
  • Supprimer le VLA (en s'appuyant uniquement sur les primitives) fait chuter la performance de manière significative.
  • Supprimer les autres outils (en s'appuyant uniquement sur le VLA) fait également chuter la performance, confirmant le besoin de l'orchestrateur.
  • Le choix du modèle V de base importe ; des modèles plus puissants (Claude Opus 4.6) produisent une meilleure orchestration, tandis que des modèles plus faibles (Qwen3-VL-8B) montrent des gains marginaux en raison de taux d'échec plus élevés dans la surveillance et la planification.

Analyse des échecs

• Échecs du VLM : Le mode de défaillance le plus courant pour tous les VLM était les erreurs de surveillance de complétion (juger incorrectement qu'un sous-objectif est terminé), représentant plus de 67 % des événements. Les erreurs de planification étaient rares.
• Échecs du Monde : Les échecs physiques les plus courants étaient les comportements de type « bloqué » et les saisies de « mauvais objet ». La capacité de VoLoAgent à interrompre et à changer d'outils a été cruciale pour résoudre ces problèmes.

5. Signification et contributions

Le papier revendique trois contributions principales :

1. VoLoAgent : Un agent robotique adaptatif augmenté par des outils qui traite le VLA/WAM comme un outil interruptible au sein d'une boucle gérée par un VLM, permettant la surveillance en temps réel, l'intervention en cours de déroulement et la récupération adaptative.
2. RoboVoLo : Un benchmark de haute fidélité conçu pour isoler et évaluer le suivi de l'horizon long, le raisonnement à vocabulaire ouvert et la récupération adaptative, comblant ainsi une lacune laissée par les benchmarks existants qui se concentrent sur des compétences à horizon court ou des scènes simplifiées.
3. Validation empirique : Une étude à grande échelle démontrant que l'orchestration physique surpasse de manière significative les modèles d'action autonomes et les pipelines rigides, validée à la fois en simulation et sur du matériel réel.

Les auteurs soulignent que le paradigme de l'« orchestration physique » — où un agent doit décider quand agir, avancer ou s'arrêter dans un monde qui ne fait pas de pause — est une étape critique vers une manipulation robotique robuste et généraliste. Le travail met en évidence que bien que les modèles VLA soient puissants, leur intégration dans une boucle flexible et consciente de la surveillance est nécessaire pour gérer la complexité des tâches à vocabulaire ouvert du monde réel.

6. Limites

Le papier reconnaît plusieurs limitations :

• Latence de surveillance : Les VLM basés sur le cloud introduisent une latence (1–5s), ce qui peut amener le système à manquer des échecs rapides, suggérant la nécessité de moniteurs locaux plus rapides.
• Embodiment (Incarnation) : La démonstration actuelle est limitée à un manipulateur à un bras avec une pince à mâchoires parallèles. Bien que le cadre supporte les robots bimanuels ou mobiles, l'extension nécessiterait un réentraînement ou un remplacement du VLA.
• Sécurité : La « mise en veille sécurisée » se réduit actuellement à l'arrêt du bras, ce qui peut ne pas se généraliser à des incarnations qui doivent bouger activement pour rester en sécurité (par exemple, des humanoïdes en équilibre).
• Précision de la surveillance : La surveillance de la complétion reste un goulot d'étranglement majeur, avec des taux d'erreur élevés à travers différents backends VLM.