💻 computer science

Action with Visual Primitives

L'article présente AVP (Action with Visual Primitives), une architecture de bout en bout qui découple la compréhension des instructions et la compréhension spatiale du contrôle moteur en faisant émettre à un modèle vision-langage des jetons de primitives visuelles pour conditionner un expert d'action par appariement de flux, améliorant ainsi considérablement les taux de réussite, l'efficacité des données et la généralisation dans les tâches robotiques de prise et de dépôt par rapport aux méthodes existantes telles que pi_0.5.

Auteurs originaux : Weilong Guo, Yuchen Wang, Renping Zhou, Yunfeng Zhang, Rui Fang, Yue Meng, Wenda Xu, Yuan He, Gao Huang

Publié 2026-05-22

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Weilong Guo, Yuchen Wang, Renping Zhou, Yunfeng Zhang, Rui Fang, Yue Meng, Wenda Xu, Yuan He, Gao Huang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un robot comment jouer à une partie complexe de Xiangqi (échecs chinois) ou empiler parfaitement des dominos. Vous lui donnez un ordre : « Déplacez la pièce rouge vers le coin. »

Dans la plupart des cerveaux robotiques actuels (appelés modèles VLA), le robot tente de tout faire d'un coup. Il doit comprendre vos mots, déterminer exactement où se trouve la pièce rouge sur le plateau, puis calculer les mouvements musculaires précis pour la saisir, le tout en une seule pensée instantanée. C'est comme demander à une personne de lire une carte, de conduire la voiture et de la garer, tout en maintenant une conversation, sans jamais s'arrêter pour réfléchir. Cela conduit souvent à la confusion, surtout si le plateau ressemble légèrement différent ou si les pièces sont dans un nouvel emplacement.

Les auteurs de cet article, AVP (Action with Visual Primitives), proposent une méthode plus intelligente pour diviser le travail. Ils traitent le cerveau du robot comme une équipe ayant deux rôles distincts : un Stratège et un Exécutant.

La nouvelle collaboration : Stratège contre Exécutant

1. Le Stratège (Le modèle Vision-Langage)
Considérez cette partie comme les « yeux et le cerveau ». Sa seule tâche est d'examiner la scène et l'instruction, puis de décider quoi faire et où.

Au lieu de simplement penser en mots, le Stratège dessine rapidement, sur l'image, un croquis invisible. Il peut tracer un petit cadre autour de la pièce d'échecs ou placer un point sur la case cible.
Ces dessins sont appelés « Primitives Visuelles ». Ce sont des marqueurs simples et clairs qui disent : « Hé, concentrez-vous ici. »

2. L'Exécutant (L'expert en action)
Considérez cette partie comme les « mains ». Il n'a pas besoin de se soucier de comprendre les règles des échecs ou le sens de vos mots.

Il regarde simplement le croquis du Stratège (les Primitives Visuelles) et dit : « D'accord, je vois le cadre. Je vais bouger mon bras pour saisir ce qui se trouve à l'intérieur de ce cadre. »
Parce que le « quoi » et le « où » sont déjà résolus par le Stratège, l'Exécutant peut concentrer 100 % de son énergie sur le mouvement physique.

Pourquoi cela fonctionne mieux

L'article soutient que l'ancienne méthode force l'« Exécutant » à réapprendre à voir et à comprendre le monde à chaque mouvement. La nouvelle méthode AVP permet au « Stratège » d'utiliser ses connaissances pré-entraînées pour gérer la réflexion, tandis que l'« Exécutant » suit simplement les indices visuels.

Le super-pouvoir de l'« Annotation Zéro »
Habituellement, pour enseigner à un robot à dessiner ces cadres, les humains doivent étiqueter manuellement des milliers d'images (par exemple : « Ceci est la pièce d'échecs »). C'est lent et coûteux.

L'astuce d'AVP : Le robot sait déjà où sa main se déplace (car il contrôle ses propres articulations). Le système transforme automatiquement les mouvements de la main du robot en « Primitives Visuelles » (les cadres et les points) pendant l'entraînement.
Analogie : C'est comme un instructeur de danse qui n'a pas besoin de dessiner des flèches au sol pour l'élève. L'instructeur observe simplement les pieds de l'élève et met automatiquement en évidence les pas que l'élève effectue déjà. Aucun dessin supplémentaire n'est requis.

Les résultats : Preuve dans le monde réel

L'équipe a testé cela sur un vrai robot à deux bras dans trois scénarios difficiles :

Xiangqi (Échecs chinois) : Déplacer des pièces sur un plateau encombré avec de nombreux objets d'apparence similaire.
Dominos : Placer des dominos avec des angles très spécifiques.
Prise et dépôt général : Saisir des objets aléatoires de différentes formes.

Le tableau des scores :

Par rapport à la meilleure méthode précédente (appelée π0.5), AVP a amélioré le taux de réussite de 27,61 %.
Généralisation : Si le robot a été entraîné sur un type de plateau mais testé sur un tout autre (ou avec des objets différents), AVP a toujours bien fonctionné. L'ancienne méthode échouait souvent car elle se confondait face au nouvel aspect.
Vitesse : Alors que certaines anciennes méthodes utilisant des outils externes pour localiser les objets étaient lentes (prenant 37 secondes pour un ordre), AVP était rapide (0,27 seconde), ce qui la rend pratique pour une utilisation en temps réel.

En résumé

AVP est un système de contrôle robotique qui sépare la réflexion de l'action. Il utilise un « Stratège » pour dessiner des cibles visuelles simples (primitives) basées sur les instructions, et un « Exécutant » pour suivre ces cibles. Cette division du travail rend le robot beaucoup plus performant pour gérer de nouvelles tâches, de nouveaux objets et des environnements encombrés, sans avoir besoin que des humains lui enseignent manuellement chaque détail.

Résumé Technique : Action avec Primitives Visuelles (AVP)

Énoncé du Problème

Les architectures Vision-Language-Action (VLA) actuelles mappent généralement les instructions linguistiques et les observations visuelles vers les actions du robot en une seule passe avant. Bien que conceptuellement simple, cette conception entremêle la compréhension des instructions, la compréhension spatiale de la scène et le contrôle moteur au sein d'un seul objectif d'apprentissage. Par conséquent, l'« expert en action » (le composant responsable de la génération des commandes motrices) est contraint de réapprendre implicitement des capacités cognitives et perceptives déjà présentes dans le Modèle Vision-Language (VLM) préentraîné. Ce couplage limite l'efficacité de l'apprentissage et la généralisation, en particulier lorsque les objets, les agencements ou les environnements changent au moment du test.

Les tentatives existantes pour résoudre ce problème via des représentations intermédiaires font face à des compromis spécifiques :

Les approches centrées sur la planification (par exemple, $\pi0.5$ ) utilisent des sous-tâches linguistiques mais peinent à distinguer les nuances spatiales fines dans des scènes denses.
Les modèles monde-action (par exemple, $\pi0.7$ ) utilisent des images futures prédites, obligeant l'expert en action à redécouvrir les pixels pertinents pour la tâche.
Les méthodes de prompt visuel (par exemple, Point-VLA, VP-VLA) s'appuient sur des modèles externes (comme SAM ou Grounding DINO) pour générer des marqueurs spatiaux. Cela crée des pipelines multi-étapes qui introduisent une latence d'inférence et risquent une propagation d'erreurs provenant d'échecs de localisation en amont.

Méthodologie : Architecture AVP

Les auteurs proposent AVP (Action with Visual Primitives), une architecture VLA de bout en bout qui redéfinit l'interface entre le VLM et l'expert en action. Au lieu d'une frontière implicite et non structurée, AVP emploie un protocole de communication centré sur les primitives visuelles.

Composants Principaux

VLM Préentraîné & Décodeur Autoregressif : Étant donné une instruction linguistique ( $l$ ) et des observations multi-vues ( $o_t$ ), le VLM analyse la sous-tâche actuelle. Un décodeur autoregressif prédit ensuite une primitive visuelle ( $p_t$ ) discrétisée représentant la cible de l'étape suivante (par exemple, un point, une boîte englobante ou une trajectoire).
Projection vers l'Espace Visuel : La primitive prédite est projetée de l'espace linguistique vers l'espace des tokens visuels ( $z^{vp}_t$ ). Ces tokens sont superposés à l'observation originale pour créer une représentation multimodale augmentée ( $z^{aug}_t$ ).
Expert en Action par Matching de Flux : L'expert en action reçoit les tokens augmentés et l'état du robot ( $s_t$ ) pour prédire un horizon d'actions futures ( $a_{t:t+h}$ ).

Entraînement et Supervision

Optimisation de Bout en Bout : Contrairement aux approches en cascade, AVP internalise l'interface de primitive visuelle. La génération de primitives et la prédiction d'actions sont optimisées conjointement.
Source de Supervision : Le décodeur de primitive visuelle est supervisé à l'aide d'une perte auxiliaire ( $L_{vp}$ ). Crucialement, les primitives visuelles de vérité terrain ( $y^{vp}_t$ ) sont dérivées directement de la cinématique de l'effecteur terminal (proprioception du robot), éliminant le besoin d'annotation manuelle ou de modèles de perception externes.
Objectif : La perte totale est une somme pondérée de la perte de prédiction d'action et de la perte de supervision des primitives : $L = L_{act} + \lambda L_{vp}$ .

Contributions Clés

Redéfinition de la Division des Responsabilités : L'article propose une division claire du travail où le VLM raisonne sur quoi faire et où (via des primitives visuelles), tandis que l'expert en action se concentre uniquement sur comment exécuter.
Primitives Visuelles comme Interface Explicite : AVP introduit des tokens ancrés spatialement produits en interne par le VLM comme moyen de communication, remplaçant les frontières implicites des VLA actuels.
Implémentation de Bout en Bout : Le système implémente cette interface sans détecteurs ou segmenteurs externes, utilisant une supervision dérivée de la cinématique pour entraîner le générateur de primitives.
Évolutivité : La méthode offre une voie de mise à l'échelle via des données d'entraînement à faible coût (la cinématique fournit des étiquettes automatiques) et une forme compacte qui s'étend facilement aux tâches augmentées en mémoire ou à horizon plus long.

Résultats Expérimentaux

Les auteurs ont évalué AVP sur une plateforme AgileX Piper à deux bras à travers trois tâches du monde réel : manipulation d'échecs chinois, placement de dominos et prise et dépôt d'objets généraux.

Performance par rapport à la Référence : Comparé à la référence $\pi0.5$ $π 0.5$ , AVP a obtenu une amélioration globale de 27,61 % du taux de réussite en manipulation à travers les tâches.
- Échecs Chinois : Le taux de réussite moyen est passé de 62,67 % ( $\pi0.5$ ) à 90,28 % (AVP).
- Placement de Dominos : Le taux de réussite moyen est passé de 81,94 % à 88,19 %, avec des gains significatifs en termes de succès d'orientation.
- Prise et Dépôt Général : Le taux de réussite moyen est passé de 64,96 % à 86,18 %.
Généralisation :
- Généralisation Compositionnelle Spatiale : Sur des transitions directes inédites (A $\to$ B) non vues pendant l'entraînement (qui n'avait montré que A $\to$ C $\to$ B), $\pi0.5$ a échoué complètement (0 % de réussite), tandis qu'AVP a atteint des taux de réussite élevés (par exemple, 100 % sur les transitions directes d'échiquier).
- Transfert d'Objets Zero-Shot : Un modèle entraîné uniquement sur des données d'échecs chinois s'est généralisé avec succès à des objets et des arrière-plans inédits dans un cadre zero-shot, alors que la référence se dégradait significativement sous des décalages de distribution.
Efficacité : AVP a démontré une latence d'inférence plus faible (0,27 s) par rapport aux méthodes dépendant d'API LLM externes (par exemple, les variantes Point-VLA prenant ~37 s).

Importance et Revendications

L'article revendique qu'AVP démontre l'efficacité du découplage de l'inférence de la cible par rapport à l'exécution du mouvement. En déchargeant le raisonnement spatial complexe vers le VLM et en fournissant à l'expert en action des instructions explicites ancrées visuellement, le système atteint :

Efficacité des Données Améliorée : L'apprentissage est plus efficace car l'expert en action n'a pas besoin de réapprendre l'ancrage spatial.
Généralisation Renforcée : L'interface visuelle explicite permet à la politique de recombiner des motifs de mouvement appris pour des transitions et des objets nouveaux.
Réduction de la Surcharge d'Annotation : La dépendance à la cinématique pour la supervision des primitives évite le coût et la fragilité de l'étiquetage humain ou des dépendances de détecteurs externes.

Les auteurs reconnaissent les limites, notant que l'inférence séquentielle en deux étapes (prédiction de primitive suivie de génération d'action) introduit une latence d'exécution légèrement plus élevée que les politiques en passe unique, et que le système reste sensible à un calibrage précis main-œil. Cependant, les résultats suggèrent que les primitives visuelles servent d'interface robuste et évolutive pour la manipulation robotique généraliste.