💻 computer science

From Pixels to Tokens: A Systematic Study of Latent Action Supervision for Vision-Language-Action Models

Cet article compare systématiquement les stratégies de supervision d'actions latentes basées sur l'image et sur l'action pour les modèles Vision-Language-Action, révélant que les méthodes basées sur l'image améliorent le raisonnement à long terme tandis que les méthodes basées sur l'action améliorent la coordination motrice, la supervision directe par jeton offrant les meilleures performances globales.

Auteurs originaux : Yihan Lin, Haoyang Li, Yang Li, Haitao Shen, Yihan Zhao, Chao Shao, Jing Zhang

Publié 2026-05-07

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yihan Lin, Haoyang Li, Yang Li, Haitao Shen, Yihan Zhao, Chao Shao, Jing Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseignez à un robot à effectuer des tâches ménagères. Vous possédez une immense bibliothèque de vidéos montrant des humains en action : certains empilent des bols, d'autres essuient des tables, et d'autres encore déplacent de lourdes boîtes. Le problème est que chaque personne bouge différemment. L'une saisit une tasse avec toute sa main ; une autre n'utilise que ses extrémités de doigts. Un bras robotique est court et trapu ; un autre est long et fin.

Si vous essayez d'enseigner directement au robot à partir de toutes ces vidéos différentes, il se perd. C'est comme essayer d'apprendre une langue en écoutant simultanément des locuteurs qui utilisent tous des dialectes et des accents différents. Le robot ne sait pas quel « mouvement » est le bon.

Ce papier introduit un intermédiaire astucieux appelé Actions Latentes. Considérez une action latente comme une carte de chorégraphie universelle. Au lieu d'enseigner au robot les mouvements musculaires exacts (qui varient énormément), nous lui enseignons d'abord à reconnaître l'idée du mouvement.

Les chercheurs se sont demandé : « Quelle est la meilleure façon d'utiliser ces cartes de chorégraphie pour enseigner au robot ? » Ils ont testé quatre styles d'enseignement différents en utilisant un cerveau robotique unifié (un modèle Vision-Langage-Action). Voici ce qu'ils ont découvert, expliqué simplement :

1. Les Deux Types de « Cartes de Chorégraphie »

Le papier divise ces cartes en deux catégories, comme deux types de cartes différentes :

La « Carte Image » (Actions Latentes basées sur l'Image) :
- Fonctionnement : Elle examine les images avant et après d'une tâche. Elle se demande : « À quoi ressemblait la scène avant, et à quoi ressemble-t-elle maintenant ? » Elle ignore le bras robotique spécifique et se concentre sur le changement visuel.
- Idéal pour : Les histoires longues et compliquées. Si le robot doit planifier une tâche en plusieurs étapes (comme « empiler trois bols, puis essuyer la table »), ces cartes images sont incroyables. Elles aident le robot à comprendre le tableau d'ensemble et la séquence des événements, un peu comme lire une bande dessinée pour comprendre une histoire.
- Le Résultat : Le robot s'est beaucoup amélioré dans les tâches longues et multi-étapes et dans la gestion de nouvelles pièces en désordre qu'il n'avait jamais vues.
La « Carte Mouvement » (Actions Latentes basées sur l'Action) :
- Fonctionnement : Elle examine les mouvements physiques réels (les articulations et les moteurs du robot) et les transforme en une simple liste de symboles (tokens), comme transformer une danse complexe en un code simple « Gauche, Droite, Saut ».
- Idéal pour : Les mouvements physiques délicats. Si la tâche nécessite un contrôle musculaire précis et coordonné (comme déplacer deux bras à la fois pour saisir une bouteille glissante), ces cartes mouvements sont supérieures. Elles aident le robot à apprendre la « sensation » du mouvement.
- Le Résultat : Le robot est devenu un maître dans les tâches physiques complexes et coordonnées.

2. Les Quatre Styles d'Enseignement

Les chercheurs ont testé quatre façons de montrer ces cartes au cerveau du robot :

Le « Chuchotement » (Alignement Implicite) : L'enseignant chuchote des indices au cerveau du robot, essayant d'aligner ses pensées internes avec la carte de chorégraphie sans dire explicitement « fais ceci ».
- Verdict : Cela a aidé un peu, mais c'était un peu vague.
L'« Ordre Direct » (Décodage Direct Explicite) : L'enseignant dit : « D'abord, pense à la carte de chorégraphie (le plan), et ensuite trouve comment bouger. » Le robot est forcé de prédire le plan explicitement avant de bouger.
- Verdict : C'était le gagnant pour les tâches longues. Il a forcé le robot à réfléchir avant d'agir.
L'« Ordre Conditionnel » (Décodage Conditionnel Explicite) : L'enseignant dit : « Prédit le plan, et pendant que tu le fais, prédit aussi le mouvement. » Il essaie de faire les deux en même temps.
- Verdict : Bien, mais légèrement moins efficace que l'Ordre Direct pour la plupart des tâches.
Le « Remplacement de Token » (Mappage Action-à-Token) : L'enseignant transforme directement les mouvements physiques en mots simples (tokens) et dit : « Dis juste ces mots. »
- Verdict : C'était le gagnant pour les tâches physiques complexes. Il a simplifié le mouvement à tel point que le robot a pu l'apprendre plus vite.

3. La Grande Découverte : Les « Tokens Discrets » sont Rois

La découverte la plus importante concerne la façon dont le robot reçoit l'information.

Imaginez que vous enseignez à un enfant à dessiner.

Représentation Continue : Vous dites : « Trace une ligne de 4,32 pouces de long, à un angle de 15,7 degrés. » (Trop de chiffres, trop confus).
Tokens Discrets : Vous dites : « Trace une « Longue Ligne ». » (Simple, clair, facile à retenir).

Le papier a trouvé que convertir les mouvements complexes en « tokens » simples et discrets (comme des mots dans une phrase) fonctionne beaucoup mieux que d'essayer d'enseigner au robot les nombres continus exacts. C'est comme si le robot apprenait une nouvelle langue où « Bouger » est un seul mot, plutôt qu'une équation mathématique. Cette méthode a constamment produit les robots les plus intelligents.

4. Pourquoi Cela Compte (Dans le Laboratoire)

Les chercheurs ont testé cela sur des robots simulés et un vrai bras robotique dans leur laboratoire.

Dans le Laboratoire : Lorsqu'ils ont mélangé différentes tâches (enseignant au robot à empiler des bols et à essuyer des tables en même temps), le robot était généralement confus et oubliait comment faire l'une ou l'autre (ceci est appelé « transfert négatif »).
La Solution : L'utilisation de ces cartes de chorégraphie d'actions latentes a stoppé la confusion. Le robot a pu apprendre toutes les tâches ensemble sans oublier les anciennes. Cela a rendu le robot plus robuste et capable de gérer des situations réelles en désordre mieux qu'avant.

Résumé

Le papier ne prétend pas que cela guérira des maladies ou construira des voitures autonomes demain. Il dit simplement : Si vous voulez enseigner à un robot à faire beaucoup de choses différentes à partir de beaucoup de vidéos différentes, ne lui enseignez pas les mouvements musculaires bruts. Au lieu de cela, enseignez-lui à reconnaître des « plans » (en utilisant des images) ou des « codes de mouvement simples » (en utilisant des tokens).

Plus précisément, si vous voulez que le robot planifie de longues séquences, utilisez des plans basés sur l'image. Si vous voulez qu'il effectue des mouvements physiques délicats, utilisez des codes basés sur le mouvement. Et dans les deux cas, transformer ces codes en simples tokens discrets (comme des mots) est l'ingrédient secret du succès.

Résumé Technique : Des Pixels aux Tokens : Une Étude Systématique de la Supervision par Actions Latentes pour les Modèles Vision-Language-Action

1. Énoncé du Problème

Les modèles Vision-Language-Action (VLA) sont devenus un paradigme pour l'apprentissage de politiques robotiques généralistes grâce à l'entraînement sur des ensembles de données à grande échelle. Cependant, un goulot d'étranglement critique persiste : les données d'entraînement sont hautement hétérogènes, couvrant des espaces d'action incohérents provenant de diverses plateformes robotiques et de vidéos humaines. Cette hétérogénéité entraîne souvent une dégradation des performances en raison d'un décalage sémantique des actions entre les domaines.

Pour y remédier, les chercheurs ont proposé les actions latentes comme représentations intermédiaires pour abstraire le mouvement soit à partir de transitions visuelles, soit à partir d'actions brutes, fournissant ainsi un signal de supervision unifié. Malgré leur potentiel, les approches de supervision des VLA par actions latentes restent fragmentées. Les méthodes existantes vont de la supervision par tokens discrets à des objectifs d'apprentissage auxiliaires, impliquant souvent la formulation de l'action latente avec des conceptions architecturales spécifiques aux VLA. Par conséquent, la stratégie optimale pour intégrer la supervision par actions latentes dans l'apprentissage de politiques VLA reste floue.

2. Méthodologie

Ce travail structure l'étude de la supervision par actions latentes sous une base VLA unifiée (basée sur Qwen3-VL-2B avec un fine-tuning LoRA) afin d'isoler les effets de la formulation et de l'intégration. Les auteurs catégorisent les stratégies d'intégration en deux perspectives complémentaires basées sur la direction de la mapping entre l'espace Vision-Language (VL) et les espaces d'action :

Perspective 1 : Régularisation de la Trajectoire (Actions Latentes Basées sur l'Image)

Cette perspective utilise des actions latentes basées sur l'image comme plans visuels de haut niveau pour guider la prise de décision du modèle de langage visuel (VLM). Les auteurs proposent trois stratégies :

Stratégie 1 : Alignement de Représentation Implicite (LA-Align) : Un objectif auxiliaire aligne les représentations internes du VLM (spécifiquement les états cachés des espaces réservés pour l'action) avec les embeddings d'actions latentes continues de référence dérivés de transitions visuelles, en utilisant la similarité cosinus.
Stratégie 2 : Décodage Direct Explicite (LA-Direct) : Le VLM est directement supervisé pour prédire des actions latentes basées sur l'image comme une séquence de tokens discrets à des positions d'espaces réservés dédiées. Le bloc d'action continu est ensuite décodé à partir de ces tokens latents.
Stratégie 3 : Décodage Conditionnel Explicite (LA-Cond) : Le VLM prédit conjointement des plans latents et des représentations d'action. Le segment d'action est conditionné par le plan latent prédit via un masquage d'attention causale, imposant un flux de génération « planifier puis agir ».

Perspective 2 : Unification de l'Espace Cible (Actions Latentes Basées sur l'Action)

Cette perspective comble le fossé modal en reformulant la cible de supervision elle-même.

Stratégie 4 : Mapping Action-Tokens (LA-Tok) : Les blocs d'actions continues sont discrétisés dans un espace de tokens partagé en utilisant un modèle d'action latente basé sur l'action personnalisé (un VQ-VAE avec des caractéristiques de convolution dans le domaine fréquentiel et temporel). Le VLM est ensuite directement supervisé pour prédire ces tokens d'action discrets comme objectif principal d'entraînement.

Objectif Unifié : Toutes les stratégies partagent la même architecture de base, la conception des espaces réservés et la tête d'action. L'objectif d'entraînement combine la perte standard de reconstruction d'action continue ( $L_{action}$ ) avec une perte de supervision latente ( $L_{latent}$ ), équilibrée par un poids $\lambda$ .

3. Contributions Clés

L'article apporte trois contributions principales :

Étude Systématique : Il isole les effets de la formulation de l'action latente et de l'intégration architecturale sous une base unifiée, allant au-delà de l'évaluation de modèles spécifiques pour comprendre le mécanisme de supervision lui-même.
Catégorisation et Proposition : Il définit deux perspectives complémentaires (Régularisation de Trajectoire vs Unification de Cible) et propose quatre stratégies d'intégration distinctes.
Analyse Empirique : Il fournit une analyse empirique extensive révélant une « correspondance formulation-tâche » et identifiant les signaux de supervision les plus efficaces.

4. Résultats Expérimentaux

Les auteurs ont évalué les quatre stratégies sur les benchmarks LIBERO (raisonnement à long horizon) et RoboTwin 2.0 (coordination motrice complexe, bras double), ainsi que sur des expériences réelles sur un bras robotique JAKA.

Résultats Clés :

Correspondance Formulation-Tâche :
- Les actions latentes basées sur l'image (Stratégies 1–3) bénéficient considérablement au raisonnement à long horizon et à la généralisation au niveau de la scène. Sur LIBERO-Long, ces stratégies ont amélioré les taux de réussite de 8,4 % à 10,8 % par rapport à la base. Dans des tâches d'empilement réelles, elles ont démontré des performances supérieures dans la manipulation multi-étapes.
- Les actions latentes basées sur l'action (Stratégie 4) excellent dans la coordination motrice complexe. Sur RoboTwin 2.0, LA-Tok a obtenu les meilleures performances, améliorant le taux de réussite moyen de 17,5 % par rapport à la base, probablement en raison du signal de supervision structuré fourni par la discrétisation des actions continues.
Stratégie d'Intégration Optimale :
- La supervision explicite (prédiction de tokens discrets) a constamment surpassé l'alignement implicite.
- Superviser directement le VLM pour prédire des tokens d'action latente discrets (LA-Direct et LA-Tok) a produit les performances globales les plus efficaces. LA-Direct a dominé sur LIBERO, tandis que LA-Tok a dominé sur RoboTwin.
- Discret vs Continu : La supervision par tokens discrets a constamment surpassé la régression continue des embeddings latents, suggérant que la tokenisation fournit une contrainte architecturale plus forte.
Robustesse et Généralisation :
- La supervision par actions latentes a constamment amélioré la robustesse dans les tâches réelles de prise et de dépôt hors distribution (OOD), où la base se dégradait considérablement (par exemple, le score moyen OOD est passé de 17 à 75 pour LA-Direct).
- Dans l'entraînement conjoint multi-tâches, la supervision par actions latentes (spécifiquement LA-Cond) a atténué le transfert négatif, permettant à un modèle unique d'apprendre des tâches diverses sans l'instabilité des performances observée dans la base.

5. Importance et Revendications

L'article revendique que les actions latentes servent de représentation intermédiaire efficace pour l'entraînement des VLA, offrant des orientations pratiques pour l'entraînement de politiques robotiques généralistes. L'importance fondamentale réside dans la découverte que le choix de la formulation de l'action latente doit dépendre de la tâche :

Utilisez des actions latentes basées sur l'image pour les tâches nécessitant une planification à long horizon et une compréhension de la scène.
Utilisez des actions latentes basées sur l'action pour les tâches nécessitant un contrôle moteur complexe et de haute dimension.
Superviser directement le VLM avec des tokens latents discrets est généralement la stratégie d'intégration la plus efficace, fournissant une cible de supervision simple et cohérente qui améliore l'efficacité de l'échantillonnage et la robustesse.

Les auteurs concluent que, bien que leur étude couvre des conceptions représentatives, elle offre un cadre fondamental pour sélectionner des stratégies de supervision par actions latentes, suggérant une direction prometteuse pour l'entraînement futur des VLA dans des environnements de données mixtes. Ils reconnaissent les limites, notamment la portée des stratégies d'intégration étudiées et la restriction actuelle aux évaluations réelles sur un seul bras, identifiant les embodiments robotiques diversifiés comme une direction pour les travaux futurs.