InstructVLA: Vision-Language-Action Instruction Tuning from Understanding to Manipulation

Le papier présente InstructVLA, un modèle vision-langage-action qui, grâce à un nouveau paradigme d'ajustement par instructions (VLA-IT) et à une adaptation par mélange d'experts, préserve les capacités de raisonnement des grands modèles tout en atteignant des performances de manipulation de pointe et une forte généralisation sur des tâches complexes.

L'essentiel

🤖 Le Robot qui a un "Cerveau" et des "Mains"

Imaginez que vous voulez apprendre à un robot à faire la vaisselle.

• Les anciens robots étaient comme des apprentis très obéissants mais un peu bêtes : on leur disait "prends la cuillère", et ils le faisaient. Mais si vous disiez "Je suis fatigué, range la cuisine d'une manière intelligente", ils paniquaient. Ils ne comprenaient pas le contexte.
• Les grands modèles de langage (VLM) sont comme des bibliothécaires géniaux qui ont lu tous les livres du monde. Ils peuvent discuter, expliquer des blagues et comprendre des images, mais ils n'ont pas de corps. Ils ne savent pas comment attraper une cuillère.

Le problème, c'est que jusqu'à présent, essayer de combiner les deux (donner un corps à un bibliothécaire) faisait perdre au robot soit sa capacité à réfléchir, soit sa capacité à bouger. C'est comme essayer de faire du vélo tout en lisant un livre : soit vous tombez, soit vous ne lisez plus.

🚀 La Solution : InstructVLA

Les chercheurs ont créé InstructVLA, un robot qui réussit enfin à faire les deux en même temps. Voici comment ils ont fait, avec des analogies simples :

1. Le "Double Chapeau" (L'architecture MoE)

Imaginez que le cerveau du robot porte deux chapeaux différents :

• Le chapeau du Philosophe : Il sert à réfléchir, à comprendre l'humour, à lire une étiquette sur un pot de confiture ou à dire "Oh, ce fruit est trop mûr".
• Le chapeau du Manœuvre : Il sert à calculer la force pour saisir un objet sans le casser.

Auparavant, on forçait le robot à porter un seul chapeau qui essayait de faire les deux, ce qui le rendait confus. InstructVLA utilise une technique appelée Mixture of Experts (MoE). C'est comme avoir un chef d'orchestre intelligent qui regarde la situation :

• Si vous demandez "Quel est le nom de ce plat ?", le chef dit : "Activez le Philosophe !"
• Si vous dites "Attrape la cuillère", le chef dit : "Activez le Manœuvre !"
• Et si vous dites "Je veux manger, mais je n'ai pas faim, donne-moi quelque chose de petit", le chef fait travailler les deux en équipe pour comprendre la nuance et agir.

2. L'Entraînement en Deux Étages (Le "Stage" et le "Stage 2")

Pour entraîner ce robot, ils n'ont pas tout mélangé d'un coup. Ils ont suivi une méthode en deux temps :

• Étape 1 : L'apprentissage des gestes (Le "Manœuvre" seul).
  D'abord, ils ont appris au robot à bouger ses bras en utilisant des mouvements codés (comme des secrets). Ils ne lui ont pas encore demandé de parler. C'est comme apprendre à un enfant à marcher avant de lui apprendre à réciter des poèmes. Cela évite qu'il oublie comment marcher quand on lui apprend à parler.

• Étape 2 : L'Instruction Multimodale (Le "Philosophe" rejoint le "Manœuvre").
  Ensuite, ils ont ajouté le cerveau. Ils ont donné au robot des milliers d'exemples où il devait non seulement agir, mais aussi expliquer ce qu'il allait faire.

  • Exemple : Au lieu de juste dire "Attrape la pomme", le robot apprend à penser : "Je vois une pomme rouge. L'utilisateur veut un casse-croûte. Je vais donc prendre la pomme."
  • Ils ont créé une base de données spéciale (VLA-IT) de 650 000 exemples, comme un manuel d'instructions géant écrit par des humains, pour apprendre au robot à comprendre les nuances.

3. Le Test : Le "SimplerEnv-Instruct"

Pour voir si leur robot était vraiment intelligent, ils ont créé un examen spécial avec 80 tâches pièges.

• Le test classique : "Mets la cuillère dans le tiroir." (Tous les robots le font).
• Le test InstructVLA : "Je suis triste, je veux quelque chose de doux, mais pas de boisson."
  • Un robot normal prendrait une boisson ou échouerait.
  • InstructVLA a compris : "Ah, 'doux' et 'pas de boisson'... je vais prendre une orange !"

🏆 Les Résultats

Le robot InstructVLA a battu tous les autres :

• Il est 96 % plus performant que les meilleurs robots actuels sur les tâches complexes.
• Il ne perd pas ses capacités de compréhension (il sait toujours lire, reconnaître des objets, etc.).
• Il fonctionne aussi bien dans la simulation que dans le monde réel (dans une vraie cuisine).

En résumé

InstructVLA, c'est comme donner à un robot un cerveau humain capable de réfléchir et de comprendre le monde, tout en gardant des mains d'ouvrier très précises. Grâce à une astuce qui permet de changer de "mode" (réfléchir ou agir) instantanément, le robot ne perd plus ses capacités d'analyse quand il doit bouger. C'est un grand pas vers des robots qui peuvent vraiment nous aider dans la vie de tous les jours, pas juste dans des usines.

Résumé technique

1. Problématique et Contexte

Les robots opérant dans le monde réel doivent intégrer un raisonnement multimodal avancé avec une génération d'actions précises. Cependant, les modèles existants de type Vision-Language-Action (VLA) souffrent de trois limitations majeures :

• Compromis capacités/contrôle : Ils sacrifient souvent la flexibilité du raisonnement des grands modèles vision-langage (VLM) pré-entraînés pour se spécialiser dans des tâches de manipulation, ou inversement.
• Oubli catastrophique (Catastrophic Forgetting) : L'entraînement sur des données de manipulation tend à éroder les capacités de compréhension visuelle et linguistique générales acquises lors du pré-entraînement.
• Manque de données et de paradigmes : Il existe un manque de données d'entraînement riches en supervision multimodale et de mécanismes efficaces pour traduire le raisonnement multimodal en génération d'actions sans perte de performance.

L'objectif est de créer un modèle capable de maintenir les capacités de raisonnement d'un VLM tout en acquérant des compétences de manipulation robustes, en utilisant le raisonnement pour guider l'action.

2. Méthodologie : InstructVLA et VLA-IT

Les auteurs proposent InstructVLA, un modèle VLA unifié qui préserve le raisonnement flexible des VLM tout en délivrant des performances de manipulation de pointe grâce à une nouvelle approche d'entraînement.

A. Architecture du Modèle

InstructVLA repose sur une architecture unifiée combinant un VLM (basé sur Eagle2-2B) et un expert d'action :

1. Génération de texte et d'actions latentes : Le modèle produit des réponses textuelles pour maintenir la compréhension linguistique, tout en générant des représentations d'actions latentes pour la manipulation.
2. Adaptation MoE (Mixture of Experts) : Pour harmoniser le raisonnement et l'action, le modèle utilise une adaptation MoE (Mixture of Experts) basée sur des modules LoRA. Un "tête scalaire" prédit des coefficients de porte (gating) pour alterner dynamiquement entre les experts de langage et d'action selon le contexte. Cela permet au modèle de basculer entre la réflexion textuelle et la planification d'actions sans interférence.
3. Expert d'Action par Flow Matching : Un module d'action distinct (basé sur une architecture Transformer et un encodeur visuel DINOv2) décode les actions finales à partir des observations visuelles et des intentions latentes fournies par le VLM. Cette séparation découple l'apprentissage du contrôle de bas niveau de la compréhension de haut niveau.

B. Paradigme d'Entraînement : VLA-IT (Vision-Language-Action Instruction Tuning)

L'entraînement suit une stratégie en deux étapes pour éviter l'oubli catastrophique :

1. Pré-entraînement de l'Action (Stage 1) : Le modèle est entraîné sur des données de manipulation hétérogènes pour apprendre à prédire des actions et des descriptions linguistiques de mouvement ("language motion"). Seuls les adaptateurs LoRA d'action sont ajustés, préservant ainsi le noyau du VLM.
2. Instruction Tuning VLA (Stage 2) : Le modèle est affiné sur un corpus mixte incluant des données multimodales générales, des données de manipulation et le nouveau jeu de données VLA-IT. Cette étape unifie la génération de langage et d'actions latentes via le cadre MoE, permettant au modèle de basculer automatiquement entre le raisonnement textuel et la génération d'actions.

C. Données et Benchmark

• Jeu de données VLA-IT : Un ensemble de 650 000 échantillons annotés par des humains, contenant des instructions diverses, des légendes de scènes, des paires question-réponse et des descriptions de mouvements, couvrant la compréhension de la scène et la planification d'instructions.
• Benchmark SimplerEnv-Instruct : Une nouvelle suite d'évaluation de 80 tâches (zéro-shot) conçue pour tester la généralisation aux instructions complexes, le raisonnement situé (comprendre le contexte) et la décomposition de tâches.

3. Résultats Clés

Les expériences démontrent que InstructVLA surpasse les modèles de l'état de l'art (SOTA) sur plusieurs fronts :

• Performance de Manipulation :
  • Sur les tâches de manipulation en boucle fermée de SimplerEnv, InstructVLA améliore les performances de 33 % par rapport à SpatialVLA.
  • Sur le benchmark SimplerEnv-Instruct, il surpasse OpenVLA (finetuné) de 96 % et un expert d'action assisté par GPT-4o de 29 %.
• Préservation des Capacités Multimodales :
  • Contrairement aux approches précédentes qui oublient les capacités VLM, InstructVLA maintient des performances élevées sur des benchmarks multimodaux standards (MMMU, MMStar, TextVQA, etc.), se comparant favorablement à des VLMs de taille similaire comme Eagle2 et Bunny.
• Généralisation et Raisonnement :
  • Le modèle excelle dans les tâches nécessitant un raisonnement de haut niveau (ex: "Prends l'objet le plus acide", "Ouvre le tiroir du milieu si le verre est plein").
  • Il démontre une capacité d'inférence à l'exécution (inference-time scaling) : en générant un raisonnement textuel ("Chain of Thought") avant l'action, les performances de manipulation augmentent significativement, tant en simulation qu'en monde réel.
• Expériences Réelles :
  • Des tests sur des robots réels (WidowX-250 et Franka Research 3) confirment la capacité du modèle à suivre des instructions complexes et à effectuer des tâches de raisonnement (ex: OCR, identification d'outils) avec une robustesse supérieure aux modèles de base.

4. Contributions Principales

1. Modèle InstructVLA : Une architecture VLA unifiée qui intègre le raisonnement multimodal et la génération d'actions sans sacrifier les connaissances pré-entraînées, grâce à une adaptation MoE et une séparation des experts.
2. Paradigme VLA-IT : Une méthode d'entraînement en deux étapes et un jeu de données de 650k échantillons qui permettent d'apprendre la manipulation tout en préservant les capacités de compréhension générale.
3. Benchmark SimplerEnv-Instruct : Une nouvelle suite d'évaluation rigoureuse pour mesurer la généralisation des instructions et le raisonnement situé des robots.
4. Validation Empirique : La démonstration que le raisonnement textuel améliore directement la performance de manipulation, comblant le fossé entre l'intelligence cognitive et l'habileté motrice.

5. Signification et Impact

Ce travail représente une avancée significative vers des robots généralistes et interactifs. En prouvant qu'il est possible d'entraîner un modèle à "penser" avant d'agir sans perdre ses compétences de raisonnement visuel et linguistique, InstructVLA ouvre la voie à des interactions humain-robot plus intuitives et steerable.

L'approche suggère que la clé de la généralisation robotique ne réside pas seulement dans l'accumulation de données de manipulation, mais dans l'intégration profonde du raisonnement multimodal pré-entraîné dans le processus de contrôle. Cela permet aux robots de s'adapter à des tâches non vues auparavant, de comprendre des instructions ambiguës et d'opérer dans des environnements dynamiques avec une compréhension contextuelle accrue.