VLA-JEPA: Enhancing Vision-Language-Action Model with Latent World Model

Le papier présente VLA-JEPA, un cadre de pré-entraînement qui améliore les modèles Vision-Language-Action en apprenant des abstractions dynamiques robustes via la prédiction d'états latents futurs sans fuite d'information, surpassant ainsi les méthodes existantes en généralisation et en robustesse.

L'essentiel

🤖 Le Robot qui apprend à regarder avant d'agir

Imaginez que vous voulez apprendre à un robot à faire la vaisselle. La méthode traditionnelle, c'est de lui montrer des milliers de vidéos de robots qui font la vaisselle, en lui disant à chaque seconde : "Tourne le bras à gauche, ferme la pince, avance de 2 cm". C'est efficace, mais c'est long, cher et ça ne fonctionne que si le robot ressemble exactement à celui de la vidéo.

Les chercheurs veulent faire mieux : ils veulent que le robot apprenne en regardant des vidéos de n'importe qui (des humains dans leur cuisine, des vidéos YouTube, etc.), sans avoir besoin de connaître les mouvements exacts des bras.

C'est là que le VLA-JEPA entre en jeu. C'est une nouvelle façon d'entraîner les robots, un peu comme si on leur apprenait à comprendre la logique du monde plutôt qu'à mémoriser des gestes.

🚫 Le Problème : Le Robot qui se fait avoir par les détails inutiles

Avant VLA-JEPA, les robots essayaient d'apprendre en regardant deux images l'une après l'autre (par exemple, une tasse sur la table, puis la tasse dans la main). Ils essayaient de deviner : "Qu'est-ce qui a changé ?".

Le problème, c'est que le robot se concentrait sur les mauvaises choses :

• L'illusion des pixels : Si la lumière change ou si le fond de la vidéo bouge, le robot pense que c'est important. C'est comme si un élève apprenait à conduire en regardant les nuages plutôt que la route.
• La triche (Fuite d'information) : Certains robots regardaient le futur pendant l'entraînement pour deviner le présent. C'est comme un étudiant qui triche en regardant la réponse dans le livre avant de faire l'exercice. Il a l'air intelligent à l'entraînement, mais il échoue totalement à l'examen réel.

💡 La Solution : VLA-JEPA (Le "Devineur de Monde")

VLA-JEPA change la donne en utilisant une méthode inspirée de la façon dont les humains apprennent : en prédisant le futur sans le voir.

Voici l'analogie du Magicien et de l'Assistant :

1. L'Assistant (Le Robot) : Il regarde la scène actuelle (la tasse sur la table). Il doit imaginer ce qui va se passer dans 2 secondes.
2. Le Magicien (Le Cerveau) : Il regarde la scène future (la tasse dans la main), mais il ne montre rien à l'Assistant. Il garde cette image cachée.
3. Le Jeu : L'Assistant fait une prédiction dans sa tête (dans un "espace latent", une sorte de brouillon mental). Le Magicien compare cette prédiction avec la réalité cachée.
   • Si l'Assistant a prédit que la tasse va tomber, mais qu'elle a été attrapée, le Magicien le corrige.
   • Le secret : L'Assistant n'a jamais vu la future image. Il a dû déduire la logique du mouvement (la tasse va vers la main) sans tricher.

🌟 Pourquoi c'est génial ?

Grâce à cette méthode, le robot apprend trois choses importantes :

1. Il ignore le bruit : Si la caméra bouge ou si le fond change de couleur, le robot s'en fiche. Il comprend que c'est juste un changement d'arrière-plan, pas une action importante. C'est comme un chef qui cuisine : il se concentre sur les ingrédients, pas sur la couleur du mur de la cuisine.
2. Il apprend la "physique" du monde : Au lieu de mémoriser des pixels, il apprend des concepts comme "si je pousse, ça bouge" ou "si je lâche, ça tombe". C'est de la vraie intelligence, pas du par cœur.
3. Il est plus robuste : Comme il n'a pas triché pendant l'entraînement, il fonctionne très bien même dans des situations nouvelles (une table différente, une lumière différente, un objet qu'il n'a jamais vu).

🏆 Les Résultats : Un Robot plus intelligent

Les chercheurs ont testé ce robot sur plusieurs jeux vidéo de simulation et même sur de vrais robots dans un laboratoire.

• Résultat : VLA-JEPA bat souvent les meilleurs robots actuels, même avec beaucoup moins de données d'entraînement.
• Le petit plus : Dans les vrais tests, le robot a appris à réessayer s'il échouait (par exemple, s'il lâche un objet, il le rattrape). C'est un comportement qu'on voit souvent dans les vidéos humaines, mais que les robots entraînés uniquement sur des données de robots ne savent pas faire !

🎓 En résumé

VLA-JEPA, c'est comme donner à un robot un livre de physique au lieu d'un manuel de mode d'emploi.

• Au lieu de lui dire "Fais ce mouvement précis", on lui apprend "Voici comment le monde fonctionne, devine ce qui va se passer".
• En apprenant à prédire le futur sans tricher, le robot devient plus intelligent, plus adaptable et capable de travailler dans le monde réel, avec tous ses imprévus.

C'est une étape de plus vers des robots qui ne sont pas juste des machines qui répètent des gestes, mais de véritables assistants capables de comprendre et d'agir dans notre monde complexe.

Résumé technique

1. Problématique et Contexte

L'apprentissage de politiques visuomotrices à partir de vidéos à l'échelle d'Internet est une voie prometteuse pour la robotique, car les données vidéo non étiquetées sont abondantes et diversifiées, contrairement aux données d'interaction robotique coûteuses et rares. Cependant, les méthodes actuelles de pré-entraînement d'actions latentes (Latent-Action Pretraining) souffrent de plusieurs limitations fondamentales :

• Biais vers l'apparence : Les objectifs actuels (prédire les pixels futurs ou les différences de frames) apprennent des représentations ancrées sur la variation visuelle (texture, éclairage, mouvement de caméra) plutôt que sur les transitions d'état pertinentes pour l'action.
• Bruit du mouvement réel : Dans les vidéos réelles, le mouvement de la caméra et les changements de fond non causaux dominent souvent les changements d'état induits par l'interaction, conduisant le modèle à encoder du "bruit" plutôt que de la dynamique contrôlable.
• Fuite d'information (Information Leakage) : De nombreuses architectures permettent au futur (images futures) d'influencer directement l'apprentissage de l'action latente, créant un raccourci où l'action latente encode simplement le futur au lieu de modéliser la dynamique de transition.
• Complexité des pipelines : Les approches existantes nécessitent souvent des pipelines de formation multi-étapes complexes (pré-entraînement de représentation, apprentissage d'action latente, alignement, puis apprentissage de politique), ce qui les rend fragiles et difficiles à évaluer.

L'objectif est donc de concevoir un modèle capable d'apprendre des abstractions de dynamique robustes, qui ignorent les variations d'apparence non pertinentes tout en capturant les transitions d'état contrôlables, sans fuite d'information.

2. Méthodologie : VLA-JEPA

Les auteurs proposent VLA-JEPA, un cadre de pré-entraînement inspiré de l'architecture JEPA (Joint-Embedding Predictive Architecture), conçu spécifiquement pour les modèles Vision-Language-Action (VLA).

Architecture Clé

Le modèle repose sur un backbone VLM (Vision-Language Model) basé sur Qwen3-VL (avec un encodeur SigLIP-2) et un Modèle de Monde Latent.

1. Prédiction d'état sans fuite (Leakage-Free State Prediction) :

   • Encodeur Cible (Target Encoder) : Un encodeur vidéo (V-JEPA2) génère des représentations latentes pour les images futures (contexte futur). Cet encodeur est figé (frozen) et agit comme une "professeure" (teacher).
   • Chemin Étudiant (Student Pathway) : Le VLM reçoit uniquement l'observation actuelle et les instructions linguistiques. Il ne voit jamais les images futures en entrée.
   • Mécanisme : Le VLM produit des tokens d'action latente ($\langle latent_i \rangle$) basés sur l'état actuel. Un modèle de monde prédit ensuite l'état latent futur à partir de l'historique des états et de ces tokens d'action latente.
   • Objectif : Minimiser l'erreur de reconstruction entre la prédiction du modèle de monde et la représentation latente réelle fournie par l'encodeur cible.

2. Apprentissage sur Données Humaines et Robotiques :

   • Pré-entraînement (Données Humaines) : Le modèle apprend la dynamique de transition des états à partir de vidéos humaines (ex: Something-Something-v2) en optimisant uniquement la perte d'alignement latent (World Modeling Loss).
   • Ajustement Fin (Robot Data) : Pour les données robotiques étiquetées (ex: Droid), le modèle ajoute une tête d'action conditionnelle (Action Head) basée sur le Flow Matching. L'objectif total combine la prédiction d'état latent et la prédiction des trajectoires d'action réelles.

3. Pipeline Simplifié :
   Contrairement aux méthodes précédentes, VLA-JEPA utilise un pipeline à deux étapes simple :

   1. Pré-entraînement JEPA (sans reconstruction de pixels, sans fuite d'information).
   2. Ajustement fin de la tête d'action.

3. Contributions Principales

1. Analyse des échecs des actions latentes : Identification de quatre modes d'échec (biais d'apparence, bruit de mouvement, fuite d'information, complexité des pipelines) qui empêchent l'apprentissage de dynamiques action-centrées.
2. VLA-JEPA : Une nouvelle architecture de pré-entraînement JEPA qui apprend des sémantiques de transition action-rélevantes en prédisant des états latents futurs sans reconstruction de pixels ni fuite d'information.
3. Performance et Robustesse : Démonstration que cette approche simplifiée surpasse les méthodes multi-étapes complexes, offrant une meilleure généralisation et robustesse sur des benchmarks simulés et réels.

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs benchmarks de simulation (LIBERO, LIBERO-Plus, SimplerEnv) et sur un robot réel (Franka Research 3).

• LIBERO : VLA-JEPA atteint des performances de pointe (SOTA) sur 2 des 4 suites de tâches et obtient le meilleur taux de réussite moyen global (97,2 %), surpassant des modèles comme OpenVLA-OFT et $\pi0.5$, tout en utilisant moins de données robotiques étiquetées.
• SimplerEnv (Gap Réel-Sim) : Le modèle obtient les meilleurs résultats sur le robot Google Robot et le deuxième meilleur sur le robot WidowX. Il démontre une efficacité supérieure même avec moins de 1 % des données d'entraînement utilisées par des concurrents comme villa-X.
• LIBERO-Plus (Robustesse) : VLA-JEPA surpasse tous les baselines sur 5 des 7 dimensions de perturbation (Caméra, Lumière, Arrière-plan, Disposition, Langage, etc.). Cela prouve que les actions latentes apprises sont robustes aux perturbations visuelles et sémantiques.
• Expériences Réelles :
  • Le modèle montre une stabilité d'exécution supérieure et respecte mieux les contraintes de sécurité du bras robotique que $\pi0.5$.
  • Capacité d'adaptation : Grâce au pré-entraînement sur des vidéos humaines, VLA-JEPA acquiert la capacité de réessayer une saisie (re-grasping) après un échec, une compétence absente chez les modèles entraînés uniquement sur des données robotiques qui ne contiennent pas ces échecs.

5. Signification et Impact

VLA-JEPA marque un changement de paradigme dans l'apprentissage de politiques robotiques à partir de vidéos :

• Dépassement du "Pixel-Centric" : En passant de la reconstruction de pixels à la prédiction d'états latents, le modèle apprend des dynamiques abstraites et robustes, insensibles au bruit visuel.
• Élimination des raccourcis : L'architecture "leakage-free" force le modèle à comprendre comment l'état évolue sous l'effet d'une action, plutôt que de simplement mémoriser le futur.
• Scalabilité et Simplicité : La méthode valide que l'utilisation massive de vidéos humaines (non étiquetées) pour le pré-entraînement, couplée à un pipeline simplifié, est une voie plus efficace et robuste que les approches complexes multi-étapes dépendantes de données robotiques étiquetées.
• Généralisation : La capacité à transférer des compétences comme la réitération d'actions (re-grasping) depuis des vidéos humaines vers des robots physiques ouvre la voie à des agents robotiques plus autonomes et adaptatifs dans des environnements non structurés.

En résumé, VLA-JEPA démontre qu'un modèle de monde latent bien conçu, basé sur des principes JEPA, peut apprendre des politiques de contrôle robustes et généralisables en exploitant efficacement la richesse des données vidéo d'Internet.