Mantis: A Versatile Vision-Language-Action Model with Disentangled Visual Foresight

Le papier présente Mantis, un modèle vision-langage-action novateur qui utilise une prévision visuelle désengagée pour améliorer la compréhension, le raisonnement et l'efficacité de l'apprentissage, surpassant ainsi les modèles de référence existants sur des benchmarks robotiques et dans des évaluations réelles.

L'essentiel

🤖 Mantis : Le Robot qui "Rêve" avant d'Agir

Imaginez que vous apprenez à un enfant à faire du vélo.

• Les robots actuels sont comme un enfant qui regarde seulement la roue d'avant et essaie de pédaler en suivant des instructions strictes. S'il y a un petit obstacle ou une question bizarre ("Peux-tu faire un tour si je te dis 'fais le tour de la lune' ?"), il se bloque.
• Mantis, c'est un enfant qui, avant de pédaler, ferme les yeux et imagine ce qui va se passer dans les 10 prochaines secondes. Il se dit : "Si je tourne le guidon à gauche, le vélo va pencher, et je vais éviter ce rocher."

Ce papier présente Mantis, un nouveau modèle d'intelligence artificielle pour les robots qui combine trois choses essentielles : voir (les yeux), comprendre (le cerveau) et prédire (l'imagination).

---

🧩 Le Problème : Trop de bruit, pas assez de sens

Jusqu'à présent, les robots apprenaient de deux façons, et les deux avaient des défauts :

1. La méthode "Tout voir" : On demande au robot de prédire exactement chaque pixel de l'image future (comme un film). C'est trop lourd ! Le robot passe son temps à calculer la couleur d'un mur plutôt que à décider comment saisir une tasse. C'est comme essayer de conduire une voiture en dessinant chaque feuille d'arbre sur la route.
2. La méthode "Tout résumer" : On demande au robot de résumer l'image en quelques points clés. Mais en résumant, on perd les détails importants (comme la texture d'une poignée glissante). C'est comme essayer de cuisiner un gâteau en regardant seulement une photo floue de la recette.

De plus, beaucoup de robots oublient leur "culture générale". Ils deviennent de superbes exécutants, mais s'ils ne comprennent pas le sens des mots, ils échouent dès qu'on leur donne une instruction un peu créative.

---

✨ La Solution de Mantis : La "Prévoyance Visuelle Découplée"

Mantis utilise une astuce géniale appelée Prévoyance Visuelle Découplée (DVF). Voici l'analogie pour comprendre :

Imaginez un chef cuisinier (le robot) qui doit préparer un plat complexe.

• Le Chef (le cerveau du robot) : Il doit comprendre la recette (le langage) et décider des mouvements de ses mains (les actions).
• Le Stagiaire (la tête de prévoyance) : Au lieu de demander au Chef de dessiner le futur plat lui-même (ce qui le distrait), Mantis a un Stagiaire spécial.

Comment ça marche ?

1. Le Chef donne une instruction au Stagiaire : "Imagine ce qui va se passer si je mets la cuillère dans la casserole."
2. Le Stagiaire (qui est très rapide et spécialisé) génère une image mentale de ce futur.
3. Le secret : Le Chef ne regarde pas l'image complète du futur. Il ne regarde que les changements (le mouvement de la cuillère). Ces changements sont comme des "indices cachés" (des latent actions) qui disent au Chef : "Hé, pour faire ce mouvement, tu dois bouger ta main comme ça."

En séparant le "rêve" (la prédiction de l'image) du "réflexe" (l'action réelle), le robot ne se perd plus. Il garde son cerveau libre pour comprendre le langage et raisonner, tout en ayant une boussole visuelle pour ses mouvements.

---

🚀 Les Trois Super-Pouvoirs de Mantis

1. L'Apprentissage Progressif (La méthode "Escalier")

Au lieu d'essayer d'apprendre à marcher, parler et cuisiner en même temps, Mantis monte un escalier :

• Étape 1 : Il regarde des milliers de vidéos de humains (comme sur YouTube) pour apprendre comment les objets bougent dans le monde réel.
• Étape 2 : Il regarde des vidéos de robots pour apprendre à transformer ces mouvements en commandes mécaniques.
• Étape 3 : Il lit des livres et des conversations pour apprendre à comprendre les nuances du langage humain.
  Cela évite que le robot ne "oublie" comment parler quand il apprend à bouger.

2. Le "Rêve" qui aide à agir

Grâce à sa capacité à prédire l'avenir, Mantis est beaucoup plus rapide pour apprendre. Là où d'autres robots mettent des mois à converger (atteindre un bon niveau), Mantis y arrive en quelques jours. C'est comme si un athlète pouvait visualiser sa course parfaite avant même de partir, ce qui améliore son temps réel.

3. L'Adaptation Intelligente (ATE)

Parfois, le robot n'a pas besoin de calculer chaque mouvement avec précision (ex: marcher dans un couloir vide). Parfois, il doit être ultra-précis (ex: visser un petit boulon).
Mantis possède un mode "Adaptatif" :

• Si la tâche est simple, il va vite et économise de l'énergie.
• Si la tâche est délicate, il active un mode "super-précision" et vérifie plusieurs fois ses calculs.
  C'est comme un conducteur qui roule vite sur l'autoroute mais ralentit et vérifie ses rétroviseurs dans un virage serré.

---

🏆 Les Résultats : Pourquoi c'est impressionnant ?

Les chercheurs ont testé Mantis dans deux mondes :

1. Le monde virtuel (Simulation) : Sur le benchmark LIBERO (un test standard pour les robots), Mantis a obtenu 96,7% de réussite. C'est un score record, battant les meilleurs modèles actuels.
2. Le monde réel : Ils l'ont mis sur un vrai robot (une plateforme Agilex).
   • Compréhension : Si on lui demande "Mets la tasse sur le chanteur", il sait qui est Taylor Swift.
   • Logique : Si on dit "Mets l'ours sur le nombre 8" ou "Mets l'ours sur le nombre (3+5)", il fait le calcul et comprend que c'est pareil.
   • Généralisation : Même si on lui donne une instruction qu'il n'a jamais vue, il réussit souvent là où les autres robots échouent complètement.

🎯 En Résumé

Mantis, c'est un robot qui ne se contente pas de suivre des ordres aveuglément. Il imagine le futur pour mieux agir, il comprend le langage pour ne pas se tromper de contexte, et il s'adapte pour être à la fois rapide et précis.

C'est un peu comme passer d'un robot qui obéit à un script rigide à un robot qui a un instinct, une imagination et une culture générale. C'est un grand pas vers des robots qui peuvent vraiment nous aider dans notre quotidien, pas seulement dans des usines.

Résumé technique

Titre : Mantis : Un modèle Vision-Language-Action (VLA) polyvalent avec une Prévision Visuelle Désenchevêtrée

1. Problématique

Les modèles Vision-Language-Action (VLA) actuels, qui traduisent les instructions linguistiques et les observations visuelles en actions robotiques, font face à trois défis majeurs :

• Déséquilibre de supervision : Les signaux d'action (bas dimensionnels) sont trop épars pour superviser efficacement de grands modèles VLA traitant des entrées sensorielles haute dimension. Cela laisse une grande partie de la capacité du modèle sous-utilisée.
• Compromis de la prévision visuelle : Intégrer la prévision d'états visuels futurs (foresight) pour enrichir l'apprentissage pose problème.
  • Prédire directement des états visuels denses (images futures) est coûteux en calcul et distrait le modèle de la prédiction d'action.
  • Compresser ces états visuels en signaux supervisés compacts crée un goulot d'étranglement informationnel, perdant les détails fins des mouvements.
• Perte de capacités cognitives : L'entraînement spécifique aux robots tend à écraser les capacités de compréhension et de raisonnement acquises lors du pré-entraînement des modèles de langage-vision (VLM), limitant la généralisation aux instructions inattendues (OOD - Out-of-Distribution).

2. Méthodologie : Le cadre Mantis

L'article propose Mantis, un nouveau cadre VLA introduisant une Prévision Visuelle Désenchevêtrée (Disentangled Visual Foresight - DVF) pour résoudre ces problèmes.

Architecture Principale :

• Backbone (Cœur) : Utilisation de Qwen2.5-VL pour ses robustes capacités de compréhension et de raisonnement.
• Tête DVF (Décorrélation) : Au lieu de forcer le backbone à prédire les images, Mantis utilise une tête de diffusion basée sur un Transformateur de Diffusion (DiT) (inspiré de Sana).
  • Des requêtes méta (meta queries), appelées latent-action queries ([LAT]), sont introduites.
  • Le DiT reçoit l'état visuel courant via une connexion résiduelle. Cela permet aux requêtes [LAT] de capturer dynamiquement les changements inter-images (la trajectoire visuelle) sans avoir à reconstruire l'image complète.
  • Ces requêtes [LAT] capturent ainsi des actions latentes qui guident la prédiction d'action explicite.
• Tête d'Action : Utilise un DiT pour générer la trajectoire d'action future en s'appuyant sur les requêtes d'action ([ACT]) qui agrègent les informations du contexte et des requêtes [LAT].
• Supervision Linguistique : Le backbone reste supervisé par des tâches de langage pour préserver les capacités sémantiques.

Stratégies d'Entraînement et d'Inférence :

• Recette d'Entraînement Progressif : Pour éviter la compétition entre les modalités, l'entraînement se fait en trois étapes :
  1. Entraînement Visuel Multi-Gap : Prédiction de futurs cadres sur des vidéos humaines (SSV2) sans actions, pour apprendre les dynamiques latentes.
  2. Entraînement Joint Vision-Action : Introduction des données robotiques (DROID) pour aligner la vision et l'action.
  3. Entraînement Mixte Supervisé par le Langage : Ajout de 38 jeux de données multimodaux pour renforcer la compréhension et le raisonnement.
• Ensemble Temporel Adaptatif (ATE) : Une stratégie d'inférence qui ajuste dynamiquement la force de l'ensemble temporel (Temporal Ensemble).
  • Elle détecte les zones d'intérêt (cibles de l'instruction) et les zones dynamiques (mouvements du bras).
  • Si une superposition est détectée (manipulation fine), l'ensemble est activé pour la stabilité. Sinon, il est désactivé pour l'efficacité. Cela réduit le nombre d'inférences de 50 %.

3. Contributions Clés

1. Prévision Visuelle Désenchevêtrée (DVF) : Une architecture qui sépare la prédiction visuelle de la prédiction d'action via des requêtes latentes, fournissant des indices prospectifs concis sans surcharger le backbone.
2. Recette d'Entraînement Progressif : Une méthode efficace pour fusionner les modalités (vision, action, langage) sans dégrader les capacités de raisonnement du modèle.
3. Performance et Efficacité : Mantis atteint des résultats state-of-the-art tout en intégrant une stratégie d'inférence adaptative (ATE) pour réduire la latence.

4. Résultats Expérimentaux

Benchmarks de Simulation (LIBERO) :

• Mantis atteint un taux de réussite moyen de 96,7 % sur le benchmark LIBERO, surpassant des modèles puissants comme OpenVLA (76,5 %), π0 (94,2 %) et UnifiedVLA (95,5 %).
• Vitesse de convergence : Mantis converge beaucoup plus rapidement que les approches de prévision visuelle couplées (comme UnifiedVLA), qui peinent à apprendre au début de l'entraînement.

Expériences dans le Monde Réel (Plateforme Agilex) :

• Suivi d'instructions et Généralisation : Mantis est comparé à π0.5 (un modèle VLA open-source leader).
  • Mantis excelle sur les instructions hors domaine (OOD) nécessitant des connaissances du monde (ex: "Mets la tasse sur Taylor Swift") ou du raisonnement (ex: "Mets l'ours sur le nombre (3+5)").
  • π0.5 échoue presque systématiquement sur ces tâches OOD, confirmant que la supervision linguistique de Mantis préserve les capacités de raisonnement.
• Efficacité (ATE) : La variante Mantis-ATE réduit le nombre d'appels d'inférence de 50 % tout en maintenant des taux de réussite comparables.

Ablation Studies :

• La connexion résiduelle dans le DVF est cruciale pour capturer les actions latentes.
• Le pré-entraînement vidéo améliore significativement les performances.
• Sans supervision linguistique, le modèle perd sa capacité de généralisation aux instructions OOD.

5. Signification et Impact

L'article Mantis représente une avancée significative dans le domaine de la robotique apprenante :

• Il résout le dilemme classique entre la nécessité de prévisions visuelles denses pour l'apprentissage et la nécessité de garder le modèle focalisé sur l'action.
• Il démontre que l'on peut maintenir et même améliorer les capacités de raisonnement et de compréhension du langage d'un VLM tout en l'entraînant pour des tâches de manipulation robotique complexes.
• L'approche ATE offre une solution pratique pour le déploiement réel, en équilibrant stabilité du mouvement et efficacité computationnelle.

En résumé, Mantis établit un nouvel état de l'art en combinant une architecture désenchevêtrée innovante, un entraînement progressif rigoureux et une stratégie d'inférence adaptative, permettant aux robots de mieux comprendre, raisonner et agir dans des environnements complexes et imprévus.