UniLACT: Depth-Aware RGB Latent Action Learning for Vision-Language-Action Models

Ce papier présente UniLACT, un modèle vision-langage-action qui améliore les tâches de manipulation en intégrant des représentations d'actions latentes apprises à partir de vidéos non étiquetées combinant la profondeur et l'RGB via le cadre UniLARN, permettant ainsi d'acquérir des priors spatiaux essentiels pour une manipulation précise.

L'essentiel

🤖 Le Robot qui "voit" en 3D sans avoir besoin de lunettes

Imaginez que vous essayez d'enseigner à un robot comment faire la vaisselle ou ranger des jouets. Jusqu'à présent, la plupart des robots apprenaient en regardant des milliers de vidéos, un peu comme un enfant qui observe ses parents. Mais il y a un gros problème : ces vidéos sont souvent en 2D (comme une photo plate).

Pour un robot, une pomme et une balle rouge peuvent sembler identiques sur une photo plate. Le robot ne sait pas si l'objet est loin ou près, ni s'il risque de se cogner contre un mur. C'est comme essayer de jouer au tennis en regardant le match à la télévision : vous voyez la balle, mais vous ne savez pas exactement où elle va atterrir dans votre jardin.

C'est là que l'équipe de chercheurs (UNILACT) a eu une idée brillante.

🧠 L'Idée Géniale : Apprendre avec des "Lunettes de Profondeur"

Leur secret ? Ils ont créé un robot qui apprend en regardant des vidéos en 3D (avec de la profondeur), mais qui, une fois l'apprentissage terminé, peut fonctionner avec des vidéos normales en 2D.

Imaginez un étudiant en mécanique :

1. La phase d'apprentissage (L'entraînement) : L'étudiant porte des lunettes de réalité virtuelle spéciales qui lui montrent la distance exacte entre les pièces. Il manipule des engrenages, apprend à ne pas se cogner, et comprend la géométrie de l'espace.
2. La phase d'examen (L'utilisation) : Le jour de l'examen, on lui enlève les lunettes. Mais grâce à ce qu'il a appris, son cerveau a intégré la notion de "profondeur". Il peut maintenant manipuler les engrenages avec précision, même sans les lunettes spéciales.

C'est exactement ce que fait UNILACT.

🛠️ Comment ça marche ? (Les 3 Étapes Magiques)

Les chercheurs ont divisé le processus en trois étapes, comme une recette de cuisine :

1. La Cuisine : UNILARN (L'apprentissage des ingrédients)

D'abord, ils créent un outil appelé UNILARN. Cet outil regarde des vidéos où l'on voit à la fois l'image normale (couleurs) et l'image de profondeur (la distance).

• L'analogie : Imaginez un chef qui apprend à cuisiner en goûtant à la fois le plat final (la couleur) et en sentant la texture (la profondeur). Il crée une "mémoire gustative" unique qui combine les deux.
• Le résultat : Le robot crée une carte mentale (un "espace latent") qui contient à la fois les couleurs des objets ET leur forme en 3D.

2. Le Mémorisation : UNILACT (L'entraînement du cerveau)

Ensuite, ils utilisent cette carte mentale pour entraîner le cerveau du robot (UNILACT). Le robot regarde des vidéos de tâches (comme "ouvre le tiroir") et doit deviner les mouvements nécessaires.

• L'analogie : C'est comme si le robot lisait un livre d'histoires où les images sont en 3D. Il apprend à prédire la suite de l'histoire (les mouvements) en comprenant non seulement ce qu'il voit, mais aussi où les objets sont situés dans l'espace.
• Le petit tour de magie : Pendant cet entraînement, le robot utilise la profondeur. Mais une fois qu'il a appris, il n'en a plus besoin !

3. La Pratique : Le Robot dans le Monde Réel

Enfin, on donne au robot une tâche réelle. Il ne reçoit que des images 2D (comme une caméra normale).

• Le résultat : Grâce à son entraînement "3D", le robot sait instinctivement où placer sa pince pour saisir un objet sans le faire tomber ou cogner le meuble. Il a internalisé la géométrie.

🏆 Les Résultats : Pourquoi c'est impressionnant ?

Les chercheurs ont testé leur robot dans deux mondes :

1. Dans un simulateur (un jeu vidéo ultra-réaliste) : Le robot UNILACT a réussi beaucoup plus de tâches complexes que les robots qui n'avaient appris qu'avec des images 2D. Il a fait 29 % de progrès de plus !
2. Dans la vraie vie : Ils ont mis le robot devant un vrai bras mécanique.
   • Exemple concret : Pour mettre une carotte dans un bol, un robot classique (qui ne voit qu'en 2D) a souvent raté son coup et poussé le bol, car il ne voyait pas la distance.
   • UNILACT, lui, a vu la profondeur, a ajusté sa trajectoire et a déposé la carotte doucement dans le bol sans rien renverser.

💡 En Résumé

Ce papier nous dit que pour qu'un robot soit vraiment habile (comme un humain), il ne suffit pas de lui montrer des couleurs. Il faut lui apprendre la géométrie de l'espace.

Le génie de cette méthode, c'est qu'elle permet d'entraîner le robot avec des données 3D (qui sont rares et chères à obtenir), mais de le laisser travailler ensuite avec des caméras simples et peu coûteuses. C'est comme donner à un élève un cours de pilotage en avion de chasse, pour qu'il puisse ensuite conduire une voiture de ville avec une aisance incroyable.

Le mot de la fin : UNILACT, c'est le robot qui a appris à "sentir" l'espace en 3D, même s'il ne regarde qu'en 2D.

Résumé technique

1. Problématique et Contexte

Les modèles Vision-Language-Action (VLA) ont permis de développer des politiques robotiques capables de généraliser à de nouvelles tâches et objets. Cependant, leur préentraînement repose souvent sur des données robotiques massives et annotées (téléopérées), ce qui est coûteux et difficile à mettre à l'échelle.

Pour contourner ce problème, des approches récentes utilisent des actions latentes apprises à partir de vidéos non étiquetées (via des modèles de dynamique inverse et directe) pour préentraîner les VLA sans supervision explicite des actions.

La limitation principale identifiée :
Les méthodes existantes apprennent ces actions latentes uniquement à partir d'observations RGB (couleur). Par conséquent, ces représentations latentes capturent principalement des dynamiques basées sur l'apparence visuelle, mais elles sont "aveugles" à la structure géométrique 3D. Or, la géométrie 3D est cruciale pour les tâches de manipulation complexes impliquant des contacts (préhension précise, évitement de collisions, placement). Un robot ne peut pas raisonner sur la profondeur ou la distance d'atteinte s'il manque cette information dans ses représentations d'action.

2. Méthodologie

L'article propose une solution en deux temps, intégrant l'information de profondeur uniquement pendant l'entraînement pour enrichir les représentations latentes, tout en permettant une inférence basée uniquement sur le RGB.

A. UNILARN : Apprentissage d'Actions Latentes Unifiées

Le premier composant est UNILARN (Unified Latent Action leaRNing), un cadre d'apprentissage basé sur la dynamique inverse (IDM) et la dynamique directe (FDM).

• Objectif : Apprendre un espace d'embedding partagé pour les observations RGB et de profondeur (Depth).
• Mécanisme :
  1. Des modèles IDM convertissent les paires d'images (t, t+H) en embeddings latents continus pour chaque modalité (RGB et Depth).
  2. Ces embeddings sont discrétisés via un quantificateur vectoriel (VQ) partagé pour obtenir des actions latentes spécifiques à chaque modalité.
  3. Ces latents sont fusionnés et re-quantifiés pour produire une représentation latente unifiée.
  4. Des modèles FDM spécifiques à chaque modalité utilisent cette représentation unifiée pour reconstruire les futures observations (RGB et Depth). Cela force la représentation unifiée à capturer les dynamiques complémentaires de chaque modalité.
• Résultat : UNILARN génère des "pseudo-étiquettes" d'action (latentes) qui contiennent à la fois des informations sémantiques (RGB) et géométriques (Depth).

B. UNILACT : Préentraînement et Affinement

Le second composant est UNILACT, un modèle VLA basé sur un Transformer.

• Préentraînement (Stage 2) : Le modèle est préentraîné pour prédire les actions latentes (générées par UNILARN) à partir des observations visuelles et des instructions textuelles. Il utilise une prédiction de token autoregressive.
  • Stratégie clé : Le modèle apprend à prédire des latents spécifiques (RGB, Depth) ou unifiés, favorisant l'alignement entre les espaces sémantiques et géométriques.
• Affinement (Stage 3) : Le modèle est affiné (fine-tuned) sur des démonstrations robotiques réelles (avec supervision d'action) pour mapper les tokens latents prédits vers des commandes de contrôle continues (déplacements de l'effecteur et commande de la pince).
• Inférence : À l'exécution, UNILACT ne nécessite que des observations RGB et des instructions textuelles. La profondeur n'est utilisée que durant l'entraînement pour structurer l'espace latent.

3. Contributions Clés

1. UNILARN : Un cadre d'apprentissage unifié qui apprend conjointement des représentations latentes spécifiques aux modalités et une représentation unifiée, capturant à la fois la sémantique visuelle et la structure géométrique 3D.
2. UNILACT : Le premier VLA à intégrer des indices de profondeur directement dans l'espace de représentation d'action latente. Cela permet aux politiques en aval d'hériter de priors spatiaux plus forts sans nécessiter de données de profondeur à l'inférence.
3. Validation Expérimentale : Démonstration que l'intégration de la profondeur dans les latents améliore significativement la compréhension spatiale 3D par rapport aux approches basées uniquement sur le RGB, tant en simulation que dans le monde réel.

4. Résultats Expérimentaux

Les expériences ont été menées sur des benchmarks de simulation (CALVIN) et dans des environnements réels (bras robotique xArm7).

• Simulation (CALVIN ABC→D) :

  • UNILACT surpasse la baseline la plus proche (Moto, basée uniquement sur le RGB) avec une amélioration relative de 29,2% de la longueur de séquence moyenne (Avg. Len.) dans un scénario de préentraînement hors domaine (Open X-Embodiment).
  • Les gains sont particulièrement marqués sur les tâches centrées sur la géométrie (ex: déplacer un curseur, allumer une ampoule) par rapport aux tâches purement basées sur l'apparence.

• Monde Réel :

  • Sur quatre tâches de manipulation (préhension, placement, évitement), UNILACT a atteint un taux de réussite moyen de 62,5%, contre 52,5% pour la baseline Moto.
  • Qualitatif : Les vidéos montrent que la baseline échoue souvent à cause de collisions ou de préhensions imprécises dues à une mauvaise estimation de la profondeur, tandis qu'UNILACT réussit des tâches complexes comme placer un objet dans un bol sans collision.

• Efficacité Computationnelle :

  • Malgré l'utilisation de la profondeur à l'entraînement, UNILACT conserve la même taille de modèle (89,8M de paramètres) et la même latence d'inférence (27 ms) que la baseline RGB, car la profondeur n'est pas utilisée en phase de test.

5. Signification et Impact

Ce travail démontre que l'intégration de la géométrie 3D dans les représentations d'action latente est un levier puissant pour améliorer les capacités de manipulation des robots.

• Changement de paradigme : Au lieu d'ajouter la profondeur comme une entrée supplémentaire au réseau de politique (ce qui augmente la complexité à l'inférence), UNILACT l'utilise pour "enseigner" au modèle une meilleure compréhension spatiale via l'apprentissage auto-supervisé.
• Généralisation : La méthode améliore la robustesse et la généralisation, permettant aux robots de mieux gérer les tâches de contact et d'évitement d'obstacles, même avec des données d'entraînement limitées.
• Accessibilité : En ne nécessitant pas de capteurs de profondeur coûteux à l'inférence, cette approche rend les politiques robotiques avancées plus facilement déployables sur des systèmes standard équipés de caméras RGB.

En résumé, UNILACT établit un nouvel état de l'art en prouvant que l'apprentissage d'actions latentes "conscientes de la profondeur" (depth-aware) à partir de données non étiquetées permet de créer des politiques robotiques plus précises, plus sûres et plus généralisables.