💻 computer science

LACE: Latent Visual Representation for Cross-Embodiment Learning

LACE est un cadre qui comble l'écart visuel entre les incarnations humaines et robotiques en alignant leurs représentations visuelles latentes au moyen de correspondances de parties du corps générées automatiquement et éparses, permettant ainsi aux robots de tirer efficacement parti de données abondantes de démonstrations humaines pour l'apprentissage de politiques, même avec des données d'entraînement spécifiques aux robots rares.

Auteurs originaux : Yoo Sung Jang, Kanchana Ranasinghe, Cristina Mata, Yichi Zhang, Jorge Mendez-Mendez, Michael S. Ryoo

Publié 2026-05-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yoo Sung Jang, Kanchana Ranasinghe, Cristina Mata, Yichi Zhang, Jorge Mendez-Mendez, Michael S. Ryoo

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un robot comment ramasser un jouet. Vous disposez de milliers de vidéos montrant des humains le faisant parfaitement, mais vous n'avez qu'une poignée de vidéos du robot le faisant.

Le problème est que les humains et les robots ont des apparences très différentes. Une main humaine a de la peau, des rides et cinq doigts qui se plient de manières spécifiques. Une main robotique peut être en métal, avoir quatre doigts ou ressembler à une pince. Comme ils ont des apparences si différentes, le « cerveau » du robot (sa vision par ordinateur) se perd. Il voit une main humaine dans une vidéo et pense : « C'est un humain », mais quand il voit sa propre main en métal, il pense : « C'est quelque chose de tout à fait différent ». Il ne peut pas relier les deux, donc il ne peut pas apprendre des vidéos humaines.

Ce papier présente une solution appelée LACE (Latent Alignment for Cross-Embodiment Learning, ou Alignement Latent pour l'Apprentissage Trans-Embodiment). Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le problème du « langage »

Imaginez le cerveau du robot comme un élève qui parle un langage complexe appelé « Espace Latent ». Ce langage est utilisé pour décrire ce qu'il voit.

Le problème : Quand le robot regarde une main humaine, il la décrit dans un dialecte de ce langage. Quand il regarde sa propre main en métal, il la décrit dans un dialecte totalement différent. Même si ce sont tous deux des « mains », le robot pense qu'il s'agit de mots sans rapport.
Le résultat : Le robot ignore les vidéos humaines car il ne comprend pas le « dialecte » dans lequel l'humain s'exprime.

2. La solution LACE : Un traducteur universel

LACE agit comme un traducteur universel qui enseigne au robot à parler le même dialecte pour les mains humaines et les mains robotiques.

Au lieu d'essayer de faire en sorte que les images de la caméra du robot ressemblent exactement aux photos humaines (ce qui est difficile et échoue souvent), LACE travaille à l'intérieur du cerveau du robot. Il dit : « Hé, même si le pouce humain et le pouce du robot ont des apparences différentes, ils font le même travail. Assurons-nous que le cerveau du robot les décrit en utilisant exactement le même code interne. »

3. Comment il apprend : L'astuce des « parties partagées »

Pour enseigner ce traducteur, vous n'avez pas besoin de milliers de vidéos du robot. Vous avez besoin d'une seule vidéo du robot en mouvement, plus quelques vidéos existantes d'humains.

La carte : Le système utilise une « carte » des parties du corps. Il sait qu'un pouce humain correspond à un pouce de robot, un poignet humain à un poignet de robot, etc.
La leçon : Il prend une photo d'une main humaine et une photo d'une main robotique. Il pointe le pouce dans les deux images et dit : « Ces deux pixels doivent signifier la même chose pour le cerveau du robot. »
La magie : Il ajuste le cerveau du robot afin que, lorsqu'il voit un pouce de robot, il « ressente » la même sensation interne que lorsqu'il voit un pouce humain.

4. Deux règles pour apprendre

Le papier mentionne deux règles spécifiques que le système suit pour s'assurer qu'il apprend correctement sans oublier tout le reste :

Règle 1 : Le « Matchmaker » (Perte d'alignement sémantique) : Cette règle force le robot à faire correspondre les parties du corps humaines et robotiques. C'est comme un professeur qui dit : « Si tu vois un pouce humain, tu dois penser à la « pouce-ité » exactement de la même manière que tu penses à un pouce de robot. »
Règle 2 : L'« Ancre » (Perte Gram) : Ceci est crucial. Si vous n'enseignez au robot que les pouces, il pourrait oublier comment reconnaître une tasse ou une chaise. La règle « Ancre » dit : « Gardez vos connaissances générales sur le monde (comme à quoi ressemble une table) exactement les mêmes qu'avant. Changez uniquement votre façon de penser aux mains. » Cela empêche le robot de se perdre concernant tout le reste.

5. Les résultats : De zéro à héros

Les chercheurs ont testé cela dans le monde réel :

Sans LACE : S'ils donnaient au robot zéro vidéo d'entraînement robotique et seulement des vidéos humaines, le robot échouait presque 100 % du temps. Il ne pouvait pas déterminer où se trouvait sa propre main.
Avec LACE : En utilisant la même configuration (zéro vidéo robotique), le robot réussissait 60 % du temps. Il pouvait regarder une vidéo humaine, comprendre l'action et l'appliquer avec succès à sa propre main en métal.
Faible quantité de données : Même lorsqu'ils donnaient au robot une toute petite quantité de sa propre vidéo (juste 10 % de ce qui est généralement nécessaire), LACE l'a aidé à performer beaucoup mieux qu'auparavant.

Résumé

LACE est une méthode qui enseigne aux robots à cesser de voir les humains et les robots comme deux espèces différentes. En enseignant au cerveau du robot d'utiliser le même « code interne » pour les parties du corps partagées (comme les pouces et les poignets), elle permet aux robots d'apprendre des compétences complexes à partir de la masse énorme de données vidéo humaines disponibles sur Internet, même s'ils n'ont jamais vu un robot effectuer cette tâche spécifique auparavant. Cela fonctionne avec très peu de données et ne nécessite pas que le robot ressemble à un humain.

Résumé Technique : LACE – Représentation Visuelle Latente pour l'Apprentissage Trans-Embodiment

1. Énoncé du Problème

L'article aborde le défi de l'apprentissage trans-embodiment, spécifiquement la difficulté de transférer des politiques apprises à partir de démonstrations humaines vers des robots. Bien que les architectures de base pour l'apprentissage auto-supervisé (SSL) (par exemple, DINO) soient devenues la norme pour encoder des sémantiques inter-classe riches dans des objets généraux, les auteurs identifient un échec critique : ces modèles préentraînés échouent à établir une correspondance sémantique fiable entre les mains humaines et les mains robotiques.

Les auteurs postulent que cet échec découle d'un « écart visuel » dans l'espace des caractéristiques latentes. Les modèles SSL préentraînés sont formés sur des jeux de données à l'échelle d'Internet (par exemple, LVD-1689M pour DINO) qui manquent d'embodiments robotiques diversifiés. Par conséquent, bien que ces modèles capturent des sémantiques pour des images naturelles, ils n'apprennent pas la carte structurelle entre les parties du corps humain (par exemple, un pouce humain) et leurs équivalents robotiques (par exemple, un doigt de robot). Les solutions existantes tentent souvent de combler cet écart dans l'espace des pixels (via l'édition d'images, la segmentation ou l'inpainting), ce qui élimine la morphologie spécifique à l'embodiment, nécessite un traitement au moment de l'inférence, ou limite le transfert à des robots cibles spécifiques.

2. Méthodologie : LACE

Les auteurs proposent LACE (Latent Alignment for Cross-Embodiment), un cadre qui aligne les représentations visuelles humaines et robotiques directement dans l'espace des caractéristiques latentes d'une architecture de base SSL préentraînée.

Concept Central

LACE exploite la correspondance structurelle des parties du corps partagées à travers les embodiments (par exemple, la mise en correspondance des points clés humains avec les points clés robotiques) comme supervision éparsée. Il affine un modèle préentraîné pour minimiser l'écart visuel dans l'espace latent tout en préservant les capacités sémantiques générales du modèle de base.

Composants Clés

Configuration des Données :
- Données Humaines : Provenant de jeux de données existants annotés avec des points clés (par exemple, le sous-ensemble EpicKitchen de HInt).
- Données Robotiques : Nécessite uniquement une seule démonstration robotique. Les points clés sont dérivés automatiquement via la cinématique directe (FK) et les masques de segmentation du rendu.
- Paires d'Entraînement : Le modèle est entraîné sur des paires d'images $(I_a, I_b)$ provenant d'embodiments différents (trans-embodiment) et du même embodiment (intra-embodiment).
Fonctions de Perte :
L'objectif d'entraînement se compose de deux composantes :
- Perte d'Alignement Sémantique ( $L_{align}$ ) : Cette perte élève la supervision au niveau des points clés vers un alignement au niveau sémantique. Pour un point clé partagé $k$ $k$ , la méthode compare la distribution des similarités entre le patch du point clé et tous les autres patches de l'image.
  - Elle définit une distribution cible $P$ (auto-similarité du point clé dans l'image source) et une distribution proposée $Q$ (cross-similarité du point clé correspondant dans l'image cible).
  - La perte minimise la divergence KL inverse ( $D_{KL}(Q || P)$ ), encourageant le point clé du robot à induire une structure sémantique dans l'espace latent similaire à celle du point clé humain.
  - Un réseau enseignant à Moyenne Mobile Exponentielle (EMA) est utilisé pour stabiliser l'entraînement.
- Perte Gram ( $L_{gram}$ ) : Pour prévenir l'oubli catastrophique de la compréhension visuelle générale du modèle de base (par exemple, la reconnaissance d'objets), une perte Gram est appliquée. Elle pénalise les écarts dans les similarités de caractéristiques par paires (matrice de Gram) entre l'encodeur entraînables et l'encodeur EMA. Cela garantit que, tandis que les caractéristiques de la main s'alignent, la structure relative des autres caractéristiques (arrière-plans, objets) reste stable.
La perte totale est : $L = L_{align} + \lambda L_{gram}$ .
Architecture :
Les auteurs implémentent LACE en utilisant DINOv3 (ViT-S) comme modèle de base, désigné sous le nom de LACE-DINO. La politique est conditionnée uniquement par des caractéristiques visuelles, isolant ainsi l'écart de domaine visuel.

3. Contributions Clés

Identification de l'Écart Latent : L'article démontre que l'écart visuel entre les embodiments humains et robotiques se propage dans les plongements visuels latents, provoquant l'échec des modèles SSL préentraînés à établir une correspondance trans-embodiment.
Cadre de Supervision Éparsée : LACE réalise un alignement sémantique trans-embodiment en utilisant des images issues d'une seule démonstration robotique (ou même d'une seule image annotée avec des points clés) sans nécessiter de jeux de données alignés temporellement ou spatialement.
Préservation des Sémantiques Générales : En introduisant la perte Gram, la méthode aligne des parties du corps spécifiques sans dégrader les caractéristiques visuelles à usage général du modèle de base, évitant ainsi l'oubli catastrophique.
Performance en Régime Zéro-Shot et Faible Données : Le cadre permet aux politiques robotiques de tirer efficacement parti de données humaines abondantes lorsque les données robotiques sont rares, réalisant des gains significatifs dans le transfert zéro-shot et la généralisation vers des environnements hors distribution (OOD).

4. Résultats Expérimentaux

Les auteurs valident LACE par le biais d'expériences extensives sur des tâches de manipulation robotique en conditions réelles.

Métriques d'Alignement des Points Clés :
- Sur la correspondance humain-robot, LACE-DINO réduit l'Erreur de Point Final (EPE) de 87,04 (DINO préentraîné) à 19,36 et augmente la Similarité Cosinus de 0,473 à 0,910.
- Cette amélioration se généralise à d'autres architectures de base SSL (SigLIP, I-JEPA, V-JEPA2).
Tâches en Aval (Estimation de Pose et Localisation) :
- Dans un transfert zéro-shot (sondes entraînées sur des données humaines, testées sur des données robotiques), LACE-DINO surpasse nettement DINO.
- Estimation de Pose : L'EPE s'améliore de 57,5 à 35,6 pixels ; le PCK@0,2 passe de 28,6 % à 72,4 %.
- Localisation : LACE-DINO atteint un taux de réussite de 40,5 % pour la localisation de l'embodiment, contre 3,2 % pour DINO.
Apprentissage de Politique (Prise d'Objets) :
- Régime Zéro-Shot (0 % de données robotiques) : LACE-DINO atteint un taux de réussite de 60 % pour saisir un objet cible, contre 5 % pour la référence DINO.
- Environnements OOD : Dans des environnements avec des objets distracteurs non vus par le robot, LACE-DINO atteint 65 % de réussite, tandis que DINO échoue complètement (0 %).
- Efficacité des Données : LACE-DINO surpasse constamment DINO même avec des données robotiques limitées (10 % ou 100 % des démonstrations robotiques disponibles), démontrant que les représentations alignées compensent la rareté des données.
Généralisation :
- Poses Inédites : Le modèle se généralise à des poses de main non vues pendant l'entraînement.
- Multiples Embodiments : LACE aligne avec succès quatre morphologies distinctes (main humaine, main robotique multi-doigts, préhenseur à mâchoires parallèles, effecteur terminal en tige) simultanément.
- Qualité des Caractéristiques : Des études d'ablation confirment que la perte Gram est cruciale ; sans elle, la performance des tâches en aval (classification ImageNet, segmentation ADE20K) se dégrade considérablement en raison de la dérive des caractéristiques.

5. Signification et Revendications

L'article revendique que LACE fournit une solution pratique au problème de la rareté des données dans l'apprentissage de robots dextres. En opérant dans l'espace latent plutôt que dans l'espace des pixels, il évite la surcharge computationnelle et la perte d'information associées aux méthodes d'édition d'images.

Les auteurs soulignent que leur approche permet aux robots de tirer parti de données vidéo humaines abondantes même lorsque les démonstrations robotiques sont extrêmement limitées ou inexistantes (zéro-shot). Le cadre est présenté comme une méthode générale applicable à n'importe quel modèle de base SSL qui encode une structure sémantique, offrant une voie pour entraîner des politiques robustes pour des environnements inédits et des morphologies robotiques diverses sans nécessiter de jeux de données massifs et synchronisés trans-embodiment. Le code est destiné à être publié publiquement pour faciliter la recherche ultérieure sur la généralisation trans-embodiment.