💻 informatique

Learning a Unified Latent Space for Cross-Embodiment Robot Control

Ce document présente un cadre à deux étapes et évolutif qui apprend un espace latent unifié via l'apprentissage contrastif et des politiques conditionnées par des objectifs afin de permettre un contrôle trans-incarnation robuste et zero-shot à travers divers robots humanoïdes en utilisant uniquement des données humaines.

Auteurs originaux : Yashuai Yan, Dongheui Lee

Publié 2026-01-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yashuai Yan, Dongheui Lee

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une bibliothèque géante de mouvements de danse enregistrés par des humains. Maintenant, imaginez que vous vouliez apprendre à un robot à danser. Le problème est que les robots ont toutes formes et tailles : certains ont deux bras et pas de jambes, d'autres ont quatre pattes et un minuscule torse, et d'autres ressemblent presque exactement aux humains.

Traditionnellement, si vous vouliez qu'un robot danse, vous devriez lui apprendre à partir de zéro, comme si vous engagiez un nouvel instructeur de danse pour chaque modèle de robot. Ce papier propose une méthode bien plus intelligente : un « langage de la danse » universel que chaque robot peut comprendre, peu importe son apparence.

Voici comment les auteurs ont procédé, décomposé en étapes simples :

1. Le « Traducteur Universel » (L'Espace Latent Partagé)

Considérez les membres du corps du robot (bras, jambes, torse) comme des langues différentes. Un bras humain bouge différemment d'un bras de robot.

L'ancienne méthode : Vous essayiez de traduire directement « Bras Humain » en « Bras de Robot », mais c'était désordonné car chaque robot était différent.
La nouvelle méthode : Les auteurs ont créé un traducteur universel (appelé « Espace Latent Unifié »). Au lieu de traduire directement de l'Humain vers le Robot, ils traduisent tout d'abord dans ce langage de la danse neutre.
La recette secrète : Ils n'ont pas seulement traduit le corps entier d'un coup : ils ont divisé le corps en cinq « canaux » distincts : Bras Gauche, Bras Droit, Torse, Jambe Gauche et Jambe Droite.
- Analogie : Imaginez un orchestre symphonique. Au lieu d'essayer de faire en sorte que les violons sonnent exactement comme les tambours, vous avez un chef d'orchestre qui comprend la musique (le mouvement) et qui dit aux violons de jouer leur partition et aux tambours de jouer la leur, même s'ils sont des instruments différents. Cela permet à un robot qui n'a que des bras (comme un robot de table) de comprendre parfaitement la « musique des bras », même s'il n'a pas de jambes pour danser.

2. Apprendre le Langage (Apprentissage Contrastif)

Comment enseignent-ils ce langage universel ?

Ils ont utilisé une méthode appelée Apprentissage Contrastif. Imaginez que vous appreniez à un enfant à reconnaître le geste de « applaudir ». Vous lui montrez un humain qui applaudit, un robot qui applaudit et un personnage de dessin animé qui applaudit. Vous dites à l'enfant : « Ces trois éléments représentent la même idée, même s'ils se ressemblent différemment. »
L'ordinateur fait cela en regroupant les mouvements similaires dans son « esprit » (l'espace latent). Si un humain lève le bras droit et qu'un robot lève le bras droit, l'ordinateur apprend à placer ces deux actions dans le même « quartier » de sa mémoire, quel que soit le mouvement réel des articulations.

3. Le « Fixateur d'Objectifs » (La Politique de Contrôle)

Une fois que les robots parlent ce langage universel, comment leur dire quoi faire ?

Les auteurs ont entraîné une Politique Conditionnée par un Objectif. Considérez cela comme un GPS pour les mouvements du robot.
Au lieu de donner au robot des instructions complexes du type « bouge l'articulation 1 de 5 degrés, puis l'articulation 2 de trois degrés », vous lui donnez simplement une destination : « Déplace ta main vers cet endroit ».
Le robot traduit cet objectif en langage universel, détermine les étapes pour y parvenir et exécute le mouvement.
Le tour de magie : Ils ont entraîné ce GPS uniquement en utilisant des données humaines. Ils n'ont jamais montré au robot comment bouger pendant la phase d'entraînement. Parce que le robot a appris le langage universel, il peut prendre le « GPS humain » et l'appliquer à lui-même immédiatement.

4. Ajouter de Nouveaux Robots (La Fonction « Plug-and-Play »)

C'est peut-être la partie la plus excitante. Et si vous achetiez un tout nouveau robot demain ?

Dans l'ancien temps, vous devriez réentraîner tout le système.
Dans ce système, il vous suffit de brancher un petit adaptateur léger (une couche d'incorporation/embedding).
Analogie : C'est comme acheter une nouvelle paire de chaussures. Vous n'avez pas besoin de reconstruire votre pied ; vous avez juste besoin d'une nouvelle semelle intérieure qui s'adapte à la forme de votre pied. Une fois que vous avez mis cette semelle, votre pied (le robot) peut instantanément suivre le même chemin (le langage universel) que tout le monde. Les auteurs ont montré qu'ils pouvaient ajouter de nouveaux robots en seulement 15 minutes sans réentraîner tout le cerveau.

5. Résultats en Vie Réelle

L'équipe a testé cela sur de nombreux robots différents, allant d'un petit humanoïde (NAO) à un grand (H1), et même un robot avec seulement des bras (TIAGo).

Précision : Les robots pouvaient atteindre des cibles spécifiques avec une précision sub-centimétrique (moins de la largeur d'un ongle).
Polyvalence : Ils pouvaient prendre un mouvement de danse d'un humain, le traduire à un robot, puis prendre ce mouvement de robot et le traduire à un autre robot.
Vie réelle : Ils l'ont même testé sur de vrais robots en laboratoire, faisant réussir à un robot l'action de ramasser des objets et de les jeter dans une poubelle, ou de passer des objets d'une main à l'autre, le tout contrôlé par ce système universel.

Résumé

Le papier présente un système où les robots n'ont pas besoin d'être enseignés individuellement comment bouger. Au lieu de cela, ils apprennent tous un langage de mouvement partagé et modulaire. Cela permet à un seul « cerveau » de contrôler de nombreux types de robots différents, et cela rend l'ajout de nouveaux robots à l'équipe aussi facile que de brancher un nouvel adaptateur. Le résultat est une façon flexible et évolutive de faire bouger des robots diversifiés comme des humains sans avoir besoin de milliers d'heures d'entraînement spécifique pour chacun d'eux.

Résumé Technique : Apprentissage d'un espace latent unifié pour le contrôle de robots multi-incarnations

Énoncé du Problème
Le contrôle d'une gamme diversifiée de plateformes humanoïdes via une interface unifiée demeure un défi majeur en robotique en raison de la variabilité considérable des morphologies, des degrés de liberté et des contraintes cinématiques. Les approches existantes pour le contrôle cross-embodiment (multi-incarnation) reposent souvent sur des représentations invariantes au domaine et pertinentes pour la tâche, ou nécessitent des données de démonstration appariées substantielles entre les humains et des robots spécifiques. Ces méthodes peinent fréquemment à passer à l'échelle, car le transfert de compétences vers de nouvelles plateformes non vues nécessite souvent un réapprentissage ou un ajustement spécifique à la plateforme. Les auteurs abordent le problème du développement d'un cadre de contrôle unique capable d'opérer sur diverses incarnations robotiques sans réapprentissage, en visant l'apprentissage d'un espace latent partagé unifié où les politiques de contrôle entraînées sur des données humaines peuvent être directement déployées sur plusieurs plateformes robotiques.

Méthodologie
Le cadre proposé fonctionne en deux étapes distinctes :

Apprentissage d'un espace latent unifié (Étape 1) :
- Architecture : Les auteurs emploient une approche d'apprentissage contrastif pour construire une représentation latente partagée entre les humains et divers robots. L'architecture comprend un encodeur humain ( $E_h$ ), un encodeur cross-embodiment ( $E_X$ ), un décodeur cross-embodiment ( $D_X$ ) et des couches d'embedding spécifiques au robot ( $E_r, D_r$ ) pour gérer les variations de dimensionnalité des articulations.
- Structure latente découplée : Pour traiter les différences morphologiques (par exemple, des robots avec seulement des bras versus des humanoïdes complets), l'espace latent est découpé en cinq sous-espaces correspondant aux segments du corps : Bras Gauche (LA), Bras Droit (RA), Tronc (TK), Jambe Gauche (LL) et Jambe Droite (RL).
- Métriques de similitude adaptées : Au sein de chaque sous-espace, des métriques de similitude spécifiques sont appliquées. Pour les bras, une métrique hybride combine la distance basée sur la rotation et le positionnement normalisé de l'effecteur terminal (EE). Pour les autres segments (tronc, jambes), une métrique basée sur la rotation est utilisée. Cela permet un alignement précis des motifs de mouvement localisés.
- Objectifs d'entraînement : Le modèle est entraîné à l'aide d'une combinaison de pertes : la perte de triplet (Triplet Loss) pour l'apprentissage contrastif, la perte de reconstruction ( $L_{rec}$ ) pour la fidélité de la pose du robot, la perte de cohérence latente ( $L_{ltc}$ ) pour aligner les domaines humain et robot sans données appariées, et la perte temporelle ( $L_{temporal}$ ) pour aligner les vitesses des effecteurs terminaux.
- Scalabilité : De nouveaux robots peuvent être intégrés en figeant les réseaux de base ( $E_h, E_X, D_X$ ) et en entraînant uniquement les couches d'embedding légères et spécifiques au robot ( $E_r, D_r$ ).
Contrôle dans l'espace latent conditionné par un objectif (Étape 2) :
- Entraînement de la politique : Une politique de contrôle conditionnée par un objectif est entraînée exclusivement sur des données de mouvement humain en utilisant un cadre de Variational Autoencoder conditionnel (c-VAE).
- Mécanisme : La politique prédit les déplacements dans l'espace latent ( $d_t$ ) guidés par un signal d'intention dérivé de la vitesse moyenne de l'effecteur terminal vers un objectif spécifié par l'utilisateur.
- Déploiement : La politique entraînée opère directement dans l'espace latent partagé. Lors de l'inférence, la pose actuelle du robot est encodée, la vitesse dirigée vers l'objectif est calculée, et le décodeur génère des déplacements latents pour mettre à jour itérativement l'état du robot vers l'objectif. Ce processus ne nécessite aucun ajustement (fine-tuning) pour les différentes incarnations robotiques.

Contributions Clés

Architecture d'espace latent découplée : Une conception modulaire qui permet un alignement fin du mouvement à travers diverses morphologies en modélisant les parties du corps de manière indépendante, s'adaptant ainsi aux robots possédant des structures de membres partielles ou asymétriques.
Cadre d'apprentissage contrastif modulaire : Un système utilisant des métriques de similitude adaptées (combinant la rotation des articulations et le positionnement de l'effecteur terminal) pour apprendre conjointement les représentations de mouvement des humains et de multiples incarnations robotiques.
Politique de contrôle conditionnée par un objectif : Une politique opérant directement dans l'espace latent partagé qui permet un contrôle multi-robot précis sans ajustement supplémentaire, entraînée uniquement sur des démonstrations humaines.
Cadre évolutif (Scalable) : Un mécanisme pour ajouter efficacement de nouveaux robots au système en apprenant uniquement une couche d'embedding légère et spécifique au robot, évitant ainsi le réentraînement complet du modèle.

Résultats Expérimentaux
Les auteurs ont évalué le cadre sur plusieurs plateformes, notamment TIAGo++, H1, NAO, JVRC, ATLAS, G1 et Kinova Gen3.

Retargeting de mouvement : L'approche de l'espace latent découplé a nettement surpassé un espace latent monolithique (couplé) et la ligne de base ImitationNet en termes de précision de la position et de la vitesse de l'effecteur terminal (Similitude de distance normalisée et Similitude de vitesse normalisée). Bien qu'un espace partagé ait initialement montré une précision de rotation réduite, la conception découplée a permis de récupérer cette performance tout en maintenant une haute fidélité de trajectoire.
Scalabilité : Lors de l'ajout de nouveaux robots (ATLAS, G1, Kinova) en entraînant uniquement les couches d'embedding, les performances ont égalé celles des robots entraînés de bout en bout, le temps d'entraînement étant réduit de plusieurs heures à environ 15 minutes.
Performance de contrôle : La politique de contrôle dans l'espace latent a atteint une précision sub-centimétrique pour atteindre les positions cibles sur tous les robots testés (erreurs de distance à l'objectif allant de 0,13 cm à 1,14 cm). Le système supporte des fréquences de contrôle d'environ 100 Hz.
Validation matérielle : Des expériences en conditions réelles sur les robots TIAGo-SEA et Kinova Gen3 ont démontré des téléopérations réussies pour des tâches de saisie et de dépose (pick-and-place) ainsi que du retargeting de mouvement de robot à robot en utilisant uniquement une caméra RGB comme entrée.

Signification et Revendications
L'article affirme fournir une solution évolutive et agnostique de l'incarnation pour le contrôle de robots. En apprenant un espace latent unifié, les auteurs démontrent que les politiques de contrôle entraînées sur des données humaines peuvent être déployées de manière transparente sur diverses plateformes robotiques sans réentraînement. Ce travail souligne le potentiel pour une gestion efficace de systèmes multi-robots, où une seule politique peut contrôler plusieurs robots dotés de structures cinématiques différentes. Les auteurs notent que bien que l'implémentation actuelle utilise le modèle SMPL (qui manque de données explicites sur le mouvement des mains), le cadre gère avec succès les mouvements grossiers du corps et des bras, offrant une voie prometteuse vers un contrôle unifié. La méthode est présentée comme une étape vers le comblement du fossé de l'incarnation (embodiment gap), permettant aux robots d'apprendre à partir de démonstrations humaines et de transférer des compétences à de nouvelles plateformes avec un surcoût computationnel minimal.