💻 computer science

Human2Humanoid: Physics-Aware Cross-Morphology Motion Retargeting for Humanoid Robots

Cet article présente Human2Humanoid, un cadre non supervisé qui exploite une architecture basée sur CycleGAN avec des convolutions de graphes sensibles au squelette et des contraintes respectant la physique pour parvenir à un transfert de mouvement haute fidélité et physiquement plausible de l'humain vers les robots humanoïdes sans nécessiter de données d'entraînement appariées.

Auteurs originaux : Tianchen Huang, Feiyang Yuan, Junchi Gu, Shurui Fang, Xiaohu Zhang, Yu Wang, Wei Gao, Shiwu Zhang

Publié 2026-06-03

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tianchen Huang, Feiyang Yuan, Junchi Gu, Shurui Fang, Xiaohu Zhang, Yu Wang, Wei Gao, Shiwu Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez un danseur humain talentueux et un tout nouveau robot qui ressemble un peu à un humain, mais avec des bras de tailles différentes, des jambes plus courtes et des articulations qui se plient de manières différentes. Vous voulez que le robot copie parfaitement les mouvements du danseur.

C'est le problème que l'article « Human2Humanoid » tente de résoudre. C'est comme essayer d'apprendre à un enfant qui commence à marcher à danser exactement comme un professionnel du ballet, même si l'enfant a des proportions différentes et ne peut pas plier ses genoux de la même façon.

Voici comment l'article résout cela, expliqué simplement :

Le gros problème : « Des pommes et des oranges »

Habituellement, pour apprendre à un robot à bouger, vous avez besoin d'une vidéo d'un humain faisant le mouvement et d'une vidéo du robot faisant exactement le même mouvement en même temps. Cela s'appelle des « données appariées » (paired data). Mais obtenir ces données est incroyablement difficile, coûteux et souvent impossible car le robot pourrait tomber s'il essayait de copier un mouvement humain complexe.

Les auteurs disent : « Sautons l'étape des vidéos appariées. » Ils veulent apprendre au robot en utilisant uniquement des vidéos d'humains et uniquement des vidéos de robots, sans jamais les voir bouger ensemble.

La solution : Un « Traducteur » avec trois règles spéciales

L'équipe a construit un système d'IA intelligent (un réseau neuronal) qui agit comme un traducteur entre le monde humain et le monde robotique. Pour s'assurer que la traduction soit cohérente, ils ont donné à l'IA trois règles spéciales :

1. La règle de la « Carte du Squelette » (Topologie)

L'analogie : Imaginez que vous essayez de dessiner la carte d'une ville. Si vous vous contentez de lister les noms des rues, vous pourriez vous perdre. Mais si vous connaissez la forme de la ville (où se trouvent les rivières, comment les routes sont connectées), vous pouvez naviguer même si les noms des rues changent.
Ce que fait l'article : Les humains et les robots ont des « squelettes » différents (différents nombres d'articulations, différentes connexions). L'IA utilise un Réseau de Graphe Sensible au Squelette (Skeleton-Aware Graph Network). Au lieu de simplement regarder des chiffres, elle comprend la forme du corps. Elle sait qu'un coude humain se connecte à une épaule et un poignet, tout comme le bras du robot, même si le bras du robot est plus court. Cela aide l'IA à comprendre la structure du mouvement, et non pas seulement les chiffres bruts.

2. La règle de la « Taille Relative » (Morphologie-Invariante)

L'analogie : Si un géant et un nain essaient tous deux d'attraper un biscuit sur une étagère haute, ils doivent tous deux tendre les bras vers le haut. Si vous disiez simplement au nain de « tendre le bras à 2 mètres de haut », il échouerait parce qu'il est petit. Mais si vous lui disiez de « tendre le bras aussi haut que sa propre tête le permet », il réussirait.
Ce que fait l'article : Les humains et les robots ont des tailles différentes. Si l'IA essayait de correspondre aux coordonnées exactes (ex : « déplacer la main vers X, Y, Z »), le robot échouerait car ses bras sont plus courts. Au lieu de cela, l'IA utilise une Perte d'Invariance Morphologique (Morphology-Invariant Loss). Elle regarde comment la main se déplace par rapport à la pose de départ du corps (la « pose en T »). Elle dit au robot : « Déplace ta main selon le même pourcentage de la longueur de ton corps que celui que l'humain a déplacé la sienne. » Cela préserve le sens du mouvement (comme « tendre la main vers le haut ») même si le robot est minuscule.

3. La règle du « Ne pas tomber » (Conscience de la Physique)

L'analogie : Si vous dites à un robot de marcher, mais que vous ne lui dites pas de garder ses pieds au sol, il pourrait commencer à « patiner » sur la pointe des pieds ou à flotter dans les airs comme un fantôme. C'est joli dans un dessin animé, mais un vrai robot s'écraserait.
Ce que fait l'article : L'IA est forcée de suivre des Contraintes de Conscience de la Physique (Physics-Aware Constraints). Elle doit vérifier :
- Pas de patinage : Si le pied de l'humain est au sol, le pied du robot doit rester au sol, et ne pas glisser.
- Pas de lévitation : Les pieds du robot ne peuvent pas flotter dans les airs lorsqu'ils devraient toucher le sol.
- Pas de rupture : Les articulations du robot ne peuvent pas se plier de manières qui casseraient la machine (comme plier un genou vers l'arrière).
  L'IA apprend à se « punir » elle-même si elle génère un mouvement qui viole ces règles.

Le résultat : Un robot qui peut danser

L'équipe a testé cela sur un vrai robot appelé le Unitree G1. Ils lui ont fait copier des mouvements de danse humaine (sans jamais lui montrer de paire humain-robot).

Le résultat : Le robot a réussi à copier les mouvements humains.
La comparaison : Ils ont comparé leur méthode aux anciennes méthodes (qui reposent sur des équations mathématiques complexes pour forcer le robot à s'adapter). La nouvelle méthode était meilleure pour :
- Le suivi (Tracking) : Le robot pouvait réellement suivre les mouvements sans tomber.
- Le réalisme : Le robot ne glissait pas avec ses pieds et ne flottait pas dans les airs.
- La polyvalence : Cela fonctionnait sur des mouvements difficiles comme les sauts, les accroupissements et les rotations, là où les anciennes méthodes échouaient souvent ou nécessitaient des ajustements manuels.

En résumé

L'article présente une nouvelle façon d'apprendre aux robots à bouger comme les humains sans avoir besoin d'un « partenaire d'entraînement » (données appariées). Il utilise un traducteur intelligent qui comprend les formes corporelles, respecte les différences de taille et applique strictement les lois de la physique pour que le robot ne tombe pas ou ne se casse pas. C'est comme apprendre à un robot à danser en lui montrant une vidéo d'un humain, tandis que le cerveau du robot comprend automatiquement comment ajuster ses propres jambes courtes et ses articulations rigides pour garder le rythme sans trébucher.

Résumé Technique : Human2Humanoid

Problématique

Le transfert de mouvement humain vers des robots humanoïdes est un levier critique pour la téléopération, l'apprentissage par imitation et l'interaction homme-robot. Cependant, cette tâche est confrontée à deux défis majeurs et couplés :

Discrépances Morphologiques : Des différences significatives existent entre les embodiments humains et robotiques concernant la topologie squelettique, les proportions des membres et les degrés de liberté (DoF). Un simple alignement géométrique échoue souvent à préserver la sémantique de l'action lorsque les tailles corporelles et les structures articulaires varient radicalement.
Rareté des Données : Les paires de mouvements humain-robot synchronisées et de haute qualité sont difficiles à acquérir et ne sont pas extensibles à différents embodiments robotiques.
Plausibilité Physique : Les méthodes non appariées existantes (souvent issues de l'infographie) privilégient la plausibilité visuelle mais ne parviennent pas à garantir des trajectoires dans l'espace articulaire exécutables, des contacts au sol stables ou le respect des limites cinématiques spécifiques au robot. Cela entraîne des artefacts tels que le glissement des pieds (foot skating), la pénétration du sol et la lévitation du corps, ce qui rend les mouvements inutilisables sur du matériel réel.

Les méthodes traditionnelles basées sur l'optimisation (par exemple, la cinématique inverse) sont interprétables mais sensibles aux conditions initiales et au réglage, produisant souvent des poses sémantiquement déformées sous de fortes disparités morphologiques. Inversement, les méthodes d'apprentissage supervisé nécessitent des données appariées qui sont rarement disponibles, tandis que les approches génératives non supervisées existantes manquent des contraintes physiques nécessaires au déploiement robotique.

Méthodologie

Le papier propose Human2Humanoid, un cadre de retargeting de mouvement non supervisé conçu pour transférer les mouvements humains vers des robots humanoïdes sans données appariées. Le cadre repose sur une architecture de type CycleGAN, mais intègre des mécanismes spécifiques pour traiter la morphologie et la physique.

1. Architecture du Réseau

Générateurs Sensibles au Squelette : Contrairement aux méthodes qui traitent les poses comme des vecteurs plats, les générateurs utilisent des Réseaux de Neurones Convolutifs sur Graphes (GCN) sensibles au squelette. Ceux-ci utilisent des matrices d'adjacence pour modéliser explicitement la structure topologique native des mouvements squelettiques, capturant les corrélations locales entre les articulations. L'architecture comprend des encodeurs avec des couches SkeletonConv, un espace latent, et des décodeurs avec des opérations de dé-pooling pour récupérer la topologie cible.
Discriminateur de Pose par Image (Frame-wise) : Le discriminateur opère sur une base par image, évaluant le réalisme au niveau de l'articulation plutôt que de s'effondrer en un score scalaire unique. Il utilise une approche à double branche : une branche par articulation pour le réalisme local et une branche corps entier pour la cohérence de la pose, les combinant pour scorer chaque articulation indépendamment.

2. Fonctions de Perte et Contraintes Clés

Pour combler le fossé de domaine et assurer la faisabilité physique, le cadre introduit trois composants spécifiques :

Perte de Cohérence de l'Effecteur Terminal Invariante à la Morphologie ( $L_{EE}$ ) :
Pour gérer les écarts d'échelle (ex: bras humains vs bras de robot compacts), la méthode évite l'alignement des coordonnées cartésiennes absolues. Au lieu de cela, elle aligne les trajectoires des effecteurs terminaux par rapport à la pose T (T-pose) de chaque embodiment. En normalisant les déplacements par rapport à la pose T par l'échelle corporelle de l'embodiment, la perte préserve la sémantique du mouvement à travers différentes morphologies.
$L_{EE} = \mathbb{E} \left[ \frac{1}{T|E|} \sum_{t=1}^{T} \sum_{k \in E} \left\| \frac{FK_k(q_B, t) - FK_k(q_B^{Tpose})}{S_B} - \frac{FK_k(\hat{q}_A, t) - FK_k(q_A^{Tpose})}{S_A} \right\|_2^2 \right]$
Contraintes de Faisabilité Sensibles à la Physique :
Des contraintes explicites sont imposées pendant l'entraînement pour supprimer les artefacts courants dans la génération non supervisée :
- Contrainte de Contact du Pied ( $L_{con}$ ) : Déduit les états de contact à partir du mouvement humain source (basé sur la vitesse du pied) et pénalise la vitesse du pied cible lorsqu'un contact est attendu, supprimant ainsi le glissement des pieds.
- Contrainte de Hauteur du Pied ( $L_{hei}$ ) : Pénalise la "lévitation" en s'assurant que lorsque le pied source est en contact, le pied cible reste proche de sa hauteur nominale au sol.
- Contraintes de Limites Articulaires ( $L_{lim}$ ) : Pénalise les angles articulaires prédits qui dépassent les limites mécaniques du robot ( $[q_{min}, q_{max}]$ ) afin de prévenir les dommages matériels ou les arrêts d'urgence.
Objectif Complet :
La perte totale du générateur combine les objectifs standards de CycleGAN (Adversaire, Cohérence de cycle, Identité) avec les pertes de morphologie et de physique proposées :
$L_G = \lambda_{GAN}L_{GAN} + \lambda_{cyc}L_{cyc} + \lambda_{idt}L_{idt} + \lambda_{EE}L_{EE} + \lambda_{con}L_{con} + \lambda_{hei}L_{hei} + \lambda_{lim}L_{lim}$

Résultats Expérimentaux

La méthode a été validée sur le robot humanoïde Unitree G1 en utilisant des données non appariées du jeu de données Motion-X (humain) et du jeu de données PHUMA (robot).

Contrôlabilité en Aval : Évaluée via une politique de suivi fixe en simulation. Human2Humanoid a atteint le taux de succès le plus élevé (88,5 %) et l'erreur de suivi la plus faible (0,12) parmi tous les modèles de référence (incluant les méthodes d'optimisation PHC et GMR, ainsi qu'une référence industrielle).
Faisabilité Physique : La méthode a démontré une suppression supérieure des artefacts de contact. Elle a obtenu la pénétration au sol la plus faible (0,05 cm) et des taux de glissement des pieds compétitifs (4,7 %), surpassant les modèles de référence basés sur l'optimisation qui souffrent souvent de discontinuités de limites articulaires ou nécessitent un réglage par mouvement pour éviter les saccades.
Étude d'Ablation : Le retrait de la perte invariante à la morphologie ( $L_{EE}$ ) a considérablement dégradé le succès du suivi et augmenté l'erreur, confirmant son rôle dans la préservation sémantique. Le retrait des contraintes physiques ( $L_{con}, L_{hei}$ ) a augmenté le glissement des pieds et la pénétration du sol, validant leur nécessité pour la plausibilité physique.

Contributions Clés

Cadre Human2Humanoid : Un cadre de retargeting de mouvement non apparié pour les robots humanoïdes hétérogènes qui réduit la dépendance aux jeux de données appariés spécifiques au robot.
Perte de Cohérence de l'Effecteur Terminal Invariante à la Morphologie : Une nouvelle fonction de perte qui préserve la sémantique du mouvement sous de grands écarts d'échelle en alignant les trajectoires des effecteurs terminaux normalisées par rapport à la pose T de chaque embodiment.
Contraintes de Faisabilité Sensibles à la Physique : L'intégration de contraintes explicites de contact, de hauteur et de limites articulaires dans le processus d'entraînement génératif pour atténuer les artefacts critiques pour le déploiement, tels que le glissement des pieds et la pénétration du sol.

Signification et Revendications

Le papier affirme que Human2Humanoid comble avec succès le fossé entre les priors de mouvement humain et les comportements robotiques exécutables sans nécessiter de données appariées. En combinant l'apprentissage non supervisé avec un alignement sémantique invariant à la morphologie et des priors physiques explicites, le cadre atteint un équilibre robuste entre fidélité sémantique (préserver l'intention du mouvement humain) et exécutabilité physique (garantir que le mouvement est sûr et stable pour le robot).

Les auteurs soulignent que, tandis que les méthodes existantes reposent soit sur une optimisation sensible, soit nécessitent la construction coûteuse de données appariées, leur approche offre une solution scalable qui produit des mouvements de référence de haute qualité et traçables. Les résultats suggèrent que la méthode proposée est particulièrement efficace pour gérer le "fossé d'embodiment", permettant aux robots humanoïdes de répliquer des mouvements humains complexes avec une fiabilité supérieure aux modèles de pointe actuels. Les travaux futurs se concentreront sur la généralisation aux robots non humanoïdes et le couplage de bout en bout avec des politiques de contrôle du corps complet.