💻 computer science

Direct Dynamic Retargeting for Humanoid Imitation Learning from Videos

Ce papier présente le Reciblage Dynamique Direct (DDR), un nouveau cadre en une seule étape qui contourne les biais géométriques des pipelines traditionnels pour générer directement des trajectoires humanoïdes de haute fidélité et dynamiquement réalisables à partir de vidéos monoculaires, améliorant ainsi la précision de l'imitation et accélérant la convergence de l'apprentissage par renforcement.

Auteurs originaux : Constant Roux, Ludovic De Matteïs, Armand Jordana, Valentin Guillet, Nicolas Mansard, Olivier Stasse, Philippe Souères

Publié 2026-05-25

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Constant Roux, Ludovic De Matteïs, Armand Jordana, Valentin Guillet, Nicolas Mansard, Olivier Stasse, Philippe Souères

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous vouliez enseigner à un robot à danser ou à pratiquer les arts martiaux. La méthode la plus simple consiste à lui montrer une vidéo d'un humain exécutant le mouvement. Mais voici le problème : les humains et les robots sont construits de manière très différente. Un humain possède une colonne vertébrale flexible et des articulations souples ; un robot est constitué de barres métalliques rigides et de moteurs. Si vous dites simplement au robot : « Copiez exactement la position du bras de l'humain », le robot pourrait tenter de tordre son corps métallique d'une manière qui le brise, le fait tomber ou qu'il ne peut tout simplement pas réaliser car ses moteurs ne sont pas assez puissants.

Cet article présente une nouvelle méthode appelée Retargeting Dynamique Direct (DDR) pour résoudre ce problème de « traduction ». Voici comment elle fonctionne, décomposée en concepts simples :

Le Problème : Le « Mauvais Traducteur »

Actuellement, la plupart des robots utilisent un processus en deux étapes pour apprendre à partir de vidéos, que les auteurs comparent à un traducteur qui reste bloqué au milieu d'une phrase.

Étape 1 (L'étape géométrique) : D'abord, le système examine la vidéo humaine et se demande : « Quelle est la posture la plus proche que le robot peut physiquement adopter pour correspondre aux positions des bras et des jambes de l'humain ? » Il ignore si le robot peut réellement équilibrer cette posture. C'est comme demander à un humain de se tenir sur une jambe en tenant une lourde boîte, mais en vérifiant uniquement si ses jambes sont dans la bonne forme, sans voir s'il va tomber.
Étape 2 (L'étape physique) : Ensuite, un deuxième système tente de corriger la première étape. Il prend cette posture « presque bonne » et essaie de la rendre physiquement possible dans une simulation informatique.

Le Défaut : Les auteurs soutiennent que la première étape crée un « biais ». Parce que le robot a été forcé dans une forme spécifique à l'étape 1, l'étape 2 est piégée. Il ne peut pas trouver la meilleure façon de bouger car il est coincé en train de tenter de corriger une forme qui était déjà erronée. C'est comme essayer de peindre un cercle parfait, mais que vous avez commencé avec un contour carré ; peu importe à quel point vous essayez de lisser les bords, cela ne sera jamais un vrai cercle.

La Solution : L'« Architecte Direct »

La nouvelle méthode des auteurs, DDR, élimine complètement l'intermédiaire.

Au lieu de demander : « Quelle est la posture robot la plus proche de l'humain ? » puis de la corriger, DDR pose une question différente : « Quelle est la meilleure façon pour le robot de bouger qui ressemble à l'humain, mais qui respecte aussi les lois de la physique ? »

L'Analogie : Imaginez que vous êtes un architecte essayant de construire un pont qui ressemble à un célèbre pont suspendu mais utilise des matériaux différents (acier au lieu de pierre).
- Ancienne méthode : Vous copiez exactement la forme du pont en pierre, puis vous essayez de le renforcer avec de l'acier. Il pourrait être vacillant ou nécessiter des supports impossibles.
- Méthode DDR : Vous examinez la fonction du pont en pierre (comment il enjambe le vide) et vous concevez un pont en acier dès zéro qui atteint le même résultat mais qui est parfaitement stable pour l'acier. Vous ne forcez pas l'acier à ressembler à la pierre ; vous laissez la physique de l'acier guider la conception tout en conservant l'apparence globale.

Fonctionnement en Pratique

Le système utilise un « devin intelligent » (un solveur basé sur l'échantillonnage) à l'intérieur d'un simulateur physique. Il ne calcule pas un seul chemin ; il essaie des milliers de façons différentes dont le robot pourrait bouger. Il conserve ceux qui :

Ressemblent à l'humain dans la vidéo.
Ne tombent pas.
Ne cassent pas les moteurs du robot.
Gardent les pieds du robot fermement plantés au sol (pas de glissement).

Les Résultats

L'équipe a testé cela sur un vrai robot (le Unitree H1-2) et l'a comparé aux anciennes méthodes.

Moins de chutes : Les anciennes méthodes généraient souvent des instructions qui faisaient tomber le robot ou faisaient glisser ses pieds. DDR a généré des instructions physiquement sûres dans 99 % des cas.
Meilleure précision : Parce que DDR n'était pas coincé en train de tenter de corriger une forme de départ « mauvaise », le robot pouvait suivre les mouvements de l'humain plus étroitement.
Apprentissage plus rapide : Lorsqu'ils ont utilisé ces nouvelles instructions pour entraîner le robot grâce à l'Intelligence Artificielle (Apprentissage par Renforcement), le robot a appris beaucoup plus vite et a mieux performé que lorsqu'il utilisait les anciennes instructions.
Succès dans le monde réel : Ils ont déployé avec succès le robot pour exécuter des mouvements complexes comme un « Pistol Squat » (s'accroupir sur une jambe) et une posture de « Kung Fu » dans le monde réel, sans avoir besoin de modifier manuellement le code pour chaque mouvement spécifique.

Résumé

En bref, cet article dit : Arrêtez d'essayer de forcer un robot à copier exactement la forme d'un humain, puis de corriger la physique plus tard. À la place, laissez le robot déterminer comment bouger dynamiquement dès le départ, en utilisant la vidéo humaine uniquement comme guide pour l'apparence générale. Cela aboutit à des robots plus sûrs, plus précis et qui apprennent plus vite.

Résumé Technique : Reciblage Dynamique Direct pour l'Apprentissage par Imitation Humanoïde à partir de Vidéos

Énoncé du Problème

L'Apprentissage par Imitation (IL) offre une voie évolutive pour enseigner des compétences complexes aux robots humanoïdes en exploitant des démonstrations d'experts. Bien que les avancées récentes permettent l'extraction de poses humaines à partir de vidéos monoculaires, la traduction de ces mouvements humains vers des robots humanoïdes présente un défi fondamental : le désaccord morphologique. Les humains et les robots diffèrent considérablement en cinématique (proportions des membres, limites articulaires) et en dynamique (distribution de masse, inerties, limites d'actionnement).

Les approches actuelles de l'état de l'art reposent généralement sur un pipeline en deux étapes :

Reciblage Géométrique (GR) : Utilise la Cinématique Inverse (IK) pour mapper les points clés humains vers des configurations robotiques, en ignorant les contraintes dynamiques.
Reciblage Dynamique Indirect (IDR) : Affine la sortie de GR dans un simulateur physique pour garantir la faisabilité dynamique.

Les auteurs identifient un défaut critique dans ce paradigme : l'étape intermédiaire d'IK dans GR introduit un biais géométrique. En restreignant l'espace de recherche à des trajectoires cinématiquement valides mais dynamiquement irréalisables, l'optimisation IDR subséquente est biaisée loin de l'optimum dynamique réel. Cela se traduit par des comportements dynamiques sous-optimaux, des erreurs de suivi et une efficacité d'apprentissage réduite pour les agents d'apprentissage par renforcement (RL) en aval.

Méthodologie : Reciblage Dynamique Direct (DDR)

Pour surmonter les limitations des projections géométriques intermédiaires, les auteurs proposent le Reciblage Dynamique Direct (DDR), un cadre monophasé qui génère des trajectoires dynamiquement réalisables directement à partir de données vidéo bruitées.

Cadre Central

Formulation : Le problème est formulé dans l'espace des tâches (trajectoires de points clés) plutôt que dans l'espace de configuration. L'objectif est de trouver une séquence de commandes $U$ qui minimise la distance entre la trajectoire de points clés du robot résultante et la référence d'expert $x_{ref}$ , sous la contrainte que la trajectoire doit appartenir à l'Ensemble de Faisabilité $\mathcal{F}_{q_0}$ (trajectoires physiquement atteignables par le robot).
Résolveur d'Optimisation : Les auteurs emploient la Méthode de la Croix-Entropie (CEM), un résolveur de Contrôle Prédictif de Modèle (MPC) basé sur l'échantillonnage.
- Contrairement aux résolveurs basés sur le gradient (par exemple, Crocoddyl) qui nécessitent des séquences de contact strictement prédéfinies, la nature basée sur l'échantillonnage de CEM lui permet de gérer intrinsèquement les ambiguïtés dans l'identification des contacts dérivées de données vidéo bruitées.
- L'optimisation minimise une métrique de distance augmentée comprenant un terme de suivi spatial et un terme de correspondance de forme relative (utilisant une matrice Laplacienne) pour préserver la forme structurelle locale de la démonstration tout en pénalisant la translation/rotation globale.
Données d'Entrée : Le pipeline utilise le cadre VideoMimic pour extraire les points clés humains à partir de vidéos monoculaires via le modèle SMPL. Le signal de référence inclut les trajectoires du torse, des épaules, des mains et des pieds.

Intégration à l'Apprentissage par Imitation

Une fois des trajectoires de référence de haute fidélité et dynamiquement réalisables générées hors ligne, elles sont distillées en politiques RL en boucle fermée.

Entraînement de la Politique : Un Processus de Décision Markovien Contraint (CMDP) est résolu en utilisant une architecture acteur-critique (PPO via la bibliothèque skrl dans IsaacLab).
Structure de Récompense : La fonction de récompense suit l'approche DeepMimic, pénalisant les écarts dans les positions articulaires, les vitesses, la pose racine et les positions des effecteurs terminaux, tout en imposant des contraintes de sécurité (limites articulaires, couples, glissement des pieds).
Objectif : Les politiques résultantes sont conçues pour suivre robustement les références DDR, se rétablir après des variations d'initialisation et des perturbations externes afin de faciliter le transfert sim-to-réel.

Contributions Clés

Cadre Novel : Introduction du DDR, un cadre MPC basé sur CEM qui contourne le biais géométrique intermédiaire des pipelines GR/IDR pour générer des trajectoires humanoïdes dynamiquement réalisables directement à partir de démonstrations vidéo.
Supériorité Quantitative : Démonstration que l'élimination du biais géométrique intermédiaire améliore significativement la précision du reciblage. DDR surpasse les bases GR et IDR sur diverses motions agiles en termes de cohérence physique et de suivi de démonstration.
Efficacité d'Apprentissage en Aval : Preuves expérimentales montrant que fournir des références physiquement viables aux agents RL accélère la convergence de l'entraînement et améliore l'exécution finale des comportements agiles et d'équilibre.
Validation Monde Réel : Déploiement réussi sur le robot humanoïde Unitree H1-2, réalisant un transfert sim-to-réel zero-shot pour des mouvements complexes (squat, kung fu, pistol squat, équilibre) sans réglage manuel spécifique à la tâche.

Résultats Expérimentaux

Les auteurs ont évalué DDR contre les bases GR et IDR en utilisant un ensemble de données de cinq mouvements agiles (Squat, Kung Fu, Équilibre sur un pied, Pistol Squat, Bâton d'Équilibre).

Faisabilité Physique : GR a produit un pourcentage élevé de segments physiquement irréalisables (par exemple, 21,74 % pour le Squat, 28,38 % pour l'Équilibre sur un pied) en raison des dynamiques de contact ignorées. DDR et IDR ont atteint une faisabilité quasi parfaite (0,00 % pour la plupart des tâches).
Précision de la Séquence de Contact : DDR a systématiquement produit les taux d'erreur de séquence de contact les plus bas par rapport à la vérité terrain. IDR a performé moins bien que DDR, confirmant que l'initialisation GR introduit un biais cinématique qui entrave la capacité d'IDR à trouver des phases de contact optimales.
Taux de Succès : Dans des essais stochastiques, DDR a atteint des taux de succès significativement plus élevés que IDR. Par exemple, dans la tâche "Bâton d'Équilibre", IDR avait un taux de succès de 0 %, tandis que DDR atteignait 66,67 %. Cela indique que les dérives induites par GR entraînent souvent les résolveurs IDR dans des régions instables.
Précision de Suivi : Bien que GR ait montré une faible erreur de suivi brute (en ignorant la faisabilité), DDR a atteint une précision de suivi comparable ou supérieure tout en maintenant la validité physique. IDR a systématiquement sous-performé par rapport à DDR, validant davantage l'impact négatif du biais géométrique.
Convergence RL : Les politiques entraînées sur des références DDR ont convergé plus rapidement et ont atteint des récompenses cumulées finales plus élevées que celles entraînées sur des références GR ou IDR. Par exemple, dans la tâche "Pistol Squat", DDR a atteint 90 % de la récompense finale en 79,6k étapes, contre 128,4k pour GR et 93,5k pour IDR.

Importance et Limites

L'article affirme que DDR représente une avancée significative en abordant le "biais géométrique" inhérent aux pipelines de reciblage actuels. En optimisant directement dans l'espace des tâches avec un résolveur conscient de la physique, DDR fournit des références de plus haute fidélité qui se traduisent directement par un apprentissage par imitation plus robuste et efficace.

Affirmations Modestes et Limites :
Les auteurs reconnaissent que DDR n'est pas sans limites :

L'objectif est défini purement dans l'espace des tâches, ce qui peut conduire à des solutions mal conditionnées ou à une convergence plus lente dans certains scénarios.
Les performances restent sensibles au pondération de l'espace des tâches et à l'initialisation, qui nécessitent actuellement un réglage manuel.
Le cadre est actuellement limité à des mouvements spécifiques et nécessite une mise à l'échelle supplémentaire pour gérer de grands ensembles diversifiés de variables de mouvement provenant de vidéos web in-the-wild.

En conclusion, ce travail établit que le contournement des projections cinématiques intermédiaires permet la génération de références physiquement viables qui sont supérieures tant pour la précision du suivi que pour l'entraînement RL en aval, validé par une simulation rigoureuse et un déploiement dans le monde réel sur un humanoïde grandeur nature.