Résumé Technique : Humanoid-DART

Énoncé du Problème

La loco-manipulation humanoïde nécessite un contrôle coordonné de l'ensemble du corps et une interaction dynamique avec les objets. Bien que les progrès récents de l'apprentissage par imitation et de l'apprentissage par renforcement (RL) aient permis d'obtenir des capacités de locomotion impressionnantes en suivant des démonstrations d'experts, le passage à l'échelle de ces approches vers la loco-manipulation riche en contacts reste un défi majeur. Contrairement à la locomotion, la loco-manipulation implique un espace de tâches vaste et continu, défini conjointement par le mouvement du corps, l'état de l'objet et les interactions environnementales. Les variations de la pose de l'objet, de la configuration de transport, de la stratégie de saisie et du timing d'interaction créent un espace combinatoire qu'il est impossible de couvrir uniquement par des démonstrations humaines. Les méthodes existantes reposent généralement sur de grands ensembles de données de mouvement humain ou se concentrent sur le suivi d'un comportement de référence unique, échouant ainsi à résoudre de manière robuste des tâches de loco-manipulation diverses sous des conditions variables avec des données initiales éparses.

Méthodologie

Le papier propose Humanoid-DART, un cadre itératif auto-supervisé conçu pour démarrer à partir d'un ensemble restreint de démonstrations initiales et étendre progressivement son répertoire comportemental. Le pipeline alterne entre deux composants étroitement couplés : un générateur de mouvement conditionné par un objectif et une politique de suivi de mouvement basée sur la physique.

1. Aperçu de l'Algorithme

Le système fonctionne comme un curriculum évolutif sur une distribution de compétences définie par un archive d'élites $E$ de trajectoires réussies.

• Échantillonnage d'Objectifs : À chaque itération, le curriculum échantillonne de nouveaux états cibles autour de la distribution actuelle dans $E$, ciblant à la fois le raffinement des compétences existantes et l'exploration des régions sous-représentées.
• Génération Kinématique : Un modèle de diffusion conditionné par un objectif ($\pi_\theta$) génère des trajectoires de référence cinématiques pour les objectifs échantillonnés. Ces trajectoires peuvent contenir des incohérences physiques (ex: glissement des pieds, pénétrations).
• Évaluation Physique : Une politique de suivi de mouvement ($\pi_\phi$), entraînée via le RL, exécute ces références cinématiques dans un simulateur physique. Elle agit comme un filtre dynamique, convertissant des plans potentiellement irréalisables en déroulés physiquement cohérents.
• Sélection et Relabeling (Étiquetage) : Les trajectoires résultantes sont évaluées à l'aide d'une fonction de fitness $F(\tau)$ qui mesure la fidélité du suivi, la justesse des contacts et la stabilité. Les trajectoires dépassant un seuil $\tau_f$ sont conservées dans l'archive d'élites $E$. Crucialement, les déroulés réussis qui ne correspondent pas parfaitement à l'objectif échantillonné sont relabellés avec leurs métriques de tâche atteintes, convertissant les "presque-succès" en signaux d'entraînement valides.
• Mise à jour Itérative : Le générateur de diffusion et la politique de suivi sont tous deux réentraînés sur l'archive étendue, augmentant progressivement la diversité des trajectoires réalisables et la couverture de l'espace de tâches.

2. Composants Architecturaux Clés

• Générateur de Mouvement Kinématique (Diffusion Transformer) :
  • Backbone à Double Branche : L'architecture sépare l'état en un flux global (mouvement de la racine et caractéristiques relatives à l'objet) et un flux local (pose du corps/articulations). Le flux local utilise l'attention croisée (cross-attention) avec le flux global, découplant la navigation grossière de la synthèse de pose fine tout en maintenant la synchronisation.
  • Démasquage Partiel Structuré : Pendant l'entraînement, le modèle révèle sélectivement des groupes de caractéristiques bruitées provenant de frames futures. Cela encourage le planificateur à inférer les composants de mouvement manquants à partir d'observations partielles, apprenant les corrélations entre les groupes de caractéristiques (ex: entre la pose du corps entier et l'interaction avec l'objet) plutôt que de les traiter indépendamment.
  • Inférence : Utilise une synthèse auto-régressive sur des segments chevauchants avec inpainting d'historique (style RePaint) pour assurer la cohérence temporelle.
• Politique de Suivi de Mouvement :
  • Un contrôleur acteur-critique asymétrique inspiré de DeepMimic, entraîné avec l'optimisation de politique proximale (PPO).
  • Il observe un horizon de référence de 5 étapes, l'état proprioceptif et la pose de l'objet, le critique recevant l'état privilégié de la simulation.
  • L'entraînement intègre une randomisation de domaine (masse de l'objet, friction, poussées) pour assurer le transfert de la simulation vers la réalité (sim-to-real).
• Curriculum et Relabeling d'Objectifs :
  • Échantillonnage de Cible de Frontière : L'espace de tâches est discrétisé en bacs (bins). Des poids d'échantillonnage sont assignés selon la distance des bacs par rapport à l'ensemble d'élites actuel : Raffiner (proche des élites existantes), Explorer (distance intermédiaire), et Frontière (zones lointaines et non résolues). Les bacs d'exploration sont les plus pondérés pour piloter l'expansion de la couverture.
  • Relabeling d'Objectif : Au lieu de rejeter les déroulés qui manquent l'objectif échantillonné, le système traite rétrospectivement l'état atteint comme l'objectif voulu, fournissant un signal d'apprentissage dense même lorsque le générateur est sous-entraîné.

Contributions Clés

1. Pipeline Humanoid-DART : Le premier pipeline d'augmentation de trajectoire itératif pour l'apprentissage de compétences de loco-manipulation conditionnées par un objectif à partir de démonstrations éparses.
2. Choix de Conception Nouveaux :
   • Un Diffusion Transformer (DiT) hiérarchique conditionné par l'objectif avec une architecture à double branche et un démasquage partiel structuré pour améliorer la synthèse de trajectoire dans les régimes de données éparses.
   • Un contrôleur de corps entier par RL conditionné par la pose de l'objet pour suivre les trajectoires générées.
   • Un algorithme basé sur un curriculum avec une stratégie de relabeling d'objectif qui convertit les déroulés de "presque-succès" en signaux d'entraînement valides.
3. Validation Empirique : Démonstration du framework sur quatre tâches de loco-manipulation (pousser, donner un coup de pied, passage de main à main, pick-and-place) utilisant un humanoïde Unitree G1. Le système atteint une couverture de l'espace de tâches à partir de seulement quatre démonstrations de base et se généralise à des objectifs situés bien au-delà de la distribution initiale.

Résultats Expérimentaux

• Couverture de l'Espace de Tâches : Dans la tâche de pick-and-place, Humanoid-DART a atteint une couverture de 96,4 % de l'espace de tâches cible en partant de seulement quatre démonstrations de base (environ 20 secondes de mouvement). Cela représente une croissance de 0,1 % à une couverture quasi complète sur quatre générations.
• Généralisation : Le système a réussi à générer et suivre des trajectoires vers des objectifs situés 4 à 5 fois plus loin que les démonstrations de base, démontrant une généralisation robuste.
• Déploiement Réel : Les trajectoires générées ont été déployées avec succès sur un humanoïde physique Unitree G1 pour les tâches de poussée, de coup de pied et de pick-and-place, confirmant la faisabilité dynamique sur le matériel.
• Études d'Ablation :
  • Architecture : Supprimer la structure à double branche (réduisant à un DiT plat unique) a fait chuter le taux de succès d'atteinte de l'objectif de 1,00 à 0,25. Le démasquage partiel structuré a amélioré la rectitude du chemin et la cohérence de la saisie.
  • Baselines : Comparé à "Parameterized Motion" (qui se concentre sur des régions de haute qualité étroites) et "Hierarchical Diffusion + RL" (entraînés conjointement sans la boucle évolutive), Humanoid-DART a démontré une couverture de l'espace de tâches supérieure. La boucle évolutive a été identifiée comme le principal moteur de performance.
  • Initialisation : Les trajectoires de départ dynamiquement réalisables (DF) ont conduit à une convergence plus rapide et une couverture plus élevée par rapport aux graines cinématiquement réalisables (KF), qui contenaient souvent des incohérences physiques que le modèle de diffusion amplifiait.

Signification et Revendications

Le papier affirme que Humanoid-DART lève le goulot d'étranglement de la rareté des données dans la loco-manipulation humanoïde en exploitant les modèles génératifs pour étendre itérativement l'ensemble des références de trajectoire. En découplant la génération de mouvement de haut niveau du contrôle de bas niveau et en utilisant un curriculum avec relabeling d'objectif, le framework permet l'apprentissage de politiques robustes et conditionnées par l'objectif avec une supervision humaine minimale. Les auteurs soulignent que cette approche permet la découverte de comportements diversifiés et de compétences à long terme qui s'étendent bien au-delà de la portée des démonstrations initiales, offrant une voie évolutive vers une manipulation humanoïde généraliste sans nécessiter de jeux de données de mouvement humain massifs.

Limites et Travaux Futurs : L'évaluation actuelle est restreinte à une géométrie d'objet unique et un terrain plat. Les auteurs notent que le pipeline hérite des biais des démonstrations de base et repose sur une fonction de fitness réglée à la main. Les travaux futurs visent à étendre le framework à des objets divers, des propriétés de contact variées et des terrains accidentés, ainsi qu'à remplacer la fonction de fitness par un critère appris et adaptatif.