Résumé Technique : Coordination de Multiples Conditions pour la Génération de Mouvements Humains Contrôlés par Trajectoire (CMC)

1. Énoncé du Problème

La génération de mouvements humains contrôlés par trajectoire vise à synthétiser des mouvements humains réalistes conditionnés à la fois par des descriptions textuelles et des trajectoires spatiales. Bien que des méthodes récentes basées sur la diffusion aient tenté d'intégrer ces conditions, l'article identifie deux limitations critiques dans les approches existantes (par exemple, GMD, Omnicontrol) :

1. Conflit entre les Conditions : Les méthodes existantes appliquent souvent les conditions textuelles et de trajectoire simultanément durant le processus de débruitage. L'article soutient que l'injection de guidage de trajectoire dans le processus de diffusion perturbe la cartographie texte-vers-mouvement originale apprise durant l'entraînement. Cette interférence force le réseau à lutter pour assurer la cohérence sémantique, conduisant à des mouvements soit sémantiquement incohérents avec le texte, soit incapables de suivre la trajectoire avec précision.
2. Incohérences dans les Représentations Redondantes : De nombreuses méthodes utilisent des représentations de mouvement redondantes (incluant les positions locales des articulations, les rotations et les vitesses). Cependant, le guidage de trajectoire est généralement appliqué uniquement aux positions locales. Cela crée une incohérence où les positions guidées changent tandis que les rotations et les vitesses restent inchangées (ou sont implicitement réconciliées par le réseau). Cela entraîne une instabilité durant le processus de débruitage, particulièrement à mesure que celui-ci approche de son terme, dégradant la précision du contrôle.

2. Méthodologie : Le Cadre CMC

Les auteurs proposent CMC (Coordinate Multiple Conditions), un cadre découplé qui emploie une stratégie de « diviser pour régner » pour séparer le contrôle de la trajectoire de la génération du mouvement. Le cadre se compose de deux étapes en cascade :

Étape 1 : Contrôle de la Trajectoire

• Objectif : Générer une représentation simplifiée du bassin et des articulations contrôlées qui adhère strictement à la trajectoire d'entrée tout en tenant compte de l'invite textuelle.
• Représentation Simplifiée : Contrairement aux travaux antérieurs utilisant des représentations redondantes, cette étape utilise une représentation simplifiée ne contenant que les vitesses angulaires/linéaires de la racine et les positions locales des articulations ($ra, rx, rz, ry, jp$). Cela élimine l'instabilité causée par des composantes de rotation/vitesse conflictuelles durant le guidage.
• Processus : Un modèle de diffusion génère la représentation simplifiée initiale. Par la suite, un guidage par classifieur (utilisant un optimiseur L-BFGS) est appliqué pour affiner cette représentation par rapport à la trajectoire spatiale.
• Résultat : Les positions du bassin et des articulations contrôlées sont fixées et transmises à l'étape suivante.

Étape 2 : Complétion du Mouvement

• Objectif : Synthétiser le mouvement complet du corps basé sur l'invite textuelle, en utilisant les sorties de l'Étape 1 comme observations partielles fixes.
• Processus : Un modèle de diffusion d'inpainting génère le mouvement complet du corps (en utilisant la représentation redondante standard pour la sortie finale). Les positions locales du bassin et des articulations contrôlées de l'Étape 1 sont substituées dans les tenseurs bruyants d'entrée via un masque binaire spatio-temporel.
• Caractéristique Clé : Cette étape repose uniquement sur la condition textuelle pour la génération. Le guidage de trajectoire est supprimé pour éviter toute interférence avec la génération sémantique du mouvement, assurant ainsi que le réseau se concentre sur une complétion de mouvement haute fidélité.

Mécanisme d'Inpainting Sélectif (SIM)

Pour résoudre le problème de surapprentissage causé par des données d'entraînement limitées pour l'inpainting de mouvement, les auteurs introduisent SIM.

• Mécanisme : Durant l'entraînement, le modèle alterne entre deux modes avec une probabilité de 50 % :
  1. Inpainting de Mouvement : Entraînement sur des données où des observations partielles (articulations contrôlées) sont masquées.
  2. Génération Texte-vers-Mouvement : Entraînement sur des données standard de génération texte-vers-mouvement (sans inpainting).
• Objectif : La tâche sans inpainting agit comme un régularisateur, empêchant le modèle de surapprendre aux observations partielles et maintenant sa capacité à générer des mouvements diversifiés et naturels pour des entrées inédites.

3. Contributions Clés

1. Identification des Limitations : L'article identifie explicitement le conflit entre les conditions textuelles et de trajectoire, ainsi que l'instabilité introduite par les représentations de mouvement redondantes, comme des obstacles fondamentaux dans la génération contrôlée par trajectoire actuelle.
2. Cadre Découplé (CMC) : Un cadre novateur à deux étapes qui sépare le contrôle de la trajectoire (en utilisant des représentations simplifiées) de la complétion du mouvement (en utilisant un guidage texte uniquement), atténuant efficacement les conflits de conditions.
3. Mécanisme d'Inpainting Sélectif (SIM) : Une stratégie d'entraînement qui alterne entre les tâches d'inpainting et de génération pour améliorer la généralisation des modèles d'inpainting par diffusion.
4. Performances de l'État de l'Art : Le cadre obtient des résultats supérieurs tant en précision de contrôle qu'en qualité de mouvement sur des benchmarks standards.

4. Résultats Expérimentaux

Les auteurs ont évalué CMC sur les ensembles de données HumanML3D et KIT-ML, en comparaison avec des méthodes de l'état de l'art telles que Omnicontrol, TLControl et GMD.

• Précision du Contrôle : CMC surpasse significativement les méthodes existantes selon les métriques d'erreur de trajectoire. Par exemple, sur HumanML3D avec contrôle du bassin, CMC a atteint une erreur moyenne de 0,51 cm contre 3,38 cm pour Omnicontrol et 1,08 cm pour TLControl. Des améliorations similaires ont été observées pour le contrôle multi-articulations (par exemple, bassin + 5 effecteurs terminaux).
• Qualité du Mouvement : CMC obtient des scores de distance Fréchet Inception (FID) plus bas et une précision R plus élevée, indiquant un meilleur réalisme du mouvement et une meilleure alignement avec le texte. Dans les scénarios de contrôle multi-articulations, CMC a réduit le FID à 0,075 (contre 0,218 pour Omnicontrol).
• Analyse de Stabilité : Les visualisations de l'erreur de contrôle à travers les étapes de débruitage montrent que la représentation simplifiée produit des trajectoires stables à faible erreur, tandis que les représentations redondantes présentent des erreurs oscillantes qui augmentent vers la fin du processus.
• Études d'Ablation :
  • Supprimer le découplage à deux étapes (en utilisant une approche mono-étape) a considérablement dégradé à la fois le FID et la précision du contrôle.
  • Transmettre toutes les articulations de l'Étape 1 à l'Étape 2 (au lieu de seulement les articulations contrôlées) a augmenté le FID et diminué la précision R, confirmant que transmettre trop d'informations de trajectoire crée des conflits texte-trajectoire.
  • SIM a démontré une amélioration de la généralisation, réduisant l'écart de performance entre les modèles entraînés sur des observations partielles de vérité terrain versus des observations synthétisées.

5. Importance et Revendications

L'article revendique que CMC résout efficacement le compromis inhérent entre le réalisme du mouvement et la fidélité du contrôle qui affecte les méthodes précédentes.

• Découplage comme Solution : En séparant les tâches, CMC permet au réseau d'apprendre pleinement la cartographie texte-vers-mouvement dans la deuxième étape sans la perturbation des gradients de trajectoire, tout en assurant une adhérence précise à la trajectoire dans la première étape grâce aux représentations simplifiées.
• Généralisation : L'utilisation de SIM permet au modèle de bien généraliser à des trajectoires et des invites textuelles hors distribution, un point d'échec courant pour les modèles entraînés exclusivement sur des tâches d'inpainting.
• Praticité : Le cadre prend en charge divers modes de contrôle, y compris le contrôle mono-articulation, multi-articulations et par images clés, démontrant sa polyvalence dans des applications telles que l'animation et le jeu vidéo.

Les auteurs concluent que, bien que CMC atténue significativement les conflits dans la génération de mouvement multimodal, des limitations subsistent concernant les trajectoires extrêmes hors distribution (par exemple, un bassin se déplaçant à 3 mètres au-dessus du sol), que le modèle peine à interpréter car elles tombent en dehors de la distribution d'entraînement. Ils suggèrent que des travaux futurs pourraient se concentrer sur la représentation des hauteurs des articulations par rapport au sol plutôt que sur des coordonnées absolues.