Controllable Complex Human Motion Video Generation via Text-to-Skeleton Cascades

Cet article propose un cadre en deux étapes combinant un modèle de texte-vers-squelette autoregressif et un générateur vidéo conditionné par la pose avec un encodeur de référence adaptatif, afin de produire des vidéos de mouvements humains complexes à partir de descriptions textuelles tout en palliant le manque de données synthétiques dédiées.

L'essentiel

Imaginez que vous voulez créer un film où un personnage réalise des acrobaties folles : des sauts périlleux, des roues, des arts martiaux. Jusqu'à présent, les intelligences artificielles (IA) qui génèrent des vidéos avaient du mal avec ça. Elles savaient faire danser quelqu'un, mais dès qu'il fallait faire un saut complexe, les membres se tordaient bizarrement, les vêtements disparaissaient ou le personnage changeait de visage en plein saut.

Ce papier propose une solution ingénieuse en deux étapes, un peu comme si on séparait la chorégraphie de la mise en scène.

Voici comment ça marche, expliqué simplement :

1. Le Problème : Trop de flou, pas assez de contrôle

Si vous dites à une IA : "Fais un saut périlleux", elle comprend le mot, mais pas le rythme. Elle ne sait pas exactement où doit être le genou à la 10ème image, ni comment le corps doit se tordre.
Si vous lui donnez un dessin de squelette (un "stickman") pour chaque image, c'est trop précis et trop long à faire à la main. C'est comme demander à un réalisateur de dessiner chaque image d'un film à la main : c'est trop dur !

2. La Solution : Une équipe de deux experts

Les auteurs ont créé un système en deux temps, comme une chaîne de montage :

Étape 1 : Le "Scénariste de Mouvement" (Texte vers Squelette)

Imaginez un expert en gymnastique qui écoute votre description en langage naturel ("Fais un saut périlleux arrière") et qui dessine instantanément le squelette du personnage image par image.

• Ce qu'il fait : Il ne dessine pas la peau ou les vêtements, juste les os et les articulations.
• Pourquoi c'est génial : Il utilise une IA qui apprend à prédire le prochain mouvement en se basant sur le précédent (comme un domino). Ainsi, le mouvement est fluide, logique et respecte la physique du corps humain, même pour des choses très complexes.
• L'analogie : C'est comme si vous donniez une partition de musique à un chef d'orchestre, et qu'il écrivait automatiquement la position exacte de chaque musicien à chaque seconde, sans jamais se tromper.

Étape 2 : Le "Réalisateur de Film" (Squelette vers Vidéo)

Maintenant que nous avons le plan de mouvement (le squelette), nous passons à l'étape suivante. Nous prenons une photo de départ (le personnage avec ses vêtements, sa coiffure, etc.) et nous demandons à l'IA de l'animer en suivant le plan du squelette.

• Le défi : Quand le personnage fait une roue, il se cache souvent lui-même (une jambe passe devant le visage). Les anciennes IA perdaient alors le visage ou les vêtements.
• La magie (DINO-ALF) : Les auteurs ont inventé une nouvelle technique appelée DINO-ALF. Imaginez que l'IA a des "lunettes magiques" qui ne regardent pas juste le visage global, mais qui zooment sur les détails : la texture du pull, le motif de la chemise, la forme des doigts.
• Comment ça marche : Au lieu de regarder l'image d'un coup d'œil (comme une photo de famille), l'IA regarde des milliers de petits morceaux de l'image et les assemble intelligemment pour s'assurer que le personnage garde son apparence, même s'il se tord ou se cache. C'est comme un collage parfait qui ne se déforme jamais.

3. Le Laboratoire Secret : Un jeu de données en 3D

Pour entraîner cette IA, il fallait des milliers d'exemples de sauts périlleux. Or, sur internet, on trouve surtout des gens qui marchent ou dansent. Les gens qui font des acrobaties sont rares, et on ne peut pas utiliser n'importe quelle vidéo (problèmes de droits d'auteur et de vie privée).

La solution créative : Les auteurs ont construit leur propre "studio de cinéma virtuel" avec un logiciel appelé Blender.

• Ils ont créé 2 000 vidéos de personnages synthétiques (des robots ou des personnages 3D) faisant des acrobaties dans des décors variés.
• L'avantage : Comme c'est généré par ordinateur, ils contrôlent tout : le personnage, le décor, la caméra, et ils n'ont aucun problème de droit d'auteur. C'est comme avoir un terrain de jeu infini pour entraîner l'IA sans risque.

En résumé

Ce papier nous dit : "Ne demandez pas à une seule IA de tout faire."

1. D'abord, faites-lui écrire le plan de mouvement (le squelette) à partir d'un texte.
2. Ensuite, faites-lui animer un personnage en suivant ce plan, en utilisant une technique spéciale pour ne jamais perdre les détails du visage ou des vêtements.

C'est comme si vous sépariez la direction artistique (le mouvement) de la direction technique (l'apparence), ce qui permet d'obtenir des vidéos beaucoup plus réalistes, fluides et contrôlables, même pour les mouvements les plus fous !

Résumé technique

Voici un résumé technique détaillé de l'article "Controllable Complex Human Motion Video Generation via Text-to-Skeleton Cascades", rédigé en français.

1. Problématique

La génération de vidéos de mouvements humains complexes (tels que les flips, les roues, les arts martiaux ou les acrobaties) reste un défi majeur pour les modèles de diffusion vidéo actuels. Les approches existantes souffrent de deux limitations principales :

• Ambiguïté temporelle du texte : Le conditionnement par texte seul est insuffisant pour contrôler finement les trajectoires articulaires et le timing des sous-mouvements, ce qui entraîne des incohérences temporelles et des trajectoires de membres irréalistes.
• Difficulté de contrôle par pose explicite : Bien que l'utilisation de séquences de squelettes (poses 2D) améliore le contrôle, la génération manuelle de ces séquences pour des actions longues et dynamiques est coûteuse et peu pratique. De plus, les méthodes existantes peinent à préserver l'apparence du sujet (vêtements, détails du corps) lors de grands changements de pose et d'auto-occlusions, car elles reposent souvent sur des embeddings CLIP qui manquent de détails spatiaux fins.

Il existe également un manque critique de jeux de données publics contenant des vidéos de mouvements humains complexes et acrobatiques, les benchmarks actuels se concentrant sur des activités répétitives et régulières.

2. Méthodologie

Les auteurs proposent un cadre en deux étapes (cascade) pour découpler la planification du mouvement de la synthèse de l'apparence :

Étape 1 : Génération de squelette à partir du texte (Text-to-Skeleton)

• Objectif : Convertir une description textuelle naturelle en une séquence de poses 2D (coordonnées des articulations).
• Architecture : Un modèle autoregressif basé sur un Transformer.
• Représentation : Les coordonnées continues des articulations sont discrétisées en tokens. Le modèle prédit chaque token d'articulation conditionné par le texte et tous les tokens précédemment générés.
• Avantage : Cette factorisation permet de capturer les dépendances temporelles à long terme et la coordination inter-articulaire, produisant des plans de mouvement structurés sans nécessiter de génération manuelle de poses.

Étape 2 : Génération de vidéo conditionnée par la pose (Pose-to-Video)

• Objectif : Synthétiser une vidéo photoréaliste à partir d'une image de référence et de la séquence de squelettes générée à l'étape 1.
• Architecture : Basée sur un modèle de diffusion vidéo pré-entraîné (Wan2.1), adaptée pour le conditionnement par pose.
• Innovation clé : DINO-ALF (Adaptive Layer Fusion) :
  • Au lieu d'utiliser uniquement des embeddings CLIP (qui sont globaux et sémantiques), le modèle utilise un encodeur DINOv3 gelé.
  • Il extrait des descripteurs de patchs à partir de multiples couches du réseau DINO.
  • Un mécanisme de fusion adaptative (via une attention croisée) agrège ces caractéristiques multi-niveaux. Les couches précoces capturent les détails texturaux locaux, tandis que les couches tardives capturent la sémantique.
  • Résultat : Cela permet de préserver l'identité, les vêtements et les détails locaux même lors de grands déformations et d'auto-occlusions, là où CLIP échoue.
• Conditionnement du mouvement : La séquence de squelettes est rasterisée en une vidéo de contrôle et encodée par un encodeur CNN 3D pour fournir un guidage spatio-temporel explicite au débruiteur DiT.
• Robustesse : Des augmentations stochastiques (bruit sur les articulations, dropout, décalage temporel) sont appliquées aux squelettes d'entraînement pour rendre le modèle robuste aux erreurs de l'étape de génération de squelettes.

3. Contributions Clés

1. Planification de mouvement par génération autoregressive : Un modèle texte-vers-squelette capable de générer des séquences de poses complexes et non répétitives à partir de texte, éliminant le besoin de séquences de poses manuelles.
2. DINO-ALF : Un mécanisme de conditionnement d'apparence nouveau et robuste pour la diffusion vidéo, utilisant la fusion adaptative de couches DINO pour maintenir la cohérence de l'apparence sous de fortes déformations.
3. Jeu de données synthétique : Création et publication d'un jeu de données synthétique de 2 000 vidéos générées avec Blender, spécifiquement conçu pour les mouvements acrobatiques et de type "cascade". Ce jeu de données comble le vide des benchmarks existants et évite les problèmes de droits d'auteur et de vie privée des données web.

4. Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données synthétique proposé et sur le benchmark Motion-X Fitness.

• Texte-vers-Squelette : Le modèle proposé surpasse les méthodes de l'état de l'art (HumanDreamer, T2M-GPT, etc.) sur toutes les métriques :
  • FID : 255,19 (meilleur score, indiquant une meilleure réalisme physique).
  • R-precision : 0,487 (top-1), montrant une meilleure adhérence sémantique au texte.
  • Diversité : Score le plus élevé, évitant l'effondrement de mode.
• Pose-vers-Vidéo : Le modèle atteint les meilleurs résultats parmi toutes les méthodes comparées (HumanVid, MimicMotion, VACE, etc.) sur les métriques VBench :
  • Cohérence du sujet : 91,31 (+3,0 par rapport au meilleur concurrent).
  • Cohérence du fond : 93,79.
  • Lissage du mouvement : 97,39.
  • FVD (Frechet Video Distance) : 471,3 (le plus bas, indiquant une distribution vidéo la plus proche de la réalité).
• Qualité visuelle : Les résultats qualitatifs montrent une préservation supérieure des détails fins (mains, vêtements, cravates) et une absence d'artefacts lors de mouvements complexes (retournements, sauts), contrairement aux méthodes basées sur CLIP qui souffrent de dérive d'apparence.

5. Signification et Impact

Ce travail représente une avancée significative dans la génération de vidéos humaines contrôlées :

• Démocratisation du contrôle : Il rend possible la génération de mouvements complexes (acrobaties) à partir de simples descriptions textuelles, sans nécessiter d'outils de capture de mouvement ou de création manuelle de poses.
• Robustesse aux occlusions : L'approche DINO-ALF résout un problème fondamental de la génération vidéo : la perte de détails d'apparence lors de mouvements rapides et de rotations.
• Ressource pour la communauté : La libération d'un jeu de données synthétique spécialisé pour les mouvements complexes offre une base d'évaluation cruciale pour les futures recherches dans ce domaine, là où les données réelles sont rares ou problématiques juridiquement.

En résumé, cette méthode établit un nouveau standard pour la génération de vidéos de mouvements humains complexes, en combinant une planification de mouvement précise et une préservation d'apparence robuste.