MultiAnimate: Pose-Guided Image Animation Made Extensible

Le papier présente MultiAnimate, un cadre d'animation d'images extensible basé sur les Transformers de diffusion qui, grâce à des composants novateurs comme l'Assigneur et l'Adaptateur d'identifiants, permet de générer des vidéos réalistes de multiples personnages en résolvant les problèmes d'identité et d'occlusion, tout en généralisant à des scénarios avec plus de personnages que ceux vus lors de l'entraînement.

L'essentiel

Imaginez que vous êtes un réalisateur de cinéma. Vous avez une photo d'un ami (votre "personnage de référence") et vous voulez le faire danser sur une vidéo en suivant une chorégraphie précise. C'est ce qu'on appelle l'animation d'image guidée par la pose.

Jusqu'à récemment, les ordinateurs étaient très bons pour animer une seule personne. Mais dès qu'on essayait de faire danser deux ou trois personnes ensemble, les choses tournaient au vinaigre : les visages se mélangeaient (l'un devenait l'autre), les corps traversaient les murs de manière impossible, ou les personnages perdaient leur identité. C'était comme si un magicien maladroit avait mélangé les cartes de deux joueurs.

Voici comment MultiAnimate, la nouvelle méthode présentée dans cet article, résout ce problème avec une approche ingénieuse et extensible.

1. Le Problème : La Confusion des Identités

Imaginez deux danseurs, Alice et Bob, qui tournent sur eux-mêmes et échangent leurs places.

• Si vous regardez juste leurs mouvements (leurs poses), l'ordinateur ne sait pas qui est qui. Est-ce Alice qui a continué à tourner dans le même sens, ou est-ce Bob qui a fait demi-tour ?
• Sans aide, l'ordinateur fait des erreurs : il confond les visages ou crée des collisions bizarres où un corps passe à travers l'autre.

2. La Solution : Le Système de "Badges" et de "Mappage"

Les auteurs de MultiAnimate ont créé un système en deux étapes pour que l'ordinateur ne perde jamais le fil :

A. L'Assigneur d'Identité (Le Gardien des Badges)

Au lieu de laisser l'ordinateur deviner qui est qui, on lui donne des badges invisibles.

• Imaginez que vous mettez un badge rouge sur Alice et un badge bleu sur Bob.
• Le système "Assigneur" prend les masques (les contours) de chaque personne et leur attribue un numéro unique (comme un badge).
• Cela permet de dire à l'ordinateur : "Ce mouvement rouge appartient toujours à Alice, et ce mouvement bleu à Bob, peu importe où ils vont."

B. L'Adaptateur d'Identité (Le Traducteur)

Ensuite, il faut que l'ordinateur comprenne ces badges. C'est le rôle de l'Adaptateur.

• C'est comme un traducteur qui prend les badges (les numéros) et les transforme en instructions claires pour le moteur de la vidéo.
• Il dit au moteur : "Garde le visage de Alice attaché au badge rouge, et celui de Bob au bleu, même s'ils se croisent."

3. L'Ingéniosité : Apprendre avec deux, pour en gérer sept

C'est ici que la méthode devient vraiment magique.

• Le problème habituel : Si vous entraînez un robot à danser avec deux personnes, il panique souvent s'il doit en gérer trois. Il faut normalement réapprendre tout le système avec de nouvelles données.
• L'astuce de MultiAnimate : Ils ont créé une "banque de badges" avec beaucoup de numéros possibles (disons 10), mais ils n'ont entraîné le modèle qu'avec deux personnes à la fois.
• Comment ça marche ? À chaque fois que le modèle s'entraîne, on lui donne deux personnes au hasard et on leur attribue deux badges différents tirés au sort dans la banque.
• Le résultat : À la fin de l'entraînement, le modèle a appris à distinguer n'importe quel badge des autres. Donc, quand on lui demande de faire danser trois ou même sept personnes (ce qu'il n'a jamais vu en entraînement), il dit : "Pas de problème, je vais juste attribuer trois nouveaux badges de ma banque, et je sais déjà comment les gérer !".

C'est comme apprendre à un enfant à trier des Lego de différentes couleurs. Si vous lui apprenez à trier le rouge et le bleu, il comprendra le principe et pourra trier le vert et le jaune sans que vous ayez à lui réapprendre les bases.

4. Les Résultats

Grâce à cette méthode :

• Pas de mélange : Les visages restent les mêmes du début à la fin de la vidéo.
• Pas de fantômes : Les corps ne traversent pas les murs ; ils interagissent de manière réaliste (l'un passe derrière l'autre).
• Extensible : On peut passer de 2 à 7 personnes sans réentraîner le modèle.
• Polyvalent : Cela fonctionne aussi bien pour une seule personne que pour un groupe.

En résumé

MultiAnimate est comme un chef d'orchestre très organisé qui donne un numéro à chaque musicien avant le concert. Même si le nombre de musiciens change à l'improviste, le chef sait exactement qui joue quelle partition et comment ils doivent interagir, garantissant une symphonie (ou une vidéo) parfaite sans aucune confusion.

C'est une avancée majeure qui rend la création de vidéos animées complexes beaucoup plus simple, réaliste et accessible.

Résumé technique

1. Problématique

L'animation d'images humaines guidée par la pose vise à synthétiser des vidéos réalistes d'un personnage de référence animé par une séquence de poses. Bien que les méthodes basées sur la diffusion aient obtenu des succès notables pour l'animation d'un seul personnage, leur extension naïve à des scénarios multi-personnages se heurte à deux défis majeurs :

• Confusion d'identité et occlusions irréalistes : Lorsque plusieurs personnages sont générés simultanément, les modèles existants peinent à maintenir la cohérence de l'identité de chaque individu, conduisant souvent à des échanges de visages ou des interactions spatiales impossibles.
• Manque d'évolutivité (Scalability) : Les modèles actuels sont généralement entraînés sur un nombre fixe de participants (par exemple, uniquement des paires). Ils ne parviennent pas à généraliser à des scénarios avec un nombre de personnages non vu lors de l'entraînement (ex: passer de 2 à 3 ou 7 personnages) sans réentraînement coûteux.
• Ambiguïté du mouvement : Dans un contexte multi-personnage, une même séquence de poses peut correspondre à plusieurs trajectoires plausibles (ex: deux personnes qui échangent leurs places). Sans indices spatiaux supplémentaires, le modèle ne peut pas déterminer quelle identité suit quelle trajectoire.

2. Méthodologie

Les auteurs proposent MultiAnimate, un cadre d'animation extensible basé sur les Transformers de Diffusion (DiT) modernes (spécifiquement l'architecture Wan 2.1/2.2). La solution repose sur une approche « pilotée par des masques » (mask-driven) intégrant deux modules novateurs et une stratégie d'entraînement spécifique.

A. Architecture du Pipeline

Le système utilise deux flux principaux qui fusionnent leurs représentations latentes :

1. Flux de Référence : Encode l'image de référence et sa pose initiale pour capturer l'apparence (identité, vêtements).
2. Flux de Mouvement : Encode la séquence de poses et les masques de suivi par personne (tracking masks) pour modéliser la dynamique temporelle et les relations spatiales.

B. Modules Clés

• Identifier Assigner (Assigneur d'Identifiants) :
  • Ce module transforme un ensemble de masques de suivi individuels en une carte d'étiquettes structurée unique.
  • Il attribue un identifiant unique (ex: a, b) à chaque personne sur la carte, tout en marquant l'arrière-plan par 0.
  • Cette carte est ensuite encodée en format one-hot pour créer une représentation binaire explicite de l'occupation spatiale de chaque individu.
• Identifier Adapter (Adaptateur d'Identifiants) :
  • Ce module intègre la carte d'étiquettes dans l'espace de caractéristiques du backbone DiT.
  • Il est conçu pour capturer les cues positionnels par personne et les relations spatiales inter-personnes (proximité, occlusion).
  • Contrairement aux méthodes d'addition simple de caractéristiques, cette approche préserve la structure spatiale explicite nécessaire pour distinguer les personnages.

C. Stratégie d'Entraînement Évolutive

Pour résoudre le problème de généralisation à un nombre de personnages inconnu, les auteurs proposent une stratégie d'entraînement innovante :

• Banque d'Identifiants Apprenable : Un espace d'embedding contenant $N$ canaux d'identifiants potentiels est défini.
• Échantillonnage Aléatoire : À chaque itération d'entraînement (même sur un dataset de 2 personnes), les identifiants attribués aux personnages sont choisis aléatoirement parmi la banque de $N$ canaux.
• Résultat : Le modèle apprend à associer chaque masque spatial à un identifiant spécifique plutôt qu'à un canal fixe. Ainsi, lors de l'inférence, même si le nombre de personnages dépasse celui du dataset d'entraînement, le modèle peut distinguer naturellement de nouveaux identifiants et maintenir la cohérence.

3. Contributions Clés

1. Premier cadre extensible basé sur DiT : MultiAnimate est, à la connaissance des auteurs, le premier cadre d'animation multi-personnages construit sur des générateurs vidéo modernes basés sur DiT.
2. Modélisation explicite des interactions : Introduction des modules Identifier Assigner et Identifier Adapter pour modéliser conjointement les caractéristiques spatiales individuelles et les interactions entre personnages.
3. Généralisation sans réentraînement : Une stratégie d'entraînement permettant au modèle de gérer un nombre de personnages supérieur à celui observé durant l'entraînement (ex: entraîné sur des paires, capable de générer des vidéos à 3, 5 ou 7 personnes).
4. Nouveau Dataset de haute qualité : Création d'un dataset synthétique (Gen-dataset) et utilisation de données réelles (Swing Dance, TikTok) pour valider la robustesse et la généralisation.

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs datasets (Swing Dance, Gen-dataset, et vidéos de danse non vues de TikTok).

• Performance Quantitative :
  • Sur le dataset Swing Dance (interactions complexes à 2 personnes), MultiAnimate surpasse les méthodes de l'état de l'art (UniAnimate-DiT, VACE, DisPose, MimicMotion) sur toutes les métriques (FVD, FID-VID, PSNR, SSIM).
  • Sur les vidéos non vues (3 à 7 personnages), le modèle maintient une supériorité claire, démontrant une forte capacité de généralisation.
  • Sur le dataset TikTok (scénarios mono-personne), le modèle reste compétitif avec les méthodes spécialisées en mono-personne, prouvant qu'il n'y a pas de compromis de performance pour les cas simples.
• Performance Qualitative :
  • Les vidéos générées montrent une cohérence d'identité parfaite, même lors d'interactions complexes et d'occlusions.
  • Contrairement aux méthodes de base qui échouent à distinguer les personnages ou créent des occlusions irréalistes, MultiAnimate préserve les relations spatiales et les objets tenus par les personnages (ex: une arme) tout au long de la vidéo.
  • L'ajout du Gen-dataset améliore la dynamique de l'arrière-plan et la cohérence temporelle.

5. Signification et Impact

Ce travail résout un problème fondamental dans la génération vidéo contrôlée : la scalabilité et la cohérence identitaire dans les scènes multi-personnages.

• Efficacité des données : En démontrant qu'un modèle entraîné uniquement sur des données à deux personnages peut générer des vidéos à sept personnages, la méthode réduit considérablement le besoin de collecter des données massives et coûteuses pour chaque configuration de nombre de participants.
• Applications pratiques : Cette avancée ouvre la voie à des applications réalistes dans la production cinématographique, la création d'avatars numériques et les effets visuels, où la gestion de foules ou de groupes dynamiques est cruciale.
• Fondation pour le futur : L'approche « pilotée par les masques » combinée à l'architecture DiT offre une nouvelle direction pour la conception de modèles de génération vidéo capables de s'adapter à des scénarios complexes et variables.