FreeAnimate: Training-Free Human Image Animation with Preview-Guided Denoising

Résumé Technique : FreeAnimate

Énoncé du Problème
L'animation d'images humaines (HIA - Human Image Animation), la tâche consistant à générer des vidéos temporellement cohérentes à partir d'une seule image de référence et d'une séquence de poses, a progressé de manière significative avec les modèles de diffusion. Cependant, les méthodes de haute qualité existantes reposent généralement sur des ensembles de données d'entraînement à grande échelle et des ressources de calcul substantielles. Cette dépendance limite la généralisation à des distributions de données inédites et restreint l'accessibilité. Bien que des approches sans entraînement existent, les méthodes antérieures comme PoseAnimate démontrent souvent des limites en termes d'applicabilité au monde réel (par exemple, en se concentrant sur les dessins animés) ou emploient des architectures complexes qui entravent la recherche ultérieure. Le défi central est de parvenir à une animation de haute fidélité, préservant l'identité et la cohérence temporelle, sans nécessiter d'entraînement de modèle supplémentaire.

Méthodologie
FreeAnimate est un cadre de travail sans entraînement (training-free) construit sur des modèles de diffusion d'images pré-entraînés (spécifiquement Stable Diffusion v1.5 avec ControlNet v1.1). Il traite les limitations de l'injection directe de caractéristiques et de l'incohérence temporelle via trois composants principaux :

1. Stratégie de Génération de Prévisualisation :
   Pour fournir des priors temporels et structurels, le cadre génère des « images de prévisualisation » qui s'alignent étroitement avec les images cibles avant le processus de débruitage principal. Ce pipeline utilise :

• MasaCtrl avec T2I-Adapter : Pour générer une image conditionnée par la pose où l'apparence correspond à la référence mais où l'arrière-plan peut différer.
• Grounded-SAM : Pour segmenter et préserver l'identité du premier plan à partir de l'image générée.
• Inpainting (MAT) : Pour reconstruire l'arrière-plan en supprimant l'identité de l'image de référence et en remplissant la région manquante.
• Mix-up par pixel : La prévisualisation finale est créée en combinant le premier plan préservé et l'arrière-plan inpinté. Ces images servent de base pour générer le bruit initial et les cartes d'attention.

2. Attention Boostée par Inversion (IBA - Inversion-Boosted Attention) :
   L'inversion DDIM standard des images de prévisualisation peut introduire des erreurs cumulatives qui dégradent le mouvement et les détails. L'IBA atténue cela en utilisant les cartes d'attention (attention de soi et attention croisée) dérivées de l'inversion DDIM des images de prévisualisation. Pendant le processus de débruitage de la vidéo cible, ces cartes précalculées ($s^{pre}_t$ et $c^{pre}_t$) sont utilisées pour guider les mécanismes d'attention. Cela garantit la cohérence structurelle et renforce l'alignement entre les images générées et les priors de prévisualisation sans injecter directement le bruit inversé brut dans l'U-Net.

3. Auto-Attention Ancrée sur la Référence (RA-SA - Reference-Anchored Self-Attention) :
   Pour imposer la préservation de l'identité et la cohérence temporelle, RA-SA modifie le mécanisme d'auto-attention. Au lieu d'une attention causale standard, les caractéristiques de requête (query), de clé (key) et de valeur (value) pour le code latent de l'image actuelle sont calculées en concaténant le latent actuel avec le latent de l'image de référence (l'image ancre). Cela force le mécanisme d'attention à prêter attention à l'identité de la référence tout au long du processus de génération, garantissant que l'apparence du sujet reste cohérente à travers les images.

Contributions Clés
Le document présente trois contributions principales :

1. Cadre FreeAnimate : Une architecture simple et sans entraînement pour l'HIA qui exploite des modèles pré-entraînés (Grounded-SAM, outils d'édition et d'inpainting) pour obtenir des résultats de haute qualité sans ajustement fin (fine-tuning).
2. Stratégie de Génération de Prévisualisation : Un pipeline agnostique au cadre qui génère des images de prévisualisation de haute qualité pour servir de priors temporels. Cette stratégie améliore considérablement la fidélité vidéo et la cohérence temporelle en fournissant un bruit initial et un guidage structurel précis.
3. Nouveaux Mécanismes d'Attention : L'introduction des modules IBA et RA-SA. L'IBA utilise des cartes d'attention dérivées de l'inversion pour guider le débruitage pour un alignement structurel, tandis que RA-SA ancre l'auto-attention au latent de référence pour garantir la préservation de l'identité.

Résultats Expérimentaux
Les auteurs ont évalué FreeAnimate sur les jeux de données TikTok, TED-Talks et EverybodyDanceNow, en le comparant aux bases GAN (MRAA, TPS) et aux méthodes basées sur la diffusion (DisCo, MagicAnimate, AnimateAnyone, Champ, etc.).

• Performance Quantitative : Sur le jeu de données TikTok, FreeAnza a obtenu des métriques compétitives, se classant deuxième ou troisième en FID, SSIM, L1 et FVD, surpassant DisCo et MagicAnimate sur la plupart des métriques d'image. Sur le jeu de données TED-Talks, bien que les méthodes entraînées spécifiquement sur ces données présentent des avantages, FreeAnimate maintient une performance robuste avec moins de sensibilité aux changements de distribution de données par rapport aux autres méthodes sans entraînement ou partiellement entraînées.
• Performance Qualitative : Les comparaisons visuelles démontrent que FreeAnimate produit une qualité de génération comparable aux méthodes basées sur l'entraînement de pointe comme Champ, et des résultats supérieurs à la méthode de base DisCo. La méthode préserve efficacement la stabilité de l'arrière-plan et la fidélité de l'identité.
• Études d'Ablation : Le retrait de la Stratégie de Génération de Prévisulisation a entraîné une dégradation de la qualité due à l'initialisation par bruit aléatoire. Le retrait de la branche de contrôle, de l'IBA ou de la RA-SA a conduit à des baisses significatives de la qualité d'image, de la stabilité de la disposition et de la cohérence temporelle, confirmant la nécessité des trois composants.

Signification et Revendications
Le document affirme que FreeAnimate offre une solution pratique pour l'animation d'images humaines qui évite le besoin de données d'entraînement et de ressources étendues. En exploitant les capacités intrinsèques des modèles de diffusion pré-entraînés et en introduisant une nouvelle stratégie de débruitage guidée par la prévisualisation, le cadre atteint une qualité de génération comparable aux méthodes de pointe basées sur l'entraînement, tout en offrant une généralisation robuste à travers divers jeux de données. Les auteurs positionnent FreeAnimate comme un système modulaire où les composants (tels que le générateur de prévisualisation ou le backbone de diffusion) peuvent être remplacés par des modèles plus puissants pour améliorer davantage les performances, sans nécessiter de réentraînement du cadre central.