ProFashion: Prototype-guided Fashion Video Generation with Multiple Reference Images

ProFashion est un cadre de génération de vidéos de mode qui améliore la cohérence temporelle et visuelle en exploitant plusieurs images de référence via un agrégateur de prototypes sensible à la pose et un instanciateur enrichi par le flux de mouvement, surpassant ainsi les méthodes existantes sur des jeux de données dédiés.

L'essentiel

🎥 ProFashion : Le Magicien de la Mode qui Voit "Autour"

Imaginez que vous êtes un vendeur de vêtements en ligne. Vous voulez montrer à vos clients non seulement le devant d'une robe, mais aussi le dos, les manches et comment le tissu bouge quand la personne tourne.

Jusqu'à présent, les intelligences artificielles (IA) qui créent des vidéos de mode avaient un gros problème : elles ne pouvaient travailler qu'avec une seule photo de référence. C'est comme essayer de deviner à quoi ressemble l'arrière d'un objet en ne regardant que sa face avant. Le résultat ? L'IA invente des choses qui n'existent pas (des "hallucinations"), comme un dos de robe avec un motif totalement différent ou une couleur bizarre.

ProFashion est la nouvelle solution qui résout ce problème en utilisant plusieurs photos pour créer une vidéo fluide et réaliste.

Voici comment cela fonctionne, grâce à trois idées clés :

1. Le "Chef de Cuisine" qui choisit les bons ingrédients (L'agrégateur de prototypes)

Imaginez que vous avez trois photos d'un mannequin : une de face, une de dos et une de profil. Vous voulez créer une vidéo où le mannequin tourne.

• L'ancien problème : Si l'IA prenait toutes les photos en même temps et les mélangeait (comme faire un smoothie avec des fraises, des épinards et du chocolat), le résultat serait une bouillie informe. Si elle ne prenait qu'une seule photo, elle perdrait les détails des autres angles.
• La solution ProFashion : Imaginez un chef cuisinier très intelligent (l'Agrégateur de prototypes). À chaque instant de la vidéo, ce chef regarde la pose du mannequin qui tourne.
  • Si le mannequin tourne pour montrer son dos, le chef dit : "Ah, pour cet instant, je vais prendre toutes les informations de la photo de dos, mais je vais ignorer les détails du devant."
  • Il sélectionne et assemble les meilleurs morceaux de chaque photo en temps réel, comme un chef qui assemble les meilleurs ingrédients pour chaque bouchée, sans jamais mélanger les saveurs qui ne vont pas ensemble.

2. Le "Fil d'Ariane" invisible (L'instantiatore amélioré par le flux)

Une fois que l'IA a les bons ingrédients, elle doit les assembler pour créer le mouvement. Souvent, les vidéos générées par IA ont des défauts : les vêtements semblent "glisser" sur le corps, ou les motifs se déforment bizarrement quand la personne bouge.

• L'analogie : Imaginez que vous essayez de dessiner un personnage qui court, mais vous ne savez pas où ses pieds vont atterrir. Votre dessin sera bancal.
• La solution ProFashion : Le système utilise un fil d'Ariane invisible basé sur les mouvements du corps humain (les points clés comme les coudes, les genoux).
  • Au lieu de simplement copier-coller l'image d'une seconde à l'autre, l'IA suit ce fil d'Ariane. Elle sait exactement comment le tissu doit s'étirer ou se plisser quand le genou se plie.
  • Cela garantit que le vêtement reste "collé" au corps de manière naturelle, comme une seconde peau, même lors de grands mouvements de danse ou de rotation.

3. Le résultat : Une vitrine de mode parfaite

Grâce à ces deux astuces, ProFashion peut générer des vidéos où :

• Le motif à l'avant d'un t-shirt reste cohérent avec le motif à l'arrière.
• Le tissu ne se déforme pas de manière étrange.
• Le mouvement est fluide, comme si un vrai mannequin tournait devant une caméra.

🏆 Pourquoi c'est important ?

Les chercheurs ont testé leur méthode sur des milliers de vidéos de mode. Les résultats montrent que :

1. Moins d'erreurs : Contrairement aux anciennes méthodes qui inventaient des motifs bizarres, ProFashion respecte fidèlement les vêtements.
2. Plus de détails : On peut voir les détails fins du tissu sous tous les angles.
3. Plus de fluidité : Les mouvements sont naturels et sans à-coups.

En résumé : ProFashion, c'est comme passer d'un photographe qui ne peut prendre qu'une seule photo fixe, à un réalisateur de cinéma capable de tourner une scène complète autour d'un mannequin, en s'assurant que chaque détail du vêtement reste parfait, quel que soit l'angle de la caméra. C'est une révolution pour montrer les vêtements en ligne !

Résumé technique

1. Problématique

La génération de vidéos de mode vise à synthétiser des vidéos temporellement cohérentes à partir d'images de référence d'un personnage portant un vêtement spécifique. Bien que les méthodes basées sur les modèles de diffusion aient fait des progrès significatifs, elles présentent deux limitations majeures :

• Limitation de l'image de référence unique : Les méthodes existantes n'acceptent qu'une seule image de référence. Cela devient problématique pour les vêtements présentant des motifs dépendants de l'angle de vue (par exemple, des motifs différents au dos et au devant). L'utilisation d'une seule image conduit à des hallucinations sévères (déformations ou incohérences visuelles) lorsque le personnage tourne, car le modèle n'a pas d'information sur les parties non visibles de l'image de référence.
• Incohérence spatio-temporelle : Les modules de mouvement standards propagent l'information uniquement sur la même position spatiale au fil du temps. Cela est insuffisant pour gérer les grands mouvements corporels (comme une rotation complète), entraînant une perte de cohérence spatiale et temporelle.

2. Méthodologie : ProFashion

ProFashion est un cadre de génération vidéo guidé par des prototypes, conçu pour exploiter efficacement plusieurs images de référence et une séquence de poses de conduite. L'architecture repose sur un modèle de diffusion latent et comprend trois composants principaux :

A. Encodeur de Référence (Reference Encoder)

Il extrait des caractéristiques hiérarchiques fines et globales à partir des multiples images de référence.

• Il utilise un encodeur VAE pour les caractéristiques fines (latentes) et un encodeur CLIP pour les représentations globales.
• Il intègre des mécanismes d'attention spatiale et sémantique pour enrichir les représentations latentes avec des informations globales.

B. Agrégateur de Prototypes Conscient de la Pose (Pose-aware Prototype Aggregator - PPA)

C'est le cœur de l'intégration multi-références. Pour chaque frame de la vidéo générée, le PPA sélectionne et agrège les caractéristiques des images de référence en fonction de la similarité de pose.

• Sélecteur conscient de la pose : Il calcule une carte d'agrégation en comparant la pose de la frame courante (pose de conduite) avec les poses des images de référence. Les images dont la pose est la plus similaire à la pose cible reçoivent un poids plus élevé.
• Agrégation : Il fusionne les caractéristiques fines et globales pour former des prototypes par frame.
• Avantage clé : Ces prototypes ont la même forme qu'une seule caractéristique de référence, permettant de guider le processus de débruitage sans augmenter le coût computationnel de manière significative, contrairement à une simple concaténation.

C. Instanciateur de Prototypes Amélioré par le Flux (Flow-enhanced Prototype Instantiator - FPI)

Ce module gère la génération vidéo itérative et assure la cohérence du mouvement.

• Attention Spatiale Guidée par Prototypes : Utilise les prototypes agrégés pour guider l'attention spatiale, assurant que les détails du vêtement sont correctement transférés.
• Attention Temporelle Améliorée par le Flux (FTA) : Pour résoudre le problème de cohérence lors des grands mouvements, ce module introduit une attention spatio-temporelle supplémentaire. Il utilise le flux de mouvement des points clés humains (keypoint motion flow) pour superviser un processus de rééchantillonnage (warping). Cela permet de propager les caractéristiques des mêmes parties du corps entre les frames adjacentes, même si leur position spatiale a changé, garantissant ainsi une fluidité de mouvement supérieure.

3. Contributions Clés

1. Extension à plusieurs références : Transformation d'une tâche mal posée (une seule image) en un problème plus traitable en utilisant plusieurs images de référence sous différents angles pour couvrir tous les détails du vêtement.
2. Agrégation efficace (PPA) : Conception d'un mécanisme qui sélectionne dynamiquement les informations pertinentes selon la pose, évitant le flou des méthodes de moyennage simple et le coût computationnel élevé de la concaténation.
3. Cohérence du mouvement (FPI) : Intégration du flux de mouvement des points clés pour superviser l'attention spatio-temporelle, améliorant considérablement la stabilité des grands mouvements corporels.
4. Nouveau Dataset (MRFashion-7K) : Création d'un ensemble de données de 7 335 vidéos de mode collectées sur Internet, contenant des détails variés et des mouvements importants, spécifiquement pour évaluer la génération multi-références.

4. Résultats Expérimentaux

Les performances de ProFashion ont été évaluées sur le nouveau dataset MRFashion-7K et sur le dataset UBC Fashion.

• Résultats Quantitatifs (MRFashion-7K) :
  • ProFashion surpasse nettement les méthodes de référence à image unique (comme Animate Anyone et Champ) ainsi que les ablations (moyenne simple, concaténation).
  • Métriques d'image : Amélioration significative du SSIM (0,885 vs 0,831) et réduction du LPIPS (0,086 vs 0,126), indiquant une meilleure fidélité structurelle et une réduction des artefacts.
  • Métriques vidéo : Réduction drastique du FVD (126,92 vs 254,72 pour Champ), prouvant une meilleure cohérence temporelle.
• Évaluation Humaine :
  • Dans une étude avec 13 volontaires, ProFashion a obtenu les scores les plus élevés pour l'authenticité du personnage, les détails du vêtement et la fluidité du mouvement.
  • Les utilisateurs ont noté une réduction significative des hallucinations par rapport aux méthodes à image unique.
• Résultats sur UBC Fashion :
  • ProFashion dépasse l'état de l'art (SOTA) sur toutes les métriques, avec une amélioration de 31,4% sur le score FVD par rapport à la méthode précédente la plus performante.

5. Signification et Impact

ProFashion représente une avancée majeure pour le commerce électronique et la mode numérique :

• Résolution du problème de vue dépendante : Il permet de générer des vidéos réalistes montrant un vêtement sous tous les angles, ce qui était impossible avec une seule image de référence.
• Efficacité computationnelle : Grâce à l'agrégation de prototypes, il offre des performances multi-références sans le coût prohibitif de l'augmentation de la complexité du modèle.
• Applications pratiques : La capacité à produire des vidéos de mode cohérentes et détaillées à partir de simples images de catalogue peut révolutionner l'expérience d'achat en ligne, permettant aux clients de visualiser les vêtements en mouvement avec une grande fidélité.

Limitations : Le papier note que bien que les détails des motifs soient bien préservés, la génération de texte sur les vêtements (logos, inscriptions) reste un défi, avec parfois des distorsions ou des flous dans ces zones spécifiques.