MV-Fashion: Towards Enabling Virtual Try-On and Size Estimation with Multi-View Paired Data

Ce papier présente MV-Fashion, un vaste jeu de données vidéo multi-vues contenant des captures synchronisées de vêtements portés et de leurs versions plates, enrichi d'annotations sémantiques et de propriétés matérielles pour combler le manque de données réalistes et annotées dans les tâches de essayage virtuel et d'estimation de taille.

L'essentiel

🧥 Le Problème : L'énigme du "Essayage Virtuel"

Imaginez que vous achetez un manteau en ligne. Vous voyez une photo du manteau bien à plat sur une table (le catalogue), mais vous ne savez pas à quoi il ressemblera sur votre corps, surtout si vous bougez, si vous croisez les bras ou si vous portez un pull en dessous.

Actuellement, les ordinateurs sont très mauvais pour faire ce lien.

• Les données synthétiques (créées par ordinateur) ressemblent à des jouets en plastique : trop parfaits, pas assez réalistes.
• Les vraies photos prises dans la rue sont souvent floues, mal éclairées et ne montrent pas le vêtement à plat pour le comparer.
• Les bases de données 3D existantes sont comme des mannequins de musée : on voit le corps bouger, mais on ne sait pas exactement quel tissu est porté ni comment il s'adapte.

Il manque une pièce maîtresse : un lien parfait entre le vêtement "au repos" (sur le cintre) et le vêtement "en action" (sur un humain qui bouge), vu sous tous les angles.

📸 La Solution : MV-Fashion, le "Studio de la Magie"

Les chercheurs ont créé MV-Fashion. Imaginez un immense studio de tournage, pas avec un seul photographe, mais avec 68 caméras tournant autour d'un mannequin en même temps. C'est comme si vous étiez entouré de 68 amis qui vous prennent en photo instantanément sous tous les angles.

Voici ce qui rend ce projet spécial, avec des analogies simples :

1. Le "Double Jeu" (Données Appariées)

C'est l'innovation principale. Pour chaque séquence vidéo où une personne porte un manteau, bouge, tourne et rit, les chercheurs ont aussi pris une photo de ce même manteau posé à plat sur une table blanche.

• L'analogie : C'est comme avoir le "deux faces d'une pièce". D'un côté, vous avez le vêtement tel qu'il est vendu (propre, plat). De l'autre, vous avez le vêtement tel qu'il vit sur un humain (froissé, étiré, plié). L'ordinateur apprend à faire le pont entre les deux.

2. Le "Théâtre des Couches"

Dans la vraie vie, on porte souvent plusieurs couches : un t-shirt, une chemise, un blazer. Les anciennes bases de données voyaient souvent cela comme un seul bloc informe.

• L'analogie : MV-Fashion est comme un théâtre de marionnettes où l'on peut retirer la couche extérieure pour voir celle du dessous. Les chercheurs ont annoté chaque couche : "C'est un pull en laine élastique", "C'est une veste en jean rigide". Ils ont même noté comment le vêtement est porté : "manches retroussées", "chemise rentrée", "boutons ouverts".

3. La "Carte au Trésor" (Annotations)

Le dataset n'est pas juste une vidéo. C'est une vidéo accompagnée d'un manuel d'instructions ultra-détaillé.

• L'analogie : Si vous donnez une pomme à un enfant, il voit une pomme. Si vous donnez une pomme à un scientifique avec ce dataset, il voit : "Pomme rouge, 15cm de circonférence, peau lisse, tige de 2cm".
• Ici, l'ordinateur apprend non seulement à voir le vêtement, mais aussi à mesurer sa taille réelle (tour de taille, longueur de manche) et à comprendre ses propriétés physiques (est-ce que ça s'étire ?).

🎯 À quoi ça sert ? (Les Super-Pouvoirs)

Grâce à ce "carnet de notes" géant, les chercheurs ont testé trois choses :

1. L'Essayage Virtuel (Virtual Try-On) :
   Imaginez pouvoir dire à votre téléphone : "Montre-moi cette robe, mais avec les manches retroussées et le col ouvert". Grâce à MV-Fashion, les ordinateurs commencent à comprendre ces nuances. Ils ne collent pas juste une image sur un corps ; ils comprennent comment le tissu doit se plier.

2. La Devineuse de Taille (Size Estimation) :
   Vous prenez une photo de vous en portant un jean. L'IA peut dire : "Ce jean est trop petit, il est tendu au niveau des cuisses, vous devriez prendre du 42". C'est comme un tailleur virtuel qui mesure votre corps à travers les vêtements.

3. La Réalité Magique (Nouvelle Vue) :
   Si vous avez une photo de quelqu'un de face, MV-Fashion permet de générer une vidéo de cette personne en train de tourner, avec un rendu si réaliste qu'on voit les plis du tissu bouger naturellement.

🚀 Pourquoi c'est important pour nous ?

• Fin des retours inutiles : Plus de "J'ai commandé une chemise, elle est trop grande". Vous saurez exactement comment elle vous ira.
• Écologie : Moins de retours de vêtements signifie moins de camions sur la route et moins de vêtements jetés.
• Créativité : Les designers peuvent tester des milliers de styles sur des mannequins virtuels sans avoir à coudre un seul morceau de tissu.

En résumé

MV-Fashion, c'est comme donner aux ordinateurs un cours de couture et de physique en accéléré. Au lieu de deviner à l'aveugle comment un tissu se comporte, ils ont maintenant un "livre de recettes" géant qui leur montre exactement comment 72,5 millions de photos de vêtements réels se comportent sur des humains réels, sous tous les angles, avec toutes les couches possibles.

C'est une étape géante pour passer de l'essayage virtuel "magique mais imparfait" à un essayage virtuel fiable et précis.

Résumé technique

Titre : MV-Fashion : Vers l'essai virtuel et l'estimation de taille avec des données appariées multi-vues

1. Problématique et Contexte

Le domaine de la mode numérique, notamment l'essai virtuel (Virtual Try-On ou VTON) et l'estimation de taille, souffre d'un manque de données réalistes et complètes. Les travaux existants se divisent en deux catégories insuffisantes :

• Les datasets 2D (VTON) : Ils offrent des paires d'images "catalogue" et "portée" mais manquent de données géométriques 3D, de vues multiples synchronisées et de dynamique des vêtements.
• Les datasets 3D/4D (Capture humaine) : Ils capturent la géométrie et le mouvement avec haute fidélité, mais omettent souvent les images de catalogue (produits plats) nécessaires pour l'essai virtuel, ainsi que les annotations fines sur les matériaux et les tailles.

De plus, les données synthétiques souffrent d'un écart de réalisme (realism gap), tandis que les captures réelles existantes sont souvent limitées par un manque d'annotations spécifiques à la mode (plis, couches, élasticité) et par des coûts de capture prohibitifs.

2. Méthodologie et Présentation du Dataset MV-Fashion

Les auteurs introduisent MV-Fashion, un dataset vidéo multi-vues à grande échelle conçu spécifiquement pour combler ce fossé.

A. Acquisition des données (Setup)

• Matériel : Un système hybride utilisant 68 caméras (60 caméras Raspberry Pi global shutter 1.6 MP + 8 caméras Orbbec Femto Bolt 4K avec profondeur ToF).
• Synchronisation : Synchronisation électronique externe assurant un alignement temporel de moins de 2 ms entre toutes les caméras.
• Protocole : 80 sujets ont été enregistrés dans 3 types de séquences (20 secondes à 15 fps) :
  1. Corps : Pose canonique en sous-vêtements pour l'estimation de la morphologie.
  2. Modèle (Template) : Pose statique pour capturer la géométrie de chaque vêtement.
  3. Mouvement : Séquences dynamiques avec 5 poses aléatoires pour modéliser le comportement du tissu.
• Diversité : 3 273 séquences, 72,5 millions de frames, couvrant des tenues multicouches (jusqu'à 3 couches) et des variations de style (manches retroussées, chemises rentrées, etc.).

B. Annotations Riches
Le dataset va au-delà de la simple vidéo brute en fournissant :

• Appariement Catalogue/Porté : Pour chaque séquence vidéo, une image plate (catalogue) du vêtement est fournie.
• Segmentation : Masques sémantiques au niveau du pixel pour le premier plan et chaque couche de vêtement.
• Propriétés Physiques : Mesures de taille détaillées (tableaux de tailles), type de matériau, élasticité (échelle 1-5) et descriptions textuelles générées par LLM.
• Modèles 3D : Reconstruction de nuages de points 3D et paramètres SMPL-X (pose et forme du corps).

3. Contributions Clés

1. Dataset Multi-vues Échelle Industrielle : Le plus grand dataset vidéo de mode multi-vues avec des paires catalogue/porté, capturé avec un matériel abordable mais efficace.
2. Scénarios Complexes : Inclusion de tenues multicouches et de variations de style réalistes, rarement trouvées dans les datasets existants.
3. Données Multi-modales : Combinaison unique de vidéos 4D, de nuages de points, de segmentations, de mesures de taille réelles et de données de matériaux.
4. Appariement Catalogue-Multi-vues : Lien explicite entre l'image produit (plate) et les multiples vues du vêtement porté, crucial pour les tâches de VTON et d'estimation de taille.
5. Benchmarks : Établissement de lignes de base (baselines) pour l'essai virtuel, l'estimation de taille et la synthèse de nouvelles vues.

4. Résultats Expérimentaux

Les auteurs ont évalué le dataset sur trois tâches principales :

• Essai Virtuel (VTON) :

  • Utilisation de modèles SOTA (IDM-VTON, InsertAnything).
  • Résultats : Le dataset fonctionne directement avec les pipelines 2D existants. L'ajout de prompts de style (ex: "boutons ouverts") permet un contrôle sémantique fin, bien que cela reste un défi.
  • Analyse Multi-vues : L'utilisation simultanée d'images avant et arrière du catalogue améliore la cohérence géométrique lors de la synthèse de poses vues de dos, réduisant les erreurs de perspective.

• Estimation de Taille :

  • Adaptation du modèle SPnet pour prédire les mesures de couture à partir d'images de personnes habillées.
  • Résultats : L'approche "Multi-Task" (entraînée sur tous les groupes de vêtements) surpasse l'entraînement par groupe séparé, réduisant l'erreur moyenne (MAE) à 4,28 cm. Cela démontre que le dataset contient suffisamment de signaux pour apprendre la taille sans données synthétiques.

• Synthèse de Nouvelle Vue (NVS) :

  • Benchmark de méthodes NeRF (Instant-NGP, Nerfacto) et 3D Gaussian Splatting (Splatfacto).
  • Résultats : Splatfacto offre la meilleure qualité, reproduisant fidèlement les textures fines et les plis. L'ablation sur le nombre de vues montre que la qualité sature après 56 vues, validant l'efficacité du setup à 60 caméras.

5. Signification et Impact

MV-Fashion représente une avancée majeure pour la recherche en vision par ordinateur appliquée à la mode.

• Pour l'industrie : Il permet de réduire les retours produits en ligne grâce à une estimation de taille plus précise et un essai virtuel plus réaliste.
• Pour la recherche : Il fournit une base solide pour développer des algorithmes de simulation physique de tissus, de reconstruction 3D et de génération d'avatars numériques.
• Accessibilité : En utilisant du matériel standard et en rendant le dataset public, il démocratise la recherche sur les vêtements dynamiques, auparavant réservée aux laboratoires disposant de systèmes de capture coûteux.

En conclusion, MV-Fashion comble le fossé critique entre la capture géométrique 3D et les données d'essai virtuel 2D, offrant un environnement de test complet pour les futures applications de la mode numérique.