Virtual Try-On for Cultural Clothing: A Benchmarking Study

Cette étude présente BD-VITON, un nouveau jeu de données axé sur les vêtements traditionnels bangladais pour combler les lacunes des benchmarks actuels dominés par la mode occidentale, et évalue la performance de plusieurs modèles d'essayage virtuel sur ces vêtements aux défis structurels uniques.

L'essentiel

🌍 Le Problème : L'essayage virtuel qui ne parle qu'une seule langue

Imaginez que vous allez dans un magasin de vêtements virtuel. Vous essayez un t-shirt ou une robe, et l'ordinateur vous montre à quoi vous ressembleriez avec. C'est génial, non ?

Mais il y a un gros hic : ce système est un peu "ethnocentrique". Jusqu'à présent, tous les modèles d'intelligence artificielle qui font cet essayage ont été entraînés uniquement avec des vêtements occidentaux (t-shirts, jeans, robes ajustées) et principalement sur des mannequins femmes.

C'est comme si vous appreniez à conduire uniquement sur des autoroutes plates et droites en Europe, puis qu'on vous demandait de conduire dans les ruelles étroites et sinueuses de la vieille ville de Dhaka, au Bangladesh. Le système panique, il ne comprend pas comment gérer les plis complexes, les étoffes qui tombent différemment ou les vêtements portés par des hommes et des femmes de manière traditionnelle.

🇧🇩 La Solution : BD-VITON, le nouveau manuel de conduite

Les auteurs de cette étude ont décidé de réparer ce problème en créant BD-VITON.

Imaginez que vous avez un chef cuisinier (l'IA) qui sait parfaitement faire des hamburgers et des frites (les vêtements occidentaux). Mais vous voulez qu'il apprenne à cuisiner du Sari (une étoffe longue et complexe), du Panjabi (une tunique pour hommes) et du Salwar Kameez (une tenue traditionnelle féminine).

Pour cela, ils ont créé une nouvelle "bibliothèque de recettes" (un dataset) :

• Le contenu : Des milliers de photos de personnes portant ces vêtements traditionnels bangladais.
• La diversité : Ils ont inclus des hommes et des femmes, ce qui manquait cruellement dans les anciennes bases de données.
• Le défi : Ces vêtements sont difficiles ! Un Sari, c'est comme un puzzle de tissu qu'on enroule autour du corps avec des plis complexes. C'est très différent d'un jean qui a une forme fixe.

🛠️ Comment ça marche ? (L'atelier de couture)

Pour entraîner l'IA à maîtriser ces nouveaux styles, les chercheurs ont pris trois "apprentis couturiers" (des modèles d'IA existants très performants : VITON-HD, HR-VITON et StableVITON) et ils les ont envoyés en stage intensif avec la nouvelle bibliothèque BD-VITON.

Voici ce qu'ils ont dû faire pour que l'IA comprenne :

1. Nettoyer le mannequin : L'IA doit d'abord "effacer" le vêtement actuel de la photo pour ne garder que la silhouette de la personne (comme si on enlevait les vêtements pour ne garder que le corps).
2. Comprendre la structure : Ils ont ajouté des "cartes de pose" (comme des schémas de squelette) pour dire à l'IA où sont les épaules, les coudes et les hanches, même si le tissu cache tout.
3. L'entraînement : Au lieu de laisser l'IA deviner (ce qu'on appelle le "Zero-Shot", comme essayer de cuisiner sans recette), ils lui ont montré des milliers d'exemples de Saree et de Panjabi pour qu'elle apprenne par cœur comment le tissu doit tomber.

🏆 Les Résultats : L'entraînement paie !

Les résultats sont clairs et encourageants :

• Avant l'entraînement (Zero-Shot) : L'IA faisait des erreurs grotesques. Elle essayait de transformer un Sari en t-shirt occidental, ou le tissu se collait bizarrement au corps. C'était comme si elle essayait de plier une serviette en papier comme un origami complexe sans savoir le faire.
• Après l'entraînement (Fine-tuning) : Les modèles ont fait un bond de géant. Ils ont appris à respecter la fluidité du tissu, les plis et la façon dont le vêtement s'adapte au corps.

L'analogie finale :
C'est la différence entre un touriste qui essaie de parler une langue étrangère en utilisant un traducteur automatique (résultat bancal) et un locuteur natif qui a grandi dans ce pays (résultat fluide et naturel).

🔮 L'avenir : Vers un monde plus inclusif

Les chercheurs reconnaissent que ce n'est que le début. Leur "bibliothèque" est encore petite comparée aux géants occidentaux. Leur rêve ? Étendre ce système pour qu'il puisse gérer n'importe quel vêtement au monde : le Kimono japonais, le Hanfu chinois, ou n'importe quelle tenue traditionnelle complexe.

En résumé : Cette étude nous dit que pour que la technologie serve tout le monde, elle doit apprendre la culture de tout le monde. On ne peut pas attendre que l'IA devienne intelligente en ne lui montrant que des jeans et des t-shirts. Il faut lui montrer la richesse de la mode mondiale pour qu'elle puisse vraiment nous aider à nous habiller virtuellement, peu importe notre tradition.

Résumé technique

1. Problématique

Les systèmes actuels de « Virtual Try-On » (VTO), propulsés par des modèles de diffusion avancés (comme StableVITON, HR-VITON, VITON-HD), ont atteint des niveaux de photoréalisme impressionnants. Cependant, ces modèles souffrent d'un biais fondamental : ils sont entraînés et évalués presque exclusivement sur des ensembles de données dominés par la mode occidentale (vêtements cousus, hauts du corps) et des modèles féminins.

Cette limitation entraîne un échec systématique des modèles lorsqu'ils sont confrontés à des vêtements culturels non occidentaux, en particulier ceux du sous-continent indien (Asie du Sud). Les vêtements traditionnels comme le Sari, le Panjabi et le Salwar Kameez présentent des défis structurels uniques :

• Drapage complexe et asymétrique.
• Empilement de couches (layering).
• Déformations géométriques importantes.
• Absence de coutures fixes (pour le Sari).

En conséquence, les systèmes actuels sont inefficaces pour les 2,4 milliards de personnes en Asie du Sud qui portent ces vêtements traditionnels.

2. Méthodologie et Contribution Principale : BD-VITON

Pour combler ce fossé, les auteurs introduisent BD-VITON, un nouvel ensemble de données et une étude de benchmarking centrés sur les vêtements traditionnels du Bangladesh.

A. Construction de l'ensemble de données (BD-VITON)

• Composition : Le dataset contient 1 013 paires d'images (vêtement + personne), divisées en 810 pour l'entraînement et 203 pour le test.
• Diversité des vêtements : Il couvre trois catégories principales :
  • Sari : Un drapé continu et non cousu (défi majeur de déformation).
  • Panjabi : Une tunique sans col portée par les hommes.
  • Kameez : Une tunique longue portée par les femmes.
• Diversité des sujets : Contrairement aux datasets précédents (VITON, VITON-HD) qui sont exclusivement féminins, BD-VITON inclut des modèles masculins et féminins.
• Qualité : Les images sont de haute résolution (médiane de 1080×1440 px), couvrant le corps entier (full-body).
• Pipeline d'annotation automatisé : Les auteurs ont développé un pipeline utilisant des modèles pré-entraînés (SCHP, FASHN Human Parser, DWPose, DensePose) pour générer :
  • Des cartes de parsing sémantique (segmentation des parties du corps).
  • Des masques de vêtements binaires.
  • Des représentations « agnostiques » (sans le vêtement original, mais avec la pose et l'identité).
  • Des cartes de pose (OpenPose) et des cartes denses (DensePose) pour guider le warping.

B. Évaluation des modèles (Benchmarking)

Les auteurs ont réentraîné (fine-tuning) trois architectures d'état de l'art sur BD-VITON et les ont comparés à une inférence « Zero-Shot » (sans réentraînement) :

1. VITON-HD : Basé sur la transformation Thin Plate Spline (TPS) et un générateur U-Net.
2. HR-VITON : Utilise des cartes de parsing cibles pour guider le warping.
3. StableVITON : Basé sur la diffusion latente (Latent Diffusion Models) avec des mécanismes d'attention croisée.

Adaptations spécifiques :

• Pour HR-VITON, les auteurs ont dû ajouter du bruit gaussien et des rotations aux images de vêtements extraits pour empêcher le modèle de simplement « copier-coller » le vêtement sur la personne (un comportement observé lors de l'entraînement sur des pseudo-vêtements).
• Pour StableVITON, aucune adaptation fondamentale n'a été nécessaire, mais le modèle a été fine-tuné.

3. Résultats

A. Résultats Quantitatifs

L'évaluation utilise trois métriques : SSIM (similarité structurelle), LPIPS (similarité perceptuelle) et FID (distance de distribution).

• Amélioration globale : Tous les modèles réentraînés sur BD-VITON surpassent significativement leurs performances en mode Zero-Shot. Cela prouve que l'entraînement sur des données culturellement spécifiques corrige le biais de distribution.
• Comparaison des modèles :
  • VITON-HD et HR-VITON (après entraînement) obtiennent des scores SSIM et LPIPS très élevés (SSIM > 0.8), indiquant une bonne fidélité structurelle.
  • StableVITON montre les résultats les plus faibles après un entraînement court (5 epochs), probablement dû à la complexité de convergence des couches d'attention et aux ressources limitées. Cependant, il reste compétitif en Zero-Shot.
  • HR-VITON souffre d'un FID très élevé en Zero-Shot (259.25) car il échoue à généraliser sans données spécifiques, contrairement à VITON-HD.

B. Résultats Qualitatifs

• Zero-Shot : Les modèles échouent souvent à respecter la structure du Sari (le transformant en vêtement occidental) ou produisent des déformations incohérentes.
• Après entraînement :
  • VITON-HD produit des résultats stables grâce à son mécanisme TPS, bien que les détails soient parfois moins fins.
  • HR-VITON améliore la cohérence mais peut encore montrer des erreurs d'alignement si le warping n'est pas parfaitement appris.
  • StableVITON offre des textures plus réalistes mais nécessite plus d'epochs pour converger correctement sur ces structures complexes.

4. Signification et Impact

• Preuve de concept : L'étude démontre que l'architecture du modèle n'a pas besoin d'être fondamentalement changée pour gérer des vêtements complexes ; c'est la donnée d'entraînement qui est le facteur limitant. Un fine-tuning sur des données culturellement pertinentes suffit à améliorer drastiquement les performances.
• Inclusivité : BD-VITON est le premier benchmark majeur à inclure des vêtements traditionnels asiatiques complexes et des modèles masculins, ouvrant la voie à des applications e-commerce plus inclusives en Asie du Sud.
• Défis futurs : Les auteurs notent que la taille du dataset (1013 échantillons) est encore limitée pour un entraînement de modèles génératifs à partir de zéro (risque de surapprentissage) et que la diversité des vêtements (actuellement 3 types) doit être élargie (ex: Kimono, Hanfu).

En conclusion, ce travail établit un nouveau standard pour l'évaluation des systèmes de Virtual Try-On, soulignant que la diversité culturelle des données est aussi cruciale que la sophistication des algorithmes pour atteindre une généralisation réelle.