Controllable Clothing: Precise Labels and Generation for Virtual Try-On with Latent Diffusion Models

Imaginez que vous essayez d'apprendre à un robot comment s'habiller. Vous lui montrez la photo d'une personne et la photo d'une nouvelle veste cool, et vous lui demandez : « Peux-tu mettre la veste sur la personne ? » C'est le monde de l'Essai Virtuel (VITON), une branche de la vision par ordinateur où les machines tentent de résoudre le casse-tête de l'apparence des vêtements sur différents corps. Pour ce faire, le robot utilise un type de « cerveau » spécial appelé modèle de diffusion. Considérez un modèle de diffusion comme un artiste magique qui commence avec une toile couverte de neige statique (comme de la neige sur une télévision) et qui, étape par étape, élimine lentement le bruit pour révémer une image. Si vous donnez à cet artiste une description textuelle comme « un t-shirt rouge », il peut en peindre un. Mais si vous voulez qu'il peigne exactement ce t-shirt spécifique sur cette personne spécifique, avec les manches s'arrêtant au coude et le col positionné juste correctement, l'artiste se confond souvent. Il peut peindre le t-shirt trop long, trop court, ou avec la mauvaise couleur. C'est un gros problème pour les boutiques en ligne, car si un client achète un t-shirt basé sur une fausse image qui ne correspond pas à la réalité, il sera mécontent.

Ce rapport de Max Rehman Linder s'attaque à cette confusion. L'auteur pose la question suivante : « Et si nous pouvions donner au robot une règle et un ensemble d'instructions, et non pas seulement une description vague ? » Le papier propose une nouvelle méthode appelée ControlableClothing. Au lieu de simplement montrer les images au robot, l'équipe de l'auteur mesure les vêtements et le corps de la personne avec une précision mathématique — calculant exactement quelle partie de l'épaule est couverte, la profondeur de l'encolure, et la longueur des manches. Ils transforment ces mesures en un code secret (des étiquettes) et les injectent au robot aux côtés des images. Le résultat est un système qui ne se contente pas de deviner où vont les vêtements ; il suit une carte. Le papier suggère qu'en utilisant ces mesures précises et un « adaptateur » spécial (un outil qui aide le robot à comprendre le code), les images générées deviennent beaucoup plus contrôlables. Cependant, l'auteur prend soin de noter que, bien que le robot puisse désormais suivre ces règles, il doit encore beaucoup s'entraîner pour perfectionner chaque petit détail, et que certains des nouveaux outils qu'ils ont construits sont encore en cours de test pour voir s'ils fonctionnent aussi bien qu'espéré.

La Magie de l'Artiste « Nettoyeur de Bruit »

Pour comprendre comment cela fonctionne, regardons le cerveau du robot. Le papier utilise un type d'IA appelé modèle de diffusion latent. Imaginez un seau d'eau boueuse. Si vous continuez à mélanger, cela devient de plus en plus sale jusqu'à ce que ce ne soit plus qu'une boue brune. Un modèle de diffusion apprend à faire l'inverse : il apprend à prendre cette boue brune et à séparer lentement et soigneusement la saleté de l'eau jusqu'à ce que vous ayez à nouveau une image claire. Dans le monde informatique, la « boue » est le bruit aléatoire, et l'« image claire » est une photo d'une personne portant des vêtements.

Pendant longtemps, ces robots étaient excellents pour créer de nouvelles images à partir de rien, mais très mauvais pour suivre des règles strictes. Si vous demandiez un t-shirt avec des manches s'arrêtant exactement au coude, le robot pourrait simplement deviner. C'est comme demander à un enfant de dessiner une maison avec une porte faisant exactement 3 pouces de large ; il dessinera peut-être une porte, mais elle n'aura que rarement la taille exacte que vous vouliez. Les tentatives précédentes pour corriger cela impliquaient l'utilisation de GANs (un autre type d'IA), mais ils étaient souvent rigides et ne pouvaient pas créer de plis ou d'éclairages réalistes. Puis vinrent les Modèles de Diffusion, qui sont bien meilleurs pour rendre les choses réelles, mais qui luttent encore avec le problème de « l'emplacement exact ».

La Nouvelle Solution : Donner une Règle au Robot

L'idée principale de l'auteur est simple : arrêter de deviner et commencer à mesurer.

Par le passé, si vous vouliez essayer un t-shirt, vous montriez simplement le t-shirt au robot et à la personne. Le robot essayait alors de « déformer » le t-shirt pour qu'il s'adapte. Mais l'auteur a réalisé que pour réussir, le robot doit savoir comment le t-shirt s'ajuste. Est-il serré ? Est-il ample ? La manche s'arrête-t-elle au poignet ou au coude ?

Ainsi, l'équipe a construit un pipeline de pré-traitement. Avant même que le robot ne voie l'image, ils utilisent d'autres outils intelligents pour :

1. Découper les vêtements : Ils utilisent un « masque » pour masquer la partie de la personne où le nouveau t-shirt ira.
2. Tout mesurer : Ils utilisent la vision par ordinateur pour mesurer la distance entre les hanches de la personne et le bas du t-shirt, la largeur du cou, et quelle partie de l'épaule est couverte.
3. Créer une « Fiche de Score » : Ils transforment ces mesures en nombres et en étiquettes. Par exemple, au lieu de dire simplement « manches longues », ils pourraient dire « les manches s'arrêtent à 0,8 de la longueur du bras ».

L'Outil « Adaptateur » : Le Traducteur

Le cerveau du robot (le modèle de diffusion) est déjà très doué pour peindre, mais il ne parle pas la langue des « mesures ». Pour corriger cela, l'auteur a construit un outil spécial appelé adaptateur. Considérez cet adaptateur comme un traducteur.

Le traducteur prend la « Fiche de Score » (les mesures et les étiquettes) et l'image du t-shirt, et les convertit dans un langage que le robot comprend. Il murmure ensuite ces instructions à l'oreille du robot pendant qu'il peint.

• L'IP-Adapter : Cette partie aide le robot à comprendre l'aspect du t-shirt (le motif, la couleur).
• Le T2I-Adapter : Cette partie aide le robot à comprendre les détails et où les placer.

L'auteur a créé une nouvelle version personnalisée de ce traducteur spécifiquement pour la partie de « suréchantillonnage » (up-sampling) du processus de peinture. Il s'agit de l'étape où le robot ajoute les détails fins, comme la texture du tissu ou la façon dont la lumière frappe un pli. En injectant les données de mesure précisément à cette étape, le robot peut ajuster les détails en fonction des instructions de la règle.

Ce que les Expériences ont Montré

L'auteur a entraîné ce nouveau système sur des milliers d'images de personnes et de vêtements. Voici ce qu'ils ont découvert :

• Cela fonctionne, mais c'est un travail en cours : Lorsqu'ils tournaient les « cadrans » (les étiquettes de mesure), le robot changeait réellement les vêtements. Par exemple, s'ils disaient au robot de rendre l'encolure plus profonde (en changeant un nombre de 1 à -2), le robot dessinait une encolure plus profonde. S'ils lui disaient de ne couvrir qu'une seule épaule, il le faisait aussi.
• Les chiffres sont meilleurs que les mots : L'auteur a constaté que donner au robot un nombre spécifique (comme une valeur flottante) fonctionnait mieux que de lui donner une catégorie (comme « manches longues »). C'est comme dire à un chef « ajoute 5 grammes de sel » au lieu de « ajoute un peu de sel ». Le robot pouvait suivre le nombre plus précisément.
• L'astuce du « Masque » : L'équipe a également appris au robot à ignorer les parties de l'image qui étaient cachées derrière un masque. Ils ont découvert que si on disait au robot « le masque s'arrête ici, mais tu peux peindre au-dessus », le robot générait un nouveau tissu au-dessus de la ligne du masque. C'est énorme car cela signifie que vous pourriez prendre la photo de quelqu'un portant un t-shirt long et dire au robot de le transformer en crop top, et le robot saurait comment peindre la zone de ventre manquante.
• Les Limites : Le papier admet que le robot n'est pas encore parfait. Lorsque les vêtements avaient des motifs ou des détails très complexes, le robot perdait parfois ces détails. L'auteur soupçonne que c'est parce que le nouvel outil de « suréchantillonnage » qu'ils ont construit n'a pas été entraîné assez longtemps. Le robot apprend encore à utiliser sa nouvelle règle.

Ce à quoi l'Auteur dit « Non »

L'auteur a été très clair sur ce qui ne fonctionne pas ou n'est pas l'objet de l'étude :

• Utiliser uniquement des invites textuelles ne suffit pas : Ils ont essayé de demander au robot de « rendre les manches plus longues » en utilisant uniquement des mots, mais le robot les ignorait souvent ou se trompait. Les mesures étaient nécessaires.
• Le codage "one-hot" n'est pas idéal : Ils ont essayé d'utiliser des interrupteurs simples « on/off » pour des choses comme la longueur des manches (par exemple, « est-ce long ? Oui/Non »), mais ont trouvé que les nombres continus (comme un curseur de 0 à 1) donnaient un bien meilleur contrôle.
• Ce n'est pas un remède miracle pour tout : L'auteur note que si le robot est entraîné sur un jeu de données où il a déjà mémorisé les réponses, ajouter de nouvelles instructions pourrait ne pas aider. Ils ont dû repartir de zéro pour faire fonctionner le nouveau système.

Le Verdict

Ce papier suggère qu'en combinant des mesures précises avec des outils d'« adaptateur » intelligents, nous pouvons donner beaucoup plus de contrôle aux systèmes d'essai virtuel. Le problème n'est pas résolu — le robot doit encore s'entraîner pour perfectionner les détails minuscules, et les nouveaux outils doivent être davantage testés — mais la direction est prometteuse. L'auteur montre que si vous donnez à l'IA une règle et un ensemble d'instructions, elle peut arrêter de deviner et commencer à suivre les ordres, créant des images qui sont beaucoup plus proches de ce qu'un vrai client verra. C'est un pas vers un futur où vous pourrez essayer des vêtements en ligne, et l'image que vous voyez sera exactement ce que vous recevrez quand le colis arrivera.