Multi-Level Conditioning by Pairing Localized Text and Sketch for Fashion Image Generation

Ce papier présente LOTS, un cadre innovant pour la génération d'images de mode qui combine des esquisses et des descriptions textuelles localisées via un guidage multi-niveaux, validé par le nouveau jeu de données Sketchy contenant des paires texte-esquisse multiples par image.

L'essentiel

🎨 Le Problème : Le Dilemme du Couturier Robot

Imaginez que vous êtes un chef couturier et que vous avez un assistant robot très doué pour dessiner des vêtements.

• Le croquis (le dessin) : C'est la forme, la coupe, la silhouette. C'est comme le squelette du vêtement.
• Le texte (la description) : C'est le style, la couleur, le tissu. C'est comme l'âme du vêtement.

Jusqu'à présent, les robots avaient un gros problème : la confusion des attributs.
Si vous disiez : "Dessine un blazer marron et un pantalon noir", le robot, s'il écoutait trop le texte global, pouvait finir par dessiner un pantalon marron et un blazer noir ! Il mélangeait les couleurs comme un enfant qui mettrait les chaussettes sur la tête. C'est ce que les chercheurs appellent la "confusion d'attributs".

💡 La Solution : LOTS (Le Chef d'Orchestre)

Les auteurs de ce papier ont créé un nouveau système appelé LOTS (Localized Text and Sketch with multi-level guidance). Pour faire simple, imaginez que LOTS est un chef d'orchestre très organisé qui ne laisse jamais les musiciens jouer n'importe quoi.

Voici comment il fonctionne, étape par étape :

1. La Partition (Le Croquis Global)

D'abord, le robot regarde le dessin d'ensemble de la tenue (le "squelette"). C'est comme si le chef d'orchestre regardait la partition complète pour s'assurer que l'ensemble du groupe reste en rythme. Cela garantit que la tenue a l'air cohérente et que les proportions sont justes.

2. Les Solistes (Les Paires Croquis + Texte Locaux)

Ensuite, au lieu de donner une seule longue liste d'instructions pour tout le corps, le chef d'orchestre s'adresse à chaque musicien (chaque vêtement) individuellement.

• Il prend le croquis de la manche et lui dit : "Toi, tu es une manche, et le texte dit que tu es en velours rouge."
• Il prend le croquis de la jupe et lui dit : "Toi, tu es une jupe, et le texte dit que tu est en jean bleu."

C'est la grande innovation : le système traite chaque vêtement comme un solistes avec sa propre partition, tout en restant synchronisé avec le reste du groupe.

3. La Fusion Magique (L'Étape Diffusion)

Au lieu de tout mélanger d'un coup (ce qui crée le chaos), le robot construit l'image petit à petit, comme un sculpteur qui enlève de la pierre. À chaque étape, il vérifie : "Est-ce que le rouge est bien sur la manche ? Est-ce que le bleu est bien sur la jupe ?". Cela empêche les couleurs de "fuir" d'un vêtement à l'autre.

📚 Le Nouveau Livre de Recettes : Sketchy

Pour entraîner ce robot, les chercheurs ont dû créer un nouveau livre de recettes appelé Sketchy.

• Le problème : Avant, les livres de recettes montraient juste une photo d'un vêtement.
• La solution Sketchy : Ce nouveau livre montre, pour chaque tenue, plusieurs croquis (un pour le haut, un pour le bas, un pour les chaussures) accompagnés de leurs propres descriptions.
• Le test "Sauvage" : Ils ont aussi demandé à des gens ordinaires (qui ne sont pas des dessinateurs pro) de faire des croquis. C'est comme si on testait le robot non seulement avec des partitions de Mozart, mais aussi avec des gribouillis d'enfants. Résultat ? Le robot LOTS reste excellent même avec des dessins imparfaits !

🏆 Pourquoi c'est génial ?

Imaginez que vous commandez un costume sur mesure.

• Les anciens robots : Ils vous donnaient un costume magnifique, mais avec les boutons sur les épaules et la couleur inversée.
• Le robot LOTS : Il vous donne exactement ce que vous avez demandé. Si vous voulez une chemise à pois et un pantalon rayé, il met les pois sur la chemise et les rayures sur le pantalon, tout en gardant la silhouette parfaite.

En résumé :
Ce papier présente une nouvelle façon de faire dessiner des vêtements par l'IA. Au lieu de donner des ordres flous à tout le corps, il donne des instructions précises à chaque pièce du vêtement, tout en gardant une vue d'ensemble pour que le résultat soit harmonieux. C'est comme passer d'un brouillard de couleurs à une symphonie parfaitement accordée ! 🎻👗✨

Résumé technique

1. Problématique et Contexte

La génération d'images de mode à partir de croquis et de texte est un défi majeur pour l'automatisation de la conception vestimentaire. Bien que les modèles de diffusion récents permettent de générer des images réalistes à partir de croquis globaux et de descriptions textuelles, ils échouent souvent dans les scénarios complexes impliquant des tenues composées de plusieurs vêtements.

Les limites actuelles :

• Confusion des attributs (Attribute Confusion) : Les méthodes de l'état de l'art tendent à traiter la description textuelle comme une entité monolithique. Lorsqu'un designer spécifie des détails pour différentes pièces (ex: "une veste marron" et "un pantalon noir"), les modèles attribuent souvent incorrectement les couleurs ou les motifs à la mauvaise pièce (ex: le pantalon devient marron).
• Manque de contrôle localisé : Les approches existantes utilisent généralement un croquis global et un texte global, ce qui empêche un contrôle fin et indépendant sur chaque élément de la tenue (col, manches, tissu, etc.).
• Absence de données adaptées : Il n'existait pas de jeu de données structuré fournissant des paires croquis-texte localisées pour chaque vêtement d'une tenue complète.

L'objectif de ce travail est de résoudre le problème de la génération d'images conditionnelle multi-localisée, où l'entrée consiste en un ensemble de paires (croquis localisé + description textuelle) pour chaque pièce de vêtement, tout en maintenant la cohérence structurelle globale de la tenue.

2. Méthodologie : Le Framework LOTS

Les auteurs proposent LOTS (LOcalized Text and Sketch with multi-level guidance), un cadre innovant basé sur les modèles de diffusion, structuré en deux étapes principales :

A. Étape de Conditionnement Multi-Niveau (Multi-Level Conditioning Stage)

Cette étape encode les entrées dans un espace latent partagé tout en préservant la distinction entre les informations locales et globales.

1. Niveau Local (Représentation Modulaire Centrée sur la Paire) :
   • Chaque paire croquis-texte ($S_i, T_i$) est encodée indépendamment par des encodeurs spécifiques (froids) pour le croquis et le texte.
   • Ces représentations sont fusionnées via un module Pair-Former. Ce module utilise des tokens appris et une attention auto-séquentielle pour combiner la sémantique du texte avec la structure spatiale du croquis correspondant, sans interférence avec les autres paires.
2. Niveau Global (Conditionnement Global) :
   • Un croquis global ($S_g$), formé par l'union de tous les croquis locaux, est encodé pour capturer la structure globale de la tenue (posture, proportions, composition).
   • Une mécanisme d'attention croisée fusionne la représentation globale avec les représentations des paires locales. Cela permet au modèle de comprendre la cohérence de l'ensemble tout en respectant les détails locaux.

B. Étape de Guidage par Paires de Diffusion (Diffusion Pair Guidance Stage)

Au lieu de fusionner toutes les conditions en une seule représentation avant la génération (ce qui cause la confusion), LOTS injecte les conditions progressivement durant le processus de débruitage.

• Des modules d'attention croisée supplémentaires (adaptateurs) sont insérés parallèlement aux couches d'attention existantes du modèle de diffusion pré-entraîné.
• Ces modules intègrent les représentations multi-niveaux ($P_{m-l}$) à chaque étape de débruitage.
• Cette approche itérative permet au modèle d'assimiler progressivement les contraintes locales et globales, évitant ainsi la fusion prématurée qui mène à la confusion des attributs.

3. Contributions Clés

1. Formulation du problème : Définition d'une nouvelle tâche de génération d'images conditionnelle multi-localisée, permettant un contrôle granulaire sur chaque pièce d'une tenue via des paires croquis-texte.
2. Architecture LOTS : Un cadre de conditionnement multi-niveau qui traite les paires localement tout en assurant une cohérence globale via une guidance structurelle, réduisant efficacement la fuite d'attributs.
3. Dataset Sketchy : Introduction du premier jeu de données pour la génération d'images de mode à partir de croquis localisés.
   • Basé sur Fashionpedia, il contient 47 000 tenues et 104 000 paires localisées.
   • Il inclut des annotations textuelles hiérarchiques et des croquis générés automatiquement de haute qualité.
   • Une partition "In the Wild" a été ajoutée, contenant 141 croquis dessinés par des non-experts (avec souris ou stylet) pour évaluer la robustesse face à des inputs imparfaits.
4. Évaluation rigoureuse : Utilisation de métriques quantitatives (FID, CLIP, SSIM) et d'une nouvelle métrique Localized-VQAScore basée sur la Réponse aux Questions Visuelles (VQA) pour mesurer la précision de l'attribution des attributs aux bonnes zones.

4. Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données Sketchy et sa partition "In the Wild", comparant LOTS à des méthodes de l'état de l'art (ControlNet, IP-Adapter, T2I-Adapter, GLIGEN, etc.).

• Performance Quantitative : LOTS obtient les meilleurs résultats sur la plupart des métriques, notamment le FID (qualité globale), le GlobalCLIP et le LocalCLIP (alignement sémantique), ainsi que le L-VQAScore (précision de localisation des attributs).
  • Il surpasse les méthodes concurrentes en évitant la confusion des attributs (ex: ne pas mettre le motif de la chemise sur le pantalon).
• Robustesse : Sur la partition "In the Wild" (croquis non professionnels), LOTS démontre une robustesse supérieure, maintenant une forte adhérence structurelle même avec des croquis bruités ou imparfaits.
• Études Humaines :
  • Localisation des attributs : LOTS obtient le score F1 le plus élevé, confirmant sa capacité à placer les attributs sur le bon vêtement sans fuite.
  • Adhérence aux croquis : Les participants préfèrent les images de LOTS (et ControlNet) pour le respect de la structure, mais LOTS offre un bien meilleur équilibre entre respect du croquis et cohérence sémantique, là où ControlNet échoue souvent sur la sémantique.

5. Signification et Impact

Ce travail représente une avancée significative dans le domaine de la synthèse d'images de mode et de la génération conditionnelle multimodale :

• Paradigme de conception : Il permet de passer d'une génération globale à une conception modulaire et fine, reflétant mieux le flux de travail réel des designers qui spécifient chaque pièce individuellement.
• Résolution de la confusion d'attributs : En séparant le conditionnement local et global et en différant la fusion jusqu'au processus de diffusion, LOTS résout un problème fondamental des modèles actuels.
• Ressource pour la communauté : La mise à disposition du dataset Sketchy et du code source comble un vide important dans les données d'entraînement pour la génération de tenues complexes, favorisant la recherche future sur le contrôle spatial et sémantique fin.

En résumé, LOTS établit un nouvel état de l'art en permettant une génération d'images de mode réalistes, structurellement cohérentes et sémantiquement précises, capable de gérer des tenues complexes avec un contrôle granulaire sur chaque élément.