💻 computer science

Dress-ED: Instruction-Guided Editing for Virtual Try-On and Try-Off

Cet article présente Dress-ED, le premier jeu de données à grande échelle unifiant le vêtement virtuel (VTON), le dévêtement virtuel (VTOFF) et l'édition de vêtements guidée par le texte, ainsi qu'un cadre de diffusion multimodal correspondant pour permettre une génération de mode interactive et contrôlable.

Auteurs originaux : Fulvio Sanguigni, Davide Lobba, Bin Ren, Marcella Cornia, Nicu Sebe, Rita Cucchiara

Publié 2026-03-25

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Fulvio Sanguigni, Davide Lobba, Bin Ren, Marcella Cornia, Nicu Sebe, Rita Cucchiara

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes dans un magasin de vêtements virtuel, mais au lieu d'essayer simplement un t-shirt pour voir si il vous va, vous pouvez lui demander : « Et si ce t-shirt était en cuir ? » ou « Peux-tu ajouter des manches longues à cette robe ? » et le vêtement se transforme instantanément sur vous, parfaitement adapté.

C'est exactement ce que propose l'article Dress-ED. Voici une explication simple de ce travail, avec quelques images pour aider à visualiser.

1. Le Problème : Des mannequins trop rigides

Jusqu'à présent, les technologies de « essayage virtuel » (VTON) fonctionnaient un peu comme des mannequins de vitrine statiques. Vous preniez une photo d'un vêtement et une photo d'une personne, et l'ordinateur essayait de coller le vêtement sur la personne.

Le souci : C'était tout ou rien. Si vous vouliez changer la couleur ou la forme du vêtement, vous deviez recommencer tout le processus avec un nouveau vêtement. Il n'y avait pas de moyen de dire à l'ordinateur : « Change juste le col en V » ou « Enlève le logo ». C'était comme essayer de modifier une statue de pierre avec un marteau : trop brutal et peu précis.

2. La Solution : Dress-ED, le grand livre de recettes

Les chercheurs ont créé Dress-ED, qui est un peu comme un gigantesque livre de recettes de cuisine pour les vêtements, mais avec une particularité : chaque recette est accompagnée d'une photo du plat fini.

Ce qu'il contient : Plus de 146 000 exemples. Pour chaque exemple, le système a :
1. Le vêtement d'origine (comme une photo de catalogue).
2. La personne qui le porte.
3. Une instruction écrite (ex: « Change la couleur en jaune »).
4. Le résultat final : la personne portant le vêtement modifié.

C'est la première fois qu'on a un tel ensemble de données qui lie directement une commande textuelle à une modification visuelle précise sur un vêtement porté par une personne.

3. Comment ont-ils créé tout ça ? (L'usine à vêtements)

Créer 146 000 photos modifiées à la main serait impossible (il faudrait des années !). Alors, ils ont construit une usine automatisée intelligente :

L'Observateur (Qwen3-VL) : C'est un robot très intelligent qui regarde le vêtement et dit : « Ah, c'est une chemise bleue en coton avec des manches courtes ». Il note tout sur un papier.
Le Chef (FLUX.2 Klein) : Il prend cette note et l'instruction (ex: « Fais-la rouge ») et il « peint » le nouveau vêtement. C'est comme un artiste qui modifie une photo existante.
L'Essayeur (FitDiT) : Il prend le nouveau vêtement créé et le « met » sur la personne de la photo, en s'assurant que ça tombe bien (les plis, la taille, etc.).
Le Contrôleur Qualité (GPT-5 et InternVL) : C'est le plus important. Avant de garder la photo, un autre robot très strict vérifie : « Est-ce que le vêtement est vraiment rouge ? Est-ce que la personne a toujours le même visage ? ». Si ce n'est pas parfait, la photo est jetée à la poubelle.

4. Le Super-Héros : Dress-EM

Une fois ce livre de recettes (le dataset) prêt, les chercheurs ont entraîné un nouveau modèle appelé Dress-EM.
Imaginez ce modèle comme un couturier virtuel ultra-rapide.

Vous lui donnez une photo de vous et une phrase : « Ajoute une poche à ma veste ».
Il ne se contente pas de coller une image de poche. Il comprend la structure du tissu, la lumière, et dessine la poche directement sur votre veste, comme si elle avait toujours été là.

5. Pourquoi c'est génial ?

Avant, si vous vouliez voir à quoi ressemblerait votre robe en cuir, vous deviez acheter la robe en cuir et l'essayer. Avec Dress-ED et le modèle Dress-EM :

C'est interactif : Vous pouvez modifier la couleur, le motif, la matière, ou même la structure (ajouter des manches, changer le col) en quelques secondes.
C'est précis : Le système comprend la différence entre « changer la couleur de la robe » et « changer la couleur du bouton de la robe ».
C'est le futur du shopping : Imaginez un jour où vous pouvez dire à votre application de shopping : « Montre-moi cette robe, mais en version courte et avec des fleurs », et elle vous le montre instantanément sur votre propre photo.

En résumé : Dress-ED est le premier grand dictionnaire qui apprend aux ordinateurs à comprendre que « changer la couleur d'un vêtement » est une instruction précise, et non pas juste un mot au hasard. Cela ouvre la porte à un shopping virtuel où vous êtes le vrai architecte de votre style, sans jamais avoir à toucher un tissu réel.

1. Problématique et Contexte

Le domaine de la mode numérique, en particulier le Virtual Try-On (VTON) (essayage virtuel) et le Virtual Try-Off (VTOFF) (reconstruction de vêtements à partir d'images de personnes), a connu des progrès significatifs grâce aux modèles de diffusion et aux architectures Transformer. Cependant, les approches existantes souffrent de limitations majeures :

Manque d'interactivité et de contrôle : Les datasets actuels sont statiques (paires fixes personne-vêtement) et ne permettent pas de modifier les vêtements via des instructions textuelles.
Fragmentation des tâches : Les travaux séparés traitent soit de l'essayage, soit de l'édition d'images générique, soit de l'édition de vêtements isolés, sans cadre unifié.
Absence de benchmarks pour l'édition guidée : Il n'existe pas de dataset de référence permettant d'évaluer la capacité des modèles à modifier la structure ou l'apparence d'un vêtement (couleur, motif, manches, etc.) tout en respectant une instruction naturelle, tant pour l'essayage que pour la reconstruction.

L'objectif de ce travail est de combler ces lacunes en introduisant un cadre unifié pour l'édition de vêtements guidée par des instructions, couvrant à la fois la synthèse (essayage) et la reconstruction (essayage inverse).

2. Méthodologie

Les auteurs proposent une approche en deux volets : la création d'un dataset massif (Dress-ED) et le développement d'un modèle unifié (Dress-EM).

A. Le Dataset Dress-ED (Dress Editing Dataset)

Dress-ED est le premier benchmark à grande échelle unifiant VTON, VTOFF et l'édition de vêtements guidée par le texte.

Structure des données : Chaque échantillon est un quadruplet vérifié :
1. Image du vêtement en magasin ( $I_{garment}$ ).
2. Image de la personne portant le vêtement ( $I_{person}$ ).
3. Image du vêtement édité ( $I_{garment}^{edit}$ ).
4. Image de la personne portant le vêtement édité ( $I_{person}^{edit}$ ).
5. Instruction naturelle ( $T_{inst}$ ) décrivant la modification.
Pipeline de génération automatisé : Le dataset a été construit via un pipeline multimodal entièrement automatisé en quatre étapes :
1. Extraction d'attributs : Utilisation de Qwen3-VL (un modèle MLLM) pour extraire une description structurée (JSON) des attributs du vêtement (couleur, motif, matière, coupe).
2. Génération d'instructions : Création d'instructions d'édition via des modèles basés sur des règles à partir des attributs extraits.
3. Synthèse par diffusion :
  - Édition du vêtement en magasin via FLUX.2 Klein.
  - Génération de l'image d'essayage via FitDiT (état de l'art en VTON).
4. Vérification de qualité : Un pipeline de filtrage utilise GPT-5 pour noter la cohérence sémantique et la fidélité visuelle. Un classifieur InternVL-3.5 (finetuné sur ces notes) filtre ensuite automatiquement les échantillons de faible qualité.
Statistiques : Le dataset contient 146 460 échantillons vérifiés, couvrant 3 catégories de vêtements (robes, hauts, bas) et 7 types d'édition :
- Apparence : Changement de couleur, de motif, de matière, détails fins.
- Structure : Ajout de détails, suppression d'éléments, modification de la structure (ex: longueur des manches).

B. Le Modèle Dress-EM (Dress Editing Model)

Pour exploiter ce dataset, les auteurs proposent une architecture unifiée basée sur la diffusion.

Architecture : Elle combine un MLLM pré-entraîné (InternVL-3.5), un connecteur léger et un Transformateur de Diffusion (DiT).
Fonctionnement :
- Le MLLM encode conjointement l'image de référence et l'instruction textuelle pour produire des embeddings tokenisés.
- Un Connecteur sépare ces informations en deux flux :
  1. Guidage Global ( $g$ ) : Un vecteur résumant le contexte sémantique.
  2. Raffinement de Tokens ( $z_c$ ) : Une séquence préservant les détails fins pour un conditionnement au niveau du token.
- Le DiT utilise ces conditions pour générer l'image latente, guidé par les caractéristiques visuelles du vêtement et de la personne.
Flexibilité : Le modèle est conçu pour gérer à la fois le VTON (entrée : personne + vêtement) et le VTOFF (entrée : personne seule pour reconstruire le vêtement édité).

3. Résultats

Les expériences ont été menées sur le benchmark Dress-ED, avec une évaluation rigoureuse utilisant des métriques de fidélité visuelle (FID, KID, SSIM, LPIPS, DISTS) et de cohérence sémantique (DINO-I).

Performance Globale : Dress-EM surpasse systématiquement les méthodes de l'état de l'art, y compris les modèles VTON spécialisés (CatVTON, Any2AnyTryon) et les modèles d'édition d'images génériques (FLUX.2 Klein, Qwen-Image-Edit).
VTON (Essayage) : Dans les configurations appariées et non appariées, Dress-EM obtient les meilleurs scores FID et DINO-I, démontrant une meilleure préservation de l'identité de la personne et une exécution plus précise des instructions.
VTOFF (Reconstruction) : Le modèle excelle dans la reconstruction de détails fins du vêtement édité à partir de l'image de la personne, surpassant les baselines de plus de 10% sur certaines métriques.
Analyse par type d'édition : Le modèle montre une robustesse particulière sur les modifications structurelles complexes (ex: changer la longueur des manches) et les changements de texture, là où les modèles génériques échouent souvent à maintenir la cohérence spatiale.
Qualité Visuelle : Les résultats qualitatifs confirment que Dress-EM génère des images photoréalistes qui respectent fidèlement les instructions tout en préservant la pose et l'environnement.

4. Contributions Clés

Dress-ED : Le premier dataset et benchmark à grande échelle unifiant VTON, VTOFF et l'édition de vêtements guidée par le texte, contenant plus de 146k échantillons vérifiés.
Pipeline Automatisé : Une méthode innovante combinant MLLM, diffusion et vérification par LLM pour générer des données d'entraînement de haute qualité sans annotation manuelle coûteuse.
Dress-EM : Une architecture de diffusion multimodale unifiée capable de raisonner conjointement sur les instructions textuelles et les indices visuels pour des modifications fines et localisées.
Benchmarks Unifiés : L'établissement de protocoles d'évaluation standardisés pour mesurer à la fois le réalisme visuel et la précision sémantique des modifications dans les scénarios d'essayage virtuel.

5. Signification et Impact

Ce travail représente une avancée majeure pour l'intelligence artificielle dans la mode :

Vers une mode interactive : Il ouvre la voie à des applications où les utilisateurs peuvent non seulement essayer des vêtements, mais les personnaliser en temps réel via des commandes textuelles (changer la couleur, ajouter une poche, modifier la coupe).
Standardisation : En fournissant un dataset et un benchmark unifiés, Dress-ED permet à la communauté de recherche de comparer objectivement les méthodes d'édition de vêtements, un domaine auparavant fragmenté.
Scalabilité : La démonstration qu'un pipeline automatisé peut générer des données d'entraînement fiables pour des tâches complexes suggère que des datasets encore plus vastes et diversifiés peuvent être créés pour d'autres domaines de la synthèse d'images.

En résumé, Dress-ED et Dress-EM posent les bases d'une nouvelle génération de systèmes de mode virtuelle capables de comprendre et d'exécuter des intentions complexes de modification, dépassant la simple synthèse d'images pour entrer dans le domaine de la conception interactive.