Dress-ED: Instruction-Guided Editing for Virtual Try-On and Try-Off

1. Il Problema

Il campo della sintesi fotonica nella moda, in particolare il Virtual Try-On (VTON) e il Virtual Try-Off (VTOFF), ha fatto progressi significativi grazie ai modelli di diffusione e alle architetture Transformer. Tuttavia, esistono limitazioni critiche:

• Staticità dei dataset: I dataset esistenti (es. VITON-HD, Dress Code) contengono coppie fisse "persona-abito" senza supporto per l'editing guidato da istruzioni.
• Mancanza di controllo semantico: Non è possibile modificare in modo controllato e interattivo attributi specifici dell'abito (colore, pattern, struttura, dettagli) tramite linguaggio naturale.
• Frammentazione: Gli approcci attuali separano l'editing generico di immagini (spesso privo di coerenza tra abito e persona) dai task specifici di VTON/VTOFF, che a loro volta non supportano l'editing fine-grained.
• Assenza di benchmark unificati: Manca un dataset che unifichi la sintesi persona-abito, la ricostruzione dell'abito e l'editing guidato da testo in un unico framework.

2. Metodologia e Proposta: Dress-ED

Gli autori introducono Dress-ED, il primo benchmark su larga scala per l'editing di abbigliamento guidato da istruzioni, che unifica VTON, VTOFF e modifica testuale degli abiti.

A. Costruzione del Dataset (Pipeline Automatizzata)

Il dataset è stato generato tramite una pipeline multimodale completamente automatizzata, basata su 146.460 campioni verificati (quadrupli: immagine abito originale, persona che lo indossa, abito modificato, persona con abito modificato) e 49.664 identità distinte. La pipeline segue quattro stadi:

1. Estrazione Attributi e Generazione Istruzioni: Utilizzando Qwen3-VL (un MLLM), vengono estratti attributi strutturati (colore, tessuto, maniche, ecc.) dalle immagini originali. Su questi attributi vengono generate istruzioni di editing in linguaggio naturale tramite template.
2. Generazione Abito Modificato: L'abito originale viene modificato secondo l'istruzione utilizzando il modello di diffusione FLUX.2 Klein.
3. Generazione Virtual Try-On: L'abito modificato viene "indossato" virtualmente sulla persona originale utilizzando lo stato dell'arte FitDiT.
4. Verifica Qualità (LLM-as-Judge): Un sistema di verifica a più stadi valuta la coerenza semantica e la fedeltà visiva. Inizialmente, GPT-5 assegna un punteggio di qualità. Successivamente, un modello InternVL-3.5 viene fine-tuned su un sottoinsieme di dati annotati da GPT-5 per agire come verificatore scalabile. Solo i campioni con punteggio superiore a una soglia (80) vengono mantenuti.

Tipologie di Editing: Il dataset copre 7 tipi di editing raggruppati in due macro-categorie:

• Modifiche di Aspetto: Cambio colore, cambio pattern, cambio materiale, editing fine-grained (es. dettagli).
• Modifiche Strutturali: Aggiunta dettagli, rimozione elementi, modifica struttura (es. lunghezza maniche, scollo).

B. Modello Proposto: Dress-EM

Per sfruttare il dataset, gli autori propongono Dress-EM, un framework unificato basato su diffusione multimodale.

• Architettura: Integra un MLLM pre-addestrato (InternVL-3.5), un connettore leggero e un Diffusion Transformer (DiT).
• Meccanismo: Il MLLM codifica il contesto multimodale (immagine abito, immagine persona, istruzione testuale) producendo embedding di token.
• Condizionamento: Il connettore elabora questi token in due percorsi:
  1. Global Guidance: Un vettore di alto livello che riassume l'intento semantico.
  2. Token Refinement: Un percorso che preserva informazioni fine-grained per il condizionamento a livello di token.
• Generazione: Il DiT utilizza queste informazioni per denoisare il latente, generando sia l'abito modificato (VTOFF) che la persona che lo indossa (VTON), mantenendo coerenza globale e identità.

3. Risultati Sperimentali

Gli esperimenti sono stati condotti su Dress-ED, valutando sia il VTON (in modalità paired e unpaired) che il VTOFF.

• Metriche: Sono stati utilizzati metriche di fedeltà visiva (FID, KID, SSIM, LPIPS, DISTS) e di correttezza semantica (DINO-I similarity).
• Confronto: Dress-EM è stato confrontato con:
  • Modelli specifici per VTON/VTOFF (CatVTON, Any2AnyTryon) adattati per accettare input testuali.
  • Modelli di editing generici (FLUX.2 Klein, Qwen-Image-Edit) in modalità zero-shot.
• Performance: Dress-EM supera costantemente tutti i baselines in quasi tutte le metriche.
  • Nel VTON paired, ottiene il FID più basso (3.79) e il DINO-I più alto (0.9383), indicando una migliore realismo e conservazione dell'identità.
  • Nel VTOFF, dimostra la capacità di recuperare dettagli fini dell'abito modificato con alta fedeltà semantica.
  • L'analisi per tipo di editing mostra miglioramenti significativi sia nelle modifiche di aspetto (colore/pattern) che strutturali (lunghezza maniche), dimostrando la capacità del modello di gestire modifiche locali mantenendo la coerenza globale.

4. Contributi Chiave

1. Dress-ED: Il primo dataset su larga scala che unifica VTON, VTOFF e editing guidato da istruzioni, contenente oltre 140k campioni verificati con istruzioni testuali.
2. Pipeline di Generazione Automatizzata: Un metodo scalabile che combina MLLM per la comprensione, diffusione per la sintesi e LLM per la verifica, risolvendo il problema della scarsità di dati annotati manualmente per l'editing di moda.
3. Dress-EM e Benchmark Unificati: Un nuovo modello baseline e un protocollo di valutazione standardizzato che permettono di misurare sia il realismo visivo che l'aderenza semantica alle istruzioni in contesti di try-on e try-off.

5. Significato e Impatto

Questo lavoro rappresenta un passo fondamentale verso la moda interattiva e controllabile.

• Ricerca: Fornisce una base solida per lo sviluppo di modelli che comprendono non solo la corrispondenza persona-abito, ma anche la manipolazione semantica precisa degli oggetti.
• Applicazioni: Abilita scenari reali come il "provino virtuale" in cui l'utente può chiedere di cambiare il colore o il tessuto di un capo prima dell'acquisto, o la personalizzazione di cataloghi e-commerce tramite comandi testuali.
• Open Source: Il dataset e il codice saranno resi pubblici, favorendo la riproducibilità e l'ulteriore avanzamento nel campo dell'editing multimodale per la moda.

In sintesi, Dress-ED colma il divario tra la sintesi statica e l'editing dinamico guidato dal linguaggio, offrendo un nuovo standard per la generazione di contenuti fashion realistici e personalizzabili.