Dress-ED: Instruction-Guided Editing for Virtual Try-On and Try-Off

1. Problema e Motivação

O campo de Virtual Try-On (VTON) e Virtual Try-Off (VTOFF) avançou significativamente com o uso de modelos de difusão e arquiteturas Transformer, permitindo a síntese realista de roupas em pessoas e a reconstrução de roupas a partir de fotos. No entanto, existem limitações críticas:

• Falta de Controle Interativo: Os conjuntos de dados existentes são estáticos (pares fixos de pessoa-roupa) e não suportam edição baseada em instruções de linguagem natural (ex: "mude a cor da camisa para amarelo" ou "adicione mangas longas").
• Fragmentação: As abordagens atuais tratam VTON, VTOFF e edição de imagens de forma isolada. Não há um benchmark unificado que permita editar a roupa e visualizar o resultado na pessoa (ou vice-versa) seguindo instruções textuais precisas.
• Dificuldade de Dados: A criação manual de pares de dados com instruções e edições correspondentes é proibitivamente cara e difícil de escalar.

2. Metodologia: O Dataset Dress-ED

O trabalho apresenta o Dress-ED, o primeiro benchmark em larga escala que unifica VTON, VTOFF e edição de roupas guiada por texto.

Pipeline de Geração Automatizada

O dataset foi construído através de um pipeline multimodal totalmente automatizado, composto por quatro etapas principais:

1. Extração de Atributos e Geração de Instruções: Utiliza o modelo Qwen3-VL (um Modelo de Linguagem Multimodal - MLLM) para extrair atributos estruturados da roupa (cor, padrão, material, estrutura) a partir da imagem da loja e da imagem da pessoa. Com base nesses atributos, instruções de edição em linguagem natural são sintetizadas usando templates baseados em regras.
2. Geração da Roupa Editada: O modelo de difusão FLUX.2 Klein é utilizado para editar a imagem da roupa na loja ($I_{garment}$) seguindo a instrução ($T_{inst}$), gerando a versão editada da roupa ($I_{garment}^{edit}$).
3. Geração do Try-On Editado: O modelo de estado da arte FitDiT é usado para "vestir" a pessoa com a nova roupa editada, gerando a imagem final da pessoa com a modificação ($I_{person}^{edit}$).
4. Verificação de Qualidade (LLM-as-Judge): Para garantir consistência semântica e fidelidade visual, um pipeline de verificação em três etapas é aplicado:
   • O GPT-5 avalia a aderência à instrução e a qualidade visual, atribuindo uma pontuação.
   • Um subconjunto de dados anotados é usado para fine-tuning do InternVL-3.5, criando um verificador escalável.
   • Amostras com pontuação abaixo de um limiar (80/100) são filtradas.

Estatísticas do Dataset

• Volume: Mais de 146.000 amostras verificadas (quadruplos: roupa original, pessoa original, roupa editada, pessoa editada).
• Categorias: 3 categorias principais (Vestidos, Parte Superior, Parte Inferior) cobrindo 49k identidades distintas.
• Tipos de Edição: 7 tipos de edição divididos em duas macrocategorias:
  • Aparência: Mudança de Cor, Padrão, Material e Detalhes Finos.
  • Estrutura: Adicionar Detalhe, Remover Elemento, Modificar Estrutura (ex: comprimento de manga, gola).

3. Metodologia: O Modelo Dress-EM

Para estabelecer uma linha de base, os autores propõem o Dress-EM (Dress Editing Model), um framework unificado de difusão multimodal.

• Arquitetura: Combina um MLLM pré-treinado (InternVL-3.5), um conector leve e um Diffusion Transformer (DiT).
• Funcionamento:
  • O MLLM codifica o contexto multimodal (imagem da pessoa/roupa + instrução de texto) em embeddings de tokens.
  • Um Conector processa esses tokens em dois caminhos: um vetor de orientação global ($g$) e um caminho de refinamento de tokens ($z_c$).
  • O DiT utiliza esses sinais condicionais junto com os latentes da imagem de referência (via VAE) para gerar a imagem editada, permitindo edições localizadas precisas mantendo a coerência global.
• Treinamento: O modelo é treinado no Dress-ED com uma estratégia de supervisão mista (usando tanto imagens originais quanto editadas como alvo) para aprender tanto a preservação de identidade quanto a modificação estrutural.

4. Resultados

Os experimentos foram conduzidos em dois benchmarks principais: VTON Guiado por Instrução (par e não par) e VTOFF Guiado por Instrução.

• Desempenho Quantitativo: O Dress-EM superou consistentemente todos os métodos concorrentes, incluindo modelos de VTON/VTOFF de ponta (CatVTON, Any2AnyTryon) e modelos de edição geral (FLUX.2, Qwen-Image-Edit).
  • Obteve os melhores resultados em métricas de fidelidade visual (FID, KID, LPIPS, DISTS) e correção de edição (DINO-I).
  • Demonstrou robustez tanto em cenários pareados (mesma roupa) quanto não pareados (roupa diferente), mantendo a identidade da pessoa e a estrutura da roupa.
• Análise por Tipo de Edição: O modelo obteve ganhos significativos em todas as 7 categorias de edição, com destaque para edições de aparência (cor, padrão) e modificações estruturais complexas (mangas, gola).
• Resultados Qualitativos: As imagens geradas são fotorealistas, seguem fielmente as instruções textuais e preservam detalhes finos e a pose do usuário, superando artefatos comuns em outros modelos (como perda de textura ou distorção geométrica).

5. Contribuições Principais

1. Dress-ED: O primeiro dataset em larga escala que unifica VTON, VTOFF e edição de roupas baseada em texto, contendo mais de 140k amostras verificadas com instruções semânticas.
2. Pipeline Automatizado: Uma metodologia robusta que integra MLLMs para compreensão, difusão para síntese e verificação por LLM para garantir a qualidade dos dados, superando a necessidade de anotação manual massiva.
3. Benchmark e Modelo Unificado: Estabelecimento de protocolos de avaliação padronizados para tarefas de edição de moda e introdução do Dress-EM, uma arquitetura de difusão multimodal que serve como uma forte linha de base para pesquisas futuras.

6. Significado e Impacto

Este trabalho representa um avanço fundamental na interseção entre visão computacional e inteligência de moda. Ao fornecer um dataset e um modelo capazes de entender e executar instruções complexas de edição (mudança de cor, textura, estrutura e detalhes), o Dress-ED permite:

• Experiências de E-commerce Interativas: Usuários podem visualizar não apenas a roupa, mas também customizações em tempo real.
• Pesquisa em Edição Controlada: Oferece um terreno fértil para o desenvolvimento de modelos de geração que exigem precisão semântica e espacial.
• Padronização: Cria um padrão de avaliação unificado para VTON e VTOFF, facilitando a comparação justa entre diferentes abordagens de IA generativa na moda.

O código e o dataset serão disponibilizados publicamente, fomentando o avanço na compreensão multimodal de roupas e na geração de moda interativa.