Dress-ED: Instruction-Guided Editing for Virtual Try-On and Try-Off

1. El Problema

El campo de la moda digital ha avanzado significativamente con las tareas de Prueba Virtual (VTON) y Quita Virtual (VTOFF), que buscan sintetizar imágenes realistas de personas usando prendas o reconstruir prendas a partir de fotos de personas. Sin embargo, existen limitaciones críticas:

• Falta de control interactivo: Los conjuntos de datos existentes son estáticos (pares persona-prenda fijos) y no permiten la edición basada en instrucciones de lenguaje natural.
• Fragmentación: Los enfoques actuales tratan por separado la síntesis de VTON/VTOFF y la edición de imágenes general. No existen benchmarks unificados que permitan modificar atributos de la prenda (color, patrón, estructura) o la persona mediante texto, manteniendo la coherencia semántica y visual.
• Necesidad de edición fina: Las aplicaciones emergentes requieren modificaciones granulares (ej. "cambiar las mangas a largas", "añadir un bolsillo", "cambiar el material a cuero"), algo que los modelos actuales no manejan bien sin perder la identidad de la prenda o la persona.

2. Metodología

A. El Conjunto de Datos: Dress-ED

Los autores presentan Dress-ED, el primer benchmark a gran escala que unifica VTON, VTOFF y la edición de prendas guiada por instrucciones.

• Estructura de la muestra: Cada muestra es un cuádruplo verificado:
  1. Imagen de la prenda en tienda (in-shop).
  2. Imagen de la persona usando la prenda original.
  3. Imagen de la prenda editada.
  4. Imagen de la persona usando la prenda editada.
  5. Instrucción de lenguaje natural (T_inst) que describe la modificación.
• Pipeline de Generación Automatizada:
  1. Extracción de Atributos: Se utiliza Qwen3-VL (un Modelo de Lenguaje Multimodal - MLLM) para extraer atributos estructurados de la prenda y la persona.
  2. Generación de Instrucciones: Se crean instrucciones de edición mediante plantillas basadas en reglas a partir de los atributos extraídos.
  3. Edición de Prendas: Se utiliza un modelo de difusión (FLUX.2 Klein) para sintetizar la prenda editada en tienda según la instrucción.
  4. Generación de Prueba Virtual: Se emplea FitDiT (un modelo SOTA de VTON) para renderizar la persona con la nueva prenda editada.
  5. Verificación de Calidad: Un proceso de tres etapas valida las muestras:
     • GPT-5 actúa como juez para puntuar la adherencia a la instrucción y la calidad visual.
     • InternVL-3.5 se ajusta finamente (fine-tuning) con las muestras anotadas por GPT-5 para escalar la verificación.
     • Se filtran las muestras con puntuaciones bajas, resultando en un conjunto final de 146,460 muestras verificadas.
• Categorías y Tipos de Edición: Cubre 3 categorías (vestidos, parte superior, parte inferior) y 7 tipos de edición:
  • Apariencia: Cambiar color, patrón, material, detalles finos.
  • Estructural: Añadir detalles, eliminar elementos, modificar estructura (ej. longitud de mangas).

B. El Modelo Propuesto: Dress-EM

Para establecer una línea base, los autores proponen Dress-EM, un marco unificado de difusión multimodal.

• Arquitectura: Combina un MLLM preentrenado (InternVL-3.5), un conector ligero y un Transformador de Difusión (DiT).
• Mecanismo de Condicionamiento:
  • El MLLM codifica el contexto multimodal (imagen de la persona, imagen de la prenda e instrucción de texto) en un conjunto de tokens fusionados.
  • Un Conector procesa estos tokens en dos vías:
    1. Guía Global: Un vector que resume el contexto semántico de alto nivel.
    2. Refinamiento de Tokens: Preserva la información multimodal granular para condicionamiento a nivel de token.
  • El DiT utiliza estas señales junto con las características latentes de la imagen de referencia (personas o prendas) para generar la imagen editada en el espacio latente de un VAE preentrenado.
• Entrenamiento: Se entrena con una estrategia de supervisión mixta (imágenes originales y editadas) para mantener la alineación con texturas reales mientras se aprenden modificaciones estructurales complejas.

3. Contribuciones Clave

1. Dress-ED: El primer conjunto de datos a gran escala que integra VTON, VTOFF y edición guiada por texto en un marco semánticamente consistente, con más de 146k muestras verificadas.
2. Pipeline Automatizado Multimodal: Una metodología robusta que combina comprensión de MLLM, síntesis de difusión y verificación guiada por LLM para generar datos de alta calidad sin anotación manual masiva.
3. Benchmarks y Línea Base Unificada: Establece protocolos de evaluación estandarizados para VTON y VTOFF basados en instrucciones, junto con Dress-EM, un modelo base fuerte que supera a las técnicas existentes.

4. Resultados

Los experimentos se realizaron en el conjunto de prueba de Dress-ED (14,259 muestras), comparando Dress-EM con modelos específicos de VTON/VTOFF (CatVTON, Any2AnyTryon) y editores de propósito general (FLUX.2, Qwen-Image-Edit).

• Rendimiento Cuantitativo: Dress-EM superó consistentemente a todos los competidores en ambas configuraciones (pareada y no pareada) y tareas (VTON y VTOFF).
  • Logró los mejores resultados en métricas de fidelidad visual (FID, KID, LPIPS, DISTS), indicando mayor realismo.
  • Obtuvo las puntuaciones más altas en DINO-I, lo que demuestra una mejor alineación semántica con las instrucciones de edición y la preservación de la identidad.
• Análisis por Tipo de Edición: El modelo mostró mejoras notables tanto en ediciones de apariencia (cambio de color/patrón) como en modificaciones estructurales complejas (cambiar mangas, añadir bolsillos), manteniendo la coherencia espacial.
• Resultados Cualitativos: Las imágenes generadas son fotorealistas, siguen fielmente las instrucciones de texto y preservan la identidad de la persona, la pose y los detalles de la prenda, superando a los modelos de ceros disparos (zero-shot) que suelen fallar en la consistencia de la identidad.

5. Significado e Impacto

• Avance en la Interactividad: Dress-ED cierra la brecha entre la síntesis estática de moda y la edición interactiva controlada, permitiendo a los usuarios modificar prendas digitalmente de manera natural.
• Validación de la Síntesis Automatizada: Demuestra que es posible construir benchmarks masivos y de alta calidad mediante pipelines automatizados que integran MLLMs y modelos de difusión, reduciendo la dependencia de anotación manual costosa.
• Nuevos Horizontes de Investigación: Proporciona una base sólida para futuras investigaciones en comprensión multimodal de la moda, edición generativa y aplicaciones de comercio electrónico interactivo (como probadores virtuales inteligentes).
• Reproducibilidad: Los autores han hecho públicos el conjunto de datos y el código, fomentando el desarrollo de modelos más avanzados en este dominio.

En resumen, el trabajo presenta un salto cualitativo en la manipulación de moda digital, pasando de la simple transferencia de prendas a una edición semántica rica y controlada por lenguaje natural, respaldada por un dataset masivo y un modelo unificado de alto rendimiento.