Virtual Try-On for Cultural Clothing: A Benchmarking Study

Este trabajo presenta BD-VITON, un nuevo conjunto de datos centrado en prendas tradicionales de Bangladesh como el saree y el panjabi, diseñado para abordar las limitaciones de generalización cultural de los sistemas actuales de prueba virtual de ropa y establecer líneas base robustas mediante la evaluación de modelos avanzados.

Lo esencial

Imagina que tienes un espejo mágico en tu tienda de ropa favorita. En lugar de tener que entrar al probador, quitarte la ropa y ponerte otra, solo miras al espejo y... ¡puf! Apareces con el vestido nuevo puesto. Eso es lo que hacen los sistemas de "Probador Virtual" (Virtual Try-On) hoy en día.

Pero, hay un gran problema: ese espejo mágico solo sabe cómo vestirse a personas occidentales.

Aquí te explico qué hicieron estos investigadores para arreglarlo, usando una analogía sencilla:

1. El Problema: El "Sastre Ciego"

Imagina que tienes un sastre (la inteligencia artificial) que ha pasado toda su vida cosiendo y probando camisas y jeans occidentales. Es un experto. Pero un día, le pides que te ayude a ponerte un Sari (esa tela india/bangladeshí que se envuelve con muchas capas y pliegues) o un Panjabi (una túnica tradicional).

El sastre se queda confundido. Intenta poner el Sari como si fuera una camisa, y el resultado es un desastre: la tela no cae bien, los pliegues no tienen sentido y la persona parece un muñeco de trapo.

¿Por qué pasa esto? Porque todos los "libros de instrucciones" (los datos) que el sastre estudió solo tenían fotos de gente occidental. No sabía cómo se comportan las telas complejas, asimétricas y con muchas capas de la cultura de Bangladesh.

2. La Solución: El Nuevo "Libro de Instrucciones" (BD-VITON)

Los autores de este paper crearon un nuevo libro de instrucciones llamado BD-VITON.

• ¿Qué es? Es una colección de fotos de personas reales de Bangladesh probándose ropa tradicional: Saris (para mujeres), Panjabis (para hombres) y Kameez (túnicas).
• ¿Por qué es especial? A diferencia de los libros anteriores, este enseña al sastre cómo funciona la ropa que tiene:
  • El Sari: No es una pieza única, es una tela larga que se envuelve. ¡Es un rompecabezas de 3D!
  • El Panjabi: Tiene un corte diferente y se ajusta de otra forma.
  • La complejidad: Estas prendas tienen muchas capas y pliegues que la ropa occidental (como una camiseta) no tiene.

3. El Experimento: Entrenando al Sastre

Los investigadores tomaron tres "sastres" (modelos de inteligencia artificial) muy famosos y modernos:

1. VITON-HD
2. HR-VITON
3. StableVITON (el más nuevo y potente)

Primero, les hicieron una prueba sin entrenamiento (Zero-Shot): les mostraron una foto de un Sari y un modelo, y preguntaron: "¿Cómo se ve esto?".

• Resultado: ¡Desastre! Los modelos intentaron poner el Sari como si fuera una camisa, y se veía muy extraño.

Luego, les dieron el nuevo libro de instrucciones (BD-VITON) para que estudiaran y practicaran (entrenamiento).

• Resultado: ¡Milagro! Después de estudiar las fotos de Bangladesh, los modelos aprendieron a entender los pliegues, cómo caer la tela y cómo envolver el cuerpo. Ahora, cuando les mostraban un Sari, el resultado era realista y hermoso.

4. ¿Qué aprendimos de esto?

La lección principal es como cuando aprendes a cocinar:
Si solo has cocinado pizzas (ropa occidental), no sabrás cómo hacer sushi (ropa asiática compleja), aunque seas un chef experto. Necesitas practicar con los ingredientes y técnicas específicas de esa cultura.

• La conclusión: Si quieres que la tecnología funcione para todo el mundo (especialmente para los 2.4 mil millones de personas en Asia del Sur), no podemos solo usar datos occidentales. Necesitamos enseñar a la IA con ropa de nuestras culturas.

En resumen

Este paper es como decir: "Oye, la tecnología de probadores virtuales es genial, pero está sesgada. Creamos un nuevo conjunto de datos con ropa de Bangladesh para enseñarle a la IA que el mundo no solo usa camisetas y jeans. Y funcionó: ¡ahora la IA puede vestirnos a todos, sin importar qué tan compleja sea nuestra ropa tradicional!".

Es un paso gigante para que la moda digital sea realmente para todos, y no solo para una parte del mundo.

Resumen técnico

A continuación presento un resumen técnico detallado del artículo "Virtual Try-On for Cultural Clothing: A Benchmarking Study", traducido y adaptado al español.

1. Planteamiento del Problema

El estado actual de la tecnología de Prueba Virtual (Virtual Try-On - VTO) ha avanzado significativamente gracias a los modelos de difusión. Sin embargo, existe una limitación crítica: los conjuntos de datos y benchmarks existentes (como VITON, VITON-HD y DressCode) están sesgados hacia la moda occidental y se centran predominantemente en modelos femeninos y prendas de la parte superior del cuerpo.

Esto genera un desajuste de distribución que impide que los modelos generalicen eficazmente a prendas de culturas no occidentales, específicamente en el sur de Asia. Las prendas tradicionales de Bangladesh (como el Saree, el Panjabi y el Salwar Kameez) presentan desafíos estructurales únicos que los modelos actuales no manejan bien:

• Drapeado complejo y continuo (ej. el Saree es una tela sin costuras que se envuelve).
• Capas asimétricas y superposiciones.
• Alta complejidad en la deformación y el plegado de la tela.
• Cobertura de cuerpo completo (incluyendo género masculino), algo a menudo ignorado en benchmarks anteriores.

2. Metodología y Contribuciones Clave

A. Introducción de BD-VITON

El principal aporte del trabajo es la creación de BD-VITON, un nuevo conjunto de datos diseñado específicamente para prendas tradicionales de Bangladesh.

• Composición: Incluye 1,013 pares de imágenes (prenda-persona) divididos en 810 para entrenamiento y 203 para prueba.
• Categorías: Cubre tres tipos de prendas: Panjabi (túnica masculina), Kameez (prenda femenina) y Saree.
• Diversidad: A diferencia de los datasets anteriores, incluye modelos masculinos y femeninos, y soporta prendas de cuerpo completo con resoluciones medianas de 1080x1440 píxeles.
• Procesamiento de Datos: Se implementó una tubería de anotación automatizada que utiliza modelos preentrenados (SCHP, FASHN Human Parser, DensePose-RCNN, DWPose) para generar:
  • Mapas semánticos de parsing humano.
  • Máscaras de ropa agnósticas (para evitar copiar la identidad de la ropa original).
  • Estimación de pose (OpenPose) y mapas de densidad de pose (DensePose) para guiar el ajuste de la ropa.

B. Evaluación de Modelos (Benchmarking)

Los autores reentrenaron y evaluaron tres arquitecturas de vanguardia sobre el nuevo dataset:

1. VITON-HD: Basado en transformaciones Thin Plate Spline (TPS) y un generador de alineación (ALIAS).
2. HR-VITON: Utiliza mapas de parsing de humanos objetivo para guiar el warping de la tela.
3. StableVITON: Un enfoque basado en difusión latente que utiliza codificadores espaciales y atención cruzada.

Adaptaciones Específicas:

• Para HR-VITON, se observó que el modelo tendía a "copiar y pegar" la imagen de la ropa extraída en lugar de deformarla correctamente. Para mitigar esto, se aplicó ruido gaussiano en los bordes y aumentación por rotación a las imágenes de la ropa durante el entrenamiento.
• StableVITON no requirió cambios arquitectónicos fundamentales, pero se fine-tuneó.
• VITON-HD se reentrenó desde cero utilizando los checkpoints oficiales como punto de partida (transfer learning).

3. Resultados

Resultados Cuantitativos

Se utilizaron métricas estándar: SSIM (similitud estructural), LPIPS (distancia perceptual) y FID (distancia de distribución).

• Mejora General: Todos los modelos mostraron mejoras consistentes al ser entrenados con BD-VITON en comparación con la inferencia zero-shot (sin entrenamiento específico).
• Rendimiento por Modelo:
  • VITON-HD: Mostró el mejor rendimiento en zero-shot entre los modelos tradicionales, manteniendo una alta fidelidad estructural gracias a su módulo de warping TPS.
  • HR-VITON: Tuvo un rendimiento zero-shot muy pobre (FID casi 5 veces peor que StableVITON) debido a su tendencia a copiar la ropa. Sin embargo, tras el entrenamiento y las estrategias de aumento de datos, mejoró significativamente, alcanzando resultados comparables a VITON-HD.
  • StableVITON: Aunque es la arquitectura más reciente, obtuvo el rendimiento más bajo tras el entrenamiento en este estudio. Los autores atribuyen esto a la limitación de recursos (solo 5 épocas de fine-tuning) y a que las capas de atención requieren más tiempo para converger.

Resultados Cualitativos

• Zero-Shot: Los modelos fallaron al intentar adaptar prendas occidentales a estructuras complejas como el Saree, a menudo alterando la estructura de la prenda hacia un estilo occidental o mostrando desalineaciones graves.
• Entrenado: Tras el entrenamiento, los modelos lograron preservar mejor la estructura de los pliegues y el drapeado. VITON-HD ofreció resultados más estables, mientras que StableVITON mostró mayor coherencia en la generación de texturas, aunque con algunas inconsistencias de color.

4. Significado y Conclusiones

El estudio demuestra que los datos de entrenamiento específicos de la cultura son fundamentales para el éxito de los sistemas de prueba virtual en contextos globales.

• Validación de la Hipótesis: Se confirma que el ajuste fino (fine-tuning) de arquitecturas existentes con datos culturalmente relevantes (BD-VITON) supera significativamente a la inferencia zero-shot, cerrando la brecha de generalización.
• Impacto: Este trabajo abre la puerta para que la tecnología de VTO sea viable para miles de millones de personas en el sur de Asia y otras regiones con vestimenta tradicional compleja, mejorando la experiencia de compra en línea en mercados donde la infraestructura de retail físico es limitada.
• Limitaciones y Futuro: El dataset actual es pequeño (1,013 muestras) y limitado a tres tipos de prendas. Los autores planean expandir el dataset para incluir más culturas (ej. Kimono japonés, Hanfu chino) y aumentar el volumen de datos para permitir el entrenamiento de modelos generativos desde cero sin sobreajuste.

En resumen, BD-VITON no es solo un nuevo dataset, sino una prueba de concepto de que la diversidad cultural en los datos es un requisito indispensable para la robustez y la equidad en la inteligencia artificial aplicada a la moda.