Controllable Clothing: Precise Labels and Generation for Virtual Try-On with Latent Diffusion Models

Imagina que estás intentando enseñarle a un robot cómo vestirse. Le muestras la foto de una persona y la foto de una chaqueta nueva y genial, y le preguntas: "¿Puedes ponerle la chaqueta a la persona?". Este es el mundo de la Prueba Virtual de Ropa (VITON), una rama de la visión artificial donde las máquinas intentan resolver el rompecabezas de cómo se ven las prendas en diferentes cuerpos. Para hacer esto, el robot utiliza un tipo especial de "cerebro" llamado modelo de difusión. Piensa en un modelo de difusión como un artista mágico que comienza con un lienzo cubierto de estática (como la nieve de un televisor) y, paso a paso, va eliminando el ruido para revelar una imagen. Si le das al artista una descripción de texto como "una camisa roja", puede pintarla. Pero si quieres que pinte exactamente esa camisa específica en esa persona específica, con las mangas terminando en el codo y el cuello asentándose de forma perfecta, el artista suele confundirse. Podría pintar la camisa demasiado larga, demasiado corta o del color equivés. Este es un gran problema para las tiendas en línea, porque si un cliente compra una camisa basándose en una foto falsa que no coincide con la realidad, estará insatisfecho.

Este informe de Max Rehman Linder aborda esa confusión. El autor se pregunta: "¿Qué pasaría si pudiéramos darle al robot una regla y un conjunto de instrucciones, no solo una descripción vaga?". El artículo propone un nuevo método llamado ControlableClothing. En lugar de solo mostrarle al robot las imágenes, el equipo del autor mide la ropa y el cuerpo de la persona con precisión matemática: calcula exactamente cuánto se cubre el hombro, qué tan profundo es el escote y qué tan largas son las mangas. Convierten estas mediciones en un código secreto (etiquetas) y se las suministran al robot junto con las imágenes. El resultado es un sistema que no solo adivina dónde van las prendas, sino que sigue un mapa. El artículo sugiere que, al utilizar estas mediciones precisas y un "adaptador" especial (una herramienta que ayuda al robot a entender el código), las imágenes generadas se vuelven mucho más controlables. Sin embargo, el autor tiene cuidado en señalar que, aunque el robot ahora puede seguir estas reglas, todavía necesita más práctica para perfeccionar cada pequeño detalle, y algunas de las nuevas herramientas que construyeron aún están siendo probadas para ver si funcionan tan bien como se esperaba.

La magia del artista de "limpieza de ruido"

Para entender cómo funciona esto, observemos el cerebro del robot. El artículo utiliza un tipo de IA llamado modelo de difusión latente. Imagina un cubo de agua lodosa. Si sigues revolviendo, se vuelve cada vez más sucia hasta que es solo lodo marrón. Un modelo de difusión aprende a hacer lo contrario: aprende cómo tomar ese lodo marrón y separar lentamente, con cuidado, la suciedad del agua hasta que tengas una imagen clara de nuevo. En el mundo de la computación, el "lodo" es ruido aleatorio, y la "imagen clara" es una foto de una persona vistiendo ropa.

Durante mucho tiempo, estos robots fueron excelentes creando nuevas imágenes desde cero, pero terribles siguiendo reglas estrictas. Si le pedías una camisa con las mangas terminando exactamente en el codo, el robot simplemente podría adivinar. Es como pedirle a un niño que dibuje una casa con una puerta de exactamente 3 pulgadas de ancho; puede que dibuje una puerta, pero rara vez es del tamaño exacto que querías. Los intentos previos para solucionar esto involucraron el uso de GANs (otro tipo de IA), pero a menudo eran rígidas y no podían crear pliegues o iluminación realistas. Luego llegaron los Modelos de Difusión, que son mucho mejores para hacer que las cosas parezcan reales, pero seguían teniendo problemas con el problema de la "colocación exacta".

La nueva solución: Darle al robot una regla

La idea principal del autor es simple: deja de adivinar y empieza a medir.

En el pasado, si querías probarte una camisa, simplemente le mostrabas al robot la camisa y la persona. El robot intentaba "deformar" la camisa para que encajara. Pero el autor se dio cuenta de que, para hacerlo bien, el robot necesita saber cómo le queda la camisa. ¿Es ajustada? ¿Es holgada? ¿La manga termina en la muñeca o en el codo?

Por ello, el equipo construyó un proceso de preprocesamiento. Antes de que el robot vea la imagen, utilizan otras herramientas inteligentes para:

1. Recortar la ropa: Utilizan una "máscara" para ocultar la parte de la persona donde irá la nueva camisa.
2. Medirlo todo: Utilizan visión artificial para medir la distancia desde las caderas de la persona hasta la parte inferior de la camisa, el ancho del cuello y cuánto se cubre el hombro.
3. Crear una "Ficha de puntuación": Convierten estas mediciones en números y etiquetas. Por ejemplo, en lugar de solo decir "mangas largas", podrían decir "las mangas terminan en 0.8 de la longitud del brazo".

La herramienta "Adaptador": El traductor

El cerebro del robot (el modelo de difusión) ya es muy bueno pintando, pero no habla el lenguaje de las "mediciones". Para solucionar esto, el autor construyó una herramienta especial llamada adaptador. Piensa en este adaptador como un traductor.

El traductor toma la "Ficha de puntuación" (las mediciones y etiquetas) y la foto de la camisa, y las convierte en un lenguaje que el robot entiende. Luego, le susurra estas instrucciones al oído al robot mientras está pintando.

• El IP-Adapter: Esta parte ayuda al robot a entender el aspecto de la camisa (el patrón, el color).
• El T2I-Adapter: Esta parte ayuda al robot a entender los detalles y dónde colocarlos.

El autor creó una nueva versión personalizada de este traductor específicamente para la parte de "up-sampling" (sobremuestreo) del proceso de pintura. Esta es la etapa donde el robot añade los detalles finos, como la textura de la tela o la forma en que la luz incide en un pliegue. Al inyectar los datos de medición precisamente en esta etapa, el robot puede ajustar los detalles basándose en las instrucciones de la regla.

Lo que mostraron los experimentos

El autor entrenó este nuevo sistema con miles de imágenes de personas y ropa. Esto es lo que encontró:

• Funciona, pero es un trabajo en progreso: Cuando giraban los "diales" (las etiquetas de medición), el robot realmente cambiaba la ropa. Por ejemplo, si le decían al robot que hiciera el escote más profundo (cambiando un número de 1 a -2), el robot dibujaba un escote más profundo. Si le decían que cubriera solo un hombro, lo hacía.
• Los números son mejores que las palabras: El autor descubrió que darle al robot un número específico (como un valor flotante) funcionaba mejor que darle una categoría (como "manga larga"). Es como decirle a un chef "añade 5 gramos de sal" en lugar de "añade un poco de sal". El robot podía seguir el número con mayor precisión.
• El truco de la "Máscara": El equipo también enseñó al robot a ignorar partes de la imagen que estaban ocultas detrás de una máscara. Descubrieron que si le decían al robot "la máscara termina aquí, pero puedes pintar por encima de ella", el robot generaba nueva tela por encima de la línea de la máscara. Esto es enorme porque significa que podrías tomar la foto de alguien con una camisa larga y decirle al robot que la convierta en un top corto, y el robot sabría que debe pintar el área de la barriga faltante.
• Los límites: El artículo admite que el robot aún no es perfecto. Cuando las prendas tenían patrones o detalles muy complejos, el robot a veces los perdía. El autor sospecha que esto se debe a que la nueva herramienta de "up-sampling" que construyeron no ha sido entrenada durante el tiempo suficiente. El robot todavía está aprendiendo a usar su nueva regla.

A lo que el autor dice "No"

El autor fue muy claro sobre lo que no funciona o no es el enfoque:

• Usar solo prompts de texto no es suficiente: Intentaron pedirle al robot que "hiciera las mangas más largas" usando solo palabras, pero el robot a menudo las ignoraba o se equivocaba. Las mediciones eran necesarias.
• El "one-hot encoding" no es ideal: Intentaron usar interruptores simples de "encendido/apagado" para cosas como la longitud de la manga (por ejemplo, "¿es larga? Sí/No"), pero descubrieron que los números continuos (como un deslizador de 0 a 1) daban un control mucho mejor.
• No es una solución mágica para todo: El autor señala que si el robot es entrenado en un conjunto de datos donde ya ha memorizado las respuestas, añadir nuevas instrucciones podría no ayudar. Tuvieron que empezar de cero para que el nuevo sistema funcionara.

El veredicto

Este artículo sugiere que, al combinar mediciones precisas con herramientas de "adaptador" inteligentes, podemos dar a los sistemas de prueba virtual mucho más control. No es un problema resuelto: el robot todavía necesita más entrenamiento para perfeccionar los detalles diminutos, y las nuevas herramientas necesitan más pruebas, pero la dirección es prometedora. El autor demuestra que si le das a la IA una regla y un conjunto de instrucciones, puede dejar de adivinar y empezar a seguir órdenes, creando imágenes que están mucho más cerca de lo que un cliente real vería. Es un paso hacia un futuro donde puedas probarte ropa en línea, y la foto que veas sea exactamente lo que recibirás cuando llegue el paquete.