Image2Garment: Simulation-ready Garment Generation from a Single Image

1. El Problema

La estimación de prendas de vestir listas para simulación física a partir de una única imagen es un desafío significativo en visión por computadora y gráficos por ordenador. Los métodos existentes enfrentan dos limitaciones principales:

• Falta de datos: No existen conjuntos de datos a gran escala que emparejen imágenes de prendas reales con sus parámetros físicos medidos (necesarios para simuladores de tela).
• Naturaleza mal planteada (Ill-posed): Inferir propiedades físicas (rigidez, densidad, amortiguación) directamente de una sola imagen es ambiguo debido a la falta de puntos de vista múltiples y la ambigüedad de los pliegues.
• Limitaciones de métodos anteriores: Los enfoques basados en optimización requieren múltiples vistas o videos, son computacionalmente costosos (optimización iterativa lenta) y a menudo no generan parámetros compatibles con simuladores industriales. Por otro lado, los métodos de generación de geometría (como ChatGarment) ignoran las propiedades físicas, produciendo prendas que no se comportan de manera realista bajo dinámica.

2. Metodología

Los autores proponen un marco feed-forward (de un solo paso) que evita la optimización iterativa mediante una descomposición latente semántica. En lugar de mapear directamente "Imagen $\to$ Física", el proceso se divide en tres etapas:

A. Pipeline General

1. Reconstrucción de Geometría: Se utiliza un modelo existente (ChatGarment) para predecir el patrón de costura y la geometría 3D de la prenda a partir de la imagen de entrada.
2. Predicción de Atributos de Tela (Intermedio): Se infiere un conjunto interpretable de atributos semánticos (composición de materiales, familia de tela, tipo de estructura, densidad y grosor) a partir de la imagen.
3. Mapeo a Parámetros Físicos: Se utiliza un mapeador aprendido para convertir estos atributos semánticos en los parámetros físicos completos requeridos por el simulador (rigidez de flexión, estiramiento, cizalladura, etc.).

B. Componentes Clave

• Modelo de Estimación de Materiales (VLM): Se utiliza y ajusta fino (fine-tune) un modelo de visión-linguaje (Qwen-2.5-VL) con LoRA. El modelo se entrena para tratar la predicción de atributos como una tarea de "captioning" (descripción de imagen), generando una cadena JSON estructurada con porcentajes de fibras, familia de tela y tipo de estructura.
• Estimador de Densidad y Grosor: Dado que estos valores no siempre son visibles directamente, se utiliza una búsqueda jerárquica en un conjunto de datos de telas. El sistema busca coincidencias exactas de composición y estructura, y si no existen, relaja la búsqueda a coincidencias de tipo de fibra principal, muestreando la densidad y el grosor basándose en la correlación empírica de los datos.
• Estimador de Parámetros Físicos: Se entran Random Forest Regressors (Regresores de Bosque Aleatorio) independientes para mapear los atributos de tela (composición, familia, estructura, densidad, grosor) a los parámetros físicos específicos del simulador (como los usados en Marvelous Designer/CLO3D).

3. Contribuciones Clave

El artículo introduce dos nuevos conjuntos de datos fundamentales para cerrar la brecha entre la visión y la física:

1. FTAG (Fabric Attributes from Garment Tags): Un conjunto de datos con 16,026 imágenes de prendas de comercio minorista, anotadas con composición de materiales (porcentajes de fibra), familia de tela y tipo de estructura. Se curó a partir de tiendas en línea, filtrando prendas multicapa.
2. T2P (Tag-to-Physics): Un conjunto de datos con 1,254 telas que vincula los atributos de la tela (composición, familia, estructura, densidad, grosor) con parámetros físicos medidos experimentalmente compatibles con simuladores industriales estándar.

Novedad del enfoque:

• Pipeline sin optimización: A diferencia de métodos anteriores que requieren horas de optimización por prenda, Image2Garment es totalmente feed-forward, permitiendo inferencia en tiempo real.
• Descomposición Latente: Al introducir variables latentes semánticas (atributos de tela), el problema se vuelve bien planteado y requiere muchos menos datos para aprender el mapeo físico.

4. Resultados y Evaluación

Los autores evaluaron su método en un nuevo conjunto de datos sintético creado para la evaluación (basado en 4D-Dress) y compararon con el estado del arte (SOTA):

• Precisión en Atributos: El modelo ajustado supera significativamente a modelos VLM genéricos (como ChatGPT en modo zero-shot/few-shot) y a modelos de línea base en la predicción de composición de materiales, familia de tela y estructura (mejoras de hasta un 30% en precisión).
• Calidad de Simulación:
  • En métricas geométricas (Distancia de Chamfer, IoU) y de imagen (PSNR, SSIM, LPIPS), Image2Garment logra el mejor rendimiento promedio.
  • Las animaciones generadas muestran dinámicas de drapado (pliegues y movimiento) mucho más fieles a la realidad que los métodos que usan parámetros físicos aleatorios o optimización lenta.
• Eficiencia: El método es sustancialmente más rápido que los enfoques basados en optimización (como Dress-1-to-3), eliminando la necesidad de bucles de optimización iterativos.

5. Significado e Impacto

Este trabajo es un avance significativo para aplicaciones en Realidad Virtual, videojuegos y diseño de moda digital.

• Democratización: Permite generar prendas listas para simulación a partir de una sola foto, eliminando la necesidad de capturas multivista costosas o mediciones manuales de materiales.
• Fidelidad Física: Por primera vez, se logra una estimación precisa de parámetros físicos complejos (rigidez, amortiguación) directamente desde una imagen, lo que permite que las prendas simuladas respondan de manera realista a fuerzas externas y movimientos corporales.
• Escalabilidad: Al ser un enfoque feed-forward y no basado en optimización, es escalable para su uso en entornos de producción y aplicaciones en tiempo real.

En resumen, Image2Garment resuelve el problema de la "caja negra" de la física en la generación de ropa 3D, utilizando atributos semánticos intermedios y nuevos conjuntos de datos para crear un pipeline robusto, rápido y físicamente preciso.