SwiftTailor: Efficient 3D Garment Generation with Geometry Image Representation

Resumen Técnico: SwiftTailor

1. El Problema

La generación realista y eficiente de prendas de vestir en 3D sigue siendo un desafío significativo en la visión por computadora y la moda digital. Los métodos existentes enfrentan dos limitaciones principales:

• Dependencia de Modelos Pesados: Las soluciones actuales a menudo utilizan Grandes Modelos de Lenguaje Visuales (VLMs) masivos (como LLaVA-1.5-7B) para generar representaciones serializadas de patrones de costura 2D, lo que resulta en una alta sobrecarga computacional y tiempos de inferencia lentos (30 segundos a 1 minuto).
• Simulación Física Costosa: Una vez generados los patrones 2D, se requiere un motor de simulación física (como GarmentCode basado en NVIDIA Warp) para coser los paneles y drapar la prenda sobre un modelo humano. Estos simuladores son iterativos, computacionalmente intensivos y propensos a fallos si la inicialización de los paneles no es perfecta, lo que dificulta la generación escalable y en tiempo real.

El objetivo es sintetizar prendas 3D de alta calidad y coherencia sin depender de la simulación física durante la fase de "costura", manteniendo la compatibilidad con flujos de trabajo industriales.

2. Metodología

SwiftTailor propone un marco de trabajo de dos etapas que unifica el razonamiento de patrones de costura y la síntesis de mallas basadas en geometría, introduciendo una representación intermedia novedosa.

A. Representación Central: Imagen de Geometría de Prenda (GGI)
El núcleo de la innovación es la Garment Geometry Image (GGI). A diferencia de las mallas 3D tradicionales o los patrones 2D puros, la GGI es una representación compacta en un espacio UV unificado que consta de tres componentes alineados:

1. Imagen Semántica: Codifica los tipos de paneles (ej. manga, torso) mediante colores.
2. Imagen de Geometría: Almacena las coordenadas 3D de la superficie de la prenda en el espacio de píxeles.
3. Imagen de Costura: Registra la información de unión de bordes, donde los bordes con el mismo color deben unirse en el post-procesamiento.

Esta representación permite transformar patrones 2D en mallas 3D sin resolver ecuaciones físicas de tensión o colisión.

B. Etapa 1: PatternMaker (Generación de Patrones)

• Función: Es un modelo de lenguaje multimodal (MLLM) ligero diseñado para predecir patrones de costura a partir de entradas de texto o imágenes.
• Arquitectura: Utiliza InternVL-3-2B (un modelo de solo 2 mil millones de parámetros), mucho más pequeño que los modelos de 7B utilizados en trabajos anteriores como AIpparel o ChatGarment.
• Salida: Genera la estructura discreta (paneles, conectividad de bordes) y parámetros continuos (coordenadas de vértices, transformaciones rígidas) necesarios para definir la prenda.
• Ventaja: Logra una precisión superior en la estructura del patrón a pesar de ser computacionalmente más eficiente.

C. Etapa 2: GarmentSewer (Construcción de la Malla)

• Función: Es una red transformadora de predicción densa (Dense Prediction Transformer - DPT) que convierte los patrones generados en la Etapa 1 directamente en una representación GGI.
• Proceso:
  1. Toma la imagen semántica derivada del patrón.
  2. Predice la imagen de geometría y la imagen de costura.
  3. Utiliza una estrategia de interpolación híbrida (lineal en bordes, baricéntrica en el interior) para evitar artefactos en la reconstrucción.
• Post-procesamiento: En lugar de simular la física, el sistema realiza un remallado (remeshing) en el espacio UV y un empalme dinámico (dynamic stitching) basado en la imagen de costura para ensamblar los paneles en una malla 3D coherente y lista para simulación.

3. Contribuciones Clave

1. GGI (Garment Geometry Image): Una nueva representación que transforma patrones 2D en mallas 3D sin resolver físicos, unificando la estructura semántica y la geometría en un espacio UV.
2. Pipeline Modular y Eficiente: La combinación de PatternMaker (VLM ligero) y GarmentSewer (Transformer de predicción densa) permite una inferencia mucho más rápida que los enfoques basados en simulación física.
3. Soporte Multimodal: El sistema acepta texto, imágenes o ambas como entrada y soporta tareas de generación y edición.
4. Resultados SOTA: Logra el estado del arte en precisión y fidelidad visual en el benchmark GarmentCodeData, reduciendo drásticamente el costo computacional.

4. Resultados Experimentales

Los experimentos se realizaron en el conjunto de datos multimodal GCD-MM (extensión de GarmentCodeData).

• Precisión de Patrones: PatternMaker supera a los modelos baselines (AIpparel, ChatGarment) en precisión geométrica (Error L2 de vértices) y validez topológica, utilizando solo el 30% de los parámetros de los modelos comparados.
• Generación de Mallas 3D:
  • SwiftTailor logra la Distancia de Emparejamiento Mínimo (MMD) más baja (5.31) y la mayor Cobertura (COV) (0.68), indicando mallas de mayor calidad y diversidad.
  • Supera a la combinación de PatternMaker + GarmentCode (simulación física).
• Velocidad de Inferencia:
  • La etapa de construcción de mallas (Stage 2) de SwiftTailor tarda 0.02 segundos, frente a los ~30-50 segundos que requieren los simuladores físicos (GarmentCode).
  • El tiempo total de inferencia se reduce en aproximadamente 4x (de ~63s a ~14.7s), permitiendo una generación casi en tiempo real.
• Robustez: El método requiere menos intentos de muestreo para obtener una prenda válida en comparación con otros métodos, evitando fallos comunes como paneles entrelazados o drapados inestables.

5. Significado e Impacto

SwiftTailor representa un cambio de paradigma en la generación de moda digital:

• Eficiencia: Elimina la necesidad de simulaciones físicas iterativas costosas durante la fase de generación, haciendo viable la creación de grandes volúmenes de prendas 3D para aplicaciones como probadores virtuales o comercio electrónico.
• Interpretabilidad: Al mantener la estructura de patrones de costura 2D como intermediario, el sistema es interpretable y compatible con los flujos de trabajo de diseño industrial (CAD).
• Escalabilidad: La arquitectura modular permite integrar fácilmente nuevos componentes o mejorar etapas individuales sin reentrenar todo el sistema desde cero.

En resumen, SwiftTailor demuestra que es posible lograr una alta fidelidad en la generación de prendas 3D mediante una representación geométrica inteligente y aprendizaje profundo eficiente, superando las limitaciones de velocidad y estabilidad de los métodos basados en física tradicional.