D-Garment: Physically Grounded Latent Diffusion for Dynamic Garment Deformations

1. Problema

El ajuste dinámico de prendas de vestir en avatares 3D es un desafío persistente en gráficos por computadora y modelado basado en aprendizaje. Los métodos existentes se dividen principalmente en dos categorías, ambas con limitaciones:

• Modelado dependiente de la pose: Generan prendas basadas en la forma del cuerpo y la pose actual, pero ignoran la velocidad y aceleración del movimiento. Esto impide la generación de detalles temporales realistas (como arrugas dinámicas) causados por la inercia o el movimiento brusco.
• Simulación de tela dinámica: Aunque producen deformaciones físicamente plausibles, suelen ser computacionalmente costosas y no están diseñadas para ajustarse (fitting) a observaciones capturadas por sensores de visión (como nubes de puntos 3D) mediante optimización.

El objetivo es crear un modelo generativo condicional que pueda deformar una plantilla de prenda 3D fija basándose en la forma del cuerpo, el movimiento (pose y velocidad) y, crucialmente, las propiedades físicas del material (estiramiento, densidad y flexión), permitiendo tanto la generación realista como el ajuste a datos observados.

2. Metodología: D-Garment

D-Garment es un enfoque basado en aprendizaje que utiliza un modelo de difusión latente 2D para generar deformaciones de mallas 3D.

• Representación de la Prenda:

  • En lugar de generar la malla 3D directamente, el modelo mapea las deformaciones de la malla a un espacio 2D (coordenadas UV) utilizando un mapa de desplazamiento geométrico.
  • Se utiliza una plantilla de malla fija ($T$) y se aprende a predecir un mapa de desplazamiento $D$ que, al aplicarse a la plantilla, genera la malla deformada $M$.
  • Esta representación permite utilizar arquitecturas de difusión latente escalables (basadas en Stable Diffusion) independientemente de la resolución de la malla.

• Entradas Condicionales (Grounding Físico):
  El modelo se entrena y condiciona sobre tres factores principales:

  1. Forma del cuerpo ($\beta$): Parámetros de un modelo paramétrico (SMPL).
  2. Movimiento ($\theta$): Una secuencia de poses (actual y dos anteriores) para capturar la velocidad y aceleración.
  3. Propiedades del material ($\gamma$): Tres parámetros físicos que definen el comportamiento de la tela:
     • Coeficiente de estiramiento ($s$): Resistencia a la compresión/estiramiento.
     • Coeficiente de densidad ($d$): Influencia de la inercia.
     • Coeficiente de flexión ($b$): Resistencia a los cambios de curvatura.

• Entrenamiento y Simulación:

  • Se utiliza un simulador de dinámica proyectiva para generar un conjunto de datos sintético de una falda larga y holgada con geometrías complejas.
  • El conjunto de datos incluye 172 secuencias de movimiento (de AMASS) variando 3 formas de cuerpo y 3 materiales por secuencia, resultando en más de 1500 secuencias.
  • El modelo de difusión (un U-Net con atención cruzada) aprende a eliminar ruido latente condicionado por los parámetros físicos y de movimiento.

• Ajuste a Observaciones (Fitting):

  • El modelo puede ajustarse a secuencias de nubes de puntos 3D capturadas.
  • Se optimiza el vector latente $z_T$ (y opcionalmente los parámetros de material) minimizando la distancia de Chamfer entre la malla generada y la nube de puntos, junto con pérdidas de regularización (suavizado laplaciano, consistencia de normales) y una pérdida de colisión cuerpo-ropa.

3. Contribuciones Clave

1. Modelo Generativo con Grounding Físico: Un método basado en difusión latente 2D que deforma plantillas 3D condicionadas explícitamente por parámetros de material físico, permitiendo modelar geometrías de tela holgada y arrugas dinámicas impulsadas por el movimiento.
2. Nuevo Conjunto de Datos: Un dataset sintético de una prenda 3D dinámica con patrones de costura complejos, simulado con variaciones de forma corporal, movimiento y materiales físicos. Incluye 172 movimientos únicos y más de 1500 secuencias.
3. Método de Registro (Fitting): Una técnica para ajustar el modelo a nubes de puntos 3D dinámicas capturadas, capaz de recuperar la pose de la prenda y las arrugas finas a partir de datos ruidosos.
4. Generalización: El modelo generaliza a formas corporales, movimientos y materiales no vistos durante el entrenamiento.

4. Resultados y Evaluación

El modelo se evaluó cuantitativa y cualitativamente frente a baselines de vanguardia (HOOD, ContourCraft, MGDDG) en datos simulados y reales (4DHumanOutfit).

• Similitud de Forma: D-Garment superó a todos los baselines en métricas de error de vértice ($E_v$), distancia de Chamfer ($ECD$) y distancia de normales ($E_n$). Por ejemplo, en la prueba de "forma corporal no vista", D-Garment logró un error de vértice de 3.49 mm frente a 8.31 mm de MGDDG.
• Validez Física: El modelo obtuvo mejores resultados en métricas físicas, especialmente en la reducción de colisiones cuerpo-ropa ($E_c$) y errores de tensión de área ($E_s$). Esto se debe a que el entrenamiento con datos físicos enseña al modelo a respetar las leyes de la física de la tela.
• Ajuste a Datos Reales: Al aplicarse a nubes de puntos capturadas de personas reales en movimiento, D-Garment logró una precisión de < 2.4 cm en el 90% de los vértices de la prenda, demostrando robustez ante el ruido y las oclusiones.
• Control de Material: El modelo permite variar sutilmente los patrones de arrugas y la caída de la tela modificando los parámetros de entrada (flexión, estiramiento, densidad), algo que los modelos puramente geométricos no logran.

5. Significado e Impacto

• Avance en Animación de Ropa: D-Garment cierra la brecha entre la simulación física costosa y los métodos de aprendizaje rápido, ofreciendo un equilibrio entre velocidad, realismo y control físico.
• Aplicaciones Prácticas: Es altamente relevante para la industria del entretenimiento (videojuegos, cine), la moda (pruebas virtuales de ropa) y la telepresencia, donde se requiere un ajuste preciso de avatares a datos de sensores en tiempo real.
• Innovación Técnica: Demuestra la eficacia de los modelos de difusión latente en dominios 3D geométricos cuando se combinan con representaciones 2D (UV) y condicionamiento físico, estableciendo un nuevo estándar para la generación de prendas dinámicas.

En resumen, D-Garment representa un paso significativo hacia la creación de avatares virtuales con ropa realista y físicamente coherente, capaz de adaptarse a nuevas condiciones de movimiento y materiales sin necesidad de simulaciones físicas costosas en tiempo de ejecución.