D-Garment: Physically Grounded Latent Diffusion for Dynamic Garment Deformations

1. Problema e Motivação

O trabalho aborda o desafio de deformar dinamicamente roupas 3D (representadas como malhas poligonais) em resposta a mudanças no formato do corpo, movimento e propriedades físicas do tecido.

• Limitações do Estado da Arte:
  • Modelos dependentes de pose (ex: TailorNet, DiffusedWrinkles) geralmente geram soluções independentes do movimento, falhando em capturar detalhes temporais como ondas e rugas dinâmicas causadas pela velocidade e aceleração do corpo.
  • Simulações de tecido baseadas em física são precisas, mas computacionalmente caras e não são projetadas para se ajustar (fitting) a observações capturadas por sensores de visão (como nuvens de pontos 3D).
• Objetivo: Criar um modelo generativo condicional que seja "fisicamente fundamentado" (physically grounded), capaz de gerar deformações temporais consistentes, modelar roupas largas com grandes deformações e ajustar-se a dados observados.

2. Metodologia (D-Garment)

O D-Garment é uma abordagem baseada em aprendizado que utiliza um Modelo de Difusão Latente 2D para deformar uma malha de roupa fixa (template).

A. Representação e Espaço Latente

• Em vez de gerar a malha 3D diretamente, o modelo mapeia as deformações para um espaço 2D (coordenadas UV).
• As deslocamentos dos vértices da malha 3D em relação ao template são codificados em um mapa de deslocamento geométrico 2D ($D$).
• Isso permite o uso de arquiteturas de difusão latente escaláveis e pré-treinadas (como Stable Diffusion), independentemente da resolução da malha 3D.

B. Condição Física e de Movimento

O modelo é condicionado por três fatores principais:

1. Formato do Corpo ($\beta$): Parâmetros de forma do modelo paramétrico SMPL.
2. Sequência de Pose ($\theta$): Inclui a pose atual e as duas poses anteriores para capturar a velocidade e aceleração do movimento.
3. Propriedades do Tecido ($\gamma$): O diferencial do trabalho. O tecido é definido por três parâmetros físicos:
   • Bending (Flexão): Resistência à curvatura.
   • Stretching (Estiramento): Resistência à compressão/alongamento.
   • Density (Densidade): Influência da inércia.
   • Nota: O modelo é treinado com dados gerados por um simulador de física (Dinâmica Projetiva), garantindo que a distribuição aprendida seja fisicamente plausível.

C. Arquitetura do Modelo

• VAE (Autoencoder Variacional): Um VAE é ajustado (fine-tuned) para mapear mapas de deslocamento de alta resolução para um espaço latente de baixa resolução.
• Rede Denoisers (U-Net): Uma rede U-Net com atenção cruzada (cross-attention) aprende a remover ruído do espaço latente, condicionada aos parâmetros de corpo, pose e material.
• Inferência: Gera a deformação da roupa a partir de ruído gaussiano, iterativamente refinando o mapa de deslocamento latente.

D. Ajuste a Observações (Fitting)

O modelo pode ser otimizado para se ajustar a sequências de nuvens de pontos 3D capturadas:

• Otimiza-se o vetor latente ($z_T$) para minimizar a distância de Chamfer entre a malha gerada e os pontos observados.
• Inclui perdas de regularização (suavização laplaciana, consistência de normais) e uma perda de colisão roupa-corpo para evitar interseções físicas.

3. Contribuições Principais

1. Método Fisicamente Fundamentado: Um modelo generativo que deforma templates 3D baseando-se em parâmetros de material físico, permitindo o controle de rugas estáticas e dinâmicas.
2. Novo Dataset: Um conjunto de dados sintético de uma vestido largo com padrão de costura complexo, simulado com 172 movimentos do AMASS, 3 formas corporais e 3 materiais físicos (totalizando >1500 sequências).
3. Método de Registro: Uma pipeline de dois estágios para ajustar o modelo a dados reais capturados por câmeras multi-visão (nuvens de pontos 3D), demonstrando robustez mesmo com ruído e oclusões.

4. Resultados e Avaliação

O D-Garment foi avaliado quantitativa e qualitativamente em comparação com baselines de ponta (HOOD, ContourCraft, MGDDG).

• Fidelidade Geométrica: O D-Garment superou significativamente os baselines em métricas de erro de vértice ($E_v$), distância de Chamfer ($ECD$) e erro de normal ($E_n$), especialmente em cenários com materiais, formas corporais e movimentos não vistos durante o treinamento.
• Validade Física: O modelo obteve os melhores resultados em métricas físicas:
  • Menor porcentagem de colisão roupa-corpo ($E_c$).
  • Menor erro de deformação de área ($E_s$) e distância do centro de massa ($E_d$).
• Generalização: O modelo conseguiu gerar variações plausíveis ao alterar apenas um parâmetro (ex: mudar apenas a densidade do tecido altera o padrão de rugas), demonstrando controle granular.
• Ajuste a Dados Reais: Na tarefa de ajuste a dados do conjunto 4DHumanOutfit, o método recuperou a pose e as rugas finas da roupa com alta precisão (erro < 2.4 cm em 90% dos vértices), superando o "gap" de domínio entre dados sintéticos e reais.

5. Significado e Impacto

• Avanço na Animação de Roupas: O trabalho demonstra que modelos de difusão podem aprender priores generativos flexíveis e poderosos para geometria 3D, superando as limitações de métodos puramente baseados em skinning linear (LBS) ou simulações físicas lentas.
• Aplicações Práticas: A capacidade de ajustar modelos dinâmicos a observações de sensores (vídeo 2D ou nuvens de pontos 3D) abre portas para aplicações em:
  • Prova Virtual (Virtual Try-On): Testar roupas em avatares dinâmicos com alta realismo.
  • Telepresença e Metaverso: Criação de avatares vestindo roupas realistas que reagem ao movimento do usuário.
  • Design de Moda: Visualização rápida de como diferentes tecidos se comportam em movimento.
• Desafios Éticos: O artigo reconhece os riscos de uso indevido (geração de imagens realistas não consensuais) e o impacto ambiental devido ao alto custo computacional de treinamento e inferência.

Em resumo, o D-Garment estabelece um novo estado da arte na modelagem de roupas dinâmicas, combinando a eficiência de modelos de difusão com a precisão física necessária para aplicações realistas em computação gráfica e visão computacional.