Image2Garment: Simulation-ready Garment Generation from a Single Image

1. O Problema

A geração de roupas digitais prontas para simulação física a partir de uma única imagem é um desafio significativo na visão computacional e na computação gráfica. As principais dificuldades são:

• Natureza Mal-Posta (Ill-posed): Estimar propriedades físicas (como rigidez de flexão, estiramento, densidade e amortecimento) a partir de uma única imagem 2D é ambíguo, pois diferentes materiais podem parecer visualmente idênticos.
• Falta de Dados: Não existem grandes conjuntos de dados que parem imagens do mundo real com os parâmetros físicos necessários para simuladores de tecido.
• Limitações dos Métodos Atuais:
  • Métodos baseados em otimização (diferenciáveis) exigem capturas multi-visão ou vídeos, são lentos e computacionalmente caros.
  • Métodos de geração de imagem única (baseados em VLMs) focam apenas na geometria e aparência, ignorando os parâmetros físicos necessários para simulações realistas.
  • Métodos que recuperam parâmetros físicos geralmente exigem medições manuais ou setups de estúdio controlados.

2. Metodologia

O Image2Garment propõe um pipeline feedforward (sem otimização iterativa) que decompõe o problema inverso em duas etapas gerenciáveis, utilizando uma variável latente semântica (atributos do tecido).

Arquitetura do Pipeline (3 Estágios):

1. Reconstrução da Geometria:

   • Utiliza o modelo ChatGarment para estimar o padrão de costura (sewing pattern) a partir da imagem única.
   • O padrão é drapado sobre um corpo humano padrão (SMPL) usando um simulador de tecido para obter a geometria 3D inicial ($S$).

2. Predição de Atributos de Tecido (FTAG):

   • Um modelo de Visão-Linguagem (VLM), especificamente o Qwen-2.5-VL fine-tunado, analisa a imagem para inferir atributos interpretáveis do tecido.
   • Saída Estruturada (JSON): O modelo prevê:
     • Composição Material: Porcentagens de fibras (ex: 70% Algodão, 30% Elastano).
     • Família do Tecido: (ex: Jeans, Cetim, Jersey).
     • Tipo de Estrutura: (ex: Tricotado, Tecido, Outros).
   • Estimativa de Densidade e Espessura: Com base na composição e estrutura previstas, o sistema realiza uma busca hierárquica no conjunto de dados para estimar a densidade areal ($\rho$) e a espessura ($t$).

3. Mapeamento para Parâmetros Físicos (T2P):

   • Um mapeador leve (usando Random Forest Regressors) converte os atributos de tecido preditos ($M, Z, \rho, t$) nos parâmetros físicos completos exigidos pelo simulador ($\theta$).
   • Os parâmetros incluem rigidez de flexão, cisalhamento, estiramento, enrugamento (buckling), atrito e amortecimento.
   • Esses parâmetros são então injetados no simulador (Marvelous Designer/CLO3D) para gerar a animação final da roupa.

3. Principais Contribuições

A. Novos Conjuntos de Dados

O trabalho introduz dois datasets essenciais para fechar a lacuna entre imagem e física:

1. FTAG (Fabric Attributes from Garment Tags):
   • Contém 16.026 imagens de roupas de varejo com anotações de composição de material, família de tecido e tipo de estrutura.
   • Derivado de lojas online, processado para filtrar roupas multicamadas e normalizar terminologias.
2. T2P (Tag-to-Physics):
   • Contém 1.254 amostras de tecidos digitais que vinculam atributos de tecido (composição, família, estrutura, densidade, espessura) a parâmetros físicos mensuráveis compatíveis com simuladores industriais (CLO3D/Marvelous Designer).

B. Framework Feedforward

• Substitui a otimização iterativa lenta por uma inferência direta.
• Transforma o problema "Imagem $\to$ Física" (ambíguo) em "Imagem $\to$ Atributos Semânticos $\to$ Física" (mais bem definido e aprendível).

C. Avaliação Abrangente

• Criação de um novo conjunto de dados de avaliação sintética com animações complexas e roupas realistas para benchmarking.

4. Resultados

A. Precisão na Predição de Atributos

• O modelo fine-tunado superou significativamente modelos VLM genéricos (como GPT-5 em modo zero-shot e few-shot) na estimativa de composição de materiais, família de tecido e estrutura.
• Redução de erro na previsão de espessura e densidade em comparação com baselines.

B. Qualidade da Simulação (4D)

• Métricas: O método alcançou os melhores resultados em Chamfer Distance (CD) e Intersecção sobre União (IoU) em comparação com métodos state-of-the-art (ChatGarment, AIpparel, GarmentRecovery) que usam parâmetros aleatórios ou otimização lenta.
• Qualidade Visual: As animações geradas exibem dinâmicas de movimento, formação de dobras e comportamento de colisão muito mais fiéis à realidade (Ground Truth) do que os baselines.
• Eficiência: O pipeline é feedforward, eliminando a necessidade de horas de otimização por roupa, tornando-o escalável para aplicações em tempo real ou produção em massa.

5. Significado e Impacto

O Image2Garment representa um avanço crucial para a indústria de moda digital, jogos e realidade virtual:

• Acessibilidade: Permite que usuários comuns transformem uma foto de uma roupa em um ativo 3D simulável sem necessidade de escaneamento 3D ou medições manuais.
• Fidelidade Física: Resolve o problema de "roupas que parecem reais mas se comportam como plástico" ao garantir que os parâmetros físicos sejam derivados de dados reais de materiais.
• Escalabilidade: Ao evitar otimização iterativa, o método permite a geração de grandes volumes de ativos 3D prontos para simulação a partir de dados visuais do mundo real.

Em resumo, o trabalho demonstra que a decomposição semântica (entender o que a roupa é feita antes de calcular como ela se move) é a chave para resolver problemas inversos complexos de física em visão computacional.