Garments2Look: A Multi-Reference Dataset for High-Fidelity Outfit-Level Virtual Try-On with Clothing and Accessories

Resumo Técnico: Garments2Look

1. O Problema

O Virtual Try-On (VTON) ou "Prova Virtual" avançou significativamente na visualização de peças únicas (como apenas uma camisa ou calça). No entanto, a moda real centra-se em conjuntos completos (outfits) que envolvem múltiplas peças, acessórios, camadas complexas (sobreposição de roupas) e técnicas de estilo específicas (ex: camisa por dentro da calça, casaco sobre os ombros).

Os desafios principais identificados são:

• Limitação de Dados Existentes: Conjuntos de dados atuais (como VITON-HD, DressCode) são focados em itens individuais, carecem de diversidade de acessórios e não possuem anotações sobre a ordem de camadas ou técnicas de vestuário.
• Complexidade Técnica: Modelos atuais falham ao tentar vestir conjuntos completos simultaneamente, resultando em problemas de alinhamento, artefatos visuais, perda de texturas e incapacidade de inferir corretamente a sobreposição (quem fica por cima de quem).
• Falta de Multimodalidade: A ausência de anotações textuais estruturadas que descrevam o contexto, o estilo e as interações entre as peças limita a capacidade dos modelos de gerar resultados realistas e coerentes.

2. Metodologia

Os autores introduzem o Garments2Look, o primeiro conjunto de dados em grande escala e multimodal projetado especificamente para VTON em nível de conjunto (outfit-level). A construção do dataset segue um pipeline rigoroso de quatro etapas:

• A. Coleta de Dados:

  • Integração de dados de quatro fontes: trabalhos fundamentais de compatibilidade de moda, datasets de código aberto curados, imagens da web (com permissões) e dados sintéticos.
  • Classificação dos dados em quatro categorias: Padrão Ouro (par perfeito roupa-modelo), Roupas com conjuntos pareados (sem imagem do modelo), Roupas sem conjuntos pareados e Apenas imagens de "Look".

• B. Síntese de Dados (Pipeline de Geração):

  • Síntese de Conjuntos (Outfit Synthesis): Utiliza um Modelo de Linguagem (LLM) para gerar listas de conjuntos baseados em um banco de conhecimento de estilos (65 estilos, ex: Y2K, Minimalista) e perfis de usuários. Emprega uma estratégia de recuperação de imagens com amostragem reponderada para evitar viés de popularidade e garantir diversidade.
  • Síntese de "Look" (Look Synthesis): Utiliza modelos de geração de imagem de ponta (como Nano Banana/Gemini-2.5-Flash-Image) para criar a imagem final do modelo vestindo o conjunto. As imagens de entrada são organizadas em uma grade "OOTD" (Outfit of the Day) para manter a consistência entre os itens.
  • Anotação Textual: Geração automática e refinada de descrições detalhadas, incluindo ordem de camadas, técnicas de estilo (ex: "dobrado", "desabotoado") e atributos do modelo.

• C. Filtragem e Validação:

  • Um pipeline de filtragem automatizada e validação humana por especialistas em moda garante a qualidade.
  • Critérios incluem verificação de consistência visual, plausibilidade do conjunto (ex: não usar dois vestidos ao mesmo tempo) e qualidade estética. Apenas ~40% das imagens sintéticas foram retidas após a revisão rigorosa.

• D. Avaliação:

  • Definição de novas métricas baseadas em Visão Computacional e Linguagem (VLM) para avaliar consistência de itens, precisão de camadas e precisão de estilo.

3. Principais Contribuições

1. Dataset Garments2Look: Um conjunto de dados massivo com 80.000 pares de alta fidelidade, cobrindo 40 categorias principais e 300+ subcategorias finas. Cada par contém de 3 a 12 imagens de referência (média de 4,48), incluindo roupas e acessórios.
2. Anotações Estruturadas Ricas: Diferente de datasets anteriores, este inclui anotações textuais detalhadas sobre:
   • Ordem de camadas (Layering Order).
   • Técnicas de vestuário (Styling Techniques).
   • Descrições de itens e do conjunto completo.
3. Pipeline de Síntese Inovador: Uma metodologia que combina recuperação de dados reais com geração sintética guiada por LLMs e modelos de imagem, superando a escassez de dados pareados reais para cenários complexos.
4. Benchmarking e Análise: Avaliação extensiva de modelos SOTA (State-of-the-Art) de VTON e modelos de edição de imagem geral, revelando lacunas críticas no estado atual da arte.

4. Resultados e Descobertas

Os experimentos realizados no Garments2Look revelaram limitações significativas nos métodos atuais:

• Desempenho de Modelos Atuais:
  • Modelos de VTON tradicionais (como OmniTry, FastFit) lutam para processar mais de 2-3 itens simultaneamente, frequentemente omitindo peças internas ou falhando na sobreposição correta.
  • Modelos de edição de imagem geral (como Nano Banana, GPT-4o) mostram-se mais flexíveis com múltiplas referências, mas ainda sofrem com distorção de forma, mudança de textura e inconsistência de pose.
• Impacto das Anotações Textuais:
  • Um estudo de ablação mostrou que fornecer apenas categorias de itens resulta em desempenho inferior.
  • A inclusão de anotações de camadas e estilo (textuais) melhora drasticamente as métricas (FID, KID, SSIM), provando que o texto é essencial para guiar a geração de conjuntos complexos.
• Dificuldade da Tarefa:
  • A tarefa de VTON em nível de conjunto é significativamente mais difícil do que a de item único. Modelos falham em manter a coerência global quando o número de referências aumenta (ex: 8-9 itens).
  • A estratégia de usar uma imagem de grade OOTD como referência única (2 Ref) superou o uso de múltiplas imagens individuais (N Ref) na maioria dos casos, sugerindo que modelos aprendem melhor relações contextuais quando os itens são apresentados como um todo.

5. Significado e Impacto

O trabalho Garments2Look preenche uma lacuna crítica na pesquisa de IA para moda:

• Avanço para o Mundo Real: Move o foco de experimentos controlados de "uma peça" para cenários de moda realistas e complexos, essenciais para e-commerce e design de moda.
• Direção Futura: Demonstra que o futuro do VTON depende da fusão multimodal (visão + texto estruturado) para entender a semântica de conjuntos e a lógica de camadas.
• Recurso Aberto: Ao disponibilizar o código e os dados, o trabalho estabelece um novo padrão de benchmark para a comunidade, incentivando o desenvolvimento de modelos capazes de gerar looks completos, estilizados e coerentes.

Em suma, o Garments2Look não é apenas um novo dataset, mas um catalisador para a próxima geração de sistemas de prova virtual que entendem a moda como um sistema complexo e interconectado, e não apenas como a sobreposição de imagens isoladas.