KiseKloset for Fashion Retrieval and Recommendation

Título: KiseKloset para Recuperação e Recomendação de Moda

1. Problema

O comércio eletrônico de moda global cresceu exponencialmente, mas a transição do varejo físico para o digital apresenta desafios significativos para o consumidor:

• Dificuldade de Seleção: A falta de recomendações de vendedores e a sobrecarga de opções tornam a busca por itens demorada.
• Limitação de "Prova": A impossibilidade de experimentar roupas fisicamente antes da compra gera incerteza sobre o caimento e o estilo.
• Custos e Riscos: Devoluções frequentes devido a itens que não se encaixam ou não agradam aumentam os custos logísticos e o desperdício para os varejistas.
• Sistemas Existentes: Soluções atuais de Recuperação e Recomendação de Looks (ORR) e Prova Virtual (VTON) geralmente operam de forma isolada, com limitações na generalização (ex: recomendar apenas um item faltante) ou na eficiência computacional (VTONs pesados e lentos).

2. Metodologia

O sistema KiseKloset é uma solução integrada de ponta a ponta que combina recuperação de itens, recomendação de looks completos e prova virtual em tempo real. A arquitetura divide-se em três módulos principais:

A. Recuperação de Looks (Outfit Retrieval)
O sistema suporta dois tipos de busca:

1. Recuperação de Itens Similares (Intra-categoria): Utiliza o modelo CLIP para extrair embeddings visuais de imagens de referência. Para otimizar a velocidade, emprega algoritmos de busca aproximada (como HNSW, IVF, ANNOY) em vez de busca exaustiva (KNN), permitindo encontrar itens visualmente semelhantes rapidamente em grandes bases de dados.
2. Recuperação Guiada por Feedback Textual: Utiliza a arquitetura CLIP4Cir. O usuário fornece uma imagem de referência e um feedback textual (ex: "mais longo", "verde"). O sistema funde os embeddings da imagem e do texto para recuperar itens que atendem a essas modificações específicas.
   • Estratégia de Diversidade: Para evitar resultados monótonos, o sistema aplica uma estratégia de "augumentação" nos resultados, misturando itens de precisão exata com itens de precisão aproximada e heurística.

B. Recomendação de Itens Complementares (Outfit Recommendation)
O sistema aborda a recomendação de itens de categorias diferentes (ex: uma blusa com uma calça e um acessório) como um problema de geração de sequência.

• Arquitetura: Um novo modelo baseado em Transformers.
• Funcionalidade Generalizada: Diferente de trabalhos anteriores que recomendam apenas um item faltante, o KiseKloset pode recomendar múltiplos itens complementares simultaneamente para completar um look.
• Mecanismo: O modelo trata o look completo como uma sequência de categorias (bolsas, tops, calçados, etc.). Durante a inferência, o item de referência é a entrada, e o modelo gera embeddings para as categorias faltantes, que são então mapeados para itens reais via busca aproximada.
• Estilos: Suporta dois modos: "Tone sur tone" (cores/texturas similares) e "Mix and match" (estilos variados e vibrantes).

C. Prova Virtual (Virtual Try-On - VTON)
Para resolver a complexidade e o alto custo computacional dos VTONs tradicionais:

• Abordagem: Utiliza uma rede leve baseada em Teacher-Student (professor-aluno) e Knowledge Distillation.
• Arquitetura: O "Professor" (baseado em FS-VTON) gera resultados de alta qualidade para treinamento. O "Aluno" (baseado em MobileNetV2) aprende a gerar imagens sintéticas de forma eficiente, sem depender de representações humanas complexas (parser-free).
• Benefício: Permite operação em tempo real, com baixa latência e uso eficiente de memória, mantendo a fidelidade visual.

3. Contribuições Principais

1. Sistema Unificado KiseKloset: Primeiro sistema proposto que integra simultaneamente ORR (recuperação e recomendação) e VTON (prova virtual) para aplicações do mundo real.
2. Algoritmos de Busca Aproximada: Implementação e validação de algoritmos de busca aproximada (HNSW, IVF, etc.) no contexto de moda, demonstrando ganhos significativos de velocidade sem perda substancial de precisão.
3. Rede Transformer Generalizada: Proposta de uma nova arquitetura Transformer capaz de recomendar múltiplos itens complementares de diferentes categorias, superando a limitação de recomendar apenas um item faltante.
4. VTON Leve e Eficiente: Desenvolvimento de um framework de prova virtual otimizado para velocidade e recursos, viabilizando sua implementação em sistemas online.
5. Validação com Usuários Reais: Implantação do sistema para testes práticos, coletando feedback direto sobre usabilidade e satisfação.

4. Resultados

• Desempenho de Busca: O algoritmo HNSW destacou-se como o mais eficiente, reduzindo o tempo de consulta para 1,80 ms (comparado a 35,24 ms do KNN), mantendo uma taxa de recuperação (Recall) de 98,11% e uso de memória similar ao KNN.
• Estudo de Usuário: O sistema foi testado com usuários online. Os resultados indicaram:
  • 84,4% dos participantes consideraram o sistema altamente útil e que melhorou significativamente sua experiência de compra online.
  • 65,6% expressaram disposição para recomendar o sistema a amigos e familiares.
  • Os fatores de maior satisfação foram o tempo de resposta e a facilidade de uso, seguidos pela qualidade da prova virtual e da recomendação de itens.

5. Significância

O KiseKloset representa um avanço significativo na interseção entre moda e tecnologia, oferecendo uma solução prática que fecha a lacuna entre o varejo físico e digital.

• Para Consumidores: Reduz a incerteza na compra online, economiza tempo na busca por estilos e permite visualizar como as roupas ficam no corpo antes da compra.
• Para Varejistas: Potencialmente reduz as taxas de devolução (e custos associados) e aumenta as taxas de conversão e receita através de recomendações personalizadas e precisas.
• Acadêmico: Demonstra a eficácia de combinar modelos de linguagem visual (CLIP), Transformers generalizados e técnicas de busca aproximada em um pipeline unificado e escalável.

O trabalho conclui que a integração dessas tecnologias não apenas melhora a funcionalidade, mas também constrói confiança e satisfação do usuário, estabelecendo um novo padrão para experiências de compra de moda imersivas e personalizadas.