LookBench: A Live and Holistic Open Benchmark for Fashion Image Retrieval

Este artigo apresenta o LookBench, um benchmark aberto, vivo e holístico para recuperação de imagens de moda em cenários de e-commerce real, que inclui imagens de produtos recentes e geradas por IA com carimbos de data para avaliação livre de contaminação, desafiando modelos existentes e oferecendo recursos públicos como conjunto de dados e modelos de ponta.

O essencial

Imagine que você está tentando encontrar a camiseta perfeita que viu um influenciador usando no Instagram. Você tira um print, abre o app de compras e tenta achar exatamente aquela peça.

O problema é que, até agora, os "testes" que as empresas de tecnologia faziam para ver se seus robôs de busca eram bons estavam desatualizados. Era como testar um carro de Fórmula 1 em uma pista de kart antiga e cheia de buracos. Os robôs memorizavam as respostas dos testes antigos (como se decorassem o mapa da cidade) e falhavam miseravelmente quando você mostrava uma foto nova, tirada na rua, com luz diferente ou com a roupa amassada.

Aqui está o que os autores do artigo LookBench criaram para mudar isso:

1. O "LookBench": Um Treinamento em Tempo Real

Pense no LookBench não como um livro de provas antigo, mas como um simulador de voo ao vivo.

• Ao Vivo: Em vez de usar fotos de 2015, eles puxam fotos de lojas e ruas de hoje.
• Contaminação Zero: Eles garantem que o robô nunca viu a foto de teste antes. É como se o robô entrasse em uma sala de provas e recebesse uma foto que acabou de ser tirada, sem poder "colar" na internet.
• Atualização Constante: Assim como a moda muda a cada estação, o teste muda. Eles prometem atualizá-lo a cada seis meses para que os robôs nunca parem de evoluir.

2. Os Quatro Níveis de Dificuldade (O "Menu" do Teste)

O LookBench não é apenas uma foto. É um jogo com quatro níveis, do "fácil" ao "impossível":

1. RealStudioFlat (O "Fácil"): É como ver uma foto de catálogo. A roupa está esticada no chão, fundo branco, perfeita. É o que a maioria dos robôs já sabe fazer.
2. AIGen-Studio (O "Médio"): Aqui, a roupa é gerada por Inteligência Artificial em um cenário de estúdio. É realista, mas não é uma foto de uma loja real.
3. RealStreetLook (O "Difícil"): Agora a coisa fica séria. Imagine uma foto de alguém andando na rua, com chuva, sombras, a roupa dobrada no corpo, e talvez uma bolsa ou óculos na mesma foto. O robô precisa achar exatamente aquela peça de roupa entre milhões de outras, ignorando o fundo bagunçado. É aqui que a maioria dos robôs atuais falha (acertando menos de 60% das vezes).
4. AIGen-StreetLook (O "Pesadelo"): Fotos de ruas geradas por IA, misturando o difícil do cenário real com a complexidade da IA.

3. A "Lente" de Detecção (O Segredo do Sucesso)

O grande diferencial do LookBench é que ele não pergunta apenas: "Isso é uma camisa?". Ele pergunta: "Isso é uma camisa de gola V, de algodão, listrada e manga curta?".

Os autores criaram um dicionário de moda super detalhado (com mais de 100 características). Eles usaram uma IA superinteligente (como um especialista em moda digital) para "etiquetar" cada detalhe das fotos.

• Analogia: Imagine que os robôs antigos eram como crianças que só sabiam dizer "é vermelho". O LookBench exige que o robô diga "é vermelho, mas é um vermelho tijolo, com textura de linho e botões dourados".

4. O Resultado: Quem Ganhou?

O artigo apresenta dois modelos criados pela própria equipe (da Gensmo.ai):

• GR-Pro: O "campeão" proprietário (secreto, mas muito forte).
• GR-Lite: A versão "leve" e gratuita que eles liberaram para o público.

O que aconteceu?
Os gigantes da tecnologia (como o CLIP, que é usado no ChatGPT e no Instagram) tentaram o teste. Eles foram bons nas fotos de catálogo (nível fácil), mas travaram nas fotos de rua (nível difícil). Eles confundiam uma calça jeans com uma calça de sarja porque olhavam apenas a cor, não o corte.

Os modelos do LookBench (GR-Pro e GR-Lite) foram treinados especificamente para entender esses detalhes finos. Eles venceram todos os outros, especialmente no nível "RealStreetLook", onde a precisão é crucial.

Resumo em uma Frase

O LookBench é um novo "campo de provas" para robôs de moda que força a Inteligência Artificial a deixar de ser apenas um "reconhecedor de cores" e a se tornar um verdadeiro estilista, capaz de encontrar a roupa exata que você quer, mesmo que a foto esteja tremida, na chuva ou tirada por um celular na rua.

Eles liberaram tudo (o teste, os dados e o modelo vencedor) para que a comunidade possa continuar melhorando a forma como compramos roupas online no futuro.

Resumo técnico

Resumo Técnico: LookBench

1. Problema e Motivação

A recuperação de imagens de moda (fashion image retrieval) é uma capacidade central para plataformas de e-commerce, impulsionando buscas visuais, recomendações de produtos e geração de conjuntos de roupas (outfits). No entanto, o artigo identifica três lacunas críticas na avaliação atual:

• Estagnação dos Benchmarks: As métricas dominantes (como DeepFashion, Fashion200K) são estáticas, centradas em produtos e frequentemente contaminadas por dados de pré-treinamento de modelos modernos (como CLIP e DINO), levando a avaliações injustas e superotimização (overfitting).
• Falta de Contaminação Consciente: Modelos de visão computacional e VLMs (Vision-Language Models) são treinados em corpora da web que provavelmente se sobrepõem aos conjuntos de teste antigos, tornando difícil distinguir se o desempenho vem de generalização real ou memorização.
• Intenção do Usuário Ignorada: A maioria dos benchmarks foca em recuperação de itens únicos em condições controladas, falhando em capturar intenções complexas de busca, como a recuperação de conjuntos completos (outfits) em cenários de rua (street-look) ou a necessidade de correspondência de atributos finos (tecido, corte, cor).

2. Metodologia: O Benchmark LookBench

O LookBench é apresentado como um benchmark "vivo" (live), holístico e desafiador, projetado para simular ambientes de e-commerce reais com prevenção de contaminação de dados.

• Estrutura do Dataset:
  O benchmark consiste em quatro subconjuntos de avaliação, cobrindo diferentes níveis de dificuldade e domínios:

  1. RealStudioFlat: Imagens de produtos reais em estúdio (fundo branco/flat-lay). Dificuldade: Fácil. Tarefa: Recuperação de item único.
  2. AIGen-Studio: Imagens de produtos geradas por IA em contextos de estúdio. Dificuldade: Média. Tarefa: Recuperação de item único.
  3. RealStreetLook: Fotos reais de ruas mostrando conjuntos completos de roupas. Dificuldade: Difícil. Tarefa: Recuperação multi-item (outfit-level).
  4. AIGen-StreetLook: Conjuntos de roupas gerados por IA em cenas complexas. Dificuldade: Difícil. Tarefa: Recuperação multi-item.

• Processo de Coleta e "Vivacidade":

  • As consultas são geradas dinamicamente a partir de uma taxonomia de atributos de moda e submetidas a motores de busca comerciais.
  • Cada amostra é carimbada com data (time-stamped). Isso permite filtrar dados de teste que foram coletados após a data de corte (cutoff) do treinamento de um modelo, garantindo uma avaliação livre de contaminação.
  • O benchmark é projetado para ser atualizado semestralmente com novas consultas e tarefas progressivamente mais difíceis.

• Anotação e Supervisão:

  • Utiliza-se uma taxonomia de atributos de moda fina (mais de 100 propriedades visuais, como gola, manga, tecido, padrão).
  • A anotação é feita automaticamente usando o modelo Qwen2.5-VL-72B, que identifica atributos principais e secundários em recortes de imagens.
  • A qualidade é auditada por um "juiz" (GPT-5.1), alcançando ~93% de precisão na anotação de atributos.
  • A recuperação é avaliada com base na correspondência de categoria e de todos os atributos anotados.

• Métricas de Avaliação:

  • Fine Recall@1: A métrica principal. Considera acerto apenas se o item de topo corresponder à categoria e a todos os atributos anotados.
  • Coarse Recall@1: Considera acerto se apenas a categoria corresponder.
  • nDCG@5: Avalia a qualidade da lista ranqueada nos top-5.

3. Modelos Propostos: GensmoRetro (GR)

Para estabelecer linhas de base fortes, os autores desenvolveram uma família de codificadores visuais sem texto (text-free):

• GR-Pro: Um codificador de alta capacidade (~0.3B parâmetros) baseado em ViT, treinado em um corpus interno de 6,5 milhões de imagens de moda. É proprietário e acessível via API.
• GR-Lite: Uma versão leve e de código aberto baseada no backbone DINOv3 (ViT-L/16), treinada em 1,8 milhão de imagens (abertas + internas). É lançado com pesos e código completos.

Treinamento: Ambos são treinados com ArcFace Loss (margem angular aditiva) em um corpus massivo de moda, utilizando Partial FC para escalar o número de identidades de produtos. O foco é puramente visual, sem dependência de texto.

4. Resultados Principais

Os experimentos compararam o LookBench com uma vasta gama de modelos, incluindo backbones genéricos (CLIP, SigLIP, DINO), modelos fine-tuned para moda (Marqo-FashionCLIP) e os modelos propostos (GR-Pro/GR-Lite).

• Desempenho Geral:

  • O GR-Pro alcançou o melhor desempenho em todos os subconjuntos, com uma pontuação global de 67,38% em Fine Recall@1.
  • O GR-Lite (open-source) ficou logo atrás com 65,71%, superando todos os baselines públicos.
  • Modelos genéricos como CLIP-L/14 e DINOv3-ViT-L tiveram desempenho muito inferior (entre 30% e 45%), demonstrando que backbones genéricos não são suficientes para recuperação de moda baseada em atributos.
  • Modelos fine-tuned para moda (Marqo) performaram bem, mas foram superados pelo GR-Pro em cerca de 4 pontos percentuais absolutos.

• Desafio do "StreetLook":

  • O subconjunto RealStreetLook foi o mais desafiador, com a maioria dos modelos caindo abaixo de 60% de Fine Recall@1.
  • Em recuperação de outfits (todos os itens do conjunto devem estar corretos), o GR-Pro atingiu 53,2%, enquanto os melhores baselines genéricos ficaram abaixo de 40%.

• Generalização:

  • Os modelos GR mantiveram o estado da arte (SOTA) no benchmark legado Fashion200K (88,7% para GR-Pro), provando que o treinamento supervisionado por atributos em larga escala beneficia tanto benchmarks novos quanto antigos.

• Escalabilidade:

  • Aumentar o corpus de treinamento de 0,59M para 6,5M imagens trouxe ganhos significativos, mas escalas maiores (até 21M) não trouxeram melhorias adicionais, indicando saturação para a arquitetura atual.

5. Contribuições Chave

1. Benchmark Vivo e Livre de Contaminação: O primeiro benchmark de recuperação de moda que utiliza carimbos de tempo e atualizações periódicas para mitigar o vazamento de dados entre treinamento e teste.
2. Avaliação Holística e de Atributos Finos: Vai além da categoria do produto, exigindo correspondência precisa de atributos visuais (tecido, corte, estilo) e suportando recuperação de conjuntos completos (outfits).
3. Novos SOTA Abertos: Introdução do GR-Lite, um modelo de código aberto que estabelece uma nova linha de base forte e reprodutível para pesquisa em recuperação de moda.
4. Taxonomia de Atributos: Uma taxonomia detalhada e visualmente fundamentada para mais de 27 categorias de moda, usada para anotação e avaliação.

6. Significado e Impacto

O LookBench representa um avanço crítico para a comunidade de visão computacional aplicada à moda. Ao forçar os modelos a lidarem com a complexidade de cenários reais (rua, múltiplos itens) e exigindo precisão em atributos finos, ele expõe as limitações atuais dos modelos VLMs genéricos. A disponibilidade pública do dataset, código de avaliação e do modelo GR-Lite permite que a comunidade desenvolva e avalie sistemas de recuperação de moda mais robustos, transparentes e alinhados com as necessidades reais do e-commerce, movendo o campo de benchmarks estáticos para uma avaliação contínua e adaptativa.