Image Score: Learning and Evaluating Human Preferences for Mercari Search

1. Declaração do Problema

O Mercari, o maior marketplace de comércio eletrônico C2C do Japão, enfrenta um desafio na otimização dos resultados de busca, onde a qualidade da imagem é um diferenciador primário. Diferentemente do comércio eletrônico tradicional, onde títulos e descrições de produtos dominam, os usuários do Mercari frequentemente tomam decisões com base em imagens e preços antes de ler os títulos (como observado no layout de grade do aplicativo).

• A Questão Central: Embora o feedback implícito (cliques) seja abundante, ele é fortemente confundido por relevância e viés de posição. É difícil isolar o impacto específico da qualidade da imagem no comportamento do usuário a partir desses outros fatores.
• Escassez de Dados: A avaliação tradicional de qualidade de imagem depende de anotação humana cara e demorada, o que não é escalável para um marketplace com milhões de listagens.
• Objetivo: Desenvolver um método custo-efetivo para avaliar a qualidade da imagem, desacoplá-la da relevância e utilizá-la para melhorar o ranqueamento de busca e o engajamento do usuário (cliques e vendas).

2. Metodologia

Os autores propõem um pipeline que aproveita Modelos de Linguagem de Grande Escala (LLMs) para supervisão fraca para gerar rótulos de treinamento, que são então usados para treinar um modelo de aprendizado de máquina leve para implantação online.

A. Coleta de Dados e Geração de Rótulos

• Hipótese: Se dois itens são igualmente relevantes e têm preços similares, aquele com melhor qualidade de imagem receberá mais cliques.
• Filtragem de Dados: A equipe extraiu logs de busca e aplicou filtragem rigorosa para criar "pares de itens similares":
  • Filtragem por Preço: Itens dentro de uma faixa de preço específica do primeiro item clicado.
  • Janela de Posição: Retenção de itens imediatamente antes e depois do item clicado (para minimizar o viés de posição).
  • Resultado: Um conjunto de dados de 150 mil SERPs (Páginas de Resultados de Motor de Busca) de treinamento e 36 mil SERPs de validação.
• Anotação por LLM (Supervisão Fraca):
  • Em vez de anotadores humanos, utilizaram GPT-4 via uma API de Visão.
  • Prompting de Cadeia de Pensamento (CoT): O LLM foi instruído a analisar elementos estéticos (harmonia de cores, brilho, composição, etc.) e atribuir uma pontuação (0–10) às imagens em um lote, comparando-as entre si em vez de isoladamente.
  • Saída: Pontuações estéticas no formato JSON e adjetivos descritivos.

B. Arquitetura do Modelo

• Backbone: Os autores utilizaram embeddings CLIP (Contrastive Language-Image Pre-training) (especificamente ViT-B/16 pré-treinado no CC12M traduzido). Eles descobriram que embeddings CLIP congelados já capturam atributos de qualidade de forma eficaz.
• Ajuste Fino (Fine-Tuning): Um Perceptron Multicamada (MLP) foi adicionado sobre o encoder CLIP congelado.
• Objetivo de Treinamento:
  • Formulado como um problema de Aprendizado de Ranqueamento por Pares (Pairwise Learning-to-Rank - LTR).
  • Função de Perda: Foi utilizada Focal Loss em vez da Entropia Cruzada padrão. Isso foi escolhido para lidar com rótulos ruidosos (provenientes de LLMs) e evitar que o modelo fosse sobrecarregado por exemplos negativos "fáceis".
  • Construção de Dados: Para uma consulta, se o LLM classificar a imagem $x_i$ acima de $x_j$, o modelo é treinado para prever uma pontuação mais alta para $x_i$.

C. Implantação e Integração

• Inferência: O modelo é hospedado no NVIDIA Triton Inference Server.
• Pipeline: Integrado ao pipeline de indexação do Google Cloud Dataflow. Quando um item é atualizado, a pontuação da imagem é prevista de forma síncrona e indexada no Elasticsearch.
• Estratégia de Ranqueamento: A pontuação da imagem é integrada à fórmula de ranqueamento do Elasticsearch usando duas abordagens testadas em testes A/B:
  1. Multiplicativa: final_score = existing_relevance_score * image_score
  2. Aditiva: final_score = existing_relevance_score + image_score

3. Contribuições Principais

1. Desacoplamento da Relevância do Feedback Implícito: Uma abordagem inovadora de geração de dados que isola o impacto da qualidade da imagem controlando preço e relevância, permitindo que cliques sejam usados como uma métrica válida para avaliação de qualidade de imagem.
2. Supervisão Fraca Impulsionada por LLM: Demonstrou que LLMs (GPT-4) com prompting CoT podem gerar rótulos estéticos de imagem de alta qualidade e interpretáveis que correlacionam fortemente com o comportamento humano, oferecendo uma alternativa custo-efetiva à anotação humana.
3. Modelo Custo-Eficiente: Treinou com sucesso um modelo leve (CLIP + MLP) que supera as linhas de base, provando que a inferência cara de LLM é necessária apenas para geração de rótulos, não para ranqueamento em tempo real.
4. Impacto nos Negócios: Validou a abordagem através de testes A/B online, mostrando crescimento significativo de receita.

4. Resultados Experimentais

Avaliação Offline

• Métricas: Precisão de Pares Ordenados (OPA) e Precisão de Cliques (CA).
• Linhas de Base: Aposta Aleatória, CTR Histórico e Pontuação CLIP (zero-shot).
• Desempenho:
  • Image Score (Focal Loss): Alcançou 67,75% de OPA e 64,42% de CA.
  • Comparação: Superou significativamente a Aposta Aleatória (50%) e o CTR Histórico (que performou pior que o chute aleatório, ~42-44%).
  • Insight: O CTR Histórico falhou porque é confundido pela relevância; o Image Score isolou com sucesso a qualidade.

Teste A/B Online (Plataforma Web)

• Configuração: Três grupos: Controle (Linha de Base), Boost Aditivo, Boost Multiplicativo.
• Métrica Principal: Transações Médias por Usuário (ATPU).
• Resultados:
  • Variante 1 (Aditiva): ATPU aumentou 6,99% (estatisticamente significativo, valor-t 2,22).
  • Variante 2 (Multiplicativa): ATPU aumentou 6,66%.
  • Observação: As melhorias foram significativas na plataforma Web, mas mostraram impactos negativos/neutros no Mobile. Os autores hipotetizam que usuários da web são mais sensíveis à qualidade visual devido a resoluções de tela mais altas.

5. Significado e Trabalhos Futuros

• Significado: Este trabalho preenche a lacuna entre a avaliação de qualidade de imagem por Deep Learning e a otimização prática de comércio eletrônico. Prova que LLMs podem servir como "proxies humanos" escaláveis para treinar modelos de ranqueamento, reduzindo drasticamente o custo de rotulagem de dados enquanto melhora a explicabilidade.
• Limitações:
  • Imagens Geradas por IA: O sistema atualmente luta para distinguir entre fotos reais de alta qualidade e imagens geradas por IA, que podem explorar o sistema de pontuação.
  • Variação de Plataforma: A eficácia do modelo varia por dispositivo (Web vs. Mobile), sugerindo a necessidade de ponderação específica por plataforma.
• Direções Futuras:
  • Integrar detecção de conteúdo gerado por IA para evitar manipulação do sistema.
  • Desenvolver loops de feedback contínuos para monitoramento em tempo real.
  • Refinar o modelo para levar em conta preferências de usuários específicas por plataforma.

Em conclusão, o artigo apresenta um framework robusto e escalável para aprimorar a relevância da busca em marketplaces C2C quantificando a qualidade da imagem, levando diretamente a um aumento de ~7% nas transações de vendas na plataforma web.