Resumo Técnico: Avançando a Medição de Relevância com Modelos de Visão-Linguagem para Busca em Escala Web

Declaração do Problema

Em sistemas de busca personalizados como o Pinterest, garantir que os resultados de busca se alinhem com a intenção do usuário (relevância semântica) é crítico. Embora métricas de engajamento do usuário (cliques, salvamentos) sejam facilmente coletadas, elas frequentemente falham em refletir a verdadeira relevância semântica devido a fatores de confusão como viés de posição, efeitos de apresentação e atenção. Consequentemente, a avaliação de relevância serve como um "guarda-corpo" necessário em experimentos A/B online para detectar compensações onde o engajamento pode aumentar enquanto a relevância degrada.

Tradicionalmente, a avaliação de relevância depende da anotação humana. No entanto, essa abordagem é limitada por altos custos, longos tempos de resposta e escalabilidade limitada. Esses gargalos forçam designs de medição com amostras pequenas, que só conseguem detectar grandes movimentos de métricas e falham em capturar efeitos de tratamento heterogêneos ou melhorias pequenas e significativas. O artigo aborda a necessidade de um sistema de avaliação de relevância automatizado, escalável, econômico e confiável que possa operar em escala web.

Metodologia

1. Modelos de Visão-Linguagem (VLMs) Ajustados (Fine-Tuned)

Os autores propõem um pipeline de ponta a ponta utilizando Modelos de Visão-Linguagem de código aberto ajustados (especificamente a série Qwen3-VL) para automatizar a rotulagem de relevância.

• Representação de Entrada: O modelo processa uma entrada multimodal consistindo no texto da consulta de busca, a imagem do Pin e metadados textuais abrangentes (título/descrição do Pin, título/descrição da página de destino, títulos de pastas e consultas historicamente com alto engajamento).
• Treinamento: O modelo é ajustado em aproximadamente 0,8 milhão de pares de consulta-Pin anotados por humanos usando uma escala de classificação de 5 níveis (Altamente Relevante a Altamente Irrelevante). O objetivo é prever a pontuação de relevância (1–5) minimizando a perda de entropia cruzada (cross-entropy loss).
• Inferência: O modelo gera um nível de relevância previsto via argmax sobre os logits de saída. O sistema aproveita as capacidades cross-linguais do Qwen3-VL para suportar múltiplos idiomas.

2. Design de Amostragem Estratificada

A redução nos custos e tempo de rotulagem proporcionada pelos VLMs permite uma mudança da amostragem aleatória simples para um design de amostragem de consultas estratificada mais sofisticado.

• Racional: A variância da relevância é impulsionada principalmente pelas diferenças entre as consultas (intenção, qualidade do conteúdo, profundidade do inventário). A estratificação visa essa estrutura de variância.
• Implementação: As consultas são estratificadas com base em categorias de interesse e segmentos de popularidade (Head, Torso, Tail, Single).
• Benefício Estatístico: Ao eliminar o componente de variância "entre estratos", a amostragem estratificada reduz significativamente a variância da média da amostra. Isso reduz diretamente o Efeito Mínimo Detectável (MDE), permitindo que o sistema detecte mudanças menores e significativas no desempenho de ranking de busca.
• Comparação: Os autores observam que técnicas alternativas de redução de variância, como CUPED, são menos adequadas devido à natureza dinâmica do inventário do Pinterest e à necessidade de covariáveis pré-tratamento, o que comprometeria a generalização ou dobraria os custos de anotação.

3. Pipeline de Medição de Relevância

O pipeline de avaliação para experimentos A/B envolve:

1. Amostragem: Seleção de consultas de busca pareadas entre os grupos de controle e tratamento para bloquear as diferenças entre consultas.
2. Rotulagem: O VLM ajustado gera rótulos de relevância para os top $K$ (definido como 25) resultados de busca para cada consulta.
3. Cálculo de Métricas: O sistema computa um $sDCG@K$ por consulta (uma variante de $nDCG@K$ assumindo um suprimento infinito de documentos altamente relevantes) e agrega estes para derivar méts de nível de experimento.
4. Análise: Efeitos de tratamento heterogêneos são analisados através de estratos, com taxas de falsas descobertas controladas via procedimento de Benjamini-Hochberg.

Principais Resultados

Alinhamento com Julgamentos Humanos (RQ1)

O sistema foi rigorosamente validado contra anotações humanas:

• Acurácia: A taxa de correspondência exata entre os rótulos do VLM e humanos é de 82,9%, com 94,2% das classificações diferindo em no máximo um ponto.
• Acordo: O Kappa de Peso Quadrático (QWK) é de 0,507, indicando um bom acordo ordinal.
• Correlação de Rank: Kendall's $\tau$ é 0,534 e Spearman's $\rho$ é 0,668, mostrando forte alinhamento no ranking.
• Métricas de Erro: O erro médio no $sDCG@K$ por consulta permanece dentro de 0,03 em todos os segmentos de popularidade. Crucialmente, o erro de diferença pareada (usado para testes A/B) tem magnitude negligenciável, eliminando o leve viés positivo observado em erros de grupo único. Isso confirma a robustez do design experimental pareado contra o viés de rótulo do VLM.
• Seleção de Modelo: Embora o Qwen3-VL-8B tenha performado de forma semelhante à variante 4B, o Qwen3-VL-4B foi selecionado para produção devido à sua distribuição de erro estreita e menor custo computacional. Ele superou significativamente o baseline de texto apenas XLM-RoBERTa, particularmente na redução de variância.

Sensibilidade e Eficiência da Métrica (RQ2)

A transição para a rotulagem baseada em VLM com amostragem estratificada gerou melhorias substanciais na sensibilidade experimental:

• Redução do MDE: O Efeito Mínimo Detectável (MDE) foi reduzido de uma faixa de 1,3%–1,5% para $\leq$ 0,25%, representando uma melhoria de 6× na sensibilidade.
• Redução de Variância: A estratificação sozinha reduziu a variância da métrica ($\hat{\sigma}$) em 52% comparado à amostragem aleatória simples com o mesmo tamanho de amostra (n=2000). Ao combinar a estratificação com um aumento no tamanho da amostra (n=5000), a redução total da variância atingiu 67%.
• Eficiência Operacional:
  • Tempo de Resposta: Melhorou em mais de 20× (de 2 dias para 2 horas).
  • Custo: O custo por rótulo foi reduzido em 99,98% (de $0,10 para $2 \times 10^{-5}$).
  • Escala: O sistema agora lida com 4× mais tarefas de medição de relevância do que antes, permitindo avaliações mais amplas e frequentes.

Desempenho Multilíngue (RQ3)

O sistema foi validado em mercados não ingleses (França, Alemanha, Brasil). Embora as correlações de rank tenham sido ligeiramente menores do que nos mercados de língua inglesa, elas permaneceram moderadas a fortes. Os erros de diferença pareada permaneceram fortemente concentrados em torno de zero, indicando que a abordagem se generaliza efetivamente para consultas não inglesas, apesar de os dados de treinamento serem predominantemente em inglês.

Significância e Contribuições

O artigo afirma que sua principal significância reside no design de ponta a ponta e implantação de um pipeline de avaliação de relevância baseado em VLM dentro de um sistema de experimentação A/B real em escala industrial no Pinterest. Diferente de trabalhos acadêmicos anteriores que focam em arquitetura de modelo ou estratégias de prompting, este trabalho demonstra a viabilidade prática de substituir a anotação humana por VLMs ajustados em um ambiente de produção.

As principais contribuições incluem:

1. Implantação em Produção: Um pipeline validado cobrindo considerações práticas, desde o ajuste fino até testes A/B online, o que os autores afirmam ser a primeira abordagem abrangente deste problema em um sistema de busca industrial.
2. Sensibilidade Experimental: Demonstrar que a avaliação baseada em VLM permite conjuntos de consultas expandidos e designs de amostragem refinados, levando a uma redução de 6× no MDE e melhor detecção de mudanças de relevância.
3. Confiabilidade: Provar que VLMs ajustados produzem métricas alinhadas com julgamentos humanos, com baixo viés em diferenças pareadas, tornando-os um substituto confiável para a rotulagem humana em tomadas de decisão de alto risco.

Os autores concluem que esta abordagem oferece insights práticos para profissionais da indústria que buscam melhorar a eficiência e a sensibilidade da medição de relevância, observando que o trabalho futuro focará em estender essas capacidades para configurações de busca multimodal mais amplas e em reduzir ainda mais a lacuna de desempenho em mercados de língua não inglesa.