Enhancement of E-commerce Sponsored Search Relevancy with LLM

Resumo Técnico: Melhoria da Relevância de Busca Patrocinada em E-commerce com LLM

Declaração do Problema
A busca patrocinada é uma importante fonte de receita para plataformas de e-commerce, dependendo do correspondência precisa entre as palavras-chave dos anunciantes e as consultas de busca dos usuários. No entanto, garantir a pertinência dos anúncios é complicado pela vasta e evolutiva base de palavras-chave, pela ambiguidade das intenções de usuários e anunciantes, e pela diversidade de tópicos e idiomas. Abordagens algorítmicas tradicionais, como a correspondência de palavras-chave e filtragem colaborativa, frequentemente falham em capturar a linguagem matizada das consultas dos consumidores (por exemplo, preferências implícitas por durabilidade ou faixa de preço). Essa limitação leva a resultados de busca subótimos, impactando negativamente a satisfação do usuário, as taxas de clique e as taxas de conversão. O desafio reside em desenvolver um sistema que possa interpretar intenções de consulta breves e complexas de forma rápida, precisa e econômica dentro das restrições de um ambiente de e-commerce ao vivo.

Metodologia
Os autores propõem um Modelo de Relevância de Anúncios avançado construído sobre o modelo de linguagem de grande escala (LLM) baseado em decodificador LLaMA2 7B, especificamente adaptado para o contexto de busca patrocinada de e-commerce. A principal inovação técnica é o uso de Low-Rank Adaptation (LoRA) para realizar o ajuste fino (fine-tuning) do modelo pré-treinado.

• Arquitetura: O sistema utiliza uma abordagem de ajuste fino parametrizado eficientemente (Peft). Em vez de retreinar todo o modelo de 7 bilhões de parâmetros, o LoRA introduz matrizes de baixo posto ($A$ e $B$) às matrizes de peso de componentes específicos, incluindo o mecanismo de atenção (projeções de query, key, value e output) e redes feed-forward (projeções gate, up e down). Os pesos originais ($W$) permanecem congelados, enquanto apenas os parâmetros LoRA são atualizados durante o treinamento. Isso reduz significativamente os recursos computacionais e o tempo de treinamento.
• Formulação da Tarefa: O modelo funciona como um classificador de <query, título do anúncio>. Ele recebe uma consulta do usuário e um título de item de anúnio como entrada e prevê uma pontuação de relevância, categorizando o par em uma de três classes: Relevante, Parcialmente Relevante ou Irrelevante.
• Dados de Treinamento: O modelo foi treinado em um conjunto de dados derivado dos logs de consulta da Walmart, compreendendo 250.000 pares de query-item para treinamento, com 56.000 pares cada para validação e teste. Os dados foram anotados por avaliadores humanos de terceiros em uma escala de três pontos (0: Irrelevante, 1: Parcialmente Relevante, 2: Relevante), com o voto da maioria determinando a verdade fundamental (ground truth).
• Otimização: O modelo foi treinado usando o otimizador Adam com uma taxa de aprendizado de 1e-5 e uma função de perda de entropia cruzada categórica ao longo de 7 épocas em uma configuração com 4 GPUs Tesla V100.

Principais Contribuições

1. Adaptação de LLM para E-commerce: O artigo demonstra a adaptação bem-sucedida do modelo de código aberto LLaMA2 7B para compreender as intenções específicas por trás de consultas de e-commerce (ex: "lâmpadas LED eficientes em energia") sem a necessidade de um sistema separado e complexo de compreensão de consulta.
2. Ajuste Fino Eficiente via LoRA: Os autores demonstram uma aplicação inovadora de LoRA para ajustar um modelo de linguagem de grande escala para busca patrocinada, alcançando alto desempenho enquanto mantém a eficiência computacional e a privacidade operacional.
3. Sistema de Classificação Inovador: O desenvolvimento de um classificador especializado de <query, título do anúncio> que distingue a relevância através de três categorias distintas, superando modelos de relevância binária.
4. Estrutura de Rotulagem Automatizada: O sistema facilita o treinamento contínuo do modelo através de uma capacidade avançada de rotulagem automática, reduzindo a dependência de anotação manual de dados.
5. Benchmarking Abrangente: Uma análise comparativa rigorosa contra modelos tradicionais de NLP (Bi-Encoder e Cross-Encoder baseados em BERT) e modelos de última geração (GPT-4 usando aprendizado de poucos disparos/few-shot learning).

Resultados Experimentais
O modelo LLaMA2 7B ajustado demonstrou desempenho superior em múltiplas métricas:

• Acurácia: O modelo alcançou 89,43% de acurácia no conjunto de dados de teste, superando o Cross-Encoder baseado em BERT (86,27%), o Bi-Encoder baseado em BERT (74,42%) e o GPT-4 (63,02%).
• Precisão e Recall: O modelo manteve uma precisão equilibrada de 89,75% e um recall de 89,22%, resultando em um F1-score de 89,41%. Esse equilíbrio é crítico para minimizar tanto falsos positivos quanto falsos negativos na veiculação de anúncios.
• Ranking de Relevância: Em termos de Ganho Cumulativo Descontado Normalizado (NDCG), o modelo alcançou 0,7142 em NDCG@4 e 0,6774 em NDCG@8, superando ambas as variantes de BERT.
• Análise Qualitativa: Estudos de caso indicaram que, enquanto o GPT-4 tendia a generalizar demais (ex: classificando um "Desfiador de Frango" como altamente relevante para "frango desfiado"), o modelo LLaMA2 ajustado exibiu melhor discernimento de relevância indireta e contexto, identificando corretamente itens como "Fita Médica McKesson" para "fita de primeiros socorros", enquanto evitava falsos positivos em itens não relacionados como "limpador de vidros" para "lenços para lentes ZEISS".

Significância e Alegações
O artigo afirma que a integração do LoRA com o modelo LLaMA2 7B representa um avanço significativo na customização de modelos de linguagem para aplicações de e-commerce. A significância deste trabalho reside em sua capacidade de entregar um trio de benefícios essenciais para os marketplaces digitais modernos:

1. Melhoria na Precisão de Busca: Ao compreender melhor as intenções de consulta complexas, o modelo melhora a relevância dos resultados patrocinados, impulsionando diretamente a satisfação do usuário e as métricas de negócio.
2. Eficiência de Custo: A abordagem LoRA permite um ajuste fino eficiente sem os extensos recursos computacionais exigidos pelo retreinamento total do modelo, tornando-o escalável para plataformas de e-commerce de grande escala.
3. Privacidade Operacional: Diferente do uso de APIs externas (como o GPT-4), o uso de um modelo de código aberto e auto-hospedado garante a privacidade e a segurança dos dados, um fator crítico para ambientes de e-commerce corporativos.

Os autores concluem que, embora a avaliação tenha focado na busca patrocinada, a metodologia é versátil e aplicável a contextos mais amplos de busca em e-commerce, oferecendo uma solução prática e impactante para melhorar as experiências de varejo online.