Resumo Técnico: IA Generativa com RAG Consciente de Inventário para Busca Patrocinada

1. Declaração do Problema

A busca patrocinada é um dos principais impulsionadores de receita para plataformas de e-commerce como o Walmart, mas existe uma ineficiência significativa: aproximadamente 13% das consultas de busca dos usuários não conseguem recuperar nenhum anúncio de produtos patrocinados. Esse fenômeno de "preenchimento zero" (zero-fill) decorre de um desalinhamento entre as consultas dos usuários, o vasto e evolutivo cenário de palavras-chave e as restrições de inventário em tempo real.

As soluções atuais geralmente se dividem em duas categorias:

• Recuperação de Informação (IR): Métodos como Dense Retrieval (ANCE, RocketQA) utilizam aprendizado profundo para combinar consultas e palavras-chave, mas frequentemente carecem de sincronização de inventário em tempo real.
• Geração de Linguagem Natural (NLG): Modelos como CLOVER e ProphetNet-Ads geram variações de palavras-chave, mas frequentemente negligenciam dados dinâmicos de inventário e estratégias específicas de lances de campanhas de anúncios.

O desafio central é duplo: aumentar a relevância das inserções de anúncios para alinhar-se ao inventário disponível e aos orçamentos dos anunciantes, enquanto simultaneamente mantém uma experiência de usuário de alta qualidade, apresentando anúncios que sejam percebidos como relevantes. A incapacidade de resolver esses desalinhamentos resulta em perda substancial de receita e oportunidades perdidas de engajamento do cliente.

2. Metodologia: InvAwr-RAG

Os autores propõem o modelo de IA Generativa com RAG consciente de inventário (InvAwr-RAG), um sistema projetado para reescrever dinamicamente as consultas dos usuários em tempo real para alinhar-se ao inventário disponível e às campanhas de anúncios. A metodologia consiste em quatro estágios primários:

2.1. Preparação de Dados

• Conjunto de Dados Two-Tower BERT: Consultas são pareadas com títulos de produtos e pontuações de relevância, aprimoradas por anotação humana para capturar relações semânticas.
• Análise de Logs de Busca: Consultas populares são identificadas com base na frequência e impressões de anúncios para guiar o componente RAG.
• Coleta de Consultas Reescritas: O sistema faz a curadoria de um conjunto de dados de reescritas de consultas bem-sucedidas. Especificamente, foram selecionadas consultas que geraram pelo menos 500 cliques nos mesmos itens ao longo de um período de seis meses. Estas foram rigorosamente filtradas por avaliadores humanos para garantir unicidade e alternativas distintas antes do treinamento do LLM de Reescrita de Consulta.

2.2. Arquitetura do Modelo

A arquitetos integra um componente de recuperação com um componente generativo:

• Two-Tower BERT: Este componente processa as consultas do usuário e os títulos dos produtos separadamente usando codificadores distintos para gerar embeddings ($U$ e $V$). A similaridade de cosseno é usada para avaliar a qualidade da correspondência, treinando o modelo para identificar produtos mais relevantes para uma consulta.
• LLM de Reescrita de Consulta (Ajuste Fino LoRA): Baseado no Llama2 7B, o modelo é ajustado via Low-Rank Adaptation (LoRA). Esta abordagem introduz matrizes de baixo posto ($A$ e $B$) nas matrizes de pesos, permitindo uma adaptação eficiente e direcionada ao domínio de busca patrocinada sem o retreinamento de todo o modelo. O modelo aprende a gerar reescritas de consultas contextualmente relevantes e conscientes do inventário.

2.3. Pipeline de Geração Aumentada por Recuperação (RAG)

O sistema de ponta a ponta opera através de um pipeline de seis etapas (Figura 3):

1. Classificador de Consulta: Um classificador baseado em regras identifica consultas de baixo desempenho (ex: baixas taxas de clique) e as redireciona para o pipeline de reescrita.
2. Recuperação Dinâmica de Inventário: O sistema recupera os $N=20$ itens de inventário superiores em um banco de dados vetorial baseado na similaridade de cosseno em relação à consulta, garantindo que as restrições de orçamento sejam atendidas.
3. Preparação de Prompt: Os prompts são construídos combinando a consulta original do usuário com descrições dos itens recuperados (Figura 4).
4. Reescrita por LLM: O LLM ajustado gera consultas reescritas diversas e relevantes, vinculadas ao inventário disponível.
5. Integração de Consultas Populares: O sistema recupera consultas historicamente bem-sucedidas de logs de busca que se assemelham à saída do LLM, enriquecendo as sugestões com padrões de busca comprovados.
6. Fusão e Recuperação Final: As $K=5$ consultas reescritas são fundidas com as consultas históricas populares. Um modelo cross-encoder BERT avalia a relevância dos itens de anúncios resultantes, filtrando aqueles que atendem aos limiares de relevância predefinidos.

2.4. Seleção de Parâmetros

• $N=20$ Itens: Selecionados para equilibrar diversidade e especificidade, maximizando o engajamento do usuário sem causar fadiga de decisão, mantendo a eficiência computacional.
• $K=5$ Consultas Reescritas: Escolhidas para fornecer variação linguística suficiente para capturar a intenção do usuário, mantendo a precisão e o foco.

3. Principais Contribuições

O artigo destaca cinco inovações primárias:

1. Reescrita Dinâmica de Consulta Robusta: Um modelo que ajusta as consultas para alinhar-se ao inventário e lances em tempo real, convertendo buscas anteriormente impossíveis em oportunidades de anúncios.
2. Integração de Dados em Tempo Real: O sistema integra dados de inventário e lances ao vivo para garantir que cada busca possa resultar na exibição de um anúncio relevante.
3. Geração de Consulta Híbrida: Uma abordagem única que combina consultas geradas por IA com consultas historicamente bem-sucedidas para equilibrar frescor com confiabilidade.
4. Otimização Dupla: Melhora simultaneamente a experiência do usuário (via sugestões relevantes) e o ROI do anunciante (via maximização da visibilidade do produto).
5. Escalabilidade: O uso de processamento de dados avançado e adaptabilidade de LLM garante que a solução possa evoluir com as dinâmicas de mercado.

4. Resultados

Os autores realizaram uma avaliação offline em um conjunto de dados de 10.000 consultas com uma taxa histórica de 0% de preenchimento (fill rate).

• Taxa de Preenchimento (Fill Rate): O modelo InvAwr-RAG alcançou uma taxa de preenchimento de 68% neste conjunto desafiador. Em comparação, um modelo baseline GPT-4 (sem ajuste fino específico para varejo) alcançou uma taxa de preenchimento de 53%.
• Relevância (NDCG@8): Usando o Ganho Cumulativo Descontado Normalizado com um corte de 8, o InvAwr-RAG obteve uma pontuação de 0,6847, superando o GPT-4 (0,6458) e o baseline (0).
• Método de Avaliação: Estas métricas foram validadas por avaliadores humanos de terceiros, que analisaram os 8 principais itens retornados por cada modelo.

O artigo observa que estes são resultados offline preliminares e que testes A/B estão planejados para medir os impactos ao vivo na Taxa de Preenchimento, Taxa de Clique (CTR), Taxa de Conversão e Receita.

5. Significância e Alegações

O artigo posiciona o InvAwr-RAG como um novo padrão para otimização dinâmica de consultas em buscas patrocinadas. Os autores afirmam que o modelo aborda uma lacuna crítica onde os métodos existentes de IR e NLG falham em sincronizar com o inventário dinâmico, levando ao desperdício de inventário de anúncios e a uma experiência de usuário insatisfatória.

• Potencial de Receita: Os autores projetam que a capacidade do modelo de converter consultas de preenchimento zero pode levar a um aumento na receita de anúncios de até US$ 1 bilhão nos próximos cinco anos.
• Impacto Estratégico: Ao garantir que aproximadamente 13% das buscas anteriormente não monetizadas possam agora exibir anúncios relevantes, o sistema melhora significativamente a relevância dos anúncios, o ROI do anunciante e a experiência geral de compra na plataforma digital do Walmart.
• Trabalho Futuro: Os autores afirmam que os esforços futuros focarão no refinamento da compreensão da intenção do usuário, na expansão da aplicabilidade para diversas categorias de produtos e na melhoria da escalabilidade conforme o inventário e a base de usuários crescerem.