Resumo Técnico: Mind the Gap: Bridando Silos Comportamentais com LLMs em Recomendações Multiverticais

1. Declaração do Problema

Em ecossistemas de e-commerce multiverticais como o DoorDash, a expansão para novos domínios (ex: mercearia, varejo, beleza) cria um desafio significativo de personalização: o problema do "cold start" (início a frio). Os usuários frequentemente carecem de histórico de engajamento nessas verticais emergentes, tornando difícil gerar recomendações relevantes. Por outro outro lado, essas plataformas possuem dados comportamentais ricos de verticais estabelecidas e de alto tráfego (ex: pedidos de restaurantes). O desafio central abordado por este trabalho é como transferir efetivamente o conhecimento latente de verticais ricas em dados para verticais esparsas, a fim de melhorar a qualidade da recomendação sem depender de interações históricas diretas no novo domínio.

2. Metodologia

Os autores propõem um framework inovador que utiliza Grandes Modelos de Linguagem (LLMs) para realizar engenharia de características semânticas, sintetizando características de afinidade de usuário estruturadas a partir de dados comportamentais não estruturados.

2.1 Geração Aumentada por Recuperação Hierárquica (RAG)

O sistema emprega um pipeline de RAG hierárquico para mapear sinais de usuário não estruturados (históricos de pedidos de restaurante e consultas de busca) para uma taxonomia interna de produtos de quatro níveis (L1–L4).

• Inferência em Cascata: O processo opera via uma estratégia de inferência em cascata. O modelo primeiro identifica afinidades taxonômicas amplas e de nível superior (L1, L2). Essas classificações de alta confiança então restringem o espaço de busca generativa para recuperações subsequentes em níveis mais granulares (ex: L3). Este refinamento iterativo evita a geração de subcategorias plausíveis, porém incorretas.
• Foco de Características: Para o ranker de Aprendizado Multitarefa (MTL) de produção, o sistema visa especificamente as afinidades L2 e L3, pois o L1 é frequentemente muito geral e o L4 sofre de excessiva esparsidade.

2.2 Síntese Generativa de Características

O framework gera duas classes distintas de características para aumentar a representação do usuário:

1. Perfil de Afinidade Transversal de Longo Prazo: Captura preferências latentes e históricas inferidas a partir do histórico cumulativo de pedidos de restaurantes.
2. Perfil de Intenção de Curto Prazo: Modela interesses recentes e transitórios derivados da atividade de busca na plataforma.

2.3 Engenharia de Prompt e Controle

Para garantir saídas de alta fidelidade e determinísticas, os autores implementaram controles rigorosos de engenharia de prompt:

• Entrada Contextual: Os prompts concatenam nomes de restaurantes históricos e itens pedidos cronologicamente, priorizando o comportamento recente, juntamente com consultas de busca.
• Filtragem de Confiança: O modelo é instruído a atribuir um escore de confiança a cada afinidade gerada. Apenas taxonomias que excedem um limiar de confiança de 0,8 são incluídas. Isso atua como um mecanismo de autocorreção para filtrar associações espúrias.
• Restrições de Saída: O modelo é restrito a fornecer a grafia exata da taxonomia a partir de uma lista fornecida, evitando a invenção de categorias inexistentes.

2.4 Integração em MTL de Produção

As características derivadas de LLM são integradas ao modelo de ranking MTL de produção existente:

• Aumento de Características: As novas características esparsas ($u_{LLM}$), representando afinidades de usuário, são concatenadas com vetores de engajamento de usuário existentes ($u_{eng}$) e vetores de características de item ($i_{eng}$).
• Estratégia de Embedding: Características categóricas de comprimento variável (listas de IDs de taxonomia) são mapeadas para vetores densos via uma tabela de embedding compartilhada e agregadas usando mean pooling para lidar com tensores de entrada irregulares (jagged).
• Arquitetura do Modelo: O vetor de características aumentado alimenta um tronco MLP compartilhado seguido por cabeças de predição específicas para cada tarefa, otimizando conjuntamente para objetivos como taxa de clique (CTR), adicionar ao carrinho e compra.

2.5 Otimização

• Seleção de Modelo: Uma análise de custo-desempenho identificou o GPT-4o-mini como o modelo ideal, entregando qualidade comparável ao GPT-4o com um custo computacional substancialmente menor.
• Redução de Custo: A implementação de cache de prompt (para instruções estáticas e taxonomia) e materialização de características just-in-time (atualizando afinidades apenas após novas ações do usuário) reduziu os custos computacionais totais em aproximadamente 80%.

3. Avaliação Experimental

3.1 Avaliação Offline

O modelo proposto foi avaliado contra um modelo baseline MTL treinado exclusivamente em engajamento histórico e atributos de itens usando um conjunto de dados de retenção (holdout) de 15 dias.

• Métricas: O desempenho foi medido através da Área Sob a Curva ROC (AUC-ROC) e do Rank Recíproco Médio (MRR).
• Análise de Coorte:
  • População Geral: O modelo proposto alcançou um aumento relativo de 4,4% em AUC-ROC e um aumento de 4,8% em MRR.
  • Consumidores de Cold-Start: Esta coorte observou um aumento de 4,0% em AUC-ROC e um aumento de 1,1% em MRR, validando a hipótese de que as preferências de gosto históricas podem ser efetivamente transferidas entre verticais.
  • Consumidores de Alto Poder (Power Consumers): Este grupo beneficiou-se mais do sinal de consulta de busca, alcançando um aumento de 5,2% em AUC-ROC e um aumento de 2,2% em MRR.

3.2 Implantação em Sombra Online (Shadow Deployment)

Para validar os achados offline, o sistema foi implantado em modo sombra contra o tráfego real.

• Resultados: O modelo aumentado por LLM demonstrou uma melhoria de 4,3% em AUC-ROC e um aumento de 3,2% em MRR sobre o baseline para a população geral, confirmando a eficácia no mundo real.

3.3 Avaliação de Qualidade de Características

Avaliações qualitativas e quantitativas confirmaram a relevância das características geradas:

• Avaliação Humana: Características derivadas de consultas de busca foram classificadas como "Altamente Personalizadas" em 70,7% dos casos, comparado a 53,0% para pedidos de restaurantes.
• LLM-as-a-Judge: Usando o GPT-4o para pontuar a relevância, as consultas de busca novamente superaram o histórico de pedidos (61,6% altamente personalizado vs. 56,6%), alinhando-se com a natureza explícita da intenção de busca.

4. Principais Contribuições e Significância

O artigo afirma oferecer um caminho prático para construir sistemas de recomendação mais holísticos e adaptáveis, abordando a lacuna de dados comportamentais em marketplaces multiverticais.

• Framework Inovador: A introdução de um pipeline de RAG hierárquico para derivar características taxonômicas de múltiplos níveis a partir de dados de usuário não estruturados.
• Ponte Semântica: Demonstrar que LLMs podem atuar efetivamente como uma ponte semântica, transferindo conhecimento de verticais ricas em dados (restaurantes) para verticais esparsas (mercearia/varejo) para resolver o problema de cold-start.
• Viabilidade de Produção: O trabalho prova que características geradas por LLM podem ser integradas em modelos de ranking MTL de produção com ganhos de desempenho significativos, gerenciando custos computacionais através de seleção estratégica de modelos e cache.
• Insight Comportamental: Os resultados validam que afinidades latentes de usuário inferidas de uma vertical podem melhorar significativamente a personalização em outra, particularmente para usuários sem histórico direto no domínio alvo.

5. Trabalho Futuro

Os autores delineiam três direções específicas para pesquisas futuras:

1. Prompting Avançado: Investigar paradigmas como Chain-of-Thought e autocorreção, além de explorar o ajuste fino (fine-tuning) de domínio específico para LLMs menores e mais eficientes.
2. Integração no Funil: Integrar características generativas mais cedo no funil de recomendação, especificamente na etapa de recuperação de candidatos (candidate retrieval), para criar um sistema end-to-end mais sinérgico.
3. Dinâmicas Temporais: Explorar as dinâmicas temporais das afinidades para construir modelos de recomendação mais adaptáveis e conscientes da sessão (session-aware).