Generative Long-term User Interest Modeling for Click-Through Rate Prediction

Resumo Técnico: Modelagem Generativa de Interesses de Usuário de Longo Prazo para Previsão de Taxa de Clique (GenLI)

Declaração do Problema
A previsão de Taxa de Clique (CTR) é uma tarefa fundamental em sistemas de publicidade e recomendação, dependendo fortemente da modelagem precisa de interesses de longo prazo dos usuários derivados de sequências massivas de comportamentos históricos. As abordagens mais avançadas atuais geralmente empregam um framework de dois estágios consistindo em uma Unidade de Busca Geral (GSU) e uma Unidade de Busca Exata (ESU). A GSU recupera um subconjunto de comportamentos relevantes com base na similaridade ao item-alvo, enquanto a ESU os agrega por meio de mecanismos de atenção.

Os autores identificam três limitações críticas nas abordagens GSU centradas no alvo existentes:

1. Representação Incompleta de Interesses: Ao focar exclusivamente em comportamentos relevantes para o item-alvo específico, esses modelos ignoram outros interesses latentes do usuário, levando a características de interesse enviesadas e incompletas.
2. Gargalo Computacional: O processo de recuperação baseado em correspondência requer o cálculo de pontuações de similaridade par a par entre o item-alvo e cada comportamento histórico. À medida que as sequências de comportamento do usuário crescem (frequentemente para milhares de itens), isso torna-se um gargalo demorado para serviços online.
3. Interações Comportamentais Ignoradas: A arquitetura par a par compara o item-alvo com comportamentos individuais isoladamente, negligenciando as informações de interação e padrões existentes entre os comportamentos históricos do usuário.

Metodologia: Framework GenLI
Para abordar essas questões, os autores propõem o GenLI, um framework generativo de modelagem de interesses de longo prazo dos usuários. Diferentemente dos métodos tradicionais baseados em recuperação, o GenLI adota uma abordagem generativa que é independente do alvo. O framework consiste em três módulos principais:

1. Módulo de Geração de Interesses (IGM):

   • Entrada: O IGM utiliza uma sequência de comportamento de curto prazo (os $l$ comportamentos mais recentes) em vez do item-alvo.
   • Mecanismo: Emprega Atenção Multi-Cabeça (MHA) para processar esses comportamentos de curto prazo. Os vetores de consulta consistem no embedding do comportamento mais recente e em um vetor de consulta aprendível para capturar conhecimento de interação.
   • Saída: O módulo gera múltiplas distribuições de interesses discretas representando diferentes aspectos dos interesses do usuário em tempo real:
     • Interesse Explícito ($\mathbf{p}_E$): Derivado de interações diretas (por exemplo, cliques), otimizado via verossimilhança negativa em itens clicados.
     • Interesse Implícito ($\mathbf{p}_I$): Derivado de itens expostos (impressões sem cliques), representando preferências estáveis de longo prazo.
     • Interesse Relativo ($\mathbf{p}_R$): Definido como a diferença entre as distribuições explícita e implícita ($\mathbf{p}_E - \mathbf{p}_I$), capturando a tendência de mudança dos interesses do usuário e o contraste na tomada de decisão.
   • Característica Chave: Este processo é independente do alvo, garantindo que as distribuições geradas abranjam uma gama mais ampla e diversificada de interesses do usuário.

2. Módulo de Recuperação de Comportamentos (BRM):

   • Mecanismo: Em vez de calcular similaridades par a par, o BRM realiza uma simples operação de consulta. Para cada distribuição de interesse gerada, comportamentos históricos são atribuídos pontuações com base em seus IDs únicos mapeados para os índices da distribuição (via uma operação modular).
   • Eficiência: Isso reduz a complexidade temporal para ponderar cada comportamento para $O(1)$.
   • Seleção: O módulo seleciona os $k$ principais comportamentos para cada uma das três distribuições de interesse ($\mathbf{B}_I, \mathbf{B}_E, \mathbf{B}_R$), resultando em um total de $K$ comportamentos recuperados. Este processo incorpora inerentemente informações de interação da fase de geração e filtra ruído.

3. Módulo de Fusão de Interesses (IFM):

   • Agregação: Os comportamentos selecionados de cada distribuição são agregados separadamente usando Atenção Multi-Cabeça, onde o embedding do item-alvo atua como a consulta.
   • Fusão: Os embeddings de interesse resultantes são concatenados e processados por meio de um mecanismo de porta (MLP com ativação sigmoide) para produzir o vetor final de características de interesse de longo prazo do usuário ($\mathbf{x}_l$).
   • Previsão: Esta característica é concatenada com interesses de curto prazo, informações laterais e o embedding do item-alvo para prever a CTR por meio de um MLP padrão.

Principais Contribuições

• Primeira Abordagem Generativa para Interesses de Longo Prazo: Os autores afirmam ser os primeiros a introduzir métodos generativos especificamente para modelar interesses de longo prazo dos usuários em tarefas de previsão de CTR, afastando-se da recuperação centrada no alvo.
• Framework End-to-End: O GenLI integra Geração de Interesses, Recuperação de Comportamentos e Fusão de Interesses em um framework unificado e treinável end-to-end que pode ser facilmente inserido em modelos de CTR existentes.
• Diversidade e Eficiência: Ao gerar distribuições independentes do alvo, o modelo captura interesses diversos e completos do usuário. Simultaneamente, a recuperação baseada em consulta reduz significativamente a complexidade computacional em comparação com métodos baseados em correspondência.

Resultados Experimentais
Os autores avaliaram o GenLI em três conjuntos de dados: Amazon (Livros), TaoBao e um conjunto de dados industrial em grande escala da Meituan.

• Desempenho Offline:

  • Nos conjuntos de dados Amazon e TaoBao, o GenLI alcançou desempenho de Estado da Arte (SOTA), superando bases fortes como TWIN, SIM e ETA. Especificamente, mostrou melhorias absolutas de AUC de 0,61% (Amazon) e 1,03% (TaoBao) sobre a melhor base.
  • No conjunto de dados industrial, o GenLI melhorou o AUC em 0,22% sobre o TWIN, ao mesmo tempo que reduziu o tempo de inferência (4,6 ms vs. 7,9 ms para o TWIN).
  • Estudos de ablação confirmaram que as três distribuições geradas (Explícita, Implícita, Relativa) contribuem para o desempenho, sendo o interesse explícito o que tem o impacto mais direto.

• Desempenho Online:

  • Em um teste A/B na plataforma de entrega de alimentos da Meituan (lidando com 30% do tráfego), o GenLI demonstrou um aumento de 0,776% na CTR e um aumento de 1,567% na Receita por Mil (RPM) em comparação com a base de produção.
  • O modelo foi totalmente implantado no sistema de publicidade do mundo real, atendendo centenas de milhões de usuários diariamente.

Significado e Afirmações
O artigo afirma que o GenLI equilibra com sucesso precisão e eficiência, um requisito crítico para sistemas industriais de CTR. Ao mudar de um paradigma de recuperação centrado no alvo para uma abordagem de modelagem generativa independente do alvo, o GenLI supera as limitações de captura incompleta de interesses e alta latência computacional. Os autores enfatizam que a capacidade de modelar interesses latentes diversos, sem o gargalo da correspondência par a par, permite uma personalização mais robusta em escala. A implantação bem-sucedida e as métricas online positivas validam o valor de aplicação prática dos métodos generativos na modelagem de interesses de longo prazo dos usuários.