Resumo Técnico: Otimização de Engajamento de Usuário a Longo Prazo através de Aprendizado de Recompensas de Downstream Agnóstico ao Modelo

1. Definição do Problema

O artigo aborda o desafio de otimizar o engajamento e a retenção de usuários a longo prazo em sistemas de recomendação de larga escala, especificamente no contexto do Pinterest. Embora os sistemas modernos otimizem efetivamente sinais comportamentais de curto prazo (ex: cliques imediatos), otimizar a retenção a longo prazo é difícil devido a três fatores principais:

1. Esparsidade e Ruído: Os rótulos de retenção (ex: se um usuário retorna em uma semana) são esparsos, ruidosos e apenas fracamente observáveis.
2. Atraso e Atribuição: Os sinais de retenção são atrasados, tornando desafiadora a atribuição de resultados futuros a recomendações anteriores específicas.
3. Mudança de Distribuição: Os interesses dos usuários e as distribuições de dados evoluem ao longo do tempo, fazendo com que objetivos substitutos fixos tornem-se obsoletos e desalinhados com os comportamentos que impulsionam o valor a longo prazo.

Abordagens existentes que utilizam Aprendizado por Reforço (RL) ou modelagem sequencial frequentemente exigem engenharia de recompensa específica para a tarefa, sobrecarga computacional substancial e são difíceis de generalizar entre diferentes superfícies de produto (ex: Homefeed, Busca, Pins Relacionados).

2. Metodologia

Os autores propõem um framework unificado e agnóstico ao modelo de recompensas de downstream (DR). Em vez de otimizar diretamente para rótulos de retenção atrasados, o sistema aprende a otimizar "recompensas de downstream" — sinais de proxy derivados de padrões observados de ação do usuário que são preditivos da retenção futura.

2.1 Framework de Triagem Offline

Antes de definir as recompensas, os autores desenvolveram um framework de triagem offline para identificar comportamentos ao nível de sessão que servem como proxies válidos. Usando uma análise de dia-pivô em usuários de baixo engajamento, eles triaram centenas de candidatos a recursos contra três critérios:

1. Correlação: Deve correlacionar-se com o engajamento sustentado futuro (não apenas atividade imediata).
2. Observabilidade: Deve ser observável dentro ou logo após a sessão.
3. Previsibilidade Incremental: Deve permanecer preditivo após o controle de sinais correlacionados.

Principais Descobertas da Triagem:

• Profundidade sobre Amplitude: O engajamento profundo (ex: salvamentos, visualizações detalhadas longas, exploração de "rabbit hole" P2P) é positivamente correlacionado com a retenção, enquanto a navegação rasa de alto volume é frequentemente enganosa quando o volume de exposição é controlado.
• Exploração P2P: A densidade de exploração dentro do "rabbit hole" Pin-to-Pin (P2P) é um forte preditor de retorno mais rápido.
• Duração da Sessão: Sessões mais longas estão empiricamente ligadas a revisitas mais rápidas.

2.2 Designs de Recompensa de Downstream

Com base nos insights da triagem, os autores definem três famílias complementares de recompensas:

1. Recompensas para Engajamento de Sessão Mais Profundo:

   • Calcula a soma cumulativa descontada de ações de alta intenção (salvamentos, downloads, capturas de tela) que ocorrem a jusante (downstream) de uma recomendação dentro de uma sessão.
   • Fórmula: $R_{eng}(S_{u,t}) = \sum \gamma^{i-1} r_{eng}$, onde $\gamma$ é um fator de desconto que favorece eventos mais próximos da recomendação inicial.

2. Recompensas Negativas (Visualizações Rasas):

   • Penaliza explicitamente interações "rasas" que indicam uma experiência de usuário ruim.
   • Define uma "visualização rasa" como uma visualização detalhada com um tempo de permanência abaixo de um limite específico do estado do usuário (ex: <1s para usuários principais, <0,5s para não-principais) que não é seguida por nenhuma ação de alta intenção subsequente.
   • Este sinal é tratado como uma recompensa negativa para desencorajar o modelo de exibir conteúdo que leva ao abandono imediato.

3. Recompensas para Adoção de Casos de Uso:

   • Incentiva o modelo a exibir conteúdo que expanda o espaço de interesse do usuário além de seus clusters estabelecidos.
   • Uma recompensa é acionada se um usuário interage com um item cujo embedding é dissimilar de todos os seus clusters de interesse pré-computados (similaridade < $\eta$).
   • Isso atua como um proxy para expandir a intenção do usuário mantendo o alinhamento com os objetivos de engajamento.

2.3 Infraestrutura e Engenharia

Para lidar com a complexidade combinatória das definições de recompensa e a necessidade de iteração rápida, os autores construíram uma infraestrutura DRv2:

• DRv1 (Legado): Tabelas pré-agregadas que exigiam recomputação total via self-joins do Spark para qualquer mudança na definição da recompensa (semanas para iterar).
• DRv2 (Proposto): Armazena o engajamento do usuário como sequências diárias reutilizáveis. Os rótulos de recompensa são computados sob demanda dentro de um dataloader baseado em Ray usando Funções Definidas pelo Usuário (UDFs) configuráveis.
• Impacto: Isso reduziu o tempo para experimentação de ~3 semanas para ~2 dias e manteve os custos de treinamento incremental dentro de 5% do baseline.

2.4 Integração com Modelos de Ranking

O framework é agnóstico ao modelo e pode ser aplicado a qualquer modelo de ranking supervisionado ou baseado em RL. Em produção, as recompensas de downstream são integradas como cabeças auxiliares em modelos de aprendizado multitarefa. A pontuação final é uma combinação linear de previsões de engajamento imediato e previsões de recompensa de downstream, com pesos ajustados via HyperOPT para equilibrar a experiência imediata com a retenção a longo prazo.

3. Resultados Experimentais

Os autores realizaram extensos testes A/B online no Homefeed, Busca, Pins Relacionados e Notificações do Pinterest.

3.1 Resultados do Homefeed

• Recompensas de Sessão Mais Profunda: Levaram a um aumento de +0,36% em Sessões Bem-Sucedidas (SS) e +0,10% em Tempo Total Gasto. Os Usuários Ativos Semanais (WAU) aumentaram em +0,1%.
• Recompensas Negativas: Após otimizar os limites por estado do usuário (principal vs. não-principal), o modelo alcançou um aumento de +0,16% em SS, uma diminuição de -0,40% em sessões malsucedidas e um aumento de +0,35% no tempo total gasto. Crucialmente, esta configuração manteve tendências de retenção positivas tanto para usuários principais quanto para não-principais, ao contrário de uma abordagem de limiar uniforme que prejudicou a retenção dos não-principais.
• Adoção de Caso de Uso: Melhorou os salvamentos no Homefeed em +0,42% e aumentou a proporção de usuários que interagem com múltiplos casos de uso em +0,18%.

3.2 Escalonamento entre Superfícies

O framework foi estendido com sucesso para Busca, Pins Relacionados e Notificações:

• Busca: +0,25% de aumento na Taxa de Cumprimento de Busca.
• Pins Relacionados: +0,15% de aumento em Sessões Bem-Sucedidas.
• Notificações: +0,14% de aumento em Sessões Bem-Sucedidas e ganho de +0,11% em WAU.
• Especificidades de P2P: Implementar uma penalidade específica de visualização rasa no ranker de P2P (com um limiar de 2s) resultou em +0,14% de SS e um aumento de +0,70% em sessões com mais de 5 minutos.

4. Principais Contribuições

1. Insights para Modelagem de Retenção de Usuário: Um framework de avaliação offline que identifica sinais ao nível de sessão (especificamente exploração P2P profunda e salvamentos) como proxies válidos para retenção a longo prazo, filtrando sinais rasos enganosos.
2. Recompensas de Downstream Agnósticas ao Modelo: Um framework unificado que gera sinais de recompensa complementares (positivos, negativos e adoção de caso de uso) aplicáveis a diferentes modelos de deep learning e superfícies de produto.
3. Infraestrutura de Geração de Rótulos de Recompensa: Uma infraestrutura escalável baseada em Ray (DRv2) que permite a iteração rápida em definições de recompensa sem pesada sobrecarga de engenharia.
4. Avaliações Empíricas: Validação através de testes A/B online de longo prazo demonstrando melhorias consistentes em métricas de engajamento e retenção em múltiplas superfícies do Pinterest.

5. Significância e Alegações

O artigo afirma que este framework fornece uma solução prática e escalável para otimizar o valor do usuário a longo prazo em sistemas de recomendação industriais sem a complexidade da implementação total de Aprendizado por Reforço. Ao mudar o foco de cliques imediatos para "recompensas de downstream" que capturam a qualidade e a profundidade das sessões do usuário, o sistema mitiga com sucesso a esparsidade e o atraso dos rótulos de retenção.

Os autores enfatizam que o framework é generalizável e agnóstico ao modelo, permitendo que seja implantado em diversas superfícies (Homefeed, Busca, P2P) com mínima reengenharia. Os resultados sugerem que otimizar a qualidade da jornada do usuário (profundidade, diversidade e evitar interações rasas) é mais eficaz para a retenção a longo prazo do que otimizar o volume bruto de atividade. O trabalho foi totalmente implantado em produção no Pinterest, demonstrando que equilibrar o engajamento imediato com o valor de downstream é alcançável e benéfico tanto para a experiência do usuário quanto para as métricas de negócio.