PinRec: Outcome-Conditioned, Multi-Token Generative Retrieval for Industry-Scale Recommendation Systems

Each language version is independently generated for its own context, not a direct translation.

Imagine que o Pinterest é uma biblioteca gigante e mágica com mais de 1,5 bilhão de livros (os "Pins"). O desafio é: como encontrar o livro perfeito para você, agora, entre tantas opções?

Antigamente, os sistemas de recomendação funcionavam como dois bibliotecários separados: um olhava o que você leu antes e o outro olhava o livro que você está segurando. Eles tentavam adivinhar o próximo livro baseado em uma "semelhança" matemática. Isso funcionava bem, mas era um pouco rígido.

O PinRec é a nova geração de bibliotecários, e este paper conta a história de como eles foram treinados para serem muito mais inteligentes, rápidos e flexíveis.

Aqui está a explicação simplificada, usando analogias do dia a dia:

1. O Problema: O "Robô de Um Objetivo"

Antes do PinRec, os sistemas de recomendação eram como um vendedor de carros que só sabia vender um tipo de carro. Se você quisesse um carro rápido (cliques) ou um carro confortável (salvamentos), o vendedor não sabia ajustar a conversa. Além disso, eles eram lentos para gerar uma lista inteira de sugestões, como se tivessem que escrever um livro de uma letra por vez.

2. A Solução: O "Chef de Cozinha Personalizado" (Geração Generativa)

O PinRec é como um Chef de Cozinha que não apenas segue uma receita, mas cria pratos novos baseados no que você gosta. Em vez de apenas procurar livros parecidos, ele cria a lista de sugestões do zero, como se estivesse escrevendo uma história para você.

O paper apresenta três "superpoderes" que tornam esse Chef especial:

A. O Controle de "Pedidos Específicos" (Outcome-Conditioned)

Imagine que você vai a um restaurante. Às vezes você quer algo rápido e leve (um "clique" rápido), e às vezes quer algo que você vai guardar na geladeira para comer depois (um "salvamento" ou repin).

O que o PinRec faz: Ele tem um botão mágico. Se o negócio quer mais "salvamentos", o Chef foca em pratos que as pessoas guardam. Se querem mais "cliques", ele foca em pratos que chamam a atenção na hora.
A mágica: O modelo pode ser instruído a equilibrar esses desejos. É como dizer ao Chef: "Hoje, quero 60% de pratos para salvar e 40% para comer na hora". Isso permite que o Pinterest atenda tanto aos objetivos da empresa quanto à curiosidade do usuário.

B. O "Salto no Tempo" (Multi-Token Generation)

Antigamente, o sistema era como alguém que escrevia uma carta uma letra por vez. Para sugerir 10 fotos, ele tinha que pensar, escrever a primeira, pensar, escrever a segunda... Isso demorava muito e tornava a lista de sugestões repetitiva.

O que o PinRec faz: Ele aprendeu a escrever palavras inteiras de uma vez. Em vez de gerar uma sugestão de cada vez, ele gera várias sugestões futuras simultaneamente (como se ele pudesse prever o que você vai querer daqui a 30 segundos, 1 minuto e 2 minutos ao mesmo tempo).
O resultado: A lista fica muito mais diversa (você vê coisas diferentes, não apenas o óbvio) e o sistema é muito mais rápido, permitindo atender milhões de pessoas sem travar.

C. O "Caminho Flexível" (Treinamento Relaxed)

Na vida real, quando você está rolando o feed do Pinterest, você não segue uma ordem rígida. Você pode clicar em algo, depois em outra coisa, depois voltar. A linguagem humana tem regras rígidas (sujeito antes do verbo), mas o comportamento humano no feed é caótico.

O que o PinRec faz: O modelo foi treinado para entender que, dentro de uma mesma sessão de navegação, qualquer coisa que você interagir depois é um "sucesso", não apenas a coisa imediatamente seguinte. É como se o Chef soubesse que, se você pediu um café, você pode querer um bolo logo em seguida, ou talvez um suco, e ambos são boas previsões.

3. O Resultado na Vida Real

Quando o Pinterest colocou esse "Chef" para trabalhar:

Mais Cliques: O site viu um aumento de 2% em cliques em todo o site.
Mais Salvamentos: As buscas por itens que as pessoas salvaram aumentaram 4%.
Velocidade: O sistema é rápido o suficiente para servir centenas de milhões de usuários sem atraso, algo que os modelos antigos de "geração" não conseguiam fazer em escala industrial.

Resumo Final

O PinRec é como transformar um sistema de recomendação de um "robô que segue regras" em um assistente pessoal inteligente. Ele entende que você pode querer coisas diferentes em momentos diferentes, ele é rápido o suficiente para pensar em várias opções de uma vez e ele sabe exatamente como equilibrar o que você gosta com o que o negócio precisa.

É um grande passo para a inteligência artificial na internet: não apenas prever o futuro, mas moldar a experiência do usuário para ser mais útil, divertida e personalizada.

Each language version is independently generated for its own context, not a direct translation.

Título: PinRec: Recuperação Generativa Condicionada a Resultados e Multi-Token para Sistemas de Recomendação em Escala Industrial

1. Problema e Contexto

O Pinterest, uma plataforma de descoberta visual com mais de 550 milhões de usuários ativos mensais, enfrenta o desafio de fornecer recomendações personalizadas em escala massiva (mais de 1,5 bilhão de Pins salvos por semana).

Limitações dos Métodos Atuais: Os sistemas tradicionais de recuperação (como arquiteturas de "two-tower") são eficientes, mas podem falhar em capturar padrões complexos de comportamento do usuário e garantir diversidade.
Desafios da Recuperação Generativa: Embora métodos de recuperação generativa (baseados em Transformers) tenham mostrado resultados promissores em benchmarks acadêmicos, sua aplicação em escala industrial enfrenta três barreiras principais:
1. Escalabilidade e Custo: A geração sequencial é computacionalmente cara e difícil de otimizar para latência em web-scale.
2. Flexibilidade de Objetivos: Métodos existentes geralmente otimizam um único objetivo (ex: cliques), enquanto sistemas industriais precisam equilibrar múltiplas métricas de negócio (ex: salvar, clicar, compartilhar) dinamicamente.
3. Diversidade: A geração de uma única representação de item por vez pode limitar a diversidade das recomendações, dificultando a exploração de ideias variadas pelo usuário.

2. Metodologia: PinRec

O PinRec é um modelo de recuperação generativa projetado especificamente para o Pinterest, utilizando uma arquitetura baseada em Transformers (Decoder). O sistema opera em duas etapas principais: geração de embeddings candidatos e recuperação via busca aproximada de vizinhos mais próximos (ANN).

A. Arquitetura do Modelo

Backbone: Utiliza uma pilha de camadas de Transformer com mascaramento de atenção causal para processar o histórico de interações do usuário.
Representação de Entrada: O histórico do usuário é composto por tuplas $(item, ação, superfície, tempo)$ $(item,ac\ca~o,superfıˊcie,tempo)$ .
- Embeddings de Item: Otimizados para Pins (combinação de embeddings semânticos OmniSage e embeddings de ID densos) e Consultas de Busca (semânticas).
- Embeddings Temporais: Capturam tanto o contexto temporal global (padrões diários/sazonais) quanto dinâmicas locais de sessão.
Geração: O modelo prevê os próximos itens na sequência de interação do usuário.

B. Inovações Principais

Geração Condicionada a Resultados (Outcome-Conditioned Generation):
- Diferente de modelos de linguagem padrão que geram uma única sequência, o PinRec permite que o modelo seja condicionado a um conjunto específico de resultados desejados (ex: maximizar "salvamentos" vs. "cliques").
- Isso é feito através de embeddings aprendíveis para cada tipo de resultado ( $c_1, c_2, ...$ ) que são injetados na cabeça de saída do modelo.
- Permite que os engenheiros de ML ajustem o comportamento do modelo em tempo de inferência para alinhar com objetivos de negócio específicos sem re-treinar o modelo.
Geração Multi-Token Temporal:
- Para resolver o custo computacional de gerar uma sequência item por item (autoregressivo estrito), o PinRec adota uma abordagem multi-token.
- O modelo gera múltiplos itens futuros em paralelo para diferentes intervalos de tempo ( $\delta$ ) a partir do estado atual, em vez de prever apenas o próximo token imediato.
- Isso reduz drasticamente o número de passos de inferência necessários para gerar um conjunto diversificado de candidatos.
Otimização de Treinamento:
- Utiliza Teacher Forcing com uma função de perda de Sampled Softmax.
- Introduz uma relaxação intra-feed: em vez de prever estritamente o próximo item, o modelo é treinado para prever qualquer item futuro dentro da mesma sessão de feed, alinhando-se melhor ao comportamento não linear dos usuários em redes sociais.

C. Infraestrutura de Serviço (Serving)

Implementado no NVIDIA Triton Inference Server com backend Python.
Utiliza CUDA Graphs e KV Cache para otimizar a latência da geração autoregressiva.
A recuperação de itens reais é feita via Faiss (IVF-HNSW) em hosts CPU.
Estratégia de Compressão de Embeddings: Embeddings gerados com alta similaridade são fundidos para evitar a recuperação de itens duplicados, preservando a diversidade e economizando orçamento de busca.

3. Resultados

Avaliação Offline

Desempenho: O PinRec superou significativamente os baselines (SASRec, PinnerFormer, TIGER, HTSU) em todas as superfícies (Homefeed, Pins Relacionados, Busca).
- O modelo completo PinRec-{MT, OC} (Multi-Token + Condicionado) apresentou um aumento de +10% a +30% no Recall@10 desordenado em comparação com a versão não condicionada (PinRec-UC).
Controle de Resultados: A condição de resultado demonstrou alta eficácia. Ao condicionar para "repins", o recall para essa ação aumentou em 1,9%, enquanto caiu para outras ações, provando a capacidade de direcionamento do modelo.
Eficiência Multi-Token: Aumentar o número de tokens gerados por passo (ex: 16 tokens) reduziu a latência de geração em ~10x em comparação com a geração passo-a-passo, ao mesmo tempo que melhorou a diversidade (+21,3%) e o recall.

Experimentos Online (A/B Testing)

Os testes foram realizados no Homefeed, Busca e Pins Relacionados:

Homefeed: A variante PinRec-{MT, OC} resultou em:
- +4,01% em cliques na grade do Homefeed.
- +0,55% no tempo gasto no site.
- Aumento significativo nas sessões "cumpridas" (sessões onde o usuário realizou pelo menos uma ação).
Busca: A variante não condicionada (PinRec-UC) melhorou a taxa de satisfação da busca em +2,27% e os "repins" de busca em +4,21%.
Impacto Geral: O sistema demonstrou capacidade de equilibrar desempenho, diversidade e eficiência, entregando um impacto positivo mensurável em métricas de negócio críticas.

4. Contribuições Chave

Primeiro Estudo Rigoroso em Escala Industrial: Este é, segundo os autores, o primeiro estudo detalhado sobre a implementação de recuperação generativa em escala de web (Pinterest), abordando desafios de latência e custo que impediam a adoção anterior.
Mecanismo de Condicionamento de Resultados: Uma nova abordagem para otimizar múltiplas métricas de negócio simultaneamente, permitindo controle dinâmico sobre o trade-off entre diferentes engajamentos (ex: cliques vs. salvamentos).
Framework de Geração Multi-Token: Uma técnica para gerar sequências de itens diversificados de forma eficiente, reduzindo a complexidade computacional da inferência autoregressiva.
Otimização de Infraestrutura: Detalhes sobre como escalar a inferência de modelos generativos para centenas de milhões de usuários usando otimizações de GPU e recuperação ANN.

5. Significado e Conclusão

O PinRec marca um marco na evolução dos sistemas de recomendação, demonstrando que métodos generativos baseados em Transformers podem ser viáveis e superiores aos métodos tradicionais de "two-tower" em ambientes de produção massivos.

Viabilidade: Prova que a complexidade computacional da geração generativa pode ser gerenciada através de otimizações de inferência e estratégias de multi-token.
Flexibilidade: A capacidade de ajustar o modelo para diferentes objetivos de negócio sem re-treinamento oferece uma vantagem estratégica significativa para plataformas dinâmicas.
Futuro: O trabalho abre caminho para futuras pesquisas em alinhamento de modelos de linguagem com sinais de engajamento e aplicação de técnicas generativas na fase de ranking (além da recuperação).

Em resumo, o PinRec não é apenas um modelo de pesquisa, mas uma solução industrial robusta que equilibra inovação algorítmica com requisitos práticos de escalabilidade e desempenho de negócios.