TokenMinds: Pretrained User Tokens and Embeddings for User Understanding in Large Recommender Systems

Resumo Técnico: TokenMinds

Declaração do Problema

Os sistemas de recomendação industriais tradicionalmente dependem de embeddings de usuário densos e de dimensão fixa para modelar os interesses do usuário. Embora eficazes, essas representações sofrem de limitações inerentes, como a perda de sinais detalhados ao comprimir todo o espectro de interesses de um usuário em um único vetor. Por outro outro lado, abordagens emergentes que utilizam Grandes Modelos de Linguagem (LLMs) para gerar perfis de usuário baseados em texto enfrentam gargalos significativos: elas frequentemente capturam apenas coocorrências tópicas em vez de dinâmicas profundas de comportamento sequencial, têm dificuldade em fundamentar as saídas de texto a atributos específicos de itens e introduzem lacunas de modalidade quando integradas em sistemas de downstream não textuais. Além disso, embora os IDs Semânticos (SIDs) tenham se mostrado eficazes para a tokenização de itens em recomendação generativa, sua aplicação para a modelagem de usuários permanece amplamente inexplorada.

Metodologia

O TokenMinds é um sistema de escala industrial projetado para preencher essas lacunas, estendendo o framework PLUM da recuperação de itens para a modelagem de usuários. Ele emprega uma arquitetura unificada de codificador-decodificador adaptada de LLMs pré-treinados para gerar simultaneamente duas saídas complementares:

1. Embeddings de Usuário Densos: Extraídos do codificador, garantindo compatibilidade com modelos de downstream existentes que dependem de vetores contínuos.
2. Tokens de Usuário Baseados em SID Discretos: Gerados de forma autorregressiva pelo decodificador, fornecendo representações de interesses de usuário discretas e semanticamente fundamentadas.

Componentes Principais

• Arquitetura: O sistema utiliza uma configuração de codificador-decodificador. O codificador processa sequências de características do usuário (históricos de visualização, consultas de busca) para produzir embeddings densos. O decodificador atende à saída do codificador via atenção cruzada (cross-attention) para gerar tokens de usuário baseados em SID. Esse design de saída dupla permite que o sistema sirva tanto a modelos legados de embedding denso quanto a novos modelos baseados em tokens.
• Tokenização de Entrada: Os comportamentos do usuário são tokenizados em uma sequência composta por:
  • Tokens de SID: Codewords discretos hierárquicos derivados de características de conteúdo de vídeo via um Autoencoder Variacional de Quantização Residual (RQ-VAE). Para incentivar a diversidade e mitigar a memorização, apenas o prefixo-$L$ do SID completo é utilizado.
  • Tokens Soft: Características não-SID (ex: tempo de exibição, dispositivo) são codificadas como tokens soft via projeção MLP.
  • Tokens de Condição: Tokens específicos de cenário (ex: <LFV>, <SFV>, <Search>) são prefixados para distinguir tipos de conteúdo e intercalar consultas de busca.
• Objetivo de Treinamento: O modelo é treinado via Ajuste Fino Supervisionado (SFT) seguindo o Pré-Treinamento Continuado (CPT) no vocabulário de SID. Ele emprega amostragem de antecipação (look-ahead sampling), selecionando aleatoriamente múltiplos alvos de visualização futuros de uma janela de 24 horas, em vez de apenas o próximo item imediato. Isso evita o overfitting a sessões imediatas e melhora a generalização para interesses futuros. A função de perda minimiza a entropia cruzada dos prefixos de SID previstos, ponderada por um sinal de recompensa de engajamento.
• Modelagem de Cenários Cruzados: O TokenMinds unifica a modelagem de Vídeo de Longa Duração (LFV) e Vídeo de Curta Duração (SFV) dentro de um único framework. Ao prefixar tokens de condição específicos de cenário, um único modelo pode processar sequências cronologicamente intercaladas. Na inferência, a decodificação de múltiplos contextos permite que o sistema gere tokens de usuário específicos de cenário a partir de uma única passagem de codificador compartilhada, eliminando a necessidade de execuções de inferência redundantes.
• Infraestrutura de Atendimento (Serving): Para lidar com bilhões de usuários sob rigorosas restrições de latência, o sistema desacopla a geração de representação da pontuação (scoring) em tempo real. Os embeddings e tokens de usuário são gerados assincronamente via um serviço de background e armazenados em cache em um armazenamento chave-valor. A pontuação em tempo real recupera essas representações pré-computadas, garantindo latência constante independentemente da complexidade do modelo subjacente.

Principais Contribuições

1. Arquitetura de Saída Dupla: A proposta do TokenMinds, uma arquitetura unificada que gera conjuntamente embeddings contínuos densos padrão e tokens de usuário discretos baseados em SID, permitindo a compatibilidade com sistemas existentes enquanto introduz novas capacidades representacionais.
2. Representações de Usuário Tokenizadas: A aplicação inovadora de tokens discretos baseados em SID para representação de usuário. O artigo identifica estratégias de adaptação ideais (especificamente Embeddings Aprendíveis) para integrar esses tokens em modelos de ranking de downstream, demonstrando que tokens e embeddings densos capturam sinais complementares.
3. Modelagem de Cenários Cruzados: Um paradigma altamente eficiente que consolida o treinamento e o atendimento para distintos cenários (LFV e SFV) em um único modelo. Esta abordagem utiliza decodificação de múltiplos contextos para alcançar saídas conscientes de cenário sem o overhead de múltiplos modelos.
4. Implantação em Escala Industrial: A validação bem-sucedida do sistema através de extensos experimentos offline e testes A/B ao vivo em múltiplas superfícies do YouTube, servindo tráfego total de usuários (bilhões de usuários).

Resultados

• Desempenho Offline: Estudos de ablação confirmam que a amostragem de antecipação e os prefixos de SID de grão grosso são críticos para a generalização. O uso de inicialização por CPT supera significativamente a inicialização aleatória ou checkpoints pré-treinados padrão.
• Desempenho Online: Testes A/B ao vivo em sistemas de ranking de produção mostram ganhos estatisticamente significativos:
  • Métricas Principais de Usuário: Melhoria de até +0,11%.
  • Métricas Principais de Engajamento: Melhoria de até +0,62%.
  • Complementaridade: A combinação de ambos, embeddings densos e tokens discretos, produz ganhos amplificados em comparação ao uso de apenas um deles, validando o design de saída dupla.
• Eficiência:
  • Treinamento: A consolidação de LFV e SFV em um único modelo reduz o computo de treinamento upstream em 50%.
  • Atendimento (Serving): A decodificação de múltiplos contextos reduz o computo de atendimento upstream em 31% comparado à manutenção de modelos separados.
  • Armazenamento: Representações de tokens discretos requerem 72% menos armazenamento (1.280 bytes vs. 4.608 bytes) do que embeddings densos.
• Escalabilidade: Estudos de escala indicam que o desempenho do modelo satura em aproximadamente 1.000 itens de histórico de visualização, e tamanhos de lote maiores aceleram a convergência e melhoram a qualidade da representação.

Significância

O artigo afirma que o TokenMinds demonstra a viabilidade prática de tokens de usuário baseados em SID em escala industrial. Ele estabelece que representações de usuário discretas e semanticamente fundamentadas oferecem uma direção promissora para escalar a modelagem de usuários além das restrições dos embeddings densos isolados. Ao integrar com sucesso esses tokens em sistemas de ranking de produção e mostrar seu valor complementar com embeddings densos, o trabalho sugere um novo paradigma para a compreensão do usuário em grandes sistemas de recomendação que equilibra generalização, eficiência e compatibilidade.