Resumo Técnico: Token Factory

Declaração do Problema

Grandes Modelos de Recomendação (LRMs) baseados em arquiteturas Transformer têm mostrado uma promessa significativa em tarefas de escala industrial, como a previsão do próximo vídeo. No entanto, existe um gargalo crítico na integração holística de sinais tradicionais (recursos densos, esparsos e de embedding) nesses modelos. Abordagens convencionais tipicamente "textualizam" esses sinais heterogêneos ou os mapeiam para representações discretas de itens (ex: IDs Semânticos). Esse mapeamento direto leva a:

• Comprimentos de Prompt Excessivos: Converter sinais densos (ex: taxas de conclusão de visualização, tempo de visualização) em texto cria prompts proibitivamente longos.
• Sobrecarga de Recursos: Prompts longos resultam em pegadas de memória substanciais e altos custos computacionais durante o treinamento e a inferência.
• Perda de Informação ou Ineficiência: Para caber nas janelas de contexto, os sistemas frequentemente truncam interações históricas de usuários, descartando dados históricos valiosos.

Metodologia: Token Factory

Para enfrentar essas limitações, os autores propõem o Token Factory, um framework que transforma sinais tradicionais em "soft tokens" (tokens suaves). Diferente dos "hard tokens" (tokens rígidos) padrão (IDs discretos de um vocabulário fixo), os soft tokens são representações de embedding contínuas geradas diretamente dentro do espaço de embedding do modelo.

Arquitetura Central

O framework consiste em Token Makers (Criadores de Tokens), que atuam como módulos especializados para processar grupos de recursos específicos:

1. WH Token Maker: Processa sequências de interação do usuário (ex: histórico de visualização).
2. Query Token Maker: Integra recursos de nível de usuário.
3. Candidate Token Maker: Integra recursos de nível de item candidato.

Processo de Transformação:

• Entrada: Recursos brutos (densos, esparsos, embeddings) são normalizados ou embedados e concatenados em um vetor $E_{input}$.
• Projeção: Uma função aprendível $G$ (ex: um MLP ou rede neural) mapeia $E_{input}$ para um número fixo ($N$) de soft tokens ($T_{output}$).
• Integração: Esses soft tokens são integrados de forma fluida com tokens textuais (ex: títulos de vídeos) no prompt do LRM.
• Otimização: A função $G$ é treinada conjuntamente (end-to-end) com o LRM, garantindo que os soft tokens se alinhem com o espaço semântico do modelo.

Mecanismos Chave

• Compactação de Prompt: Ao mapear um número arbitrário de recursos para um número pequeno e fixo de soft tokens, o framework evita a explosão do comprimento do prompt.
• Comprimento Determinístico: O comprimento do prompt é limitado a um orçamento pré-definido, independentemente da contagem de recursos de entrada, alcançado através de camadas de projeção de saída fixa.
• Compressão de Sequência: Para históricos de interação longos, o framework emprega MLP Compression (projetando a dimensão da sequência) ou Attention Pooling (resumindo cada $K$ itens em um único token) para reduzir ainda mais o comprimento da sequência enquanto retém informações críticas.
• Caching (Cache): Como os recursos de nível de usuário e de query são estáticos entre múltiplas pontuações de candidatos, seus respectivos soft tokens podem ser pré-computados e armazenados em cache, reduzindo significativamente a latência de inferência.

Contribuições Principais

1. Validação Empírica de Sinais Tradicionais: Os autores demonstram que alavancar um rico conjunto de sinais tradicionais (recursos densos/esparsos) é crítico para o desempenho do LRM, abordando as limitações dos métodos atuais de última geração que frequentemente os excluem devido a trade-offs computacionais.
2. Novo Framework Arquitetural: Introdução do Token Factory, que permite o mapeamento eficiente de recursos heterogêneos em soft tokens, servindo como uma nova modalidade para modelos de recomendação.
3. Validação de Eficiência e Qualidade: Através de avaliações offline e online, o framework mostra alcançar qualidade de ranking e recuperação comparável ou superior, permitindo simultaneamente melhorias significativas de eficiência.

Resultados Experimentais

O framework foi avaliado no PLUM, um Modelo de Recomendação Grande de produção no Google, em tarefas de ranking e recuperação generativa.

Tarefa de Ranking (Previsão de CTR)

• Configuração: Comparou um baseline (SIDs textuais + tokenização customizada de sinais densos) contra o Token Factory (soft tokens).
• Eficiência: O Token Factory reduziu o comprimento do prompt de 1.536 tokens para 480 tokens (uma redução de ~70%), resultando em um aumento de 200% na velocidade de treinamento.
• Qualidade: Inicialmente, o modelo Token Factory ficou ligeiramente atrás do baseline devido à necessidade de aprender novas tabelas de embedding. No entanto, ele alcançou o baseline em 1,5M de passos de treinamento e manteve um desempenho comparável.
• Escalabilidade: Aumentar o tamanho do lote (batch size) em 200% (possibilitado pelos ganhos de eficiência) permitiu que o modelo Token Factory superasse o baseline mesmo nos estágios iniciais de treinamento.

Tarefa de Recuperação Generativa (Previsão do Próximo Vídeo)

• Configuração: Comparou um baseline (SIDs textuais) contra o Token Factory em uma tarefa de recomendação da Página Inicial do YouTube.
• Desempenho Offline: Alcançou uma melhoria de +2,0% no Recall@10.
• Desempenho Online:
  • Impressões Únicas: Aumentaram em +16,8%.
  • Descoberta de Conteúdo Recente: As impressões únicas para vídeos novos de um dia aumentaram em +67,1%, indicando uma melhor capacidade de recuperar conteúdo novo.
  • Satisfação do Usuário: Ganhos positivos em Espectadores Satisfeitos (+0,04%) e Tempo de Visualização Satisfeito (+0,05%), confirmando que os ganhos de exploração não comprometeram a experiência do usuário.

Estudos de Ablação

• Importância de Recursos: A remoção de recursos densos/esparsos tradicionais resultou em degradação de desempenho, confirmando seu valor.
• Soft Token vs. SID Textual: Quando as restrições de janela de contexto eram apertadas, os soft tokens superaram os SIDs textuais porque permitiram que mais itens (200 vs. menos) coubessem no orçamento fixo do prompt.
• Histórico Mais Longo: Comprimir históricos de visualização estendidos (de 200 para 500 itens) em soft tokens gerou uma melhoria de +0,08% no AUC, demonstrando o valor da retenção de contexto mais longo.

Significância

O artigo afirma que o Token Factory oferece uma solução unificada para o problema da "explosão do comprimento do prompt" em sistemas de recomendação industriais. Ao transformar sinais heterogêneos em soft tokens, ele permite que os Grandes Modelos de Recomendação:

1. Ingiram informações mais ricas (históricos mais longos, mais recursos) sem aumentar o custo computacional.
2. Mantenham ou melhorem a qualidade do modelo tanto em tarefas de ranking quanto de recuperação.
3. Alcancem ganhos significativos de eficiência em treinamento e serviço, permitindo tamanhos de lote maiores e iterações mais rápidas.

O trabalho posiciona os soft tokens não apenas como uma técnica de compressão, mas como uma evolução necessária para integrar todo o espectro de sinais tradicionais de recomendação em arquiteturas modernas baseadas em Transformer.