Resumo Técnico: Além dos IDs de Itens – Escalando a Recomendação de Vídeos Curtos via Modelagem de Sequência Longa Nativa-Semântica

1. Definição do Problema

Os sistemas de recomendação de vídeos curtos enfrentam um gargalo duplo ao tentar modelar sequências de comportamento do usuário ultra-longas (comprimento $L > 10^3$):

1. Gargalo de Representação: Os tradicionais Video IDs ortogonais são semanticamente esparsos. Eles tratam os itens como tokens independentes, falhando em capturar relações de conteúdo e levando a uma generalização pobre para conteúdos de cold-start. Além disso, exigem tabelas de embedding que escalam de forma ilimitada com o tamanho do corpus, criando problemas de armazenamento e esparsidade.
2. Gargalo Computacional: Arquiteturas Transformer padrão dependem de mecanismos de autoatenção com complexidade quadrática ($O(L^2)$). Isso restringe o comprimento máximo da sequência sob rigorosas restrições industriais de latência e recursos, muitas vezes exigindo filtragem heurística ou agrupamento hierárquico que descarta sinais ou requer pré-computação offline complexa.

2. Metodologia

Os autores propõem um framework implantado em produção que sinergiza Representações Nativas-Semânticas com um Transformer Comprimido Globalmente Consciente para modelar sequências de até $L=2000$ em uma escala de bilhões de usuários.

2.1 Representação Nativa-Semântica (SIDs)

Para resolver o gargalo de representação, o sistema substitui os Video IDs atômicos por Identificadores Semânticos (SIDs) nativos de conteúdo, gerados via um VAE de Quantização Residual (RQ-VAE).

• Quantização Hierárquica: O RQ-VAE projeta embeddings de conteúdo multimodal em um espaço latente discreto e hierárquico, produzindo uma tupla de códigos $(c_1, c_2, \dots, c_D)$ que representa uma hierarquia semântica do grosso para o fino.
• Estratégia de Granularidade Assimétrica: Para equilibrar expressividade e eficiência para sequências ultra-longas, os autores empregam uma estratégia de Bi-gram de Truncamento de Profundidade:
  • Lado da Sequência (Grão Grosso): Os itens do histórico do usuário são restritos aos dois primeiros níveis da hierarquia $(c_1, c_2)$. Estes são projetados em um ID inteiro unificado ($ID_{seq} = c_1 \cdot |V| + c_2$). Isso limita o tamanho da tabela de embedding independentemente da expansão do corpus e generaliza naturalmente para itens de cold-start através de prefixos semânticos compartilhados.
  • Lado do Alvo/Não-Sequência (Grão Fino): Itens candidatos e características de interação cruciais (ex: o último vídeo assistido) retêm a hierarquia semântica de profundidade total para garantir um pareamento discriminativo preciso.

2.2 Transformer Globalmente Consciente e Comprimido

Para superar a barreira de escalonamento de sequência, os autores introduzem uma arquitetura transformer que reduz a complexidade computacional sem agregação com perda de informação.

• Dobramento Temporal Livre de Parâmetros (Parameter-Free Temporal Folding): Em vez de pooling, a sequência de entrada $X \in \mathbb{R}^{L \times d}$ é particionada em janelas de tamanho $k$ e empilhada via canais para formar "super-tokens". Isso transforma a entrada de $(L, d)$ para $(L/k, k \cdot d)$. Esta operação troca explicitamente a resolução temporal pela dimensionalidade de característica, capturando dependências densas entre "super-eventos" enquanto reduz o comprimento da sequência por um fator de $k$.
• Fusão de Representação Global-Local: Um Token de Consulta Global ($G_{init}$) aprendível é preposto à sequência comprimida. Diferente da inicialização baseada em perfil de usuário, este token é agnóstico a características, forçando o mecanismo de atenção a derivar representações puramente de interações dinâmicas. Ele atua como um sumidouro de atenção para estabilizar a otimização.
• Mean Pooling Mascarado Unificado: A representação final do usuário é computada fundindo o estado global com sinais sequenciais granulares através de uma operação de masked mean pooling, equilibrando a intenção global com detalhes locais.

2.3 Arquitetura do Sistema

O framework opera dentro de um Framework Híbrido Síncrono-Assíncrono:

• Módulo Síncrono de Curto Prazo: Codifica as caudas de interação imediata ($S_{short}$) em tempo real.
• Módulo Assíncrono de Longo Prazo: Modela a sequência ultra-longa ($S_{long}$) usando o SID proposto e o Transformer Comprimido. Ambos os módulos compartilham um backbone e objetivo de otimização para garantir que as representações mapeiem para um espaço latente compartilhado, evitando o desalinhamento de características.

3. Principais Contribuições

1. Representação Nativa-Semântica em Escala: Uma implantação industrial de grande escala de SIDs baseados em RQ-VAE com uma estratégia de Bi-gram de Truncamento de Profundidade. Isso desacopla o armazenamento de embeddings do tamanho do corpus e melhora significativamente a generalização para conteúdo de cold-start.
2. Arquitetura de Sequência Eficiente de Alta Expressividade: Um Transformer Globalmente Consciente e Comprimido que utiliza dobramento temporal não paramétrico. Isso alcança uma redução na complexidade computacional preservando o desempenho, enquanto expande as dimensões de característica para capturar interações locais complexas em sequências ultra-longas.
3. Validação Industrial em Grande Escala: Avaliações rigorosas offline e online em uma grande plataforma de vídeos curtos que atende bilhões de usuários, demonstrando reduções substanciais nos custos de memória e computação, juntamente com ganhos significativos em métricas online.

4. Resultados Experimentais

O framework foi avaliado em tráfego de produção com uma sequência de comprimento $L=2000$, comparado contra um baseline de estado da arte utilizando $L=800$ Video IDs.

• Eficácia do ID Semântico: Substituir Video IDs por Bi-gram SIDs ($L=160$) resultou em um aumento de +0,86% em Visualizações Satisfeitas e um aumento de +6,81% em Freshness (visualizações satisfeitas com conteúdo recém-carregado), confirmando melhor generalização de cold-start. Isso também reduziu os parâmetros de embedding em 38,07% e o tamanho de armazenamento em 39,33%.
• Escalabilidade: O AUC offline mostrou aumentos monotônicos consistentes conforme o comprimento da sequência escalava de 400 para 2000. O modelo beneficiou-se significativamente do aumento de largura (dimensão oculta) e profundidade (camadas), validando sua capacidade de capturar padrões de interação intrincados.
• Eficiência e Desempenho: O dobramento temporal com $k=4$ alcançou uma melhoria de Pareto:
  • Tempo de Passo de Treinamento: Reduzido em 83,9% (41,1ms $\to$ 6,6ms).
  • Memória de Ativação de Pico: Reduzida em 92,2% (5758 MiB $\to$ 448 MiB).
  • Acurácia: Apesar da compressão, o AUC melhorou em +0,06% (Tarefa 1) e +0,15% (Tarefa 2), atribuído ao de-noising local e à expansão da expressividade de características.
• Impacto Total do Sistema: A atualização holística (SID + Compressão + $L=2000$) gerou ganhos online significativos:
  • Usuários Ativamente Engajados: +0,52%
  • Tempo de Visualização Satisfeito: +1,42%
  • Visualizações Satisfeitas: +1,08%

5. Significância e Alegações

O artigo afirma fornecer um plano prático para motores de recomendação de contexto infinito de próxima geração. Ao resolver o gargalo do vocabulário através de representação semântica e o gargalo computacional através de reorganização estrutural (dobramento temporal), os autores demonstram que a modelagem de sequências ultra-longas é viável em uma escala de bilhões de usuários sem custos de recursos proibitivos.

O trabalho afirma que a sinergia de representações nativas de conteúdo e compressão eficiente permite capturar sinais de interesse de longo prazo mais ricos, anteriormente inacessíveis para modelos baseline. Os autores posicionam isso como um passo em direção aos Grandes Modelos de Recomendação (LRMs), visando investigar ainda mais as leis de escala de sequência (scaling laws) e o co-design hardware-algoritmo em trabalhos futuros.