Resumo Técnico: Aprendizado de Múltiplas Sequências Construtivo (CMSL) para Sistemas de Recomendação

1. Definição do Problema: Poluição de Contexto em Recomendação Sequencial

Embora o aprendizado de sequências tenha superado os modelos tradicionais de Aprendizado Profundo para Recomendação (DLRM) ao capturar nuances temporais, as arquiteturas de estado da arte atuais frequentemente dependem de uma analogia limitante: tratar o histórico do usuário como uma sequência cronológica monolítica, semelhante a uma frase em um Modelo de Linguagem de Grande Escala (LLM).

Os autores identificam uma divergência fundamental entre a linguagem natural e os dados de recomendação:

• Falta de Unidade Estrutural: Ao contrário do texto, que segue regras sintáticas lineares e lógicas, o histórico do usuário é um "mosaico ruidoso" de interesses fragmentados, diversos, cliques exploratórios e interações acidentais.
• Poluição de Contexto: No modelagem de sequência única, comportamentos não relacionados competem pelo mesmo orçamento de atenção. Este sinal "ruidoso" dilui o foco do modelo, forçando-o a computar dependências entre intenções semanticamente distintas (ex: aprendizado profissional vs. entretenimento casual). Isso leva a correlações espúrias, gargalos de representação e previsões subótimas.

O artigo argumenta que os sistemas de recomendação devem mudar de passivamente "modelar uma sequência" para construir ativamente o "contexto", abordando a questão subexplorada da poluição de contexto na recomendação sequencial.

2. Metodologia: Aprendizado de Múltiplas Sequências Construtivo (CMSL)

O CMSL propõe uma mudança de paradigma da ingestão passiva de sequências para a "engenharia de contexto" ativa. Em vez de alimentar o histórico bruto como um único prompt, o CMSL constrói múltiplas sequências latentes coerentes no espaço latente para desmembrar as intenções do usuário.

2.1 Pré-processamento de Características

• Características Não-Sequenciais: Características densas (ex: idade, preço) são normalizadas e projetadas; características esparsas (ex: país, categoria) são incorporadas (embedded).
• Características de Sequência: Históricos de interação do usuário (cliques, curtidas, comentários) são agrupados por atributos compartilhados (ex: mesma superfície de produto) e comprimidos em uma única sequência usando um mecanismo de soma com portão (gated summation). Isso reduz a sobrecarga computacional enquanto preserva a informação de interação.

2.2 Arquitetura CMSL

O núcleo do CMSL consiste em $N$ blocos empilhados, cada um contendo quatro componentes principais:

1. Construção de Múltiplas Sequências:

   • Desmembramento de Intenção: As características não-sequenciais são projetadas em $K$ conjuntos específicos de contexto usando $K$ cabeças de projeção, desmembrando efetivamente as intenções do usuário em diferentes contextos.
   • Construção de Sequência: Um Módulo de Construção de Sequência aprendível utiliza atenção cruzada (cross-attention). A representação da sequência atual serve como consulta ($Q$), enquanto as características de contexto projetadas servem como chaves ($K$) e valores ($V$). Isso gera $K$ sequências latentes distintas ($\tilde{X}^{(l,k)}$), cada uma focando em um aspecto diferente do contexto do usuário.

2. Autoatenção (Aproximação Linear):

   • Cada uma das $K$ sequências construídas passa por autoatenção de forma independente para capturar correlações temporais internas sem interferência entre intenções.
   • Para lidar com a complexidade quadrática da atenção padrão e o aumento de $K$ vezes na computação, o CMSL emprega um mecanismo de atenção de tempo linear.
   • Este mecanismo aproxima a atenção HSTU (amplamente utilizada na Meta) usando uma expansão de série de Taylor da função de ativação SiLU. Ele decompõe a operação em um termo de atenção linear ($\phi(Q)\phi(K)^\top V$) e um termo esparso ($AV$) que captura entradas grandes, reduzindo significativamente o custo computacional.

3. Sumarização de Sequência:

   • Após a autoatenção, o Pooling por Multi-head Attention (PMA) é usado para sumarizar cada sequência em um vetor de comprimento fixo.
   • Este passo extrai sinais globais relevantes para o estado atual do usuário (usando características não-sequenciais como consultas) e suprime dados históricos redundantes, evitando o acúmulo de ruído entre as camadas.

4. Compressão de Sequência:

   • Para evitar que a contagem de sequências exploda entre as camadas, as $K$ sequências sumarizadas são concatenadas e projetadas de volta em uma única sequência latente via MLP. Isso permite o aprendizado hierárquico profundo enquanto mantém uma contagem constante de sequências por camada.

2.3 Fusão Final

A representação final é formada pela concatenação dos vetores sumarizados da camada final e passada para cabeças específicas de tarefa para previsões de Taxa de Cliques (CTR) e Taxa de Conversão (CVR).

3. Principais Contribuições

O artigo delineia quatro contribuições primárias:

1. Nova Perspectiva: Identifica a "Poluição de Contexto" como um modo de falha crítico na recomendação sequencial e propõe um paradigma de construção de múltiplas sequências para mitigá-la.
2. Módulo de Construção de Múltiplas Sequências: Um módulo aprendível que transforma o histórico bruto em múltiplos fluxos latentes usando atenção cruzada para uma curadoria de contexto adaptativa e consciente da intenção.
3. Atenção Linear Escalável: Um mecanismo de atenção eficiente de tempo linear que reduz o custo computacional de modelar múltiplas sequências, permitendo a escala.
4. Validação em Escala Industrial: Implementação e validação bem-sucedidas em quatro superfícies principais da Meta, lidando com bilhões de usuários ativos diários.

4. Resultados Experimentais

O CMSL foi avaliado em tarefas de Ranking e Recuperação no ambiente de produção da Meta.

• Avaliação de Ranking:

  • Métrica: Entropia Normalizada (NE), onde valores menores indicam melhor desempenho.
  • Configuração: Avaliado em quatro superfícies de grande escala. A Superfície 1 utilizou uma abordagem de treinamento direto, enquanto as Superfícies 2–4 utilizaram uma arquitetura de dois estágios (modelo de usuário upstream assíncrono) para gerenciar a latência.
  • Descobertas: O CMSL demonstrou melhorias estatisticamente significativas. Na Superfície 1, as melhorias de NE variaram de -0,31% a -0,62% para as tarefas de "Curtida" e "Comentário". Nas Superfíces 2–4, a integração dos embeddings do CMSL resultou em ganhos de NE de -0,06% a -0,13% em tarefas de CTR e CVR.

• Avaliação de Recuperação:

  • Configuração: Teste A/B online na Superfície 5.
  • Descobertas: Os embeddings de usuário do CMSL resultaram em melhorias estatisticamente significativas em todas as quatro métricas de engajamento medidas, com ganhos variando de +0,092% a +0,171%.

5. Significância e Alegações

O artigo afirma que o CMSL representa uma mudança de tratar o histórico do usuário como um "prompt bruto" a ser lido, para um "contexto" a ser construído. Ao desmembrar ativamente o histórico do usuário em fios temáticos coerentes, o CMSL mitiga a interferência semântica inerente aos dados heterogêneos do usuário.

Os autores enfatizam que esta abordagem se alinha à filosofia de "engenharia de contexto" dos LLMs, mas a adapta para sistemas de recomendação onde os IDs de itens carecem de semântica explícita, necessitando de uma abordagem implícita e aprendível. O framework é apresentado como uma solução prática para sistemas de escala de produção, oferecendo ganhos consistentes sobre fortes baselines sequenciais, permanecendo computacionalmente viável através de atenção linear e compressão de sequência.