Cross-Representation Knowledge Transfer for Improved Sequential Recommendations

Este artigo apresenta um novo framework que integra arquiteturas Transformer e Redes Neurais em Grafos para alinhar diferentes representações, capturando simultaneamente dependências estruturais e sua evolução temporal, resultando em um desempenho superior na previsão do próximo item em sistemas de recomendação sequencial.

O essencial

Imagine que você é um chef de cozinha tentando prever qual prato o seu cliente vai pedir no próximo dia.

Até agora, os sistemas de recomendação funcionavam de duas maneiras principais, mas ambas tinham um defeito:

1. O "Chef Sequencial" (Transformers): Ele olha apenas para a ordem do que o cliente comeu. "Ah, ele comeu pizza, depois salada, então provavelmente vai querer sobremesa." Ele é ótimo em entender a sequência, mas ignora o que os outros clientes estão pedindo ou como os pratos se relacionam entre si no cardápio geral.
2. O "Chef de Mapa" (Redes Gráficas/GNNs): Ele olha para o mapa de conexões de todo o restaurante. "Pessoas que gostam de pizza geralmente também gostam de massa." Ele entende as relações globais, mas não se importa com a ordem em que o cliente comeu hoje. Ele não sabe se o cliente está com fome agora ou se já está cheio.

O problema é que, para dar a recomendação perfeita, você precisa dos dois: entender a história recente do cliente E o contexto geral do cardápio.

A Solução: O Framework CREATE

Os autores deste artigo criaram um novo sistema chamado CREATE (Cross-Representation Knowledge Transfer). Pense nele como um duplo cérebro que trabalha em equipe:

• Cérebro 1 (Sequencial): Foca na história individual do cliente.
• Cérebro 2 (Gráfico): Foca nas conexões globais entre todos os itens.

A grande inovação não é apenas ter os dois cérebros, mas fazer com que eles conversem e aprendam um com o outro sem se confundir.

Como funciona a "Dança" do Aprendizado?

O sistema usa uma estratégia inteligente de treinamento em duas etapas, que podemos comparar com um estágio profissional:

1. A Fase de "Aquecimento" (Warm-up):
   Imagine que o "Cérebro de Mapa" (Gráfico) é um especialista sênior, mas está meio desatualizado. Antes de colocá-lo para trabalhar com o "Cérebro Sequencial" (o estagiário), deixamos o sênior treinar sozinho por um tempo. Ele estuda o mapa do restaurante, entende as conexões e se prepara. Isso garante que, quando ele começar a ajudar, ele já tenha conhecimento sólido e não vá atrapalhar o estagiário.

2. A Fase de "Trabalho em Equipe" (Alinhamento):
   Agora, os dois trabalham juntos. Mas como garantir que eles não falem línguas diferentes?

   • O "Cérebro Sequencial" diz: "O cliente quer algo doce porque comeu salgado."
   • O "Cérebro de Mapa" diz: "Mas todos que comeram salgado aqui também pediram sorvete."
   • Eles precisam concordar. Para isso, o sistema usa uma técnica chamada Barlow Twins. Pense nisso como um espelho de alinhamento: eles ajustam suas representações internas até que, quando olham para o mesmo cliente, vejam a mesma coisa, mas sem repetir informações desnecessárias (redundância). É como dois tradutores que, ao final, concordam exatamente sobre o significado da frase, sem gaguejar.

Por que isso é melhor?

• Sem "Folding-in" (Dobra de Papel): Sistemas antigos precisavam recalcular a identidade do cliente toda vez que ele fazia uma nova compra (como dobrar um papel para caber em um envelope novo). O CREATE é mais ágil: ele usa o conhecimento do mapa para enriquecer os itens, mas não precisa recalcular o perfil do usuário a cada clique. É mais rápido e eficiente.
• Resultados: Nos testes (com dados de filmes, roupas e música), esse time de dois cérebros superou todos os outros chefs, seja o especialista em sequência ou o especialista em mapas. Eles conseguiram prever o próximo item com muito mais precisão.

Resumo em uma frase:

O CREATE é como um assistente de recomendação que combina a memória de curto prazo (o que você fez agora) com a sabedoria de longo prazo (o que todo mundo faz), fazendo com que os dois lados da informação se alinhem perfeitamente para te dar a sugestão perfeita, sem confusão e sem desperdício de energia.

Resumo técnico

1. Problema Definido

O artigo aborda as limitações atuais dos sistemas de recomendação sequencial, que geralmente se dividem em duas abordagens distintas, cada uma com falhas específicas:

• Modelos Sequenciais (Baseados em Transformers): Arquiteturas como SASRec e BERT4Rec são dominantes e capturam bem as dependências temporais locais (a ordem dos itens). No entanto, eles tratam as sequências de forma isolada, ignorando relações globais complexas entre itens e usuários que não são estritamente sequenciais.
• Modelos Baseados em Grafos (GNNs): Redes Neurais de Grafos (como LightGCN) modelam explicitamente interações de alta ordem e dependências transitivas através da estrutura global do grafo usuário-item. Contudo, elas frequentemente falham em capturar a evolução temporal das interações, resultando em desempenho inferior em tarefas de previsão do próximo item comparado aos modelos sequenciais.

O desafio central é como combinar eficazmente a dinâmica local (sequência) e o contexto global (grafo) sem que os componentes entrem em conflito ou que a fusão de representações seja ineficiente.

2. Metodologia: Framework CREATE

Os autores propõem o CREATE (Cross-REpresentation Aligned Transfer Encoders), um framework que integra arquiteturas de Transformers e GNNs através de uma transferência de conhecimento e alinhamento de representações.

Componentes Principais:

1. Codificador Sequencial (Local):
   • Utiliza modelos baseados em Transformers (SASRec ou BERT4Rec) para processar o histórico de interações do usuário.
   • Captura a intenção de curto prazo e a dinâmica temporal.
   • Utiliza Cross-Entropy completo (ou escalável) como função de perda.
2. Codificador de Grafos (Global):
   • Utiliza GNNs (LightGCN ou UltraGCN) operando sobre o grafo de interações usuário-item.
   • Captura padrões globais e dependências estruturais.
   • Ponto Crítico de Design: Os embeddings de usuários são utilizados apenas durante o treinamento. Na inferência, o sistema depende exclusivamente do codificador sequencial enriquecido pelos embeddings de itens do grafo. Isso elimina a necessidade do procedimento de "folding-in" (atualização de embeddings de usuários em tempo real), tornando o modelo robusto a usuários fora do conjunto de treinamento.
3. Alinhamento de Representação (Barlow Twins):
   • Para garantir que as duas visões (local e global) representem consistentemente o estado do usuário, o framework emprega o objetivo Barlow Twins.
   • Em vez de usar contrastive loss (que requer amostragem negativa e pode ser instável), o Barlow Twins minimiza a redundância entre as duas representações, forçando a matriz de correlação cruzada a ser próxima da identidade.
   • Isso promove invariância entre as vistas e reduz a redundância de características, estabilizando a otimização.
4. Processo de Treinamento (Warm-up):
   • O treinamento ocorre em duas fases para evitar que o codificador de grafos desestabilize o codificador sequencial no início:
     1. Fase de Warm-up: Apenas o codificador de grafos é pré-treinado por um número específico de épocas.
     2. Otimização Conjunta: Ambos os codificadores são otimizados end-to-end, minimizando uma perda ponderada que inclui a perda de recomendação sequencial, a perda do grafo e a perda de alinhamento (Barlow Twins).

3. Contribuições Chave

• Novo Framework Híbrido: Propõe uma arquitetura que enriquece modelos sequenciais com conhecimento global de grafos, alinhando as representações de forma eficaz.
• Método de Alinhamento Superior: Introduz o uso de Barlow Twins para alinhamento de representações em sistemas de recomendação, demonstrando superioridade sobre métodos de perda contrastiva tradicionais ao reduzir redundância sem necessidade de amostragem negativa agressiva.
• Inferência Assíncrona e Robusta: Elimina a dependência de embeddings de usuários durante a inferência, evitando a necessidade de procedimentos complexos de atualização de usuário (folding-in), o que é crucial para cenários industriais com usuários novos ou ativos.
• Validação Rigorosa: Realiza experimentos utilizando uma divisão temporal global (global temporal split), que é uma aproximação mais fiel ao cenário industrial do que a divisão comum leave-last-out.

4. Resultados Experimentais

Os experimentos foram conduzidos em cinco conjuntos de dados públicos (MovieLens-1M, categorias da Amazon: Beleza, Roupas, Esportes, e Yambda-50M).

• Desempenho Geral: O CREATE superou consistentemente tanto as abordagens puramente sequenciais (SASRec, BERT4Rec) quanto as puramente baseadas em grafos (LightGCN, UltraGCN), além de superar métodos recentes de fusão múltipla (como LOOM, MRGSRec, GSAU).
• Ganhos Significativos:
  • No conjunto de dados Yambda-50M (música), houve um aumento de +38% no NDCG@10 e +26% no NDCG@100 em comparação com a linha de base SASRec.
  • Em outros datasets, como Amazon Beauty e Clothing, o modelo também mostrou ganhos consistentes em métricas de NDCG e Recall.
• Estudo de Ablação:
  • Warm-up: Confirmou-se que o pré-treinamento do codificador de grafos é essencial para o desempenho final.
  • Tamanho do Grafo: A quantidade de interações usadas para construir o grafo impacta o desempenho; existe um ponto ótimo (geralmente entre 40% e 100% das últimas interações) que equilibra estrutura e ruído.
  • Alinhamento: O uso de Barlow Twins superou a perda contrastiva e a ausência de alinhamento, especialmente em métricas de precisão (NDCG), embora com uma leve redução na cobertura (o que é aceitável para recomendações de alta qualidade).

5. Significância e Impacto

O trabalho é significativo porque resolve o dilema clássico de "local vs. global" em sistemas de recomendação de forma prática e escalável.

1. Aplicabilidade Industrial: Ao remover a dependência de embeddings de usuários na inferência, o modelo torna-se mais fácil de implantar em produção, onde novos usuários e interações ocorrem em tempo real.
2. Qualidade de Dados: A adoção de global temporal split nos experimentos fornece uma avaliação mais realista do desempenho do modelo em cenários de produção, em contraste com a maioria dos trabalhos acadêmicos que usam divisões aleatórias ou leave-last-out.
3. Inovação em Alinhamento: A aplicação bem-sucedida do Barlow Twins para alinhar representações de diferentes modalidades (sequência vs. grafo) abre novas possibilidades para fusão de modelos em outras tarefas de aprendizado de máquina, evitando os problemas de instabilidade comuns em métodos contrastivos.

Em resumo, o CREATE demonstra que a combinação inteligente de dependências temporais locais e estruturas globais de grafos, mediada por um alinhamento de redundância reduzida, resulta em sistemas de recomendação superiores tanto em precisão quanto em robustez operacional.