Resumo Técnico: SISA-Rec

1. Definição do Problema

Os atuais sistemas de recomendação sequencial baseados em transformadores, como o SASRec e o BERT4Rec, dependem primordialmente de embeddings de identificadores de itens (IDs) aprendidos a partir de logs de interação. Embora eficazes em ambientes de dados densos, esses modelos enfrentam dificuldades em cenários esparsos e de cold-start (partida a frio), onde os dados históricos de interação são limitados. Nesses contextos, o sinal comportamental (padrões de coocorrência) é insuficiente para capturar as preferências do usuário.

Tentativas existentes de incorporar informações semânticas (ex: descrições textuais, grafos de conhecimento) frequentemente tratam a semântica como um sinal secundário. Essas abordagens tipicamente processam os dados semânticos por meio de caminhos separados ou os fundem apenas após a conclusão da codificação sequencial. Consequentemente, as relações semânticas não influenciam o próprio processo de modelagem sequencial (o mecanismo de atenção), criando uma lacuna persistente entre a modelagem comportamental e o embasamento semântico. Essa separação limita a capacidade dos modelos de generalização quando os dados de interação são escassos.

2. Metodologia

O framework proposto, SISA-Rec (Semantically Integrated Sequential Recommendation), aborda essa lacuna integrando o contexto semântico diretamente no processo de modelagem sequencial ao nível das características. A arquitetura consiste nos seguintes componentes principais:

Processamento de Dados e Embedding

• Entrada: O modelo utiliza sequências de interação de usuários e metadados de itens (títulos e categorias) de conjuntos de dados da Amazon.
• Embeddings Duplos: Para cada item, duas representações são geradas:
  1. Embedding Baseado em Identificador: Um vetor denso aprendível derivado do ID do item.
  2. Embedding Semântico: Um vetor baseado em BERT congelado, derivado da concatenação do título e da categoria do item. Este é projetado para corresponder à dimensionalidade do embedding do ID.

Inovações Arquiteturais Principais

1. Módulo de Fusão Controlada (Gated Fusion):

   • Em vez de concatenar ou adicionar embeddings post-hoc, o SISA-Rec emprega um mecanismo de fusão controlada no nível da camada de entrada.
   • Um vetor de porta aprendível $g$ (computado via função sigmoide) controla adaptativamente a contribuição do embedding de ID versus o embedding semântico para cada dimensão: $v_i = g \odot e_{id} + (1-g) \odot e_{sem}$.
   • Isso garante que a informação semântica molde a representação do item antes de qualquer modelagem sequencial ocorrer.

2. Autoatenção Consciente de Semântica (Semantic-Aware Self-Attention):

   • O mecanismo de autoatenção padrão é modificado para injetar a similaridade semântica diretamente no cálculo do escore de atenção.
   • Uma Matriz de Similaridade Semântica ($S$) é pré-computada usando a similaridade de cosseno entre os embeddings BERT projetados dos itens na sequência.
   • O escore de atenção é calculado como: $A = \text{softmax}\left(\frac{QK^T}{\sqrt{d}} + \alpha \cdot S\right) \cdot V$, onde $\alpha$ é um escalar aprendível.
   • Isso permite que itens semanticamente relacionados influenciem o mecanismo de atenção mesmo que nunca tenham coocorrido na história do usuário.

3. Agregação de Preferências Baseada em Atenção:

   • Em vez de depender exclusivamente do estado oculto final (que pode ser fraco em sequências curtas), o modelo utiliza um vetor de atenção aprendido para computar uma soma ponderada de todas as posições da sequência.
   • Isso gera um vetor de preferência do usuário abrangente que considera a importância variável das interações passadas.

Objetivo de Treinamento

O modelo é treinado utilizando uma função de perda conjunta composta por três termos:

1. Perda de Ranking de Personalização Bayesiana (BPR Loss): Otimiza o ranking de itens observados sobre os não observados.
2. Perda de Alinhamento Contrastivo: Baseada no objetivo InfoNCE, esta perda alinha a representação comportamental do usuário (proveniente da agregação de atenção) com uma representação semântica do usuário (derivada do pooling médio dos embeddings BERT). Isso garante consistência entre o que o usuário fez e o significado dos itens.
3. Regularização $\ell_2$: Previne o overfitting.

3. Principais Contribuições

O artigo delineia cinco contribuições primárias:

• Fusão Controlada (Gated Fusion): Um mecanismo que aprende o equilíbrio por dimensão entre os embeddings de ID e semânticos na camada de entrada.
• Autoatenção Modificada: Um novo mecanismo de atenção que incorpora diretamente uma matriz de similaridade semântica no cálculo do escore, permitindo que as relações semânticas impulsionem a modelagem da sequência.
• Agregação Baseada em Atenção: Um módulo de representação de usuário que agrega todas as posições da sequência via pesos aprendidos, em vez de usar apenas o estado final.
• Objetivo de Treinamento Conjunto: Uma função de perda composta que combina BPR e alinhamento contrastivo para alinhar explicitamente os espaços comportamental e semântico.
• Validação Empírica: Demonstração de melhoria na generalização em cenários de dados esparsos e de cold-start em conjuntos de dados altamente esparsos (99,93% de esparsidade).

4. Resultados Experimentais

Os experimentos foram conduzidos em dois conjuntos de dados da Amazon altamente esparsos: Amazon Beauty e Amazon Toys & Games (ambos com ~99,93% de esparsidade).

• Desempenho Geral: O SISA-Rec superou os baselines de estado da arte (incluindo BERT4Rec, SASRec, DuoRec e PopRec) em todas as métricas (HR@K e NDCG@K).
  • No Amazon Beauty, o SISA-Rec melhorou o HR@10 em 16,6% e o NDCG@10 em 10,3% em relação ao BERT4Rec.
  • No Amazon Toys & Games, as melhorias foram ainda mais pronunciadas: o HR@10 aumentou em 23,1% e o NDCG@10 em 17,9% em relação ao BERT4Rec.
• Análise de Cold-Start: O modelo demonstrou os ganhos mais significativos para usuários com históricos de interação limitados (Grupo cold: 5–7 interações).
  • No grupo de cold-start para o Amazon Toys & Games, o SISA-Rec alcançou um NDCG@10 de 0,3200, superando significativamente o BERT4Rec (0,2642) e o SASRec (0,1676).
  • A diferença de desempenho diminuiu para usuários "warm" (15+ interações), indicando que a integração semântica é mais crítica quando os sinais comportamentais são fracos.

5. Significância e Alegações

O artigo afirma que a separação persistente entre a modelagem comportamental e o embasamento semântico nos frameworks existentes impõe um teto de desempenho, particularmente em ambientes esparsos. O SISA-Rec demonstra que integrar a informação semântica diretamente no mecanismo de atenção — em vez de tratá-la como um passo de pós-processamento — leva a recomendações mais precisas e confiáveis.

Os autores enfatizam que o valor da informação semântica é mais evidente quando os dados de comportamento do usuário são escassos. Ao permitir que as relações semânticas influenciem o próprio processo de modelagem sequencial, o framework fornece uma solução robusta para cenários de cold-start onde os padrões tradicionais de coocorrência falham. Os resultados sugerem que os futuros sistemas de recomendação sequencial devem ir além de tratar a semântica como um sinal auxiliar e, em vez disso, incorporá-la profundamente dentro da arquitetura central.