Resumo Técnico: MEMOIR – Memória Comportamental Temporal para Recomendação através do Espectro de Deriva de Preferência

1. Declaração do Problema

Os modelos de recomendação sequencial existentes (ex: SASRec, BERT4Rec) e os métodos recentes aprimorados por LLM tipicamente tratam as preferências do usuário como resumos estáticos ou subprodutos da previsão do próximo item. Eles aprendem implicitamente padrões comportamentais, mas falham em modelar explicitamente a evolução da preferência. Os autores argumentam que dois usuários com históricos de compras atuais idênticos podem ter necessidades vastamente diferentes se suas trajetórias divergirem (ex: um entusiasta de fitness de longa data vs. um novato).

A análise empírica do conjunto de dados Amazon Reviews 2023 revela que a deriva de preferência é onipresente:

• A divergência média de Jensen-Shannon entre distribuições de categorias mensais adjacentes é de 0,795 (de 1,0).
• 92,2% dos itens interagidos em qualquer janela dada são novos para o usuário.
• Mesmo usuários no quartil inferior de pontuações de deriva exibem mudanças substanciais.

Abordagens aprimoradas por LLM frequentemente utilizam LLMs como etapas de pré-processamento offline para gerar resumos ou visões aumentadas para backbones baseados em IDs. Esses sinais semânticos são tipicamente descartados no momento da inferência, e a arquitetura central permanece baseada em IDs, falhando em carregar a estrutura da evolução da preferência para a pontuação final de recomendação.

2. Metodologia: O Framework MEMOIR

O MEMOIR (Memory-based Evolution MOdel for Inference in Recommendation) inverte a relação padrão: o LLM atua como um codificador de memória temporal de primeira classe, e o aprendizado contrastivo codifica a estrutura da evolução diretamente na representação.

2.1 Componentes da Arquitetura

1. Segmentação Temporal e Codificação de Memória:

   • Os históricos de interação do usuário são particionados em janelas temporais baseadas em meses do calendário.
   • Cada janela é serializada em uma descrição de linguagem natural (ex: "Usuário avaliou altamente 'tênis de corrida'...").
   • Um codificador LLM (TinyLlama-1.1B-Chat com ajuste fino LoRA) mapeia essas descrições para embeddings de memória semântica ($m_t$).
   • Isso gera uma sequência de memórias comportamentais $M_u = [m_1, \dots, m_W]$.

2. Perda Contrastiva de Preservação de Evolução ($L_{evo}$):

   • Suavidade Temporal ($L_{smooth}$): Impõe continuidade entre janelas adjacentes usando uma perda do tipo InfoNCE, tratando janelas adjacentes do mesmo usuário como pares positivos.
   • Consistência Direcional ($L_{dir}$): Impõe que a direção da evolução permaneça coerente. Ela calcula vetores de direção ($d_t = \hat{m}_{t+1} - \hat{m}_t$) e penaliza o desalinhamento entre vetores de direção consecutivos. Isso codifica o viés indutivo de que mudanças de preferência (ex: de casual para artigos esportivos) devem seguir uma trajetória consistente.

3. Previsão de Trajetória:

   • Uma GRU processa a sequência de memória para produzir um estado oculto final.
   • Um MLP projeta este estado para prever a próxima memória ($\hat{m}_{W+1}$).
   • Uma perda de extrapolação de trajetória ($L_{extrap}$) supervisiona esta previsão usando uma última janela de retenção (hold-out).

4. Agregação Consciente da Evolução:

   • Em vez de uma média simples, a representação final do usuário ($u^*$) é uma fusão MLP de três sinais:
     • Estado Atual: Agregado ponderado pela recência das memórias ($\bar{m}$).
     • Direção: O vetor de direção da evolução ($d$).
     • Futuro Previsto: A memória extrapolada do próximo passo ($\hat{m}_{W+1}$).
   • Isso garante que usuários com estados atuais idênticos, mas trajetórias diferentes, recebam representações distintas.

5. Perda de Consistência Comportamental ($L_{con}$):

   • Um regularizador que penaliza a distância entre a memória agregada normalizada e o embedding do item alvo normalizado. Isso ancora a trajetória semântica ao espaço de embedding de itens real, evitando a deriva para regiões semanticamente desconectadas.

2.2 Objetivo de Treinamento

A perda total combina recomendação, evolução, consistência e extrapolação:
$$L = L_{rec} + \lambda_1 L_{evo} + \lambda_2 L_{con} + \lambda_3 L_{extrap}$$
onde $L_{rec}$ é uma perda de recomendação InfoNCE sobre produtos escalares usuário-item.

3. Principais Contribuições

• Mudança Arquitetural: Propõe um framework onde o LLM é o codificador de usuário primário para janelas temporais, e o aprendizado contrastivo é o mecanismo para aprender a estrutura da evolução, em vez de uma etapa auxiliar offline.
• Representação Consciente da Evolução: Introduz um método para fundir o estado atual, a direção da evolução e o futuro previsto em um único embedding de usuário.
• Análise Estratificada por Deriva: Vai além de métricas agregadas para analisar o desempenho através de um espectro de deriva de preferência do usuário, revelando que os ganhos se concentram em segmentos específicos de usuários.

4. Resultados Experimentais

Os experimentos foram conduzidos nas categorias Electronics e Clothing_Shoes_and_Jewelry do Amazon Reviews 2023 (99.355 usuários).

4.1 Desempenho Agregado

• O MEMOIR alcançou um NDCG@10 de 0,0643, empatando estatisticamente com o baseline mais forte, o UniSRec (0,0641).
• Os modelos dividiram as quatro métricas relatadas em 2–2:
  • MEMOIR lidera: NDCG@10 e MRR.
  • UniSRec lidera: HR@10 e HR@20.
  • Ambos superaram significativamente seis outros baselines (incluindo SASRec, CL4SRec e SRA-CL).
• SASRec-Text (SASRec com embeddings semânticos congelados substituindo embeddings de IDs) teve desempenho inferior ao vanilla SASRec, indicando que características semânticas sozinhas não melhoram a recomendação sem mecanismos de alinhamento arquitetural específicos.

4.2 Estudo de Ablação

Surpreendentemente, nenhum componente arquitetural individual (perda contrastiva de preservação de evolução, termo de consistência direcional ou segmentação de janela temporal) explicou individualmente a maior parte do ganho do MEMOIR sobre os baselines baseados em ID.

• Remover qualquer componente individual resultou em desempenho dentro de 2% do modelo completo em NDCG@10 agregado.
• Mesmo substituir os codificadores de itens pré-treinados por embeddings de ID aleatórios ("w/ Random-Init Items") resultou no melhor NDCG@10 entre as variantes de ablação (0,0650), sugerindo que o ganho agregado não é impulsionado por um único módulo isolado.

4.3 Análise Estratificada por Deriva (A Descoberta Central)

Quando o desempenho foi estratificado por uma pontuação composta de deriva de preferência (Alta, Média, Baixa):

• Extremos de Deriva Alta e Baixa: O MEMOIR superou o UniSRec em métricas de qualidade de ranking (NDCG@10, MRR).
• Deriva Média (50% dos usuários): O UniSRec liderou em todas as quatro métricas.
• Conclusão: O "empate" agregado mascara um padrão específico: a vantagem do MEMOIR concentra-se nos extremos da distribuição de deriva, enquanto o UniSRec domina a faixa intermediária e as métricas orientadas ao volume (HR) em todos os estratos.

5. Significância e Alegações

O artigo postula que sua descoberta mais substantiva e reproduzível não é o empate agregado próximo com o UniSRec, nem a contribuição de qualquer componente ablatado individualmente, mas sim a padrão de desempenho estratificado por deriva:

• O MEMOIR é especificamente eficaz para usuários nos extremos de alta e baixa deriva, onde modelar a trajetória (direção e futuro) fornece uma vantagem de qualidade de ranking.
• A suposição de consistência direcional do modelo (que assume deriva monotônica) pode ser menos eficaz para usuários de "deriva média" que exibem preferências mais oscilantes ou sazonais, explicando por que o UniSRec domina esse segmento.

Os autores concluem que, embora o MEMOIR ofereça representações mais ricas e conscientes da evolução, ele troca a simplicidade de inferência e a latência de sub-milissegundo das abordagens baseadas em ID (como o SASRec) pelo custo computacional dos embeddings de janela derivados de LLM. O artigo deixa em aberto a explicação mecanística de por que o ganho se concentra nos extremos da deriva, identificando isso como uma direção para trabalhos futuros.