Resumo Técnico: Difusão Consciente do Tempo baseada em Desmembramento de Preferência para Recomendação Generativa (TDPM)

1. Declaração do Problema

Recomendadores Generativos (GRs) emergiram como um paradigma transformador ao substituir IDs de itens tradicionais por Índices Semânticos (SIDs), permitindo que os modelos gerem diretamente o próximo item com o qual um usuário provavelmente irá interagir. Embora trabalhos recentes tenham explorado o uso de modelos de difusão como a espinha dorsal para GRs devido às suas capacidades generativas, uma limitação crítica permanece: os GRs baseados em difusão existentes aplicam um processo de difusão uniforme a todos os itens no histórico de interação de um usuário.

Essa uniformidade falha em considerar a natureza não estacionária e evolutiva no tempo das preferências do usuário. Na realidade, as preferências do usuário são moldadas por fatores multifacetados:

• Consistência de longo prazo: Interesses estáveis acumulados ao longo do tempo (ex: um entusiasta de futebol que compra equipamentos de futebol consistentemente).
• Desvios de curto prazo: Mudanças abruptas de interesse desencadeadas por eventos focais recentes ou estímulos externos (ex: comprar subitamente um controle de videogame).

Modelos de difusão padrão tratam todos os itens históricos indiscriminadamente, assumindo uma distribuição uniforme que contradiz a dinâmica temporal do comportamento do usuário. Este artigo argumenta que, para preencher essa lacuna, o processo de difusão deve ser adaptado para integrar explicitamente as preferências do usuário que evoluem com o tempo.

2. Metodologia: Estrutura TDPM

Os autores propõem o TDPM (Time-Aware Diffusion based on Preference Disentanglement), uma nova estrutura de GR que modifica o processo de difusão padrão para recomendação baseada em SID. A inovação central reside no desmembramento da preferência do usuário em dois componentes distintos para impulsionar uma estratégia de mascaramento de tokens consciente do tempo.

2.1 Geração de ID Semântico (SID)

Seguindo os GRs baseados em SID existentes, o TDPM primeiro converte os metadados do item (texto, categorias, etc.) em embeddings densos usando um Modelo de Linguagem de Grande Escala (LLM). Esses embeddings são então comprimidos em SIDs discretos e multiníveis usando Quantização Residual K-Means (RQ-KMeans). Isso cria uma sequência de tokens hierárquica para cada item, preservando a proximidade semântica.

2.2 Desmembramento de Preferência

O TDPM decompõe a preferência do usuário em duas variáveis latentes:

1. Preferência de Período ($p_{period}$): Representa perfis de usuário estáveis e de longo prazo. É modelada como uma função monotonicamente crescente do índice temporal (posição no histórico), refletindo a intuição de que interações recentes carregam mais peso para os interesses atuais.
2. Preferência de Ponto ($p_{point}$): Representa desvios de interesse transitórios e de curto prazo. É calculada com base no desvio semântico (ex: distância de cosseno) entre itens adjacentes no histórico de interação. Um grande desvio indica uma mudança súbita de interesse.

2.3 Difusão de Token Consciente do Tempo

Em vez da adição de ruído padrão, o TDPM emprega o mascaramento de token consciente do tempo como o processo de difusão direta (forward diffusion). A probabilidade de mascaramento ($p_j$) para o $j$-ésimo item no histórico é determinada dinamicamente pela fusão das preferências de período e de ponto:
$$p_j = \alpha + \beta \cdot [\lambda \cdot p_{period} + (1 - \lambda) \cdot p_{point}]$$

• Ponderação Adaptativa ($\lambda$): Um hiperparâmetro que equilibra as duas preferências. Crucialmente, $\lambda$ não é fixo; ele segue um cronograma de crescimento de lei de potência durante o treinamento, mudando gradualmente o foco para a preferência de período conforme o modelo se estabiliza.
• Mecanismo: Itens com maiores probabilidades de mascaramento (indicando maior importância ou desvio) são mascarados de forma mais agressiva. Isso força o modelo a aprender a reconstruir esses sinais críticos, capturando assim tanto padrões estáveis quanto mudanças abruptas.

2.4 Estratégia de Otimização

O treinamento segue um paradigma de dois estágios:

1. Estágio de Aquecimento (Warm-up): Utiliza o mascaramento de token uniforme para pré-treinar o modelo no vocabulário de SID e nos padrões de coocorrência, garantindo uma inicialização estável.
2. Estágio de Mascaramento de Token Consciente do Tempo: Substitui o mascaramento uniforme pela proposta estratégia de desmembramento de preferência. O SID do item alvo é totalmente mascarado para alinhar-se com a tarefa de inferência (previsão do próximo item).

2.5 Inferência

Durante a inferência, o modelo recebe o histórico de SID do usuário seguido por $m$ tokens de máscara. Ele realiza a geração autorregressiva usando busca de feixe restrita (constrained beam search) guiada por uma árvore de prefixo (Trie) construída a partir do vocabulário de SID, garantindo que a sequência gerada corresponda a um item válido.

3. Principais Contribuições

O artigo afirma as seguintes contribuições:

• Primeira Integração de Preferências Evolutivas no Tempo: Tanto quanto os autores sabem, este é o primeiro trabalho a integrar a propriedade de evolução temporal da preferência do usuário na recomendação generativa baseada em difusão.
• Novo Mecanismo de Desmembramento: A proposta do TDPM, que desmembra a preferência do usuário em preferência de período estável e preferência de ponto transitória, permitindo que o modelo governe adaptativamente a intensidade da difusão para cada item.
• Superioridade de Desempenho: Experimentos extensos demonstram que o TDPM supera significativamente os métodos de linha de base (baselines) de última geração (incluindo modelos sequenciais tradicionais, GRs baseados em SID e outros recomendadores baseados em difusão).

4. Resultados Experimentais

Os autores avaliaram o TDPM em três conjuntos de dados reais públicos da Amazon: Beauty, Sports and Outdoors e Toys and Games.

• Linhas de Base (Baselines): O estudo compara contra modelos sequenciais baseados em RNN/CNN/Transformer (GRU4Rec, SASRec, BERT4Rec), GRs baseados em SID (TIGER, LC-Rec) e outros recomendadores baseados em difusão (PreferDiff, DDSR, PreferGrow).
• Desempenho: O TDPM alcançou melhorias significativas sobre os melhores métodos de linha de base.
  • HR@20: Melhoria de até 29,21%.
  • NDCG@20: Melhoria de até 25,45%.
• Estudos de Ablação:
  • Remover a Preferência de Ponto resultou em uma queda de desempenho de ~10%, indicando a necessidade de capturar desvios de interesse.
  • Remover a Preferência de Período causou uma queda maior (~20%), destacando que as preferências estáveis de longo prazo formam a base essencial.
  • Remover ambas (retornando ao mascaramento uniforme) resultou no pior desempenho, confirmando que a difusão uniforme padrão é insuficiente para recomendação sequencial.
• Sensibilidade de Hiperparâmetros: O estudo descobriu que um equilíbrio inicial moderado ($\lambda_{start} \approx 0,5$) combinado com uma grande curvatura de crescimento ($k=2,0$) produz resultados ideais, permitindo que o modelo aprenda ambos os tipos de preferência antes de focar na consistência de longo prazo.

5. Significância e Alegações

O artigo afirma que a principal significância do TDPM reside em preencher a lacuna entre o processo de difusão direta uniforme dos modelos padrão e a distribuição inerentemente não uniforme e evolutiva no tempo das preferências do usuário.

Ao modelar explicitamente a consistência de preferência e os desvios de interesse, o TDPM vai além da natureza "agnóstica ao item" dos GRs anteriores baseados em difusão. Os autores afirmam que sua difusão de token consciente do tempo não é apenas uma melhoria incremental, mas uma adaptação necessária para que os modelos de difusão sejam eficazes em cenários de recomendação sequencial. Os resultados sugerem que o desmembramento de preferências permite que o processo de difusão se concentre nas partes mais informativas do histórico de interação, levando a previsões de próximo item mais precisas e robustas.