Resumo Técnico: FEDIN – Rede de Interesse Profundo Aprimorada por Frequência para Previsão de Taxa de Clique

Declaração do Problema

Modelos de recomendação sequencial para previsão de Taxa de Clique (CTR) enfrentam desafios significativos na captura de padrões periódicos latentes dentro dos interesses dos usuários. Sequências de comportamento de usuários do mundo real são frequentemente uma mistura de hábitos periódicos de longo prazo e ruído estocástico de curto prazo. Abordagens puramente no domínio do tempo, incluindo aquelas que utilizam Redes Neurais Recorrentes (RNNs), Transformers e Modelos de Espaço de Estados (SSMs), tendem a ser sensíveis a ruído ponto a ponto. Esses modelos frequentemente lutam para desacoplar padrões periódicos estáveis de cliques aleatórios, particularmente em sequências longas.

Embora a análise no domínio da frequência ofereça uma perspectiva global adequada para remoção de ruído e reconhecimento de padrões, abordagens existentes baseadas em frequência (por exemplo, FMLP-Rec, FEARec, DIFF) tipicamente tratam sequências de usuários em isolamento. Elas aplicam análise de frequência à sequência de comportamento bruta sem considerar o contexto do item alvo. Os autores argumentam que essa filtragem "alvo-agnóstica" é subótima porque a sequência de comportamento de um usuário é polimórfica; sem o item alvo específico como contexto, o modelo não pode distinguir efetivamente entre componentes de frequência que representam sinal verdadeiro e aqueles que representam ruído de fundo.

Metodologia: Arquitetura FEDIN

A Rede de Interesse Profundo Aprimorada por Frequência (FEDIN) proposta aborda essas limitações através de uma arquitetura de dois ramos que funde perspectivas de domínio do tempo e de domínio da frequência. O framework toma uma sequência de comportamento do usuário $X \in \mathbb{R}^{L \times D}$ e um item alvo $X_{tar} \in \mathbb{R}^D$ como entradas para prever uma representação de interesse do usuário $U$.

1. Pré-processamento

O modelo emprega Normalização de Instância Reversível (RevIN) como uma etapa de pré-processamento para mitigar deslocamentos de distribuição e a natureza não estacionária dos comportamentos dos usuários antes de alimentar os dados nos ramos.

2. Ramo de Domínio do Tempo (Evolução Local)

Este ramo foca na captura da evolução sequencial local dos interesses:

• Filtragem Grossa via Atenção ao Alvo: Um mecanismo de atenção consciente do alvo computa pontuações ponderadas para filtrar ruído ponto a ponto enquanto preserva a resolução temporal, produzindo uma sequência ponderada $X_{attn}$.
• Evolução de Alta Granularidade via Transformer de Patches: Para lidar com sequências longas de forma eficiente e capturar semânticas temporais locais, $X_{attn}$ é segmentada em patches não sobrepostos. Um encoder Transformer modela dependências entre esses patches, gerando a representação de interesse de domínio do tempo $X_{time}$.

3. Ramo de Domínio da Frequência (Periodicidade Global)

Este ramo é a inovação central, projetado para isolar padrões harmônicos estruturados usando um mecanismo de filtragem espectral consciente do alvo:

• Espectro Condicionado ao Alvo: Diferentemente de trabalhos anteriores que transformam sequências brutas, a FEDIN primeiro calcula pontuações de atenção ao alvo $X_{score}$ para capturar a relevância de cada comportamento histórico para o item alvo. Essas pontuações são transformadas para o domínio da frequência via Transformada Rápida de Fourier (FFT) para criar um espectro condicionado ao alvo $\hat{X}_{score}$.
• Filtragem Espectral Consciente do Alvo: O espectro é modulado pelas pontuações de atenção ($\hat{X}_{attn}$) para destacar componentes de frequência onde o usuário mostra forte ressonância com o alvo.
• Filtro Espectral Aprendível: Um MLP de Valor Complexo atua como um filtro aprendível no espectro complexo. Ele amplifica adaptativamente frequências harmônicas dominantes enquanto suprime ruído de alta entropia, produzindo uma representação de frequência limpa $\hat{X}_{freq}$.
• Escala de Ressonância Adaptativa: Um mecanismo de controle adaptativo escala a saída do ramo de frequência com base na clareza espectral (entropia) do espectro condicionado ao alvo. Isso garante que o modelo confie na visão de frequência apenas quando padrões de ressonância claros são detectados, recorrendo ao domínio do tempo caso contrário.

4. Agregador de Interesse do Usuário

As saídas de ambos os ramos ($X_{time}$ e $X_{freq}$) são somadas para formar uma representação mista. Um mecanismo de Atenção ao Alvo Top-k é então aplicado para derivar o interesse final do usuário $U$. Este mecanismo retém apenas os $k$ itens com maior similaridade ao alvo, usando uma estratégia de mascaramento para garantir diferenciabilidade e prevenir a diluição de sinais fortes por sinais fracos ou conflitantes.

Contribuições Principais

1. Observação Empírica: Os autores identificam que as pontuações de atenção do usuário exibem distribuições distintas de entropia espectral quando condicionadas a itens alvo positivos versus negativos. Interesses verdadeiros do usuário manifestam-se como padrões espectrais altamente concentrados com menor entropia, enquanto comportamentos irrelevantes aparecem como ruído de alta entropia. Isso fornece uma base teórica para recomendação espectral consciente do alvo.
2. Framework FEDIN: A proposta de um framework híbrido que integra um ramo de frequência consciente do alvo com modelagem tradicional de domínio do tempo. Este design combina efetivamente a robustez global ao ruído da análise de frequência com a precisão sequencial local da modelagem de domínio do tempo.
3. Desempenho e Robustez: Experimentos extensivos demonstram que a FEDIN supera consistentemente baselines sequenciais state-of-the-art e exibe robustez superior contra ruído.

Resultados Experimentais

O modelo foi avaliado em três conjuntos de dados públicos: Tmall, Taobao e Alipay.

• Baselines: Comparações foram feitas contra seis modelos state-of-the-art (DIN, DIEN, SASRec, BERT4Rec, GRU4Rec, BST, DIFF) e uma baseline de Pooling por Soma.
• Desempenho: A FEDIN alcançou o melhor desempenho em todos os conjuntos de dados nas métricas GAUC e AUC. Por exemplo, no conjunto de dados Tmall, a FEDIN alcançou um GAUC de 0,9658 e AUC de 0,9666, superando significativamente a melhor baseline (DIN: 0,9547/0,9518).
• Estudos de Ablação: Remover qualquer um dos ramos de Domínio do Tempo ou Domínio da Frequência resultou em degradação de desempenho, confirmando a necessidade de ambos. Remover o aspecto "Consciente do Alvo" do filtro de frequência (substituindo-o por um filtro estático) também causou uma queda, validando a hipótese de que o contexto do alvo é crucial para filtragem espectral eficaz.
• Resistência ao Ruído: Experimentos com ruído sintético (Drop Noise e Replace Noise) mostraram que o Ramo de Domínio da Frequência mantém estabilidade significativamente maior à medida que as taxas de ruído aumentam, comparado ao Ramo de Domínio do Tempo. A filtragem espectral atenua efetivamente componentes de ruído de alta entropia.

Significado e Alegações

O artigo afirma que a FEDIN oferece uma perspectiva nova sobre recomendação sequencial ao explorar a natureza condicionada ao alvo dos padrões espectrais. Os autores afirmam que simplesmente analisar a sequência de comportamento bruta no domínio da frequência é insuficiente; o item alvo atua como uma condição necessária para ativar padrões de ressonância específicos.

Ao integrar a análise de domínio da frequência como um complemento em vez de um substituto para a modelagem de domínio do tempo, a FEDIN alcança um equilíbrio entre capturar periodicidades globais e preservar detalhes sequenciais locais. O trabalho demonstra que essa abordagem de dois ramos fornece robustez superior contra o ruído inerente e a esparsidade dos logs de comportamento de usuários do mundo real, levando a previsões de CTR mais estáveis e precisas em diversos conjuntos de dados. Os autores notam que o custo computacional do ramo de frequência é $O(L \log L)$ devido às operações de FFT, oferecendo uma vantagem de eficiência sobre mecanismos padrão de auto-atenção ($O(L^2)$) para sequências longas.