Riepilogo Tecnico: FEDIN – Rete di Interesse Profondo Potenziata in Frequenza per la Previsione del Tasso di Click-Through

Enunciato del Problema

I modelli di raccomandazione sequenziale per la previsione del Click-Through Rate (CTR) affrontano sfide significative nel catturare pattern periodici latenti all'interno degli interessi degli utenti. Le sequenze di comportamento degli utenti nel mondo reale sono spesso una miscela di abitudini periodiche a lungo termine e rumore stocastico a breve termine. Gli approcci puramente nel dominio del tempo, inclusi quelli che utilizzano Reti Neurali Ricorrenti (RNN), Transformer e Modelli a Spazio di Stati (SSM), tendono a essere sensibili al rumore punto per punto. Questi modelli spesso faticano a decouplare pattern periodici stabili dai click casuali, in particolare nelle sequenze lunghe.

Sebbene l'analisi nel dominio della frequenza offra una prospettiva globale adatta al denoising e al riconoscimento di pattern, gli approcci esistenti basati sulla frequenza (ad es. FMLP-Rec, FEARec, DIFF) trattano tipicamente le sequenze degli utenti in isolamento. Applicano l'analisi della frequenza alla sequenza di comportamento grezza senza considerare il contesto dell'articolo target. Gli autori sostengono che questo filtraggio "agnostico rispetto al target" sia subottimale perché la sequenza di comportamento di un utente è polimorfa; senza l'articolo target specifico come contesto, il modello non può distinguere efficacemente tra i componenti di frequenza che rappresentano un segnale reale e quelli che rappresentano rumore di fondo.

Metodologia: Architettura FEDIN

La proposta Frequency-Enhanced Deep Interest Network (FEDIN) affronta queste limitazioni attraverso un'architettura a due rami che fonde le prospettive del dominio del tempo e del dominio della frequenza. Il framework prende in input una sequenza di comportamento dell'utente $X \in \mathbb{R}^{L \times D}$ e un articolo target $X_{tar} \in \mathbb{R}^D$ per prevedere una rappresentazione di interesse dell'utente $U$.

1. Preprocessing

Il modello impiega la Normalizzazione Istantanea Reversibile (RevIN) come passo di preprocessing per mitigare gli spostamenti di distribuzione e la natura non stazionaria dei comportamenti degli utenti prima di immettere i dati nei rami.

2. Ramo del Dominio del Tempo (Evoluzione Locale)

Questo ramo si concentra sulla cattura dell'evoluzione sequenziale locale degli interessi:

• Filtraggio Grossolano tramite Attenzione al Target: Un meccanismo di attenzione consapevole del target calcola punteggi ponderati per filtrare il rumore punto per punto preservando la risoluzione temporale, producendo una sequenza ponderata $X_{attn}$.
• Evoluzione Granulare tramite Patching Transformer: Per gestire sequenze lunghe in modo efficiente e catturare semantica temporale locale, $X_{attn}$ viene segmentata in patch non sovrapposte. Un encoder Transformer modella le dipendenze tra queste patch, producendo la rappresentazione di interesse nel dominio del tempo $X_{time}$.

3. Ramo del Dominio della Frequenza (Periodicità Globale)

Questo ramo è l'innovazione principale, progettato per isolare pattern armonici strutturati utilizzando un meccanismo di filtraggio spettrale consapevole del target:

• Spettro Condizionato al Target: A differenza dei lavori precedenti che trasformano le sequenze grezze, FEDIN calcola prima i punteggi di attenzione al target $X_{score}$ per catturare la rilevanza di ogni comportamento storico rispetto all'articolo target. Questi punteggi vengono trasformati nel dominio della frequenza tramite la Trasformata di Fourier Veloce (FFT) per creare uno spettro condizionato al target $\hat{X}_{score}$.
• Filtraggio Spettrale Consapevole del Target: Lo spettro viene modulato dai punteggi di attenzione ($\hat{X}_{attn}$) per evidenziare i componenti di frequenza in cui l'utente mostra una forte risonanza con il target.
• Filtro Spettrale Apprendibile: Un MLP a Valori Complessi agisce come un filtro apprendibile sullo spettro complesso. Amplifica adattivamente le frequenze armoniche dominanti mentre sopprime il rumore ad alta entropia, producendo una rappresentazione in frequenza pulita $\hat{X}_{freq}$.
• Scalatura Adattiva della Risonanza: Un meccanismo di gating adattivo scala l'output del ramo di frequenza in base alla chiarezza spettrale (entropia) dello spettro condizionato al target. Ciò garantisce che il modello si affidi alla visione in frequenza solo quando vengono rilevati pattern di risonanza chiari, ricorrendo altrimenti al dominio del tempo.

4. Aggregatore di Interesse Utente

Gli output da entrambi i rami ($X_{time}$ e $X_{freq}$) vengono sommati per formare una rappresentazione mista. Viene quindi applicato un meccanismo di Attenzione al Target Top-k per derivare l'interesse finale dell'utente $U$. Questo meccanismo mantiene solo i $k$ articoli con la più alta similarità al target, utilizzando una strategia di mascheramento per garantire la differenziabilità e prevenire la diluizione di segnali forti da parte di segnali deboli o conflittuali.

Contributi Chiave

1. Osservazione Empirica: Gli autori identificano che i punteggi di attenzione degli utenti mostrano distribuzioni di entropia spettrale distinte quando condizionati ad articoli target positivi rispetto a quelli negativi. I veri interessi degli utenti si manifestano come pattern spettrali altamente concentrati con entropia inferiore, mentre i comportamenti irrilevanti appaiono come rumore ad alta entropia. Ciò fornisce una base teorica per la raccomandazione spettrale consapevole del target.
2. Framework FEDIN: La proposta di un framework ibrido che integra un ramo di frequenza consapevole del target con la modellazione tradizionale nel dominio del tempo. Questo design combina efficacemente la robustezza globale al rumore dell'analisi in frequenza con la precisione sequenziale locale della modellazione nel dominio del tempo.
3. Prestazioni e Robustezza: Esperimenti estensivi dimostrano che FEDIN supera costantemente le linee di base sequenziali dello stato dell'arte e mostra una robustezza superiore al rumore.

Risultati Sperimentali

Il modello è stato valutato su tre dataset pubblici: Tmall, Taobao e Alipay.

• Linee di Base: I confronti sono stati effettuati contro sei modelli dello stato dell'arte (DIN, DIEN, SASRec, BERT4Rec, GRU4Rec, BST, DIFF) e una linea di base di Sum Pooling.
• Prestazioni: FEDIN ha ottenuto le migliori prestazioni su tutti i dataset sia nelle metriche GAUC che AUC. Ad esempio, sul dataset Tmall, FEDIN ha ottenuto un GAUC di 0,9658 e un AUC di 0,9666, superando significativamente la migliore linea di base (DIN: 0,9547/0,9518).
• Studi di Ablazione: La rimozione di uno dei rami, sia del Dominio del Tempo che del Dominio della Frequenza, ha portato a un degrado delle prestazioni, confermando la necessità di entrambi. Anche la rimozione dell'aspetto "Consapevole del Target" del filtro di frequenza (sostituendolo con un filtro statico) ha causato un calo, validando l'ipotesi che il contesto del target sia cruciale per un filtraggio spettrale efficace.
• Resistenza al Rumore: Gli esperimenti con rumore sintetico (Drop Noise e Replace Noise) hanno mostrato che il Ramo del Dominio della Frequenza mantiene una stabilità significativamente più alta all'aumentare dei tassi di rumore rispetto al Ramo del Dominio del Tempo. Il filtraggio spettrale attenua efficacemente i componenti di rumore ad alta entropia.

Significato e Affermazioni

Il documento afferma che FEDIN offre una prospettiva innovativa sulla raccomandazione sequenziale sfruttando la natura condizionata al target dei pattern spettrali. Gli autori affermano che analizzare semplicemente la sequenza di comportamento grezza nel dominio della frequenza è insufficiente; l'articolo target agisce come una condizione necessaria per attivare pattern di risonanza specifici.

Integrando l'analisi nel dominio della frequenza come complemento piuttosto che come sostituto della modellazione nel dominio del tempo, FEDIN raggiunge un equilibrio tra la cattura delle periodicità globali e la preservazione dei dettagli sequenziali locali. Il lavoro dimostra che questo approccio a due rami fornisce una robustezza superiore al rumore intrinseco e alla sparsità dei log di comportamento degli utenti nel mondo reale, portando a previsioni CTR più stabili e accurate su dataset diversificati. Gli autori notano che il costo computazionale del ramo di frequenza è $O(L \log L)$ a causa delle operazioni FFT, offrendo un vantaggio di efficienza rispetto ai meccanismi di self-attention standard ($O(L^2)$) per sequenze lunghe.