🤖 AI

FEDIN: Frequency-Enhanced Deep Interest Network for Click-Through Rate Prediction

Het artikel stelt FEDIN voor, een nieuw model voor het voorspellen van click-through rates dat frequentiedomeinanalyse en doelbewuste spectralfiltratie gebruikt om lage-entropie periodieke gebruikersinteresses van ruisachtige gedragsdata te isoleren, waardoor het state-of-the-art sequentiële aanbevelingsbaselines overtreft.

Oorspronkelijke auteurs: Zenan Dai, Jinpeng Wang, Junwei Pan, Dapeng Liu, Lei Xiao, Shu-Tao Xia

Gepubliceerd 2026-05-06

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Zenan Dai, Jinpeng Wang, Junwei Pan, Dapeng Liu, Lei Xiao, Shu-Tao Xia

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert te raden wat een vriend als volgende wil kopen. Je kijkt naar hun aankoopgeschiedenis: ze kochten een tent, dan een slaapzak, dan een zaklamp, dan een willekeurig paar sokken, dan een koffiezetapparaat, en toen weer een tent.

Het Probleem:
De meeste computerprogramma's die proberen je volgende zet te raden (zogenaamde "Click-Through Rate Prediction") bekijken deze lijst als een simpele tijdlijn. Ze raken in de war door de ruis. Waarom kochten ze de sokken? Was het een vergissing? Was het een cadeau? De computer raakt afgeleid door deze willekeurige, "ruisende" klikken en heeft moeite om het grotere plaatje te zien: Deze persoon houdt van kamperen.

De Oude Manier:
Vorige modellen probeerden dit op te lossen door naar de lijst te kijken in "slow motion" (het tijdsdomein). Ze probeerden elk item te wegen, maar als de lijst lang of rommelig was, verdronken de willekeurige items (de sokken) de belangrijke patronen (de kampeeruitrusting).

De Nieuwe Ontdekking (FEDIN):
De auteurs van dit artikel, FEDIN, kregen een "Eureka!"-moment. Ze beseften dat als je stopt met kijken naar de lijst als een tijdlijn en er in plaats daarvan naar kijkt als een geluidsgolf (het frequentiedomein), er een magisch patroon verschijnt.

Denk aan de aankoopgeschiedenis van je vriend als een lied:

De Echte Interesses (Kamperen): Dit zijn als een sterke, constante drumbeat. Ze herhalen zich in een patroon. In het "geluid" van de data ziet dit eruit als een heldere, luide noot.
De Ruis (Willekeurige Sokken): Dit is als statische ruis of witte ruis. Het is verspreid, chaotisch en heeft geen ritme.

Het Geheime Ingrediënt: De "Doel"-Stemvork
Hier is het slimme deel dat het artikel ontdekte: Je kunt niet alleen naar het lied luisteren. Je moet naar het lied luisteren terwijl je denkt aan een specifiek item (het "Doel").

Als je vraagt: "Vindt deze persoon Tenten leuk?" en je luistert naar hun geschiedenis als een geluidsgolf, wordt de "Kamperen"-drumbeat super luid en helder. De ruis verdwijnt.
Als je vraagt: "Vindt deze persoon Tenten leuk?" maar ze haten tenten eigenlijk, dan ziet de geluidsgolf er gewoon uit als chaotische statische ruis.

Het artikel noemt dit "Spectrale Entropie". In gewone taal:

Lage Entropie (Goed): Het geluid is georganiseerd en gefocust (zoals een heldere noot). Dit betekent dat de gebruiker het item echt leuk vindt.
Hoge Entropie (Slecht): Het geluid is rommelig en verspreid (zoals statische ruis). Dit betekent dat het item irrelevant voor hen is.

Hoe FEDIN Werkt (De Auto met Twee Motoren):
In plaats van maar op één manier te denken, bouwt FEDIN een auto met twee motoren die samenwerken:

De Tijdsmotor (Het Lokale Zicht): Deze kijkt stap voor stap naar de geschiedenis, alsof je een verhaal leest. Het ziet dat ze een tent kochten voor de slaapzak. Het vangt het directe verhaal op.
De Frequentiemotor (Het Globale Zicht): Deze kijkt naar de hele lijst als een geluidsgolf. Het gebruikt een speciale filter (een "spectrumfilter") om de heldere, ritmische patronen (de kampeeruitrusting) te versterken en de statische ruis (de willekeurige sokken) te dempen. Cruciaal is dat deze filter alleen inschakelt wanneer het kijkt naar een specifiek item (het Doel).

Het Resultaat:
De computer combineert deze twee perspectieven. Het zegt: "Oké, het verhaal zegt dat ze recent een tent kochten, en de geluidsgolf toont een sterke, heldere ritme voor kampeeruitrusting."

Waarom Het Beter Is:
Het artikel testte dit op drie enorme winkeldatasets (Tmall, Taobao, Alipay). Ze ontdekten dat FEDIN veel beter is in het negeren van de "ruis" (willekeurige klikken) dan eerdere modellen. Zelfs als de data rommelig is of stukjes mist, blijft FEDIN kalm omdat het nog steeds het "drumbeat" van de ware interesses van de gebruiker kan horen, zelfs als de "statische ruis" luid is.

Samenvattend:
FEDIN is een slimmer aanbevelingssysteem dat niet alleen een winkelmandje leest; het luistert naar het ritme van die lijst. Door in te tunen op het specifieke item waar je in geïnteresseerd bent, kan het direct de ware passies van de gebruiker scheiden van de achtergrondruis, wat leidt tot veel nauwkeurigere voorspellingen.

Technische Samenvatting: FEDIN – Frequentie-Versterkt Deep Interest Network voor Click-Through Rate Predictie

Probleemstelling

Sequentiële aanbevelingsmodellen voor Click-Through Rate (CTR) predictie staan voor aanzienlijke uitdagingen bij het vastleggen van latente periodieke patronen binnen gebruikersinteresses. Real-world gebruikersgedragreeksen zijn vaak een mengsel van langetermijnperiodieke gewoonten en kortetermijnstochastische ruis. Zuivere tijd-domeinbenaderingen, waaronder die gebruikmaken van Recurrente Neuronale Netwerken (RNN's), Transformers en State Space Models (SSM's), blijken gevoelig te zijn voor puntsgewijze ruis. Deze modellen worstelen vaak met het ontkoppelen van stabiele periodieke patronen van willekeurige klikken, met name in lange reeksen.

Hoewel frequentiedomeinanalyse een globaal perspectief biedt dat geschikt is voor ruisreductie en patroonherkenning, behandelen bestaande frequentie-gebaseerde benaderingen (bijv. FMLP-Rec, FEARec, DIFF) gebruikersreeksen doorgaans geïsoleerd. Zij passen frequentieanalyse toe op de ruwe gedragsreeks zonder rekening te houden met de context van het doelitem. De auteurs betogen dat deze "doel-agnostische" filtering suboptimaal is, omdat een gebruikersgedragsreeks polymorf is; zonder het specifieke doelitem als context kan het model niet effectief onderscheid maken tussen frequentiecomponenten die een waar signaal vertegenwoordigen en die welke achtergrondruis vertegenwoordigen.

Methodologie: FEDIN Architectuur

Het voorgestelde Frequency-Enhanced Deep Interest Network (FEDIN) adresseert deze beperkingen via een dubbelvertakkingsarchitectuur die tijd-domein- en frequentiedomeinperspectieven fuseert. Het raamwerk neemt een gebruikersgedragsreeks $X \in \mathbb{R}^{L \times D}$ en een doelitem $X_{tar} \in \mathbb{R}^D$ als invoer om een gebruikersinterestrepresentatie $U$ te voorspellen.

1. Preprocessing

Het model maakt gebruik van Reversible Instance Normalization (RevIN) als een preprocessingstap om distributieveranderingen en het niet-stationaire karakter van gebruikersgedrag te mitigeren voordat de data naar de vertakkingen wordt gevoerd.

2. Tijd-domein Vertakking (Lokale Evolutie)

Deze vertakking richt zich op het vastleggen van de lokale sequentiële evolutie van interesses:

Grove Filtering via Doel-Attention: Een doel-bewuste attention-mechanisme berekent gewogen scores om puntsgewijze ruis te filteren terwijl de temporele resolutie behouden blijft, wat resulteert in een gewogen reeks $X_{attn}$ .
Fijnkorrelige Evolutie via Patching Transformer: Om lange reeksen efficiënt te verwerken en lokale temporele semantiek vast te leggen, wordt $X_{attn}$ opgedeeld in niet-overlappende patches. Een Transformer-encoder modelleert afhankelijkheden tussen deze patches, wat resulteert in de tijd-domein interestrepresentatie $X_{time}$ .

3. Frequentiedomein Vertakking (Globale Periodiciteit)

Deze vertakking is de kerninnovatie, ontworpen om gestructureerde harmonische patronen te isoleren met behulp van een doel-bewust spectrale filtermechanisme:

Doel-Geconditioneerd Spectrum: In tegenstelling tot eerdere werken die ruwe reeksen transformeren, berekent FEDIN eerst doel-attention scores $X_{score}$ om de relevantie van elk historisch gedrag voor het doelitem te vangen. Deze scores worden via de Fast Fourier Transform (FFT) omgezet naar het frequentiedomein om een doel-geconditioneerd spectrum $\hat{X}_{score}$ te creëren.
Doel-Bewuste Spectrale Filtering: Het spectrum wordt gemoduleerd door de attention scores ( $\hat{X}_{attn}$ ) om frequentiecomponenten te benadrukken waar de gebruiker een sterke resonantie met het doel toont.
Leerbaar Spectraal Filter: Een Complex-Value MLP fungeert als een leerbaar filter op het complexe spectrum. Het versterkt adaptief dominante harmonische frequenties terwijl het ruis met hoge entropie onderdrukt, wat resulteert in een gereinigde frequentierepresentatie $\hat{X}_{freq}$ .
Adaptieve Resonantie Schaling: Een adaptieve gating-mechanisme schaalt de output van de frequentievertakking op basis van de spectrale helderheid (entropie) van het doel-geconditioneerde spectrum. Dit zorgt ervoor dat het model alleen vertrouwen heeft op het frequentieperspectief wanneer duidelijke resonantiepatronen worden gedetecteerd; anders valt het terug op het tijd-domein.

4. Gebruikersinterest Aggregator

De outputs van beide vertakkingen ( $X_{time}$ en $X_{freq}$ ) worden opgeteld om een gemengde representatie te vormen. Vervolgens wordt een Top-k Doel-Attention mechanisme toegepast om de definitieve gebruikersinterest $U$ af te leiden. Dit mechanisme behoudt alleen de $k$ items met de hoogste gelijkenis met het doel, waarbij een masking-strategie wordt gebruikt om differentieerbaarheid te waarborgen en te voorkomen dat sterke signalen worden verdund door zwakke of conflicterende signalen.

Belangrijkste Bijdragen

Empirische Observatie: De auteurs identificeren dat gebruikersattention scores duidelijke spectrale entropieverdelingen vertonen wanneer geconditioneerd op positieve versus negatieve doelitems. Ware gebruikersinteresses manifesteren zich als sterk geconcentreerde spectrale patronen met lagere entropie, terwijl irrelevante gedragingen verschijnen als ruis met hoge entropie. Dit biedt een theoretische onderbouwing voor doel-bewuste spectrale aanbeveling.
FEDIN Raamwerk: De voorstelling van een hybride raamwerk dat een doel-bewuste frequentievertakking integreert met traditionele tijd-domeinmodellering. Dit ontwerp combineert effectief de globale ruisrobustheid van frequentieanalyse met de lokale sequentiële precisie van tijd-domeinmodellering.
Prestatie en Robuustheid: Uitgebreide experimenten tonen aan dat FEDIN consistent beter presteert dan state-of-the-art sequentiële baselines en superieure robuustheid tegen ruis vertoont.

Experimentele Resultaten

Het model werd geëvalueerd op drie publieke datasets: Tmall, Taobao en Alipay.

Baselines: Vergelijkingen werden gemaakt met zes state-of-the-art modellen (DIN, DIEN, SASRec, BERT4Rec, GRU4Rec, BST, DIFF) en een Sum Pooling baseline.
Prestatie: FEDIN behaalde de beste prestaties op alle datasets voor zowel GAUC als AUC metrieken. Bijvoorbeeld, op de Tmall-dataset behaalde FEDIN een GAUC van 0,9658 en een AUC van 0,9666, wat significant beter is dan de beste baseline (DIN: 0,9547/0,9518).
Ablatiestudies: Het verwijderen van óf de Tijd-domein óf de Frequentiedomein vertakking resulteerde in prestatiedegradatie, wat de noodzaak van beide bevestigt. Het verwijderen van het "Doel-Bewuste" aspect van de frequentiefilter (vervangen door een statische filter) veroorzaakte eveneens een daling, wat de hypothese valideert dat doelcontext cruciaal is voor effectieve spectrale filtering.
Ruisweerstand: Synthetische ruisexperimenten (Drop Noise en Replace Noise) toonden aan dat de Frequentiedomein Vertakking aanzienlijk hogere stabiliteit behoudt naarmate de ruispercentages stijgen, vergeleken met de Tijd-domein Vertakking. De spectrale filtering dempt effectief ruiscomponenten met hoge entropie.

Betekenis en Claims

Het artikel claimt dat FEDIN een nieuw perspectief biedt op sequentiële aanbeveling door gebruik te maken van de doel-geconditioneerde aard van spectrale patronen. De auteurs stellen dat het simpelweg analyseren van de ruwe gedragsreeks in het frequentiedomein onvoldoende is; het doelitem fungeert als een noodzakelijke voorwaarde om specifieke resonantiepatronen te activeren.

Door frequentiedomeinanalyse te integreren als een aanvulling in plaats van een vervanging voor tijd-domeinmodellering, bereikt FEDIN een balans tussen het vastleggen van globale periodiciteiten en het behoud van lokale sequentiële details. Het werk toont aan dat deze dubbelvertakkingsaanpak superieure robuustheid biedt tegen de inherente ruis en spaarzaamheid van real-world gebruikersgedragslogs, wat leidt tot stabielere en nauwkeurigere CTR-predicties over diverse datasets. De auteurs merken op dat de rekenkosten van de frequentievertakking $O(L \log L)$ bedraagt vanwege FFT-operaties, wat een efficiëntievoordeel biedt ten opzichte van standaard self-attention mechanismen ( $O(L^2)$ ) voor lange reeksen.