🤖 AI

FEDIN: Frequency-Enhanced Deep Interest Network for Click-Through Rate Prediction

Der Artikel stellt FEDIN vor, ein neuartiges Modell zur Vorhersage der Klickrate, das Frequenzbereichsanalyse und zielbewusste Spektrumfilterung nutzt, um niederentropische periodische Nutzerinteressenmuster von verrauschten Verhaltensdaten zu isolieren und dadurch state-of-the-art-Baselines für sequenzielle Empfehlungen zu übertreffen.

Ursprüngliche Autoren: Zenan Dai, Jinpeng Wang, Junwei Pan, Dapeng Liu, Lei Xiao, Shu-Tao Xia

Veröffentlicht 2026-05-06

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zenan Dai, Jinpeng Wang, Junwei Pan, Dapeng Liu, Lei Xiao, Shu-Tao Xia

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen zu erraten, was ein Freund als Nächstes kaufen möchte. Sie schauen sich seine Einkaufshistorie an: Er kaufte ein Zelt, dann einen Schlafsack, dann eine Taschenlampe, dann ein zufälliges Paar Socken, dann eine Kaffeemaschine und schließlich wieder ein Zelt.

Das Problem:
Die meisten Computerprogramme, die versuchen, Ihren nächsten Schritt vorherzusagen (sogenannte „Click-Through-Rate-Vorhersage"), betrachten diese Liste wie einen einfachen Zeitstrahl. Sie geraten durch das Rauschen in Verwirrung. Warum kaufte er die Socken? War es ein Fehler? War es ein Geschenk? Der Computer lässt sich von diesen zufälligen, „rauschbehafteten" Klicks ablenken und hat Schwierigkeiten, das große Ganze zu erkennen: Diese Person liebt Camping.

Der alte Weg:
Frühere Modelle versuchten, dies zu beheben, indem sie die Liste in „Zeitlupe" (im Zeitbereich) betrachteten. Sie versuchten, jeden Artikel zu gewichten, doch wenn die Liste lang oder unübersichtlich war, erstickten die zufälligen Artikel (die Socken) die wichtigen Muster (die Campingausrüstung).

Die neue Entdeckung (FEDIN):
Die Autoren dieses Papiers, FEDIN, hatten einen „Eureka!"-Moment. Sie erkannten, dass sich ein magisches Muster ergibt, wenn man die Liste nicht als Zeitstrahl, sondern als Schallwelle (im Frequenzbereich) betrachtet.

Stellen Sie sich die Einkaufshistorie Ihres Freundes wie ein Lied vor:

Die echten Interessen (Camping): Diese sind wie ein starker, gleichmäßiger Trommelschlag. Sie wiederholen sich in einem Muster. Im „Klang" der Daten erscheint dies als ein klarer, lauter Ton.
Das Rauschen (zufällige Socken): Dies ist wie statisches Rauschen oder weißes Rauschen. Es ist zerstreut, chaotisch und hat keinen Rhythmus.

Das Geheimnis: Der „Ziel"-Stimmgabel-Effekt
Hier kommt der clevere Teil, den das Papier entdeckt hat: Man kann nicht einfach nur das Lied allein anhören. Man muss das Lied anhören, während man über einen spezifischen Artikel nachdenkt (das „Ziel").

Wenn Sie fragen: „Mag diese Person Zelte?" und Sie die Historie als Schallwelle anhören, wird der „Camping"-Trommelschlag super laut und klar. Das Rauschen verblasst.
Wenn Sie fragen: „Mag diese Person Zelte?", sie aber Zelte eigentlich hassen, sieht die Schallwelle nur wie chaotisches Rauschen aus.

Das Papier nennt dies „Spektrale Entropie". Auf Deutsch:

Niedrige Entropie (Gut): Der Klang ist organisiert und fokussiert (wie ein klarer Ton). Dies bedeutet, dass der Benutzer den Artikel wirklich mag.
Hohe Entropie (Schlecht): Der Klang ist unordentlich und zerstreut (wie Rauschen). Dies bedeutet, dass der Artikel für sie irrelevant ist.

Wie FEDIN funktioniert (Das Auto mit zwei Motoren):
Anstatt nur auf eine Denkweise zu setzen, baut FEDIN ein Auto mit zwei Motoren, die zusammenarbeiten:

Der Zeit-Motor (Die lokale Sicht): Dieser betrachtet die Historie Schritt für Schritt, wie beim Lesen einer Geschichte. Er sieht, dass sie ein Zelt vor dem Schlafsack gekauft haben. Er erfasst die unmittelbare Geschichte.
Der Frequenz-Motor (Die globale Sicht): Dieser betrachtet die gesamte Liste als Schallwelle. Er verwendet einen speziellen Filter (einen „Spektrumfilter"), um die klaren, rhythmischen Muster (die Campingausrüstung) zu verstärken und das Rauschen (die zufälligen Socken) zu dämpfen. Entscheidend ist, dass dieser Filter nur aktiviert wird, wenn er einen spezifischen Artikel (das Ziel) betrachtet.

Das Ergebnis:
Der Computer kombiniert diese beiden Ansichten. Er sagt: „Okay, die Geschichte besagt, dass sie kürzlich ein Zelt gekauft haben, und die Schallwelle zeigt einen starken, klaren Rhythmus für Campingausrüstung."

Warum es besser ist:
Das Papier testete dies an drei riesigen Einkaufsdatensätzen (Tmall, Taobao, Alipay). Sie stellten fest, dass FEDIN viel besser darin ist, das „Rauschen" (zufällige Klicks) zu ignorieren als frühere Modelle. Selbst wenn die Daten unordentlich sind oder Lücken aufweisen, bleibt FEDIN ruhig, weil es den „Trommelschlag" der wahren Interessen des Benutzers immer noch hören kann, selbst wenn das „Rauschen" laut ist.

Zusammenfassung:
FEDIN ist ein intelligenteres Empfehlungssystem, das nicht nur eine Einkaufsliste liest; es hört auf den Rhythmus dieser Liste. Indem es auf den spezifischen Artikel abstimmt, an dem Sie interessiert sind, kann es sofort die wahren Leidenschaften des Benutzers vom Hintergrundrauschen trennen, was zu viel genaueren Vorhersagen führt.

Technische Zusammenfassung: FEDIN – Frequenzgestärktes Deep Interest Network für die Vorhersage der Click-Through-Rate

Problemstellung

Sequenzielle Empfehlungsmodelle zur Vorhersage der Click-Through-Rate (CTR) stehen vor erheblichen Herausforderungen bei der Erfassung latenter periodischer Muster innerhalb von Nutzerinteressen. Reale Sequenzen von Nutzerverhalten sind oft eine Mischung aus langfristigen periodischen Gewohnheiten und kurzfristigen stochastischen Störungen. Rein zeitdomänenbasierte Ansätze, einschließlich solcher, die Rekurrente Neuronale Netze (RNNs), Transformer und State Space Models (SSMs) nutzen, neigen dazu, empfindlich auf punktuelle Störungen zu reagieren. Diese Modelle haben oft Schwierigkeiten, stabile periodische Muster von zufälligen Klicks zu entkoppeln, insbesondere bei langen Sequenzen.

Während die Frequenzbereichsanalyse eine globale Perspektive bietet, die für Rauschunterdrückung und Mustererkennung geeignet ist, behandeln bestehende frequenzbasierte Ansätze (z. B. FMLP-Rec, FEARec, DIFF) Nutzensequenzen typischerweise isoliert. Sie wenden eine Frequenzanalyse auf die rohe Verhaltenssequenz an, ohne den Kontext des Zielartikels zu berücksichtigen. Die Autoren argumentieren, dass diese „zielagnostische" Filterung suboptimal ist, da die Verhaltenssequenz eines Nutzers polymorph ist; ohne den spezifischen Zielartikel als Kontext kann das Modell nicht effektiv zwischen Frequenzkomponenten unterscheiden, die ein echtes Signal darstellen, und solchen, die Hintergrundrauschen repräsentieren.

Methodik: FEDIN-Architektur

Das vorgeschlagene Frequency-Enhanced Deep Interest Network (FEDIN) adressiert diese Einschränkungen durch eine Dual-Branch-Architektur, die Zeitdomänen- und Frequenzbereichsperspektiven fusioniert. Das Framework nimmt eine Nutzerverhaltenssequenz $X \in \mathbb{R}^{L \times D}$ und einen Zielartikel $X_{tar} \in \mathbb{R}^D$ als Eingaben, um eine Nutzerinteressenrepräsentation $U$ vorherzusagen.

1. Vorverarbeitung

Das Modell verwendet Reversible Instance Normalization (RevIN) als Vorverarbeitungsschritt, um Verteilungsverschiebungen und die Nicht-Stationarität von Nutzerverhalten zu mildern, bevor die Daten in die Zweige eingespeist werden.

2. Zeitdomänen-Zweig (Lokale Evolution)

Dieser Zweig konzentriert sich auf die Erfassung der lokalen sequenziellen Evolution von Interessen:

Grobfilterung via Target Attention: Ein zielbewusster Aufmerksamkeitsmechanismus berechnet gewichtete Scores, um punktuelle Störungen herauszufiltern und gleichzeitig die zeitliche Auflösung zu erhalten, wodurch eine gewichtete Sequenz $X_{attn}$ entsteht.
Feingranulare Evolution via Patching Transformer: Um lange Sequenzen effizient zu verarbeiten und lokale zeitliche Semantik zu erfassen, wird $X_{attn}$ in nicht-überlappende Patches segmentiert. Ein Transformer-Encoder modelliert Abhängigkeiten zwischen diesen Patches und liefert die zeitdomänenbasierte Interessenrepräsentation $X_{time}$ .

3. Frequenzbereich-Zweig (Globale Periodizität)

Dieser Zweig ist die Kerninnovation und dient dazu, strukturierte harmonische Muster mittels eines zielbewussten spektralen Filtermechanismus zu isolieren:

Zielkonditioniertes Spektrum: Im Gegensatz zu früheren Arbeiten, die rohe Sequenzen transformieren, berechnet FEDIN zunächst zielbewusste Aufmerksamkeits-Scores $X_{score}$ , um die Relevanz jedes historischen Verhaltens für den Zielartikel zu erfassen. Diese Scores werden mittels Fast Fourier Transform (FFT) in den Frequenzbereich transformiert, um ein zielkonditioniertes Spektrum $\hat{X}_{score}$ zu erzeugen.
Zielbewusste Spektrumfilterung: Das Spektrum wird durch die Aufmerksamkeits-Scores ( $\hat{X}_{attn}$ ) moduliert, um Frequenzkomponenten hervorzuheben, bei denen der Nutzer eine starke Resonanz mit dem Ziel zeigt.
Lernbarer Spektralfilter: Ein komplexwertiges MLP fungiert als lernbarer Filter auf dem komplexen Spektrum. Es verstärkt adaptiv dominante harmonische Frequenzen und unterdrückt gleichzeitig hochentropisches Rauschen, wodurch eine bereinigte Frequenzrepräsentation $\hat{X}_{freq}$ entsteht.
Adaptive Resonanzskalierung: Ein adaptiver Gating-Mechanismus skaliert die Ausgabe des Frequenz-Zweigs basierend auf der spektralen Klarheit (Entropie) des zielkonditionierten Spektrums. Dies stellt sicher, dass das Modell nur dann auf die Frequenzansicht zurückgreift, wenn klare Resonanzmuster erkannt werden; andernfalls weicht es auf den Zeitbereich aus.

4. Nutzerinteressen-Aggregator

Die Ausgaben beider Zweige ( $X_{time}$ und $X_{freq}$ ) werden summiert, um eine gemischte Repräsentation zu bilden. Anschließend wird ein Top-k Target Attention-Mechanismus angewendet, um das finale Nutzerinteresse $U$ abzuleiten. Dieser Mechanismus behält nur die $k$ Artikel mit der höchsten Ähnlichkeit zum Ziel bei und verwendet eine Maskierungsstrategie, um die Differenzierbarkeit sicherzustellen und eine Verdünnung starker Signale durch schwache oder widersprüchliche Signale zu verhindern.

Hauptbeiträge

Empirische Beobachtung: Die Autoren identifizieren, dass Nutzer-Aufmerksamkeits-Scores bei Konditionierung auf positive versus negative Zielartikel unterschiedliche spektrale Entropieverteilungen aufweisen. Echte Nutzerinteressen manifestieren sich als hochkonzentrierte spektrale Muster mit niedrigerer Entropie, während irrelevante Verhaltensweisen als hochentropisches Rauschen erscheinen. Dies liefert eine theoretische Grundlage für zielbewusste spektrale Empfehlungssysteme.
FEDIN-Framework: Die Vorstellung eines hybriden Frameworks, das einen zielbewussten Frequenz-Zweig mit traditioneller Zeitdomänen-Modellierung integriert. Dieses Design kombiniert effektiv die globale Rauschrobustheit der Frequenzanalyse mit der lokalen sequenziellen Präzision der Zeitdomänen-Modellierung.
Leistung und Robustheit: Umfassende Experimente zeigen, dass FEDIN konsistent fortschrittliche sequenzielle Baselines übertrifft und eine überlegene Robustheit gegenüber Rauschen aufweist.

Experimentelle Ergebnisse

Das Modell wurde auf drei öffentlichen Datensätzen evaluiert: Tmall, Taobao und Alipay.

Baselines: Vergleiche wurden mit sechs fortschrittlichen Modellen (DIN, DIEN, SASRec, BERT4Rec, GRU4Rec, BST, DIFF) und einer Sum-Pooling-Baseline durchgeführt.
Leistung: FEDIN erzielte auf allen Datensätzen die beste Leistung sowohl bei den GAUC- als auch bei den AUC-Metriken. Beispielsweise erreichte FEDIN auf dem Tmall-Datensatz einen GAUC von 0,9658 und einen AUC von 0,9666 und übertraf damit die beste Baseline (DIN: 0,9547/0,9518) signifikant.
Ablationsstudien: Das Entfernen entweder des Zeitdomänen- oder des Frequenzbereich-Zweigs führte zu einer Leistungsverschlechterung, was die Notwendigkeit beider bestätigt. Auch das Entfernen des „zielbewussten" Aspekts des Frequenzfilters (Ersetzung durch einen statischen Filter) verursachte einen Rückgang, was die Hypothese validiert, dass der Zielkontext für eine effektive spektrale Filterung entscheidend ist.
Rauschresistenz: Synthetische Rauschexperimente (Drop Noise und Replace Noise) zeigten, dass der Frequenzbereich-Zweig im Vergleich zum Zeitdomänen-Zweig eine signifikant höhere Stabilität aufweist, wenn die Rauschrate steigt. Die spektrale Filterung dämpft effektiv hochentropische Rauschkomponenten.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass FEDIN eine neue Perspektive auf sequenzielle Empfehlung bietet, indem sie die zielkonditionierte Natur spektraler Muster nutzt. Die Autoren betonen, dass eine reine Analyse der rohen Verhaltenssequenz im Frequenzbereich unzureichend ist; der Zielartikel fungiert als notwendige Bedingung, um spezifische Resonanzmuster zu aktivieren.

Durch die Integration der Frequenzbereichsanalyse als Ergänzung und nicht als Ersatz für die Zeitdomänen-Modellierung erreicht FEDIN ein Gleichgewicht zwischen der Erfassung globaler Periodizitäten und der Bewahrung lokaler sequenzieller Details. Die Arbeit zeigt, dass dieser Dual-Branch-Ansatz eine überlegene Robustheit gegenüber dem inhärenten Rauschen und der Spärlichkeit realer Nutzerverhaltensprotokolle bietet, was zu stabileren und genaueren CTR-Vorhersagen über diverse Datensätze hinweg führt. Die Autoren weisen darauf hin, dass die Rechenkosten des Frequenz-Zweigs aufgrund von FFT-Operationen $O(L \log L)$ betragen, was einen Effizienzvorteil gegenüber Standard-Self-Attention-Mechanismen ( $O(L^2)$ ) für lange Sequenzen bietet.