🤖 AI

Generative Long-term User Interest Modeling for Click-Through Rate Prediction

Dieser Artikel stellt GenLI vor, ein generatives Modell für langfristige Nutzerinteressen zur Vorhersage der Klickrate, das die herkömmliche zielzentrierte Suche durch ein Modul zur Interessen-Generierung ersetzt, um vielfältige, interaktionsbewusste Nutzerinteressen zu erfassen und gleichzeitig eine Verhaltenssuche mit $O(1)$ -Komplexität zu erreichen, was Effizienz und Genauigkeit verbessert.

Ursprüngliche Autoren: Jiangli Shao, Kaifu Zheng, Hao Fang, Huimu Ye, Zhiwei Liu, Bo Zhang, Shu Han, Xingxing Wang

Veröffentlicht 2026-05-18

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jiangli Shao, Kaifu Zheng, Hao Fang, Huimu Ye, Zhiwei Liu, Bo Zhang, Shu Han, Xingxing Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Koch, der versuchen muss zu erraten, was ein Kunde als Nächstes bestellen möchte. Sie haben ein massives Notizbuch, das jedes einzelne Ding enthält, das dieser Kunde in den letzten Jahren angesehen, angeklickt oder gekauft hat. Dies ist das „langfristige Nutzerverhalten", über das der Artikel spricht.

Das Ziel ist es, vorherzusagen, ob der Kunde auf einen bestimmten neuen Artikel (wie ein neues Restaurant oder Produkt) klicken wird, um die „Click-Through Rate" (CTR) zu verbessern – im Wesentlichen, wie oft Menschen tatsächlich das auswählen, was man ihnen zeigt.

Hier ist das Problem mit der alten Methode, und wie dieser neue Artikel, GenLI, es behebt.

Der alte Weg: Die „zielzentrierte" Suche

Früher funktionierten Systeme wie ein Bibliothekar, der nur nach Büchern sucht, die genau dem Titel des Buches entsprechen, das Sie gerade in der Hand halten.

Der Filter: Wenn Sie sich ein Bild von einer Pizza ansehen, scannt das System Ihre gesamte Historie und zieht nur die 10 Artikel heraus, die der Pizza am ähnlichsten sehen.
Der Fehler: Dies übersieht das große Ganze. Vielleicht lieben Sie Pizza, aber Sie lieben auch Wandern, Science-Fiction-Filme und den Kauf von Gartenwerkzeug. Indem das System nur nach „pizzahähnlichen" Dingen sucht, ignoriert es Ihre anderen Leidenschaften. Es ist wie jemanden nur nach seinem Lieblingsessen zu beurteilen und seine Persönlichkeit zu ignorieren.
Das Geschwindigkeitsproblem: Um diese 10 pizzahähnlichen Artikel zu finden, muss der Bibliothekar Ihren aktuellen Artikel mit jedem einzelnen Artikel in Ihrer Historie einzeln vergleichen. Wenn Ihre Historie auf Millionen von Artikeln wächst, wird dies unglaublich langsam, wie die Suche nach einer Nadel im Heuhaufen, indem man jedes einzelne Heuhalms einzeln überprüft.

Der neue Weg: GenLI (Der „generative" Koch)

Die Autoren schlagen ein neues System namens GenLI vor. Anstatt nur nach Übereinstimmungen zu suchen, versucht GenLI, zuerst die aktuelle Stimmung und die Interessen des Kunden zu verstehen und findet dann die relevanten Historien. Es funktioniert in drei kreativen Schritten:

1. Der Interessen-Generator (IGM): Die Stimmung lesen

Anstatt zu fragen: „Was sieht aus wie Pizza?", betrachtet GenLI Ihre aktuellen Aktionen (die letzten paar Klicks) und fragt: „Was für ein Mensch ist dieser Nutzer gerade?"

Es erstellt drei verschiedene „Stimmungskarten" (Verteilungen) Ihrer Interessen:
- Explizites Interesse: Worauf Sie eindeutig geklickt haben (z. B. „Ich will definitiv Pizza").
- Implizites Interesse: Worauf das System Ihnen gezeigt hat, worauf Sie nicht geklickt haben, aber es trotzdem mögen könnten (z. B. „Ich habe einen Salat gesehen, nicht angeklickt, aber vielleicht habe ich gerade nur keinen Hunger danach").
- Relatives Interesse: Der Unterschied zwischen den beiden (z. B. „Ich bevorzuge Pizza gegenüber Salat gerade").
Die Analogie: Stellen Sie sich vor, der Koch schmeckt die Luft in der Küche. Anstatt nur Zutaten zu greifen, die dem aktuellen Auftrag ähneln, spürt der Koch, dass der Kunde „in einer scharfen Stimmung" ist oder „sich nach Nostalgie sehnt". Dies geschieht ohne, dass der spezifische Zielartikel noch betrachtet wird, sodass keine versteckten Interessen übersehen werden.

2. Die Verhaltenswiedergewinnung (BRM): Die magische Nachschlagefunktion

Sobald GenLI diese „Stimmungskarten" hat, muss es die relevanten Artikel aus Ihrer massiven Historie finden.

Der alte Weg: Vergleichen Sie den Zielartikel mit jedem Historie-Artikel (Langsam!).
Der GenLI-Weg: Es verwendet eine einfache Nachschlagefunktion. Da die „Stimmungskarten" vorab berechnet sind, prüft das System einfach eine Punktekarte. Es ist wie ein vorab sortiertes Verzeichnis, in dem Sie sofort zum Abschnitt „Scharf" oder „Nostalgisch" springen können.
Das Ergebnis: Es wählt die Top-Artikel aus, die zu diesen Stimmungen passen. Dies ist unglaublich schnell (mathematisch ist es $O(1)$ , was bedeutet, dass es die gleiche winzige Zeitspanne benötigt, egal ob Sie 100 oder 10 Millionen Artikel haben).

3. Die Interessenfusion (IFM): Die Aromen mischen

Schließlich nimmt das System die Artikel, die es für jede „Stimmung" gefunden hat (die scharfen, die nostalgischen usw.), und mischt sie mit dem aktuellen Artikel, den Sie ansehen, zusammen. Es verwendet einen „Gating-Mechanismus" (einen intelligenten Schalter), um zu entscheiden, wie viel von jedem Interesse zu fokussieren ist, bevor die endgültige Vorhersage getroffen wird.

Warum das wichtig ist (Die Ergebnisse)

Der Artikel testete dies an realen Daten von Meituan (eine massive chinesische Lifestyle- und Liefer-App) und öffentlichen Datensätzen wie Amazon und Taobao.

Genauigkeit: GenLI war besser darin vorherzusagen, worauf Nutzer klicken würden, als alle vorherigen „state-of-the-art"-Modelle. Es verbesserte die Vorhersagegenauigkeit erheblich, weil es die anderen Interessen des Nutzers nicht ignorierte.
Geschwindigkeit: Da es die langsamen, einzeln durchgeführten Vergleiche einstellte, wurde es viel schneller. Dies ist entscheidend für Online-Systeme, die Entscheidungen in Millisekunden treffen müssen.
Erfolg in der Praxis: Der Artikel besagt, dass GenLI bereits im Werbesystem von Meituan eingesetzt wird. Es bedient derzeit hunderte Millionen Nutzer jeden Tag. In einem Live-Test (A/B-Testing) erhöhte es die Click-Through-Rate um 0,776 % und den Umsatz pro tausend Impressionen um 1,567 %.

Zusammenfassung

Kurz gesagt waren die alten Systeme wie ein Bibliothekar, der nur Bücher fand, die dem ähnelten, das Sie in der Hand hielten. GenLI ist wie ein Bibliothekar, der zuerst Ihre aktuelle Stimmung und Ihre vielfältigen Geschmäcker versteht und dann sofort die perfekten Bücher aus den Regalen holt, ohne einmal den Titel des Buches zu prüfen, das Sie halten. Es ist schneller, intelligenter und bringt der Plattform mehr Geld ein.

Technische Zusammenfassung: Generative Modellierung langfristiger Nutzerinteressen zur Vorhersage der Klickrate (GenLI)

Problemstellung
Die Vorhersage der Klickrate (CTR) ist eine fundamentale Aufgabe in der Werbung und in Empfehlungssystemen, die stark von einer präzisen Modellierung langfristiger Nutzerinteressen abhängt, die aus massiven historischen Verhaltenssequenzen abgeleitet werden. Aktuelle state-of-the-art-Ansätze verwenden typischerweise ein zweistufiges Framework, das aus einer General Search Unit (GSU) und einer Exact Search Unit (ESU) besteht. Die GSU ermittelt eine Teilmenge relevanter Verhaltensweisen basierend auf der Ähnlichkeit zum Zielartikel, während die ESU diese mittels Aufmerksamkeitsmechanismen aggregiert.

Die Autoren identifizieren drei kritische Einschränkungen bei bestehenden GSU-Ansätzen, die auf dem Zielartikel basieren:

Unvollständige Interessenrepräsentation: Indem sie sich ausschließlich auf Verhaltensweisen konzentrieren, die für den spezifischen Zielartikel relevant sind, ignorieren diese Modelle andere latente Nutzerinteressen, was zu verzerrten und unvollständigen Interessenmerkmalen führt.
Rechenleistungsengpass: Der auf Matching basierende Retrieval-Prozess erfordert die Berechnung von paarweisen Ähnlichkeitswerten zwischen dem Zielartikel und jedem historischen Verhalten. Da sich die Sequenzen des Nutzerverhaltens oft auf Tausende von Artikeln ausdehnen, wird dies zu einem zeitaufwändigen Engpass für Online-Dienste.
Ignorierte Verhaltensinteraktionen: Die paarweise Architektur vergleicht den Zielartikel mit einzelnen Verhaltensweisen isoliert und vernachlässigt dabei die Interaktionsinformationen und Muster, die zwischen den historischen Verhaltensweisen des Nutzers existieren.

Methodik: GenLI-Framework
Um diese Probleme zu adressieren, schlagen die Autoren GenLI vor, ein generatives Framework zur Modellierung langfristiger Nutzerinteressen. Im Gegensatz zu traditionellen, auf Retrieval basierenden Methoden verfolgt GenLI einen generativen Ansatz, der zielunabhängig ist. Das Framework besteht aus drei Kernmodulen:

Modul zur Interessengenerierung (IGM):
- Eingabe: Das IGM nutzt eine Kurzzeit-Verhaltenssequenz (die neuesten $l$ Verhaltensweisen) anstelle des Zielartikels.
- Mechanismus: Es setzt Multi-Head Attention (MHA) ein, um diese Kurzzeit-Verhaltensweisen zu verarbeiten. Die Query-Vektoren bestehen aus der Einbettung des neuesten Verhaltens und einem lernbaren Query-Vektor, um Interaktionswissen zu erfassen.
- Ausgabe: Das Modul generiert mehrere diskrete Interessenverteilungen, die verschiedene Aspekte der Echtzeit-Nutzerinteressen repräsentieren:
  - Explizites Interesse ( $\mathbf{p}_E$ ): Abgeleitet aus direkten Interaktionen (z. B. Klicks), optimiert mittels negativer Log-Likelihood für geklickte Artikel.
  - Implizites Interesse ( $\mathbf{p}_I$ ): Abgeleitet aus exponierten Artikeln (Impressionen ohne Klicks), repräsentiert stabile, langfristige Präferenzen.
  - Relatives Interesse ( $\mathbf{p}_R$ ): Definiert als Differenz zwischen expliziten und impliziten Verteilungen ( $\mathbf{p}_E - \mathbf{p}_I$ ), erfasst den sich ändernden Trend der Nutzerinteressen und den Kontrast bei der Entscheidungsfindung.
- Hauptmerkmal: Dieser Prozess ist zielunabhängig und stellt sicher, dass die generierten Verteilungen ein breiteres, diverseres Spektrum an Nutzerinteressen umfassen.
Modul zum Verhaltens-Retrieval (BRM):
- Mechanismus: Anstatt paarweise Ähnlichkeiten zu berechnen, führt das BRM eine einfache Nachschlageoperation durch. Für jede generierte Interessenverteilung werden historischen Verhaltensweisen basierend auf ihren eindeutigen IDs, die auf die Verteilungsindizes abgebildet werden (via Modulo-Operation), Scores zugewiesen.
- Effizienz: Dies reduziert die Zeitkomplexität für die Gewichtung jedes Verhaltens auf $O(1)$ .
- Auswahl: Das Modul wählt die Top- $k$ Verhaltensweisen für jede der drei Interessenverteilungen aus ( $\mathbf{B}_I, \mathbf{B}_E, \mathbf{B}_R$ ), was insgesamt $K$ abgerufene Verhaltensweisen ergibt. Dieser Prozess integriert inhärent Interaktionsinformationen aus der Generierungsphase und filtert Rauschen heraus.
Modul zur Interessenfusion (IFM):
- Aggregation: Die ausgewählten Verhaltensweisen aus jeder Verteilung werden separat mittels Multi-Head Attention aggregiert, wobei die Einbettung des Zielartikels als Query fungiert.
- Fusion: Die resultierenden Interessen-Einbettungen werden konkateniert und durch einen Gating-Mechanismus (MLP mit Sigmoid-Aktivierung) verarbeitet, um den finalen Vektor für langfristige Nutzerinteressen ( $\mathbf{x}_l$ ) zu erzeugen.
- Vorhersage: Dieses Merkmal wird mit Kurzzeit-Interessen, Seiteninformationen und der Einbettung des Zielartikels konkateniert, um die CTR über ein Standard-MLP vorherzusagen.

Hauptbeiträge

Erster generativer Ansatz für langfristige Interessen: Die Autoren behaupten, die ersten zu sein, die generative Methoden speziell für die Modellierung langfristiger Nutzerinteressen in CTR-Vorhersageaufgaben einführen und sich dabei von zielzentriertem Retrieval lösen.
End-to-End-Framework: GenLI integriert Interessengenerierung, Verhaltens-Retrieval und Interessenfusion in ein einheitliches, end-to-end trainierbares Framework, das leicht in bestehende CTR-Modelle integriert werden kann.
Diversität und Effizienz: Durch die Generierung zielunabhängiger Verteilungen erfasst das Modell diverse und vollständige Nutzerinteressen. Gleichzeitig reduziert das auf Nachschlagen basierende Retrieval die Rechenkomplexität im Vergleich zu Matching-basierten Methoden erheblich.

Experimentelle Ergebnisse
Die Autoren evaluierten GenLI auf drei Datensätzen: Amazon (Book), TaoBao und einem großskaligen industriellen Datensatz von Meituan.

Offline-Leistung:
- Auf den Amazon- und TaoBao-Datensätzen erreichte GenLI State-of-the-Art (SOTA)-Leistung und übertraf starke Baselines wie TWIN, SIM und ETA. Insbesondere zeigte es absolute AUC-Verbesserungen von 0,61 % (Amazon) bzw. 1,03 % (TaoBao) gegenüber der besten Baseline.
- Auf dem industriellen Datensatz verbesserte GenLI die AUC um 0,22 % gegenüber TWIN, während gleichzeitig die Inferenzzeit reduziert wurde (4,6 ms vs. 7,9 ms für TWIN).
- Ablationsstudien bestätigten, dass alle drei generierten Verteilungen (Explizit, Implizit, Relativ) zur Leistung beitragen, wobei das explizite Interesse den direktesten Einfluss hat.
Online-Leistung:
- In einem A/B-Test auf der Food-Delivery-Plattform von Meituan (mit 30 % des Datenverkehrs) zeigte GenLI im Vergleich zur Produktions-Baseline eine Steigerung der CTR um 0,776 % und eine Steigerung des Revenue Per Mille (RPM) um 1,567 %.
- Das Modell wurde vollständig im realen Werbesystem deployed und bedient täglich Hunderte Millionen Nutzer.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass GenLI erfolgreich Genauigkeit und Effizienz in Einklang bringt, eine kritische Anforderung für industrielle CTR-Systeme. Durch den Wechsel von einem zielzentrierten Retrieval-Paradigma zu einem generativen, zielunabhängigen Modellierungsansatz überwindet GenLI die Einschränkungen unvollständiger Interessenfassung und hoher Rechenlatenz. Die Autoren betonen, dass die Fähigkeit, diverse, latente Interessen ohne den Engpass des paarweisen Matchings zu modellieren, eine robustere Personalisierung im großen Maßstab ermöglicht. Der erfolgreiche Einsatz und die positiven Online-Metriken validieren den praktischen Anwendungswert generativer Methoden in der Modellierung langfristiger Nutzerinteressen.