🤖 AI

Generative Long-term User Interest Modeling for Click-Through Rate Prediction

Dit artikel stelt GenLI voor, een generatief model voor langetermijngebruikersinteresses voor CTR-predictie dat traditionele doelgerichte retrieval vervangt door een interessegeneratiemodule om diverse, interactiebewuste gebruikersinteresses te vangen, terwijl het $O(1)$ -retrievingscomplexiteit voor gedrag bereikt voor verbeterde efficiëntie en nauwkeurigheid.

Oorspronkelijke auteurs: Jiangli Shao, Kaifu Zheng, Hao Fang, Huimu Ye, Zhiwei Liu, Bo Zhang, Shu Han, Xingxing Wang

Gepubliceerd 2026-05-18

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jiangli Shao, Kaifu Zheng, Hao Fang, Huimu Ye, Zhiwei Liu, Bo Zhang, Shu Han, Xingxing Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een chef-kok bent die probeert te raden wat een klant als volgende wil bestellen. Je hebt een enorm notitieboek met elk detail dat deze klant de afgelopen jaren heeft bekeken, aangeklikt of gekocht. Dit is het "langdurige gebruikersgedrag" waar het paper over spreekt.

Het doel is om te voorspellen of de klant op een specifiek nieuw item (zoals een nieuw restaurant of product) zal klikken om de "Click-Through Rate" (CTR) te verbeteren — in feite hoe vaak mensen kiezen voor wat je hen toont.

Hier is het probleem met de oude manier van werken, en hoe dit nieuwe paper, GenLI, het oplost.

De Oude Manier: De "Doelgerichte" Zoeking

Voorheen werkten systemen als een bibliothecaris die alleen naar boeken zoekt die exact overeenkomen met de exacte titel van het boek dat je momenteel vasthoudt.

De Filter: Als je naar een foto van een pizza kijkt, scant het systeem je volledige geschiedenis en haalt alleen de 10 items eruit die het meest op pizza lijken.
De Tekortkoming: Dit mist het grote plaatje. Misschien hou je van pizza, maar ook van wandelen, sciencefictionfilms en het kopen van tuinwerktuigen. Door alleen naar "pizza-achtige" dingen te kijken, negeert het systeem je andere passies. Het is alsof je iemand alleen beoordeelt op hun favoriete eten en hun persoonlijkheid negeert.
Het Snelheidsprobleem: Om die 10 pizza-achtige items te vinden, moet de bibliothecaris je huidige item vergelijken met elk enkel item in je geschiedenis, één voor één. Naarmate je geschiedenis groeit tot miljoenen items, wordt dit ongelooflijk traag, alsof je probeert een naald in een hooiberg te vinden door elk stuk hooi individueel te controleren.

De Nieuwe Manier: GenLI (De "Generatieve" Chef)

De auteurs stellen een nieuw systeem voor dat GenLI heet. In plaats van alleen naar overeenkomsten te zoeken, probeert GenLI eerst het begrip te krijgen van de huidige stemming en interesses van de klant, en vindt dan de relevante geschiedenis. Het werkt in drie creatieve stappen:

1. De Interest Generator (IGM): De Sfeer Lezen

In plaats van te vragen: "Wat lijkt op pizza?", bekijkt GenLI je recente acties (de laatste paar klikken) en vraagt: "Wat voor soort persoon is deze gebruiker op dit moment?"

Het creëert drie verschillende "stemmingskaarten" (distributies) van je interesses:
- Expliciete Interesse: Waar je duidelijk op hebt geklikt (bijv. "Ik wil absoluut pizza").
- Impliciete Interesse: Wat het systeem je liet zien waar je niet op hebt geklikt, maar wat je misschien nog steeds leuk vindt (bijv. "Ik zag een salade, klikte niet, maar misschien heb ik er nog geen trek in").
- Relatieve Interesse: Het verschil tussen de twee (bijv. "Ik geef nu de voorkeur aan pizza boven salade").
De Analogie: Denk hierbij aan de chef-kok die de lucht in de keuken proeft. In plaats van alleen ingrediënten te pakken die lijken op de huidige bestelling, voelt de chef dat de klant "in een pittige bui" is of "nostalgisch". Dit gebeurt zonder dat er nog gekeken wordt naar het specifieke doelitem, zodat er geen verborgen interesses gemist worden.

2. De Behavior Retrieval (BRM): Het Magische Opzoeken

Zodra GenLI deze "stemmingskaarten" heeft, moet het de relevante items vinden uit je enorme geschiedenis.

De Oude Manier: Vergelijk het doelitem met elk geschiedenisitem (Traag!).
De GenLI Manier: Het gebruikt een eenvoudige opzoektabel. Omdat de "stemmingskaarten" vooraf zijn berekend, controleert het systeem gewoon een scorekaart. Het is alsof je een vooraf gesorteerde index hebt waar je direct kunt springen naar het "Pittige" gedeelte of het "Nostalgische" gedeelte.
Het Resultaat: Het kiest de top-items die bij die stemmingen passen. Dit is ongelooflijk snel (wiskundig is het $O(1)$ , wat betekent dat het dezelfde kleine hoeveelheid tijd kost of je nu 100 items of 10 miljoen items hebt).

3. De Interest Fusion (IFM): De Smaakjes Maken

Tot slot neemt het systeem de items die het voor elke "stemming" heeft gevonden (de pittige, de nostalgische, enz.) en mengt deze samen met het huidige item waar je naar kijkt. Het gebruikt een "gating mechanism" (een slimme schakelaar) om te beslissen hoeveel van elke interesse er in de gaten moet worden gehouden voordat de definitieve voorspelling wordt gedaan.

Waarom Dit Belangrijk Is (De Resultaten)

Het paper testte dit op real-world data van Meituan (een enorm Chinees lifestyle- en bezorgapp) en publieke datasets zoals Amazon en Taobao.

Nauwkeurigheid: GenLI was beter in het voorspellen waar gebruikers op zouden klikken dan alle vorige "state-of-the-art" modellen. Het verbeterde de voorspellingnauwkeurigheid aanzienlijk omdat het de andere interesses van de gebruiker niet negeerde.
Snelheid: Omdat het stopte met het trage, één voor één vergelijken, werd het veel sneller. Dit is cruciaal voor online systemen die beslissingen in milliseconden moeten nemen.
Real-world Succes: Het paper stelt dat GenLI al is ingezet in het reclamesysteem van Meituan. Het bedient momenteel honderden miljoenen gebruikers elke dag. In een live test (A/B-test) verhoogde het de click-through rate met 0,776% en de omzet per duizend vertoningen met 1,567%.

Samenvatting

Kortom, de oude systemen waren als een bibliothecaris die alleen boeken vond die leken op degene die je vasthield. GenLI is als een bibliothecaris die eerst je huidige stemming en diverse smaken begrijpt, en vervolgens direct de perfecte boeken van de planken haalt zonder zelfs de titel van het boek dat je vasthoudt te hoeven controleren. Het is sneller, slimmer en maakt meer geld voor het platform.

Technische Samenvatting: Generatieve Langetermijnmodel voor Gebruikersinteresses voor Click-Through Rate Predictie (GenLI)

Probleemstelling
Click-Through Rate (CTR) predictie is een fundamentele taak in reclame- en aanbevelingssystemen, die sterk afhankelijk is van nauwkeurige modellering van langetermijngebruikersinteresses afgeleid van massale historische gedragssequenties. Huidige state-of-the-art benaderingen maken doorgaans gebruik van een tweestapskader bestaande uit een General Search Unit (GSU) en een Exact Search Unit (ESU). De GSU haalt een subset van relevante gedragingen op op basis van gelijkenis met het doelitem, terwijl de ESU deze aggregeert via attention-mechanismen.

De auteurs identificeren drie kritieke beperkingen in bestaande doelgerichte GSU-benaderingen:

Onvolledige Interestrepresentatie: Door uitsluitend te focussen op gedragingen die relevant zijn voor het specifieke doelitem, negeren deze modellen andere latente gebruikersinteresses, wat leidt tot bevooroordeelde en onvolledige interestkenmerken.
Rekenkundige Bottleneck: Het op gelijkenis gebaseerde ophaalproces vereist het berekenen van paarsgewijze gelijkenisscores tussen het doelitem en elke historische gedraging. Naarmate gebruikersgedragssequenties groeien (vaak tot duizenden items), wordt dit een tijdrovende bottleneck voor online diensten.
Genegeerde Gedragsinteracties: De paarsgewijze architectuur vergelijkt het doelitem met individuele gedragingen in isolatie, en negeert de interactie-informatie en patronen die onderling bestaan tussen de historische gedragingen van de gebruiker.

Methodologie: GenLI-kader
Om deze problemen aan te pakken, stellen de auteurs GenLI voor, een generatief kader voor langetermijngebruikersinterestmodellering. In tegenstelling tot traditionele op ophalen gebaseerde methoden, hanteert GenLI een generatieve aanpak die doelonafhankelijk is. Het kader bestaat uit drie kermodules:

Interestgeneratiemodule (IGM):
- Input: De IGM maakt gebruik van een kortetermijn-gedragssequentie (de meest recente $l$ gedragingen) in plaats van het doelitem.
- Mecanisme: Het maakt gebruik van Multi-Head Attention (MHA) om deze kortetermijn-gedragingen te verwerken. De query-vectoren bestaan uit de embedding van de laatste gedraging en een leerbare query-vector om interactiekennis vast te leggen.
- Output: De module genereert meerdere discrete interestdistributies die verschillende aspecten van realtime gebruikersinteresses vertegenwoordigen:
  - Expliciete Interest ( $\mathbf{p}_E$ ): Afgeleid van directe interacties (bijv. klikken), geoptimaliseerd via negatieve log-likelihood op geklikte items.
  - Implíciete Interest ( $\mathbf{p}_I$ ): Afgeleid van geëxposeerde items (impressies zonder klikken), wat stabiele, langetermijnvoorkeuren vertegenwoordigt.
  - Relatieve Interest ( $\mathbf{p}_R$ ): Gedefinieerd als het verschil tussen expliciete en impliciete distributies ( $\mathbf{p}_E - \mathbf{p}_I$ ), wat de veranderende trend van gebruikersinteresses en het contrast in besluitvorming vastlegt.
- Kernkarakteristiek: Dit proces is doelonafhankelijk, waardoor de gegenereerde distributies een bredere, diversere reeks gebruikersinteresses omvatten.
Gedragsophaalmodule (BRM):
- Mecanisme: In plaats van paarsgewijze gelijkenissen te berekenen, voert de BRM een eenvoudige opzoekoperatie uit. Voor elke gegenereerde interestdistributie worden historische gedragingen scores toegewezen op basis van hun unieke ID's die zijn gemapt naar de distributie-indices (via een modulaire operatie).
- Efficiëntie: Dit verlaagt de tijdscomplexiteit voor het wegen van elke gedraging naar $O(1)$ .
- Selectie: De module selecteert de top- $k$ gedragingen voor elk van de drie interestdistributies ( $\mathbf{B}_I, \mathbf{B}_E, \mathbf{B}_R$ ), wat resulteert in een totaal van $K$ opgehaalde gedragingen. Dit proces integreert inherent interactie-informatie uit de generatiefase en filtert ruis.
Interestfusiemodule (IFM):
- Aggregatie: De geselecteerde gedragingen uit elke distributie worden afzonderlijk geaggregeerd met behulp van Multi-Head Attention, waarbij de doelitem-embedding fungeert als query.
- Fusie: De resulterende interest-embeddings worden samengevoegd en verwerkt via een gating-mechanisme (MLP met sigmoid-activering) om het definitieve kenmerkvector voor langetermijngebruikersinteresses ( $\mathbf{x}_l$ ) te produceren.
- Predictie: Dit kenmerk wordt samengevoegd met kortetermijninteresses, zijinformatie en de doelitem-embedding om de CTR te voorspellen via een standaard MLP.

Belangrijkste Bijdragen

Eerste Generatieve Aanpak voor Langetermijninteresses: De auteurs beweren de eersten te zijn die generatieve methoden specifiek introduceren voor het modelleren van langetermijngebruikersinteresses in CTR-predictietaken, weg van doelgerichte ophaling.
End-to-End Kader: GenLI integreert Interestgeneratie, Gedragsophaling en Interestfusie in een unificerend, end-to-end trainbaar kader dat eenvoudig in bestaande CTR-modellen kan worden ingebouwd.
Diversiteit en Efficiëntie: Door doelonafhankelijke distributies te genereren, legt het model diverse en volledige gebruikersinteresses vast. Tegelijkertijd vermindert de op opzoeken gebaseerde ophaling de rekenkundige complexiteit aanzienlijk in vergelijking met op matching gebaseerde methoden.

Experimentele Resultaten
De auteurs hebben GenLI geëvalueerd op drie datasets: Amazon (Boek), TaoBao en een grootschalige industriële dataset van Meituan.

Offline Prestaties:
- Op de Amazon- en TaoBao-datasets behaalde GenLI State-of-the-Art (SOTA) prestaties, en presteerde beter dan sterke baselines zoals TWIN, SIM en ETA. Specifiek toonde het absolute AUC-improvementen van 0,61% (Amazon) en 1,03% (TaoBao) ten opzichte van de beste baseline.
- Op de industriële dataset verbeterde GenLI de AUC met 0,22% ten opzichte van TWIN, terwijl het de inferentietijd verlaagde (4,6ms versus 7,9ms voor TWIN).
- Ablatiestudies bevestigden dat alle drie de gegenereerde distributies (Expliciet, Implíciet, Relatief) bijdragen aan de prestaties, waarbij Expliciete interest de meest directe impact heeft.
Online Prestaties:
- In een A/B-test op het Meituan-fooddeliveryplatform (waarbij 30% van het verkeer wordt verwerkt), toonde GenLI een toename van 0,776% in CTR en een toename van 1,567% in Revenue Per Mille (RPM) ten opzichte van de productielijn.
- Het model is volledig ingezet in het reclamesysteem uit de echte wereld en bedient dagelijks honderden miljoenen gebruikers.

Betekenis en Claims
Het artikel claimt dat GenLI succesvol balans vindt tussen nauwkeurigheid en efficiëntie, een kritieke vereiste voor industriële CTR-systemen. Door te verschuiven van een doelgerichte ophaalparadigma naar een generatieve, doelonafhankelijke modelleringbenadering, overwint GenLI de beperkingen van onvolledige interestopname en hoge rekenkundige latentie. De auteurs benadrukken dat het vermogen om diverse, latente interesses te modelleren zonder de bottleneck van paarsgewijze matching, robuustere personalisatie op schaal mogelijk maakt. De succesvolle inzet en positieve online metrieken valideren de praktische toepassingswaarde van generatieve methoden in langetermijngebruikersinterestmodellering.