Generative Recommendation for Large-Scale Advertising

Dit paper introduceert GR4AD, een productiegerichte generatieve aanbevelingsarchitectuur voor grootschalige advertenties die middels innovaties zoals UA-SID-tokenisatie, LazyAR-decodering en RSPO-versterkingstheorie de inkomsten met tot 4,2% verhoogt en succesvol is ingezet in het Kuaishou-advertentiesysteem voor meer dan 400 miljoen gebruikers.

De kern

Stel je voor dat je een enorme, levendige markt hebt: Kuaishou, een app met meer dan 400 miljoen mensen. Op deze markt staan duizenden kraampjes met advertenties (video's, producten, aanbiedingen). De uitdaging voor de marktmeesters is: Welke kraampjes moet je aan welke bezoeker laten zien op precies het juiste moment, zodat ze iets kopen en de marktmeesters geld verdienen?

Vroeger deden ze dit met een slimme, maar wat stijve lijstmaker (een "DLRM"). Die keek naar wat je eerder deed en stelde een vaste lijst voor. Maar nu hebben ze een nieuwe, creatieve generatie: GR4AD. Dit is als een kunstenaar die niet alleen een lijst maakt, maar de advertenties schrijft alsof het een verhaal is, direct op maat van de bezoeker.

Hier is hoe GR4AD werkt, vertaald in alledaagse taal:

1. De Vertaler: "UA-SID" (Het Advertentie-Identiteitskaartje)

Stel je voor dat elke advertentie eerst een vertaling nodig heeft voordat de kunstenaar er iets mee kan doen.

• Het oude probleem: Vaak kregen advertenties een saaie nummercode (zoals "Advertentie #4592"). Dat zegt niets over wat er op de foto te zien is of wat de verkoper voor plan heeft.
• De nieuwe oplossing (UA-SID): GR4AD gebruikt een slimme vertaler (een AI) die naar de video, de tekst en de verkoper kijkt en zegt: "Ah, dit is een sportieve man die hardloopt in de regen, met een merk dat bekend staat om waterdichte schoenen."
• De analogie: In plaats van een nummer, krijgt elke advertentie nu een uniek, beschrijvend paspoort (een "Semantic ID"). Dit helpt de AI om te begrijpen dat een video over hardlopen en een video over regenjasjes eigenlijk bij elkaar horen, zelfs als ze heel verschillend lijken.

2. De Snelle Schrijver: "LazyAR" (De Luie, maar Slimme Schrijver)

De kunstenaar moet nu een lijst van de beste advertenties "schrijven" (genereren). Normaal gesproken moet je wachten tot je zin 1 hebt geschreven voordat je zin 2 kunt beginnen. Dat duurt lang als je 100 zinnen moet maken.

• Het probleem: In de reclamesector moet dit binnen een fractie van een seconde gebeuren. Wachten is geen optie.
• De oplossing (LazyAR): Stel je voor dat de kunstenaar de eerste paar zinnen heel zorgvuldig schrijft (want die zijn het belangrijkst). Maar voor de volgende zinnen zegt hij: "Ik heb al een goed idee van hoe het verhaal loopt, dus ik ga de eerste paar regels van de vorige zin niet opnieuw lezen, maar ik spring direct naar het midden van het verhaal om de rest te schrijven."
• Het resultaat: Hij schrijft net zo goed, maar dubbel zo snel. Hij "luistert" niet naar elke vorige zin opnieuw, maar gebruikt slimme voorspellingen om tijd te besparen.

3. De Slimme Lijstmaker: "VSL en RSPO" (Niet alleen klikken, maar winst)

Een AI kan makkelijk een lijst maken met dingen waar mensen op klikken. Maar voor een reclamebedrijf is een klik niet genoeg; ze willen dat mensen kopen (of een dure actie doen).

• Het probleem: Als de AI alleen leert op "klikken", ziet ze misschien een goedkoop product dat iedereen klikt, maar geen winst oplevert.
• De oplossing:
  • VSL (Waarde-bewust leren): De AI leert niet alleen "wat mensen leuk vinden", maar ook "wat waardevol is". Ze krijgt een bonus als ze een dure, waardevolle advertentie op de juiste plek zet.
  • RSPO (De rangschikking-meester): Stel je voor dat de AI een lijst van 10 advertenties maakt. Ze leert niet alleen over de eerste, maar kijkt naar de hele lijst. Ze vraagt zich af: "Als ik deze ene dure advertentie naar de top schuif, en de goedkope naar beneden, is de totale lijst dan beter voor de winst?" Ze optimaliseert de hele lijst, niet alleen één item.

4. De Dynamische Regisseur: "Dynamic Beam Serving" (Aanpassen aan de drukte)

Stel je voor dat de AI een zoektocht doet door een labyrint met veel paden (mogelijke advertenties).

• Het probleem: Als je alle paden tegelijk onderzoekt, duurt het te lang. Als je te weinig paden onderzoekt, mis je de beste optie.
• De oplossing: De regisseur kijkt naar de drukte op de markt.
  • Bij piekmomenten (veel bezoekers): Hij houdt het pad smal en snel, zodat niemand wacht.
  • Bij rustige momenten: Hij maakt het pad breder en onderzoekt meer opties, zodat hij de allerbeste, meest winstgevende advertenties vindt.
  • Caching: Als iemand net een lijst heeft gekregen, slaat hij die even op. Als dezelfde persoon binnen een minuut weer vraagt, hoeft hij niet opnieuw te rekenen; hij geeft gewoon de opgeslagen lijst.

Wat is het resultaat?

Door deze nieuwe manier van werken (GR4AD) heeft Kuaishou:

• Meer geld verdiend: De advertentie-omzet is met ongeveer 4,2% gestegen. Dat klinkt klein, maar bij 400 miljoen gebruikers is dat een enorm bedrag.
• Snellere reacties: De advertenties worden binnen 100 milliseconden (sneller dan een knippering) gevonden.
• Beter voor iedereen: Kleinere verkopers krijgen meer kansen, en gebruikers zien advertenties die echt bij hen passen, waardoor ze vaker kopen.

Kortom: GR4AD is als het vervangen van een stijve, oude administrateur door een creatieve, snelle en slimme kunstenaar die de markt in real-time regisseert, precies weet wat de bezoekers willen, en dat doet terwijl hij de rekening in de gaten houdt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Generative Recommendation for Large-Scale Advertising" (GR4AD) in het Nederlands.

Probleemstelling

Hoewel generatieve aanbevelingssystemen (gebaseerd op Large Language Models of LLM's) veelbelovend zijn vanwege hun schaalbaarheid en modelcapaciteit, is de implementatie in grootschalige, real-time advertentiestelsels uiterst uitdagend. Bestaande LLM-technieken zijn niet direct toepasbaar op drie cruciale aspecten van advertentiereclame:

1. Tokenisatie: Advertenties bevatten complexe, multimodale informatie (video, productdetails, B2B-adverteerdersmetadata) en specifieke zakelijke signalen (zoals conversietypes). Bestaande methoden missen een end-to-end embedding die zowel semantische inhoud als deze zakelijke signalen effectief kan vastleggen.
2. Leerpardigma: Advertentiereclame optimaliseert voor gerangschikte lijsten (bijv. eCPM, NDCG) en niet voor individuele items. Bestaande LLM-trainingsmethoden gebruiken vaak per-item supervisie, wat niet optimaal is voor lijst-georiënteerde zakelijke doelen.
3. Real-time Serving: In tegenstelling tot interactieve LLM-toepassingen waar latentie minder kritiek is, moet een advertentiestelsel onder hoge druk en strikte latentie-eisen (<100ms) meerdere hoge-kwaliteit kandidaten genereren. Bestaande autoregressieve decoders zijn te traag voor deze eisen.

Methodologie: GR4AD

Het paper introduceert GR4AD (Generative Recommendation for ADdvertising), een systeem dat co-ontworpen is voor representatie, leren en serving. De kerncomponenten zijn:

1. Unified Advertisement Semantic ID (UA-SID)

Om advertentiestukken te vertalen naar tokens, introduceert GR4AD een uniek ID-systeem:

• Unified Advertisement Embedding (UAE): Een fijnafgestemd MLLM (Multimodal Large Language Model) dat gebruikmaakt van Instruction Tuning (voor diverse advertentietypes) en Co-occurrence Learning (om samenhang uit gebruikersgedrag te halen). Dit creëert een rijke semantische representatie.
• MGMR RQ-Kmeans: Een quantisatiemethode (Multi-Granularity-Multi-Resolution) die niet-semantische zakelijke signalen (zoals account-ID's en conversietypes) integreert via hash-mapping in de laatste laag. Dit vermindert botsingen (collisions) tussen identieke content met verschillende zakelijke doelen en verbetert het gebruik van de codebook.

2. Lazy Autoregressive Decoder (LazyAR)

Om de inferentie-efficiëntie te verhogen zonder prestaties te verliezen, wordt een nieuwe decoder-architectuur voorgesteld:

• Principe: In plaats van elke decoderlaag afhankelijk te maken van de vorige token (standaard autoregressie), worden de eerste $K$ lagen van de decoder parallel berekend zonder afhankelijkheid van de vorige token.
• Late Injectie: Pas na de $K$-de laag wordt de embedding van de vorige token ingebracht via een fusie-operator.
• Voordeel: Dit vermindert de sequentiële berekeningslast tijdens beam search aanzienlijk, omdat de eerste lagen voor alle beam-candidaten tegelijk kunnen worden berekend. Dit verdubbelt de doorvoer (QPS) met minimale impact op de nauwkeurigheid.

3. Value-Aware Online Learning

Het leerproces is ontworpen om direct uitgelijnd te zijn met zakelijke waarde:

• VSL (Value-Aware Supervised Learning): Een toezichtmethode die niet alleen de token-predictie optimaliseert, maar ook een gediscretiseerde eCPM-token (verwachte kosten per mille) voorspelt. Samples worden gewogen op basis van gebruikerswaarde en interactiediepte.
• RSPO (Ranking-Guided Softmax Preference Optimization): Een versterkingsleer (RL) algoritme dat specifiek is ontworpen voor lijst-georiënteerde optimalisatie. In plaats van alleen per-item beloningen te gebruiken, optimaliseert RSPO direct voor lijst-metrics (zoals NDCG) door een ranking-aware doelstelling te gebruiken.
• Unificatie: VSL en RSPO worden in één trainingsstroom gecombineerd met dynamische weging, zodat het model zowel stabiel blijft (imitatie van gebruikersinteresses) als verkennend (optimalisatie voor hogere waarde).

4. Dynamische Beam Serving (DBS)

Voor de online inferentie worden technieken ingezet om de rekenkracht aan te passen aan de vraag:

• Dynamic Beam Width (DBW): De breedte van de beam wordt per stap in de generatie aangepast (kleiner in beginstappen, groter in latere stappen) om de totale rekentijd te verlagen.
• Traffic-Aware Adaptive Beam Search (TABS): De beam-grootte wordt dynamisch aangepast op basis van de huidige serverbelasting. In dalende periodes wordt de beam vergroot voor betere kwaliteit; in piekperiodes wordt deze beperkt om de latentie binnen de perken te houden.

Belangrijkste Resultaten

GR4AD is volledig ingezet in het advertentiestelsel van Kuaishou, met meer dan 400 miljoen gebruikers. De resultaten van grote online A/B-tests tonen het volgende:

• Omzetstijging: GR4AD leidt tot een totale omzetstijging van 4,2% ten opzichte van de bestaande DLRM-basis (Deep Learning Recommendation Model).
• Schaalbaarheid: Er is een duidelijke "scaling law" waargenomen:
  • Modelgrootte: Grotere modellen (van 0,03B tot 0,32B parameters) leveren consistent hogere omzet op (+2,13% tot +4,43%).
  • Inferentie-schaal: Het vergroten van de beam-width (van 128 naar 1024) resulteert in verdere omzetwinsten (+2,33% tot +4,21%).
• Efficiëntie: Het systeem bereikt een lage latentie (<100ms) en een hoge doorvoer (>500 QPS per GPU) dankzij LazyAR en DBS.
• Zakelijke Impact: Naast totale omzet is er een 17,5% toename in advertentielevering voor kleine en middelgrote adverteerders en een 10,17% verbetering in conversieratio's voor gebruikers.

Betekenis en Conclusie

Dit paper markeert een belangrijke stap in de industrialisatie van generatieve aanbevelingssystemen. Het toont aan dat generatieve modellen niet alleen theoretisch interessant zijn, maar ook productie-klaar kunnen zijn voor complexe, real-time advertentiestelsels.

De belangrijkste bijdragen zijn:

1. Het bewijzen dat een co-design van tokenisatie, architectuur en leerstrategie noodzakelijk is om de kloof tussen LLM-technieken en advertentiereclame te overbruggen.
2. Het introduceren van LazyAR en DBS, die de inherente inefficiëntie van autoregressieve generatie oplossen voor high-throughput scenario's.
3. Het ontwikkelen van RSPO, een RL-methode die specifiek is afgestemd op lijst-georiënteerde zakelijke doelen, in plaats van alleen per-item optimalisatie.

GR4AD demonstreert dat generatieve aanbeveling niet alleen de gebruikerservaring verbetert, maar ook een win-win-situatie creëert voor het platform, adverteerders en gebruikers door een gezonder ecosysteem te bevorderen.