🤖 AI

Fine-Tuned LLM as a Complementary Predictor Improving Ads System

Dit artikel introduceert een reclamesysteem op productieschaal dat een fijnafgestemd open-source LLM integreert als aanvullende secundaire predictor om waarschijnlijke adverteerders te voorspellen op basis van gebruikersprofielen, waardoor de kandidaatgeneratie wordt versterkt en informatieve priors worden geboden voor downstream-ranking om aanzienlijke verbeteringen in offline- en online-bedrijfsresultaten te realiseren.

Oorspronkelijke auteurs: Hui Yang, Daiwei He, Kevin Jiang, Taejin Park, Kungang Li, Jiajun Luo, Yuying Chen, Xinyi Zhang, Sihan Wang, Haoyu He, Yu Liu, Lakshmi Manoharan, David Xue, Shubham Barhate, Runze Su, Duna Zhan, Ling

Gepubliceerd 2026-05-28

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hui Yang, Daiwei He, Kevin Jiang, Taejin Park, Kungang Li, Jiajun Luo, Yuying Chen, Xinyi Zhang, Sihan Wang, Haoyu He, Yu Liu, Lakshmi Manoharan, David Xue, Shubham Barhate, Runze Su, Duna Zhan, Ling Leng, Siping Ji, Jinfeng Zhuang, Alice Wu, Leo Lu, Han Sun, Zhifang Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, bruisende digitale marktplaats runt (zoals Pinterest). Je hebt miljoenen bezoekers en je taak is om hen de perfecte advertenties te tonen – advertenties voor producten die ze daadwerkelijk willen kopen.

Traditioneel werkt je systeem als een gigantische, efficiënte bibliothecaris. Het kijkt naar waar een persoon gisteren op heeft geklikt en vindt vergelijkbare boeken (advertenties) op het schap. Het is snel en goed in het vinden van "meer van hetzelfde". Maar soms mist het de lading, omdat het de diepere verlangens van de persoon of de subtiele verbanden tussen hun browsegedrag en specifieke merken niet echt begrijpt.

Dit paper introduceert een nieuw hulpmiddel: een slimme, goed gelezen assistent (een Fine-Tuned Large Language Model, of LLM) die de bibliothecaris niet vervangt, maar naast hen werkt om betere voorspellingen te doen.

Hier is hoe het systeem werkt, opgesplitst in eenvoudige stappen:

1. Het Probleem: De Bibliothecaris Heeft een Hint Nodig

Het traditionele systeem is geweldig in wiskunde, maar worstelt met "wereldkennis". Het weet dat een gebruiker op een wandelschoen heeft geklikt, maar het maakt misschien niet intuïtief de link naar een specifiek merk energiereep of een lokale winkel voor outdoor-uitrusting, tenzij het die exacte combinatie eerder heeft gezien.

2. De Oplossing: De "Ad Predictor"-Assistent

In plaats van de AI te vragen de hele advertentie te schrijven of elk enkel item te rangschikken (wat te langzaam en duur is), stelde het team de AI een zeer specifieke vraag:

"Op basis van dit profiel van de persoon en waar ze naar hebben gekeken, bij welke specifieke adverteerders is de kans het grootst dat ze als volgende kopen?"

Zie deze AI als een waarzegster voor merken. Het leest de geschiedenis van de gebruiker (zoekopdrachten, klikken, winkelen buiten de site) en voorspelt een korte lijst van 20 specifieke bedrijven (zoals "Nike", "Sephora" of "Home Depot") waarmee deze gebruiker klaar is om interactie aan te gaan.

3. Hoe Ze De Assistent Trainden

Je kunt niet zomaar een generieke AI dit laten doen; het moet de specifieke regels van je marktplaats leren.

De Huiswerkopdracht (SFT): Eerst leerden ze de AI om naar de geschiedenis van een gebruiker te kijken en slechts één merk te raden waar ze misschien van zouden kopen. Dit was als het leren van een student om één wiskundeprobleem correct te beantwoorden.
De Proefloop (GRPO): Vervolgens maakten ze het moeilijker. Ze vroegen de AI om 20 merken en 5 gebruikersinteresses te noemen, maar ze gaven het een "scorekaart". Als de AI het juiste merk raadde en het bovenaan de lijst plaatste, kreeg het een hoge score. Als het een verkeerd merk raadde of te veel items opsomde, kreeg het een straf. Dit leerde de AI om precies te zijn en de regels te volgen.
De Geheime Code (Semantische ID's): Om het nog scherper te maken, leerden ze de AI een speciale "afkortingstaal" (Semantische ID's) die afbeeldingen en producten vertegenwoordigt. Het is alsof je de assistent leert een foto van een rode jurk niet alleen te herkennen aan de woorden "rode jurk", maar aan een unieke code die deze koppelt aan andere rode jurken en modetrends.

4. Toepassing in de Praktijk: Twee Manieren Om Te Helpen

Zodra de AI getraind was, lieten ze het niet de hele show runnen. In plaats daarvan gebruikten ze zijn voorspellingen op twee specifieke manieren:

Manier A: De Filter (Retrieval)
Stel je voor dat de bibliothecaris zoekt in een magazijn met miljarden items. De AI zegt: "Hé, voor deze gebruiker, kijk alleen in de gangen die bij deze 20 specifieke merken horen." Dit versmalt het zoekgebied direct, zodat het systeem geen tijd verspilt met het tonen van irrelevante advertenties. Het is alsof je de bibliothecaris een VIP-lijst van winkels geeft om eerst te controleren.
Manier B: De Hint (Ranking)
Wanneer het systeem beslist welke advertentie als eerste getoond moet worden, geeft het de voorspellingen van de AI aan de uiteindelijke beslisser. Het is alsof je fluistert tegen de rechter: "Deze gebruiker houdt echt van Merk X, dus geef die advertentie een hogere score."

5. De Resultaten: Werkte Het?

Het team testte dit in de echte wereld (op het daadwerkelijke verkeer van Pinterest).

Offline Tests: De AI werd veel beter in het raden van de juiste merken dan het oude systeem of een "zero-shot" AI (een die niet getraind was op deze specifieke taak).
Online Tests: Toen ze het voor echte gebruikers inschakelden, waren de resultaten duidelijk. De getoonde advertenties waren relevanter en het Return on Ad Spend (RoAS) steeg met bijna 5% tot 6%. Dit betekent dat adverteerders meer waar voor hun geld kregen, omdat de advertenties werden getoond aan mensen die er daadwerkelijk in geïnteresseerd waren.

De Grote Conclusie

Het paper betoogt dat je je hele aanbevelingssysteem niet hoeft te vervangen door een gigantische, trage AI. In plaats daarvan kun je een gespecialiseerde, fine-tuned AI gebruiken als een "complementaire voorspeller".

Zie het als een sportteam: je hebt je sterrenspelers (de traditionele algoritmen) die snel en betrouwbaar zijn. Nu heb je een tactische coach (de LLM) toegevoegd die de geschiedenis van de tegenstander bestudeert en de spelers vertelt: "Richt je op deze specifieke strategieën." De coach speelt het spel niet, maar hun advies helpt het team vaker te winnen.

Kortom: Ze gebruikten een slimme AI om te voorspellen welke merken een gebruiker leuk vindt, gebruikten die voorspellingen om advertenties te filteren en te rangschikken, en slaagden erin het bedrag dat adverteerders verdienden te verhogen.

Technische Samenvatting: Een Fine-Tuned LLM als Complementaire Predictor die het Advertentiesysteem Verbetert

Probleemstelling

Hoewel Large Language Models (LLM's) snel vooruitgang boeken, blijft hun directe integratie in Recommendation Systems (RecSys) op productieschaal, en met name voor advertenties, uitdagend. Industriële advertentiesystemen vertrouwen sterk op spaarzame, op ID-gerichte kenmerken (gebruikers-ID's, adverteerder-ID's) die niet van nature aansluiten bij token-gebaseerde semantische representaties. Bovendien vallen bestaande LLM-toepassingen in RecSys doorgaans in drie categorieën: generatieve retrievals, late-stage her-ranking, of verrijking met auxiliaire signalen. Deze benaderingen hebben echter vaak moeite met de specifieke beperkingen van advertentiesystemen, waaronder strikte latentiebegrotingen, de dominantie van spaarzame kenmerken, en de noodzaak om complexe targetingbeperkingen en conversiegeschiedenissen te modelleren. Het kernprobleem dat wordt aangepakt, is hoe het wereldkennis en het voorspellend vermogen van LLM's kunnen worden benut om advertentieretrieval en -ranking te verbeteren, zonder de bestaande, sterk geoptimaliseerde industriële stacks te vervangen of prohibitieve inferentiekosten te veroorzaken.

Methodologie

De auteurs stellen een complementair paradigma voor waarbij een fine-tuned open-source LLM niet fungeert als directe ranker, maar als een adverterings-specifieke ancillaire predictor. Het systeem voorspelt waarschijnlijke adverteerders en gebruikersinteresses, geconditioneerd op gestructureerde gebruikersprofielen en conversiegeschiedenissen. Deze voorspellingen dienen als informatieve priors voor downstream retrieval- en rankingstadia.

Systeemarchitectuur

De pijplijn bestaat uit vier fasen:

Gebruikersselectie: Inferentie is beperkt tot hoogwaardige segmenten (actieve Amerikaanse gebruikers met recente conversies) om latentie en kosten te beheersen.
Kenmerkencompilatie: Heterogene data (on-site/off-site zoekopdrachten, toegeschreven/gematchte conversies, URL's, demografie) wordt samengevoegd tot een compacte tekstuele representatie.
Prompt-gebaseerde Adverteerdervoorspelling: De LLM wordt post-getraind om een gerangschikte lijst van adverteerders en gebruikersinteresses te voorspellen.
Downstream Consumptie: Voorspelde adverteerders worden gebruikt als targetingfilters in de retrieval-fase (Candidate Generation) en als kenmerken in conversiemodellen (Ranking).

Post-Training Strategieën

Het paper onderzoekt twee primaire post-trainingbenaderingen:

Supervised Fine-Tuning (SFT): Het model wordt getraind om een enkele "volgende adverteerder" te voorspellen op basis van een gestructureerde prompt die gebruikersprofielen, eerdere conversies en een vooraf ingestelde pool van adverteerders bevat.
GRPO (Group Relative Policy Optimization): Na SFT wordt het model geoptimaliseerd met behulp van reinforcement learning. De prompt vraagt om een gerangschikte lijst van 20 adverteerders en 5 gebruikersinteresses. De beloningsfunctie ( $R_{total}$ ) balanceert het matchen van de ground-truth adverteerder (met bonussen voor top-rangposities) tegen lengtestrafpenalties voor afwijkingen van het vereiste outputformaat (20 adverteerders, 5 interesses). Dit stimuleert zowel nauwkeurigheid als strikte naleving van het gestructureerde XML-outputformaat dat vereist is voor productie-integratie.

Semantic ID (SID) Versterking

Om de kloof tussen tekstsemantiek en op ID-gebaseerde advertentiesystemen te overbruggen, incorporeren de auteurs Semantic ID's (SID's) afgeleid van multimodale embeddings (PinCLIP) via RQ-VAE. Een meerfasige trainingsbenadering wordt gebruikt om catastrofaal vergeten te voorkomen:

Fase 1: SID-tokens worden afgestemd op de tekstruimte door alleen SID-embeddings te updaten terwijl de rest van het model wordt bevroren.
Fase 2: Full-parameter pre-training om aanbevelingskennis op te nemen, terwijl data uit het algemene domein wordt gemengd.
Fase 3: Taakspecifieke fine-tuning (SFT/GRPO) waarbij prompts zowel tekstkenmerken als recente SID-sequenties bevatten.

Downstream Integratie

Retrieval: De door de LLM voorspelde adverteerders fungeren als een complementaire candidate generator (CG), die de retrievalruimte filtert om adverteerders met hoge conversie-intentie te prioriteren. Dit is bijzonder effectief voor gebruikers met zwakke bestaande signaaldekking.
Ranking: De voorspelde adverteerders en interesses worden gefeaturiseerd en ingevoerd in downstream conversiemodellen (ctcvr, vtcvr).

Belangrijkste Resultaten

Offline Prestaties

Voorspellingskwaliteit: Op het V1-dataset (afgestemd op productietraffic) presteerde de combinatie van SFT (prompt voor 1 adverteerder) gevolgd door GRPO aanzienlijk beter dan zero-shot prompting. De opname van Semantic ID's leverde aanzienlijke winsten op, met een verbetering van Recall@1, Recall@5 en Recall@20 met meer dan 10% ten opzichte van tekst-only modellen.
Feature Ablatie: Het meest kritieke invoerkenmerk was "actieve adverteerders met eerdere conversies". Off-site URL's en off-site zoekopdrachten waren de volgende meest invloedrijke kenmerken. Interessant genoeg bleken expliciete redeneerketens minder nuttig dan directe SFT-stijl training voor deze specifieke intentie-aggregatietaken.
Conversiemodellen: Het toevoegen van door LLM afgeleide adverteerderkenmerken aan conversiemodellen resulteerde in meetbare offline verbeteringen, met name in PR-AUC (Precision-Recall AUC), wat cruciaal is voor spaarzame conversiesettingen.

Online Zakelijke Impact

Retrieval: A/B-testen op Amerikaanse Shopping Ads toonden aan dat de op LLM gebaseerde candidate generator de Return on Ad Spend (RoAS) verhoogde met 4,94% voor de algemene behandelingslaag en 6,69% voor de opt-in laag.
Mechanisme: De winsten werden gedreven door het systeem dat verkeer van adverteerders met hoge conversie-intentie aan het licht bracht dat voorheen ondervertegenwoordigd was door standaard collaboratieve filteringkanalen.
Operationele Beperkingen: De studie benadrukte dat zorgvuldige afstelling van het quotum van de candidate generator en het trainingsdoel (het gebruik van klikken met op duur gebaseerde gewichten in plaats van ruwe impressies of spaarzame conversies) essentieel was om overleving in de funnel en betrokkenheid in evenwicht te brengen.

Betekenis en Claims

Het paper claimt een praktisch pad voor op schaal verrijkte aanbevelingen met LLM's te demonstreren door de rol van LLM's in industriële advertentiesystemen te herdefiniëren. In plaats van te proberen de bestaande multi-stage retrieval- en ranking-stacks te vervangen of LLM's uitsluitend als dure her-rankers te gebruiken, tonen de auteurs aan dat fine-tuned LLM's kunnen dienen als complementaire predictors.

Belangrijke bijdragen zijn:

Paradigmaverschuiving: Het succesvol formuleren van een taak voor adverteerdervoorspelling die wereldkennis van LLM's benut om de kloof tussen tekstsemantiek en spaarzame ID-kenmerken in advertenties te overbruggen.
Praktisch Recept: Het bieden van een gevalideerde workflow voor datacompilatie, promptontwerp (inclusief SID-integratie) en fine-tuning (SFT + GRPO) die stabiele, low-latency signalen oplevert die over het gehele advertentieproces bruikbaar zijn.
End-to-End Validatie: Het aantonen dat deze door LLM afgeleide signalen meetbare zakelijke waarde (RoAS-verbeteringen) kunnen vrijmaken door zowel retrievaldekking als rankingnauwkeurigheid te verbeteren zonder de kerninfrastructuur te verstoren.

De auteurs blijven bescheiden, met de opmerking dat hoewel de multimodale SID-extensie sterke offline resultaten liet zien, deze nog niet volledig is gevalideerd in online productieomgevingen en daarom is uitgesloten van de primaire empirische claims. Het werk benadrukt dat het succes van deze aanpak afhankelijk is van het specifieke ontwerp van de ancillaire voorspellingstaak en de nauwe integratie met bestaande industriële beperkingen.