Technische Samenvatting: Mind the Gap: Het overbruggen van gedrags-silo's met LLM's in Multi-Vertical Aanbevelingen

1. Probleemstelling

In multi-vertical e-commerce ecosystemen zoals DoorDash creëert de uitbreiding naar nieuwe domeinen (bijv. boodschappen, retail, beauty) een aanzienlijke personalisatieuitdaging: het "cold start"-probleem. Gebruikers missen vaak interactiegeschiedenis in deze opkomende verticalen, wat het moeilijk maakt om relevante aanbevelingen te genereren. Daartegenover staat dat deze platforms beschikken over rijke gedragsgegevens uit gevestigde, hoog-verkeerde verticalen (bijv. bestellingen van restaurants). De kernuitdaging die in dit werk wordt aangepakt, is hoe latente kennis effectief kan worden overgedragen van data-rijke verticalen naar data-arme verticalen om de kwaliteit van aanbevelingen te verbeteren zonder te vertrouwen op directe historische interacties in het nieuwe domein.

2. Methodologie

De auteurs stellen een nieuw framework voor dat gebruikmaakt van Large Language Models (LLM's) om semantische feature engineering uit te voeren, waarbij gestructureerde gebruikersaffiniteit-features worden gesynthetiseerd uit ongestructureerde gedragsgegevens.

2.1 Hiërarchische Retrieval-Augmented Generation (RAG)

Het systeem maakt gebruik van een hiërarchische RAG-pipeline om ongestructureerde gebruikerssignalen (restaurantbestelgeschiedenis en zoekopdrachten) te mappen naar een vierniveau interne producttaxonomie (L1–L4).

• Cascaded Inference: Het proces werkt via een cascaded inference-strategie. Het model identificeert eerst brede, top-level (L1, L2) taxonomische affiniteiten. Deze hoog-betrouwbare classificaties beperken vervolgens de generatieve zoekruimte voor daaropvolgende, meer granulair uitgevoerde retrievals op lagere niveaus (bijv. L3). Deze iteratieve verfijning voorkomt de generatie van plausibele maar incorrecte subcategorieën.
• Focus op Features: Voor de productie Multi-Task Learning (MTL) ranker richt het systeem zich specifiek op L2 en L3 affiniteiten, aangezien L1 vaak te algemeen is en L4 lijdt onder excessieve schaarste.

2.2 Generatieve Feature Synthese

Het framework genereert twee verschillende klassen van features om de gebruikersrepresentatie aan te vullen:

1. Long-Term Cross-Vertical Affinity Profile: Legt latente, historische voorkeuren vast die zijn afgeleid van de cumulatieve restaurantbestelgeschiedenis.
2. Short-Term Intent Profile: Modelleert recente, transiënte interesses afgeleid van recente zoekactiviteit op het platform.

2.3 Prompt Engineering en Controle

Om hoge getrouwheid en deterministische outputs te garanderen, hebben de auteurs strikte controles voor prompt engineering geïmplementeerd:

• Contextuele Input: Prompts voegen historische restaurantnamen en bestelde artikelen chronologisch samen, waarbij recente gedragingen prioriteit krijgen, naast zoekopdrachten.
• Confidence Filtering: Het model krijgt de instructie om een betrouwbaarheidsscore toe te kennen aan elke gegenereerde affiniteit. Alleen taxonomieën die een betrouwbaarheidsdrempel van 0,8 overschrijden, worden opgenomen. Dit fungeert als een zelfcorrectiemechanisme om spookassociaties te filteren.
• Output Constraints: Het model wordt beperkt tot het outputten van exacte taxonomische spellingen uit een verstrekte lijst, om het verzinnen van niet-bestaande categorieën te voorkomen.

2.4 Integratie in Productie MTL

De door LLM gegenereerde features worden geïntegreerd in de bestaande productie Multi-Task Learning (MTL) ranking model:

• Feature Augmentatie: De nieuwe sparse features ($u_{LLM}$), die gebruikersaffiniteiten vertegenwoordigen, worden geconcateneerd met bestaande gebruikersengagement-vectoren ($u_{eng}$) en item-feature vectoren ($i_{eng}$).
• Embedding Strategie: Variabele-lengte categorische features (lijsten met taxonomy ID's) worden via een gedeelde embedding table naar dense vectoren gemapt en geaggregeerd middels mean pooling om jagged input tensors te verwerken.
• Model Architectuur: De uitgebreide feature vector voedt een gedeelde MLP trunk gevolgd door taakspecifieke predictiekoppen, waarbij gezamenlijk wordt geoptimaliseerd voor doelstellingen zoals click-through rate, add-to-cart en aankoop.

2.5 Optimalisatie

• Model Selectie: Een kosten-prestatieanalyse identificeerde GPT-4o-mini als het optimale model, dat vergelijkbare kwaliteit levert aan GPT-4o tegen een aanzienlijk lagere computationele kosten.
• Kostenreductie: Implementatie van prompt caching (voor statische instructies en taxonomie) en just-in-time feature materialisatie (het bijwerken van affiniteiten alleen bij nieuwe gebruikersacties) verminderde de totale computationele kosten met ongeveer 80%.

3. Experimentele Evaluatie

3.1 Offline Evaluatie

Het voorgestelde model werd geëvalueerd tegen een baseline MTL-model dat uitsluitend is getraind op historische engagement en itemattributen met behulp van een 15-daagse holdout-dataset.

• Metrics: Prestaties werden gemeten met behulp van Area Under the Receiver Operating Characteristic Curve (AUC-ROC) en Mean Reciprocal Rank (MRR).
• Cohort Analyse:
  • Algemene Populatie: Het voorgestelde model bereikte een relatieve lift van 4,4% in AUC-ROC en een 4,8% lift in MRR.
  • Cold-Start Consumenten: Dit cohort zag een 4,0% lift in AUC-ROC en een 1,1% lift in MRR, wat de hypothese valideert dat historische smaakvoorkeuren effectief kunnen worden overgedragen naar andere verticalen.
  • Power Consumenten: Deze groep profiteerde het meest van het zoekopdracht-signaal, met een 5,2% lift in AUC-ROC en een 2,2% lift in MRR.

3.2 Online Shadow Deployment

Om offline bevindingen te valideren, werd het systeem in een shadow-modus ingezet tegen live verkeer.

• Resultaten: Het LLM-geaugmenteerde model vertoonde een verbetering van 4,3% in AUC-ROC en een toename van 3,2% in MRR ten opzichte van de baseline voor de algemene populatie, wat de effectiviteit in de echte wereld bevestigt.

3.3 Beoordeling van de Feature Kwaliteit

Kwalitatieve en kwantitatieve evaluaties bevestigden de relevantie van de gegenereerde features:

• Menselijke Evaluatie: Features afgeleid van zoekopdrachten werden in 70,7% van de gevallen beoordeeld als "Zeer Gepersonaliseerd", vergeleken met 53,0% voor restaurantbestellingen.
• LLM-as-a-Judge: Bij het scoren van relevantie met GPT-4o presteerden zoekopdrachten opnieuw beter dan de bestelgeschiedenis (61,6% zeer gepersonaliseerd versus 56,6%), wat overeenkomt met de expliciete aard van de zoekintentie.

4. Belangrijkste Bijdragen en Betekenis

Het artikel claimt een praktisch pad te bieden voor het bouwen van meer holistische en adaptieve aanbevelingssystemen door het gat in gedragsgegevens aan te pakken.

• Nieuw Framework: De introductie van een hiërarchische RAG-pipeline om multi-level taxonomische features af te leiden uit ongestructureerde gebruikersdata.
• Semantische Brug: Het aantonen dat LLM's effectief kunnen fungeren als een semantische brug om kennis over te dragen van data-rijke verticalen (restaurants) naar data-arme verticalen (boodschappen/retail) om het cold-start probleem op te lossen.
• Productie Levensvatbaarheid: Het werk bewijst dat LLM-gegenereerde features kunnen worden geïntegreerd in productie MTL-rankingmodellen met significante prestatiewinsten, terwijl computationele kosten worden beheerd via strategische modelselectie en caching.
• Gedragsinzicht: De resultaten valideren dat latente gebruikersaffiniteiten afgeleid van de ene verticale de personalisatie in een andere significant kunnen verbeteren, met name voor gebruikers zonder directe geschiedenis in het doeldomein.

5. Toekomstig Werk

De auteurs schetsen drie specifieke richtingen voor toekomstig onderzoek:

1. Geavanceerde Prompting: Onderzoek naar paradigma's zoals Chain-of-Thought en zelfcorrectie, en het verkennen van domeinspecifieke fine-tuning van kleinere, efficiëntere LLM's.
2. Funnel Integratie: Het integreren van generatieve features eerder in de aanbevelingsfunnel, specifiek binnen de kandidaat-retrieval fase, om een meer synergetisch end-to-end systeem te creëren.
3. Temporele Dynamiek: Het verkennen van de temporele dynamiek van affiniteiten om meer adaptieve, sessie-bewuste aanbevelingsmodellen te bouwen.