Technische Samenvatting: Het overbruggen van de informatiekloof met SemRaD

1. Probleemdefinitie

Het artikel behandelt het cold-start probleem voor nieuwe gebruikers in e-commerce, specifiek de uitdaging om de Lifetime Value (LTV) en het Conversiepercentage (CVR) van gebruikers met een schaarse interactiegeschiedenis te voorspellen. Standaard sequentiemodellen (bijv. DIN, SASSec) vertrouwen op rijke historische gegevens; wanneer gebruikerssporen slechts enkele gebeurtenissen bevatten, degenereren voorspellingen naar populatiegemiddelden, wat leidt tot inefficiënte marketing en gemiste retentiekansen.

De auteurs identificeren twee bestaande benaderingen en hun specifieke beperkingen:

1. LLM-gebaseerde semantische augmentatie: Hoewel Large Language Models (LLMs) schaarse geschiedenissen kunnen verdichten door gebruikersintentie af te leiden, genereren ze doorgaans ongestructureerde, vrije rationales. In productie zijn deze ruisachtig, moeilijk te valideren en inconsistent over gebruikers of marktverschuivingen heen, wat ze lastig operationeel maakt.
2. Learning Using Privileged Information (LUPI): Deze benadering gebruikt een "docent"-model met toegang tot signalen na conversie (geprivilegieerde informatie) om een "student"-model te trainen dat alleen gegevens vóór conversie ziet. Echter, naïeve distillatie faalt vaak omdat de informatiekloof tussen de docent en de student te groot en heterogeen is over verschillende gebruikers heen. Een enkel gedeeld distillatiepad heeft de neiging om over deze regimes heen te middelen, waardoor kennis niet effectief wordt overgedragen aan de specifieke gebruikers die het het hardst nodig hebben.

2. Methodologie: SemRaD Framework

De auteurs stellen SemRaD (Semantic Reasoning-aware Distillation) voor, een framework dat is ontworpen om de informatiekloof te overbruggen via twee complementaire componenten: een Gestructureerde Semantische Redeneringspijplijn en een Hindsight-Aware Distillatienetwerk.

A. Gestructureerde Semantische Redeneringspijplijn

In plaats van vrije tekst te genereren, maakt SemRaD gebruik van een discover–curate–audit workflow om een vast, interpreteerbaar schema van gedragsdimensies te creëren (bijv. Temporele Resolutie, Transactieomvang).

• Schema Constructie: LLMs stellen kandidaat-dimensies voor, die door een tweede LLM-aanroep worden gededupliceerd en geconsolideerd, waarna ze door domeinexperts worden beoordeeld om onderscheidend vermogen en voorspellende relevantie te waarborgen.
• Semantische Profilering:
  • Vóór conversie ($Z_{pre}$): De LLM analyseert het schaarse pre-conversie logboek om een Verdicht Semantisch Profiel te genereren, bestaande uit gestructureerde rationales voor elke dimensie. Dit is het enige door de LLM afgeleide signaal dat door de ingezezette student wordt gebruikt.
  • Na conversie ($Z_{post}$): Tijdens de training analyseert de LLM het geprivilegieerde post-conversie logboek om een toekomstig profiel te genereren.
  • Hindsight Fusie ($Z_{fused}$): Een fusie-prompt brengt de pre- en post-conversie redeneringen met elkaar in overeenstemming. Het identificeert welke pre-conversie signalen werkelijk voorspellend waren en lost tegenstrijdigheden op, wat resulteert in een Hindsight Distillatie Target. Dit doel biedt de docent zelfconsistentie als supervisie waar de student van kan leren, in plaats van ruwe, potentieel tegenstrijdige signalen.

B. Hindsight-Aware Distillatienetwerk

Het framework gebruikt een simultane distillatieparadigme met een Student (online) en een Docent (alleen tijdens training).

• Semantic-Gated Encoder: Om gebruikersheterogeniteit te behandelen (waarbij verschillende dimensies voor verschillende gebruikers belangrijk zijn), gebruikt het model een Semantic-Gated Encoder. Het codeert elke semantische rationale met een bevroren tekst-embedder en berekent per gebruiker belangheidsgewichten via een gating-mechanisme. Dit stelt het model in staat zich te concentreren op de meest informatieve dimensies voor elke specifieke gebruiker.
• Distillatie Experts: Om de heterogene informatiekloof aan te pakken, vervangt het framework een enkel gedeeld distillatiepad door Distillatie Experts. Een Gumbel-softmax router, geconditioneerd op de representatie van de docent, selecteert tussen meerdere expert-MLP's om de target van de docent te reconstrueren vanuit de input van de student. Dit stelt het model in staat om de transferstrategie aan te passen op basis van het specifieke dataregieme van de gebruiker.
• Trainingsdoelstelling: De totale loss combineert de taakspecifieke supervised loss (Huber voor LTV, BCE voor CVR), soft-target knowledge distillation (KD), en de expert-gerouteerde reconstructie loss.

3. Belangrijkste Bijdragen

1. Gestructureerde Semantische Redeneringspijplijn: Vervangt ongestructureerde LLM-rationales door een schema-gestuurde, discover-curate-audit workflow. Dit produceert een Verdicht Semantisch Profiel voor inferentie en een Hindsight Distillatie Target voor training, wat consistentie en operationele inzetbaarheid garandeert.
2. Hindsight-Aware Distillatienetwerk: Introduceert een distillatiemechanisme dat de kloof tussen docent en student overbrugt via de gesynchroniseerde hindsight target en gebruikersvariabiliteit afhandelt via Distillatie Experts, waardoor de broosheid van een enkel pad wordt vermeden.
3. Productie Implementatie & Generalisatie: Demonstreert dat SemRaD generaliseert over taken (LTV en CVR), student-backbones (Transformer, DIN, Avg-Pooling) en profiler LLMs. Het valideert de aanpak in een grootschalige industriële setting.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op een grootschalige industriële dataset (120k gebruikers) en gevalideerd via een vier weken durende online A/B-test bij Keeta.

• Offline Prestaties: Vergeleken met een productie-waardig basemodel behaalde SemRaD:
  • +1,9% verbetering in LTV (Gini Coëfficiënt).
  • +1,0% verbetering in CVR (AUROC).
  • Ablatie-studies bevestigden dat zowel de gestructureerde semantische profilering als de hindsight-aware distillatie (inclusief experts) noodzakelijk zijn voor optimale prestaties.
• Data-efficiëntie: SemRAd mat de LTV-prestaties van het productiesysteem met slechts 9% van de trainingsdata, terwijl het de CVR met 0,8% verbeterde, wat de signalefficiëntie van de semantische profielen onderstreept.
• Online A/B-test: In een live deployment (5% verkeer, ~10k gebruikers), liet SemRAd zien:
  • +1,0% relatieve winst in LTV.
  • +0,43% relatieve winst in CVR.
  • De serving latency nam licht toe (P50: +7,6%, P99: +34%) door de gated MLP, maar er waren geen LLM-aanroepen vereist tijdens inferentie (profielen zijn gecached).
• Mechanisme Analyse:
  • Gate Gewichten: De geleerde gating-gewichten kwamen overeen met de expert-intuïtie (bijv. dominantie van Navigation Intent Specificity), wat het nut van het schema valideert.
  • Distillatie Experts: De router clustert gebruikers natuurlijk in verschillende regimes (bijv. converters versus non-converters) zonder expliciete supervisie.
  • Informatiekloof: SemRAd verminderde de discrepantie in voorspellingen tussen de docent en de student voor cold-start gebruikers aanzienlijk vergeleken met naïeve distillatie, wat bevestigt dat hindsight fusie de geprivilegieerde supervisie toegankelijker maakt.

5. Betekenis en Claims

Het artikel claimt dat SemRAd effectief de dubbele uitdagingen van ongestructureerde semantische ruis en heterogene informatiekloof in cold-start voorspellingen aanpakt. Door LLM-redenering om te zetten in een gestructureerd schema en geprivilegieerde signalen te verzoenen via hindsight fusie, maakt het framework een robuuste kennisoverdracht mogelijk van een geprivilegieerde docent naar een student met schaarse data.

De auteurs benadrukken dat het framework model-agnostisch is en succesvol is toegepast voor andere productie-taken bij Keeta, waaronder CTR-voorspelling, gebruikerssimulatie en herbetrokkenheid van stille gebruikers. Het werk demonstreert dat het combineren van gestructureerde semantische redenering met geavanceerde distillatietechnieken aanzienlijke, meetbare zakelijke waarde kan opleveren, terwijl de data-efficiëntie en operationele haalbaarheid behouden blijven.