💬 NLP

From Clicks to Intent: Cross-Platform Session Embeddings with LLM-Distilled Taxonomy for Financial Services Recommendations

Oorspronkelijke auteurs: Dianjing Fan, Yao Li, Kyaw Hpone Myint, Dwipam Katariya, Alexandre G. R. Day, Pranab Mohanty, Giri Iyengar

Gepubliceerd 2026-06-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Dianjing Fan, Yao Li, Kyaw Hpone Myint, Dwipam Katariya, Alexandre G. R. Day, Pranab Mohanty, Giri Iyengar

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme bank binnenloopt.

Het Probleem: De "Amnesie" bij de Deur
In de oude dagen, als je naar de website van de bank liep (de "pre-login" omgeving) om naar creditcards te kijken of rentetarieven voor leningen te vergelijken, zag het computersysteem van de bank je als een vreemde. Je bladerde rond, klikte wat rond, en logte toen in om je daadwerkelijke account te bekijken. Op het moment dat je inlogde, zei het systeem: "Hallo! Ik zie dat u een betaalrekening heeft," maar het vergat volledig dat je zojuist 20 minuten lang naar hypotheekrentes had gekeken. Het is alsof je een winkel binnenloopt, een uur lang langs de schappen loopt te snuffelen, en de cassière je vervolgens groet alsof je er nog nooit bent geweest.

De bank wilde onthouden waar je naar keek voordat je inlogde, om je na het inloggen betere aanbevelingen te kunnen geven. Maar ze stuitten op twee grote hindernissen:

De Identiteitskloof: Het is moeilijk om te bewijzen dat de "vreemde" die de website bezoekt, dezelfde persoon is die zojuist heeft ingelogd in de app.
Het "Black Box"-probleem: Computers zijn geweldig in het tellen van klikken, maar slecht in het uitleggen van het waarom achter die klikken. Ze konden zeggen: "Deze persoon heeft 5 keer geklikt," maar ze konden niet zeggen: "Deze persoon is specifiek op zoek naar een autolening met een lage rente."

De Oplossing: Een Twee-Delig Super-Systeem
De onderzoekers bouwden een systeem dat werkt als een slimme, geheugenende concierge. Het heeft twee hoofdtaken, die samenwerken als een brein en een vertaler.

Deel 1: Het "Brein" (De Session Embedding)

Zie je browsegeschiedenis als een lange, rommelige stroom van acties: Klikte op "Creditcards", scrollde omlaag, zweefde over "Rentetarieven", klikte op "Aanvragen", en vertrok toen.

Het systeem gebruikt een speciaal type AI (een Transformer) om deze hele stroom in één keer te lezen. In plaats van alleen klikken te tellen, verandert het je hele browsersessie in één compacte "digitale vingerafdruk" (een session embedding).

De Analogie: Stel je een bibliothecaris voor die je hele boodschappenlijst leest en je vervolgens een enkel, perfect indexkaartje overhandigt dat precies samenvat wat je nodig hebt. Dit kaartje is zo gedetailleerd dat als je het later aan de aanbevelingsmotor van de bank laat zien, de motor precies weet wat hij je moet laten zien.
Het Resultaat: Wanneer je inlogt, gebruikt de bank deze "vingerafdruk" om de tegels op de startpagina van je mobiele app te herschikken. Het onderzoek toonde aan dat dit de aanbevelingen van de bank veel nauwkeuriger maakte (het verbeterde hun vermogen om te voorspellen waar je op zou klikken met bijna 2%) en de "ruis" in hun voorspellingen verminderde.

Deel 2: De "Vertaler" (De LLM-Gedestilleerde Taxonomie)

De "vingerafdruk" uit Deel 1 is geweldig voor computers, maar nutteloos voor mensen. Een bankmanager kan niet naar een reeks getallen kijken en zeggen: "Ah, deze klant wil een autolening." Ze hebben woorden nodig.

Hier komt het tweede deel in beeld:

De Leraar (De LLM): Ze gebruikten een krachtig Large Language Model (zoals de AI waarmee je nu praat) om duizenden van deze "vingerafdrukken" te lezen en een woordenboek van menselijk leesbare labels te schrijven. Het keek naar de patronen en zei: "Oké, deze groep klikken betekent 'Op zoek naar voorafkeuring voor creditcard', en die groep betekent 'Controleren van reisbeloningen'."
De Leerling (De Gedestilleerde Classificator): Het krachtige LLM is traag en duur om dagelijks op miljoenen mensen los te laten. Daarom hebben ze een kleine, supersnelle "leerling"-model getraind om de leraar na te bootsen.

De Analogie: Stel je een briljante professor (de LLM) voor die een klas van 10.000 studenten onderwijst. De professor is te druk om elke individuele opdracht persoonlijk te beoordelen. Dus schrijft de professor een perfect beoordelingsschema en traint een snelle, efficiënte assistent (het gedestilleerde model) om de opdrachten te beoordelen met behulp van dat schema. De assistent is 93% even nauwkeurig als de professor, maar werkt duizenden keren sneller.

Waarom dit ertoe doet (De Resultaten)
Het onderzoek laat zien dat dit tweeledige systeem een win-win is:

Voor de Computer (Kwantitatief): De "vingerafdruk" (embedding) is de beste voorspeller. Het hielp de bank om beter te voorspellen welke producten gebruikers zouden kopen dan welke eerdere methode dan ook.
Voor de Mensen (Kwalitatief): De "vertaler" (gedestilleerde labels) gaf de bankmanagers duidelijke, leesbare redenen waarom een gebruiker iets werd aanbevolen. Ze konden nu zeggen: "We lieten deze gebruiker een reisaanbieding zien omdat ons systeem detecteerde dat ze 'Vacatiepakketten aan het onderzoeken waren' voordat ze inlogden."
Snelheid: De oude manier, waarbij het krachtige LLM direct werd gebruikt, zou uren hebben gekost om een dag aan gegevens te verwerken. Het nieuwe "leerling"-model doet het in seconden, waardoor het mogelijk wordt om dit in realtime te gebruiken.

In een Notendop
De onderzoekers hebben een brug gebouwd tussen "anoniem browsen op het web" en "geauthenticeerd app-gebruik". Ze hebben een systeem gebouwd dat onthoudt waar je naar keek voordat je inlogde, dit gedrag vertaalt naar een wiskundig zware "vingerafdruk" voor de computer om te gebruiken, en tegelijkert even diezelfde vingerafdruk vertaalt naar eenvoudige Engelse labels voor mensen om te begrijpen. Dit stelt financiële instellingen in staat om je op het moment van inloggen gepersonaliseerde, relevante suggesties te geven, gebaseerd op je werkelijke intentie en niet alleen op je banksaldo.

Technische Samenvatting: Van Clicks naar Intentie

Probleemstelling

In de financiële dienstverlening bestaat er een kritieke kloof tussen interacties op de website vóór het inloggen en de geauthenticeerde ervaringen na het inloggen. In tegenstelling tot e-commerce of sociale platforms, waar de rijkste gedragsmatige signalen optreden na het inloggen, vindt de exploratie van financiële producten, vergelijkingen en het starten van aanvragen vaak plaats op publieke websites vóór authenticatie. Echter, huidige aanbevelingssystemen negeren deze pre-login signalen vaak omdat:

Contextverlies: Het identificeren van gebruikers vóór het inloggen vereist complexe entiteitsresolutie, en het koppelen van deze gegevens aan accounts na het inloggen is moeilijk, wat leidt tot het verlies van de geuite intentie.
Beperkingen van bestaande representaties: Huidige intentie-representaties zijn vaak ad-hoc en beperkt (bijv. eenvoudige logs van pagina-bezoeken). Ze slagen er niet in om genuanceerde gedragssignalen te vangen en missen de interpreteerbaarheid die vereist is voor kwalitatieve analyse, gebruikerssegmentatie en naleving van regelgeving in de financiële sector.

De kernuitdaging is het transformeren van ruwe, multimodale web-clickstreams naar een representatie die zowel kwantitatief krachtig is voor downstream ranking-taken als kwalitatief interpreteerbaar voor menselijk begrip, terwijl tegelijkertijd het probleem van cross-platform entiteitsresolutie wordt opgelost.

Methodologie

De auteurs stellen een schaalbaar, tweeledig framework voor dat twee complementaire outputs genereert uit pre-login web clickstream-data: een dichte sessie-embedding voor kwantitatieve taken en menselijk leesbare intentie-labels voor kwalitatief begrip.

1. Multi-Modale Sessie-Embedding (Kwantitatieve Output)

Het systeem codeert ruwe clickstream-events naar een compacte sessie-embedding met behulp van een self-supervised Transformer.

Input: Chronologisch geordende sequenties van events ( $x_1, \dots, x_T$ ) die heterogene kenmerken bevatten: pagina-informatie, verblijftijd, event-type (klik, scroll, view) en semantisch verrijkte kenmerken (HTML-inhoud van de pagina).
Kenmerkcodering:
- Discrete kenmerken: Gemapt via geleerde embedding-tabellen.
- Pagina-inhoud: Vooraf berekende vectoren afgeleid van HTML-tekst met behulp van een pretrained sentence transformer, geprojecteerd naar de embedding-dimensie.
- Positie: Geleerde positionele embeddings.
Architectuur: Kenmerken worden gefuseerd via een MLP, positionele embeddings worden toegevoegd, en een Transformer-encoder verwerkt de sequentie.
Training: Het model wordt getraind via self-supervised learning (het voorspellen van de volgende of gemaskeerde events/titels) zonder gelabelde data. Het uiteindelijke model gebruikt bidirectionele aandacht met mean pooling om de volledige context te vangen, aangezien de volledige sessie beschikbaar is tijdens de inferentie.

2. LLM-Gedestilleerde Taxonomie (Kwalitatieve Output)

Om de kloof tussen dichte vectoren en menselijk begrip te overbruggen, genereert het systeem een intentie-taxonomie en destilleert deze in een lichtgewicht classifier.

Clustering-gebaseerde Sampling: Sessie-embeddings worden geclusterd (met behulp van K-Means) om gestratificeerde sampling te garanderen. Dit garandeert dat de LLM de volledige diversiteit van gebruikersgedrag ziet, in plaats van een willekeurige subset.
Iteratieve Taxonomie-generatie: Geïnspireerd door TnT-LLM, genereert een LLM een intentie-taxonomie, werkt deze bij en beoordeelt deze door middel van iteratieve minibatches. Dit proces verfijnt een vaste set intentie-categorieën (bijv. "Credit Card Preapproval", "Fraud Protection") op basis van geobserveerde patronen, wat zorgt voor semantische coherentie en domeinrelevantie.
Label Toewijzing & Destillatie:
- De LLM wijst meerdere intentie-labels toe met betrouwbaarheidsscores aan gesamplede sessies (zero-shot prompting).
- Een lichtgewicht MLP student-model wordt getraind om deze labels direct te voorspellen vanuit de sessie-embeddings (een 64-dimensionale vector), waarbij de betrouwbaarheidsscores van de LLM als soft targets worden gebruikt.
- Dit stelt het systeem in staat om interpreteerbare labels op schaal te produceren zonder LLM-calls of aparte tekstcodering tijdens de inferentie.

Belangrijkste Bijdragen

Dual-Purpose Intent Predictie Systeem: Het framework produceert een enkele gedeelde representatie met twee outputs: een dichte embedding voor kwantitatieve taken (ranking, conversievoorspelling) en menselijk leesbare labels voor kwalitatief begrip (segmentatie, analytics).
Clustering-Versterkte LLM Taxonomie-generatie: Door embeddings te clusteren vóór de sampling, zorgt het systeem ervoor dat de LLM het volledige spectrum van gebruikersgedrag observeert tijdens de taxonomie-generatie, wat de robuustheid en dekking van de resulterende intentie-categorieën verbetert.
Embedding-Ruimte Intentie-destillatie: Het systeem destilleert door de LLM gegenereerde labels naar een classifier die opereert op vaste dimensies in plaats van ruwe tekst. Dit maakt ultra-lage latentie inferentie op schaal mogelijk (10M+ dagelijkse sessies) terwijl de semantische rijkdom van de LLM behouden blijft.

Experimentele Resultaten

Het systeem werd geëvalueerd op twee downstream taken met behulp van gegevens van een grote financiële dienstverlener (ongeveer 10 miljoen dagelijkse sessies, gefilterd tot 100.000 cross-platform sessies).

1. Mobile Homepage Tile Ranking

Taak: Voorspellen welke content tiles een gebruiker zal aanklikken op de mobiele app homepage na het inloggen.
Baseline: Een LightGBM-model met post-login kenmerken en grove pre-login site retargeting kenmerken (pagina-bezoek aantallen).
Prestaties: Het toevoegen van de sessie-embedding verbeterde de Macro Recall@1 met 1,88% en verminderde de Log Loss met 13,38% vergeleken met de baseline.
Bevinding: De variant met bidirectionele aandacht en mean pooling presteerde het best, wat bevestigt dat pre-login sessies rijke signalen bevatten die verder gaan dan eenvoudige paginatellingen.

2. Gebruikersconversie Voorspelling

Taak: Voorspellen van post-login acties (bijv. creditcard aanvragen) op basis van pre-login signalen.
Prestatievergelijking:
- Handmatig ontworne kenmerken (SRF): Presteerde aanzienlijk slechter (35,8% lagere F1) dan de LLM-gebaseerde representaties.
- Gedestilleerde Student (MLP): Bereikte 93% van de prestaties van de LLM teacher (7% daling in F1), wat de effectieve kennisoverdracht valideert.
- Sessie-Embedding: Presteerde 4,3% beter dan de LLM teacher op Micro F1. Dit bevestigt dat de embedding het rijkste signaal vangt, terwijl de destillatielaag een kleine hoeveelheid nauwkeurigheid inruilt voor interpreteerbaarheid.
Labelkwaliteit: Handmatige review toonde een strikte overeenkomst van 97,0% en een milde overeenkomst van 99,5% tussen menselijke annotatoren en de door de LLM toegewezen labels.

3. Inferentie-efficiëntie

Directe LLM-inferentie voor het labelen van 100K sessies zou serieel >80 uur duren.
De voorgestelde pipeline (Transformer encoding + Gedestilleerde MLP) verwerkt 100K sessies in minder dan 61 seconden, wat een doorvoersnelheid van >3.000x vertegenwoordigt met slechts een 7% daling in prestaties.

Betekenis en Claims

Het artikel claimt dat deze aanpak er succesvol in slaagt de kloof te overbruggen tussen ruwe gedragssignalen en semantisch begrip in de financiële sector.

Praktisch Nut: Het demonstreert dat self-supervised clickstream-representaties gecombineerd met LLM-gedestilleerde taxonomieën tegelijkertijd kunnen dienen voor high-stakes kwantitatieve taken (ranking, conversievoorspelling) en essentiële kwalitatieve use-cases (segmentatie, verklaarbaarheid) in een productieomgeving.
Schaalbaarheid: De destillatielaag maakt het systeem in staat om te schalen naar miljoenen dagelijkse sessies zonder de prohibitieve kosten en latentie van directe LLM-inferentie.
Data-efficiëntie: Het systeem maakt gebruik van pre-login data, wat het enige beschikbare signaal is voor niet-geauthenticeerde prospects, om personalisatie en conversievoorspelling aan te drijven, waarmee een specifieke beperking in de financiële sector wordt aangepakt waar pre-login context vaak wordt genegeerd.

De auteurs erkennen dat het systeem momenteel wordt geëvalueerd op gegevens van een enkele instelling en dat de generaliseerbaarheid naar andere domeinen nog gevalideerd moet worden. Toekomstig werk omvat online A/B-testen, automatische taxonomie-verfijning en het uitbreiden van het model naar user-level intentie-voorspelling over meerdere sessies heen.