Sintesi Tecnica: Dai Click all'Intento

Definizione del Problema

Nei servizi finanziari, esiste un divario critico tra le interazioni web pre-login e le esperienze autenticate post-login. A differenza dell'e-commerce o delle piattaforme social, dove i segnali comportamentali più ricchi si verificano dopo il login, l'esplorazione di prodotti finanziari, il confronto e l'inizio di una richiesta di prodotto avvengono frequentemente su siti web pubblici prima dell'autenticazione. Tuttavia, gli attuali sistemi di raccomandazione spesso scartano questi segnali pre-login perché:

1. Perdita di Contesto: Identificare gli utenti pre-login richiede una complessa risoluzione delle entità, e collegare questi dati agli account post-login è difficile, portando alla perdita dell'intento espresso.
2. Limitazioni delle Rappresentazioni Esistenti: Le attuali rappresentazioni dell'intento sono spesso ad hoc e ristrette (ad esempio, semplici log di visite alle pagine). Esse non riescono a catturare segnali comportamentali sfumati e mancano dell'interpretabilità necessaria per l'analisi qualitativa, la segmentazione degli utenti e la conformità normativa nel settore finanziario.

La sfida centrale è trasformare i flussi di clic (clickstream) multi-modali grezzi in una rappresentazione che sia sia quantitativamente potente per i compiti di ranking a valle, sia qualitativamente interpretabile per la comprensione umana, risolvendo al contempo il problema della risoluzione delle entità cross-platform.

Metodologia

Gli autori propongono un framework scalabile e a duplice scopo che genera due output complementari dai dati clickstream pre-login: un embedding di sessione denso per i compiti quantitativi e etichette di intento leggibili dall'uomo per la comprensione qualitativa.

1. Embedding di Sessione Multi-Modale (Output Quantitativo)

Il sistema codifica i flussi di eventi clickstream grezzi in un embedding di sessione compatto utilizzando un Transformer auto-supervisionato.

• Input: Sequenze di eventi ordinati cronologicamente ($x_1, \dots, x_T$) contenenti caratteristiche eterogenee: informazioni sulla pagina, tempo di permanenza (dwell time), tipo di evento (click, scroll, visualizzazione) e caratteristiche semanticamente arricchite (contenuto HTML della pagina).
• Codifica delle Caratteristiche:
  • Caratteristiche discrete: Mappate tramite tabelle di embedding apprese.
  • Contenuto della pagina: Vettori pre-calcolati derivati dal testo HTML tramite un sentence transformer pre-addestrato, proiettati nella dimensione dell'embedding.
  • Posizione: Positional embeddings appresi.
• Architettura: Le caratteristiche vengono fuse tramite un MLP, gli embedding posizionali vengono aggiunti e un encoder Transformer elabora la sequenza.
• Addestramento: Il modello è addestrato tramite apprendimento auto-supervisionato (predizione del prossimo evento o degli eventi/titoli mascherati) senza dati etichettati. Il modello finale utilizza l'attenzione bidirezionale con mean pooling per catturare il contesto completo, poiché l'intera sessione è disponibile al momento dell'inferenza.

2. Tassonomia Distillata da LLM (Output Qualitativo)

Per colmare il divario tra vettori densi e comprensione umana, il sistema genera una tassonomia di intenti e la distilla in un classificatore leggero.

• Campionamento Basato su Clustering: Gli embedding delle sessioni vengono raggruppati (tramite K-Means) per garantire un campionamento stratificato. Ciò garantisce che l'LLM veda l'intera diversità del comportamento dell'utente piuttosto che un sottoinsieme casuale.
• Generazione Iterativa della Tassonomia: Ispirato a TnT-LLM, un LLM genera, aggiorna e revisiona una tassonomia di intenti attraverso minibatch iterativi. Questo processo affina un set fisso di categorie di intento (ad esempio, "Pre-approvazione Carta di Credito", "Protezione dalle Frodi") basandosi sui pattern osservati, garantendo coerenza semantica e rilevanza del dominio.
• Assegnazione delle Etichette e Distillazione:
  • L'LLM assegna molteplici etichette di intento con punteggi di confidenza alle sessioni campionate (zero-shot prompting).
  • Un modello studente MLP leggero viene addestrato per predire queste etichette direttamente dagli embedding di sessione (vettore a 64 dimensioni), utilizzando i punteggi di confidenza dell'LLM come target "soft".
  • Ciò consente al sistema di produrre etichette interpretabili su larga scala senza richiedere chiamate all'LLM o codifica del testo separata durante l'inferenza.

Contributi Chiave

1. Sistema di Predizione dell'Intento a Duplice Scopo: Il framework produce una singola rappresentazione condivisa con due output: un embedding denso per i compiti quantitativi (ranking, predizione della conversione) e etichette leggibili dall'uomo per la comprensione qualitativa (segmentazione, analisi).
2. Generazione della Tassonomia tramite LLM Potenziata dal Clustering: Raggruppando gli embedding prima del campionamento, il sistema assicura che l'LLM osservi l'intero spettro del comportamento dell'utente durante la generazione della tassonomia, migliorando la robustezza e la copertura delle categorie di intento risultanti.
3. Distillazione dell'Intento nello Spazio degli Embedding: Il sistema distilla le etichette generate dall'LLM in un classificatore che opera su vettori a dimensione fissa anziché su testo grezzo. Ciò consente un'inferenza a bassissima latenza su scala (10M+ sessioni giornaliere) mantenendo la ricchezza semantica dell'LLM.

Risultati Sperimentali

Il sistema è stato valutato su due compiti a valle utilizzando i dati di una grande istituzione di servizi finanziari (circa 10M di sessioni giornaliere, filtrate a 100K sessioni cross-platform).

1. Ranking dei Tile della Homepage Mobile

• Compito: Predire su quali tile di contenuto l'utente cliccherà sulla homepage dell'app mobile dopo il login.
• Baseline: Un modello LightGBM che utilizza caratteristiche post-login e caratteristiche grossolane di retargeting del sito pre-login (conteggio visite alle pagine).
• Performance: L'aggiunta dell'embedding di sessione ha migliorato il Macro Recall@1 dell'1,88% e ridotto il Log Loss del 13,38% rispetto alla baseline.
• Risultato: La variante con attenzione bidirezionale e mean pooling ha ottenuto le prestazioni migliori, confermando che le sessioni pre-login contengono segnali ricchi che vanno oltre il semplice conteggio delle pagine.

2. Predizione della Conversione dell'Utente

• Compito: Predire le azioni post-login (ad esempio, richieste di carta di credito) basandosi sui segnali pre-login.
• Confronto delle Performance:
  • Caratteristiche create manualmente (SRF): Hanno performato significativamente peggio (35,8% in meno di F1) rispetto alle rappresentazioni basate su LLM.
  • Studente Distillato (MLP): Ha raggiunto il 93% delle prestazioni del docente LLM (calo del 7% in F1), validando l'efficace trasferimento di conoscenza.
  • Embedding di Sessione: Ha superato il docente LLM del 4,3% in Micro F1. Questo conferma che l'embedding cattura il segnale più ricco, mentre lo strato di distillazione scambia una piccola parte di accuratezza per l'interpretabilità.
• Qualità delle Etichette: Una revisione manuale ha mostrato un accordo stretto del 97,0% e un accordo lasso del 99,5% tra gli annotatori umani e le etichette assegnate dall'LLM.

3. Efficienza dell'Inferenza

• L'inferenza diretta dell'LLM per etichettare 100K sessioni richiederebbe >80 ore in modo seriale.
• La pipeline proposta (codifica Transformer + Distilled MLP) elabora 100K sessioni in meno di 61 secondi, rappresentando un miglioramento del throughput superiore a 3.000x con solo un calo del 7% delle prestazioni.

Significato e Rivendicazioni

Il documento sostiene che questo approccio riesce a colmare il divario tra segnali comportamentali grezzi e comprensione semantica nei servizi finanziari.

• Utilità Pratica: Dimostra che le rappresentazioni auto-supervisionate dei clickstream, combinate con tassonomie distillate da LLM, possono servire simultaneamente compiti quantitativi ad alto rischio (ranking, predizione della conversione) e casi d'uso qualitativi essenziali (segmentazione, spiegabilità) in un ambiente di produzione.
• Scalabilità: Lo strato di distillazione consente al sistema di scalare a milioni di sessioni giornaliere senza il costo proibitivo e la latenza dell'inferenza diretta dell'LLM.
• Efficienza dei Dati: Il sistema sfrutta i dati pre-login, che sono l'unico segnale disponibile per i potenziali clienti non autenticati, per guidare la personalizzazione e la predizione della conversione, affrontando una specifica limitazione nei servizi finanziari dove il contesto pre-login viene spesso scartato.

Gli autori riconoscono che il sistema è attualmente valutato su dati di una singola istituzione e che la generalizzabilità ad altri domini deve ancora essere convalidata. Il lavoro futuro include test A/B online, raffinamento automatico della tassonomia ed estensione del modello alla predizione dell'intento a livello di utente attraverso più sessioni.