Generative Long-term User Interest Modeling for Click-Through Rate Prediction

Riepilogo Tecnico: Modellazione Generativa degli Interessi Utente a Lungo Termine per la Previsione del Tasso di Click-Through (GenLI)

Enunciato del Problema
La previsione del Tasso di Click-Through (CTR) è un compito fondamentale nei sistemi di pubblicità e raccomandazione, che dipende fortemente da una modellazione accurata degli interessi utente a lungo termine derivati da massicce sequenze storiche di comportamenti. Gli approcci all'avanguardia attuali impiegano tipicamente un framework a due stadi costituito da un'Unità di Ricerca Generale (GSU) e un'Unità di Ricerca Esatta (ESU). La GSU recupera un sottoinsieme di comportamenti rilevanti basandosi sulla similarità con l'elemento target, mentre l'ESU li aggrega tramite meccanismi di attenzione.

Gli autori identificano tre limitazioni critiche negli approcci GSU centrati sul target esistenti:

1. Rappresentazione Incompleta degli Interessi: Concentrandosi esclusivamente sui comportamenti rilevanti per il specifico elemento target, questi modelli ignorano altri interessi utente latenti, portando a feature di interesse distorte e incomplete.
2. Collo di Bottiglia Computazionale: Il processo di recupero basato sul matching richiede il calcolo di punteggi di similarità pairwise tra l'elemento target e ogni comportamento storico. Man mano che le sequenze di comportamento utente crescono (spesso fino a migliaia di elementi), ciò diventa un collo di bottiglia dispendioso in termini di tempo per i servizi online.
3. Interazioni Comportamentali Ignorate: L'architettura pairwise confronta l'elemento target con i comportamenti individuali in isolamento, trascurando le informazioni di interazione e i pattern esistenti tra i comportamenti storici dell'utente.

Metodologia: Framework GenLI
Per affrontare questi problemi, gli autori propongono GenLI, un framework di modellazione generativa degli interessi utente a lungo termine. A differenza dei metodi basati sul recupero tradizionali, GenLI adotta un approccio generativo indipendente dal target. Il framework è composto da tre moduli fondamentali:

1. Modulo di Generazione degli Interessi (IGM):

   • Input: L'IGM utilizza una sequenza di comportamenti a breve termine (i $l$ comportamenti più recenti) piuttosto che l'elemento target.
   • Meccanismo: Impiega l'Attenzione Multi-Testa (MHA) per elaborare questi comportamenti a breve termine. I vettori di query sono costituiti dall'embedding del comportamento più recente e da un vettore di query apprendibile per catturare la conoscenza delle interazioni.
   • Output: Il modulo genera multiple distribuzioni discrete di interesse che rappresentano diversi aspetti degli interessi utente in tempo reale:
     • Interesse Esplicito ($\mathbf{p}_E$): Derivato dalle interazioni dirette (es. click), ottimizzato tramite la verosimiglianza negativa sugli elementi cliccati.
     • Interesse Implicito ($\mathbf{p}_I$): Derivato dagli elementi esposti (impression senza click), rappresentante preferenze stabili a lungo termine.
     • Interesse Relativo ($\mathbf{p}_R$): Definito come la differenza tra le distribuzioni esplicita e implicita ($\mathbf{p}_E - \mathbf{p}_I$), cattura la tendenza di cambiamento degli interessi utente e il contrasto decisionale.
   • Caratteristica Chiave: Questo processo è indipendente dal target, garantendo che le distribuzioni generate comprendano un insieme più ampio e diversificato di interessi utente.

2. Modulo di Recupero dei Comportamenti (BRM):

   • Meccanismo: Invece di calcolare similarità pairwise, il BRM esegue una semplice operazione di ricerca (lookup). Per ogni distribuzione di interesse generata, ai comportamenti storici vengono assegnati punteggi basati sui loro ID univoci mappati sugli indici della distribuzione (tramite un'operazione modulare).
   • Efficienza: Ciò riduce la complessità temporale per pesare ogni comportamento a $O(1)$.
   • Selezione: Il modulo seleziona i primi $k$ comportamenti per ciascuna delle tre distribuzioni di interesse ($\mathbf{B}_I, \mathbf{B}_E, \mathbf{B}_R$), risultando in un totale di $K$ comportamenti recuperati. Questo processo incorpora intrinsecamente le informazioni di interazione dalla fase di generazione e filtra il rumore.

3. Modulo di Fusione degli Interessi (IFM):

   • Aggregazione: I comportamenti selezionati da ciascuna distribuzione sono aggregati separatamente utilizzando l'Attenzione Multi-Testa, dove l'embedding dell'elemento target agisce come query.
   • Fusione: Gli embedding di interesse risultanti sono concatenati e processati attraverso un meccanismo di gating (MLP con attivazione sigmoidale) per produrre il vettore finale della feature di interesse utente a lungo termine ($\mathbf{x}_l$).
   • Previsione: Questa feature è concatenata con gli interessi a breve termine, le informazioni laterali e l'embedding dell'elemento target per prevedere il CTR tramite un MLP standard.

Contributi Chiave

• Primo Approccio Generativo per Interessi a Lungo Termine: Gli autori affermano di essere i primi a introdurre metodi generativi specificamente per la modellazione degli interessi utente a lungo termine nei compiti di previsione del CTR, allontanandosi dal recupero centrato sul target.
• Framework End-to-End: GenLI integra la Generazione degli Interessi, il Recupero dei Comportamenti e la Fusione degli Interessi in un framework unificato e addestrabile end-to-end che può essere facilmente inserito nei modelli CTR esistenti.
• Diversità ed Efficienza: Generando distribuzioni indipendenti dal target, il modello cattura interessi utente diversificati e completi. Contemporaneamente, il recupero basato su lookup riduce significativamente la complessità computazionale rispetto ai metodi basati sul matching.

Risultati Sperimentali
Gli autori hanno valutato GenLI su tre dataset: Amazon (Libri), TaoBao e un dataset industriale su larga scala di Meituan.

• Prestazioni Offline:

  • Sui dataset Amazon e TaoBao, GenLI ha raggiunto prestazioni all'avanguardia (SOTA), superando basi solide come TWIN, SIM ed ETA. Nello specifico, ha mostrato miglioramenti assoluti dell'AUC dello 0,61% (Amazon) e dell'1,03% (TaoBao) rispetto alla migliore baseline.
  • Sul dataset industriale, GenLI ha migliorato l'AUC dello 0,22% rispetto a TWIN riducendo al contempo il tempo di inferenza (4,6 ms contro 7,9 ms per TWIN).
  • Studi di ablazione hanno confermato che tutte e tre le distribuzioni generate (Esplicita, Implicita, Relativa) contribuiscono alle prestazioni, con l'interesse Esplicito che ha l'impatto più diretto.

• Prestazioni Online:

  • In un test A/B sulla piattaforma di consegna cibo di Meituan (gestendo il 30% del traffico), GenLI ha dimostrato un aumento dello 0,776% nel CTR e un aumento del 1,567% nel Ricavo per Mille (RPM) rispetto alla baseline di produzione.
  • Il modello è stato completamente distribuito nel sistema pubblicitario reale, servendo centinaia di milioni di utenti ogni giorno.

Significato e Affermazioni
Il paper afferma che GenLI bilancia con successo accuratezza ed efficienza, un requisito critico per i sistemi CTR industriali. Spostandosi da un paradigma di recupero centrato sul target a un approccio di modellazione generativa indipendente dal target, GenLI supera le limitazioni della cattura incompleta degli interessi e dell'alta latenza computazionale. Gli autori sottolineano che la capacità di modellare interessi latenti diversificati senza il collo di bottiglia del matching pairwise consente una personalizzazione più robusta su larga scala. Il successo del deployment e le metriche online positive validano il valore applicativo pratico dei metodi generativi nella modellazione degli interessi utente a lungo termine.