TokenMinds: Pretrained User Tokens and Embeddings for User Understanding in Large Recommender Systems

Riepilogo Tecnico: TokenMinds

Problematica

I sistemi di raccomandazione industriali si affidano tradizionalmente a embedding utente densi e a dimensionalità fissa per modellare gli interessi degli utenti. Sebbene efficaci, queste rappresentazioni soffrono di vincoli intrinseci, come la perdita di segnali granulari quando si comprime l'intero spettro degli interessi di un utente in un singolo vettore. Al contrario, gli approcci emergenti che utilizzano i Large Language Models (LLM) per generare profili utente testuali affrontano colli di bottiglia significativi: spesso catturano solo co-occorrenze topiche piuttosto che dinamiche comportamentali sequenziali profonde, faticano a ancorare gli output testuali ad attributi specifici degli item e introducono gap di modalità quando integrati in sistemi a valle non testuali. Inoltre, sebbene i Semantic ID (SID) si siano dimostrati efficaci per la tokenizzazione degli item nella raccomandazione generativa, la loro applicazione alla modellazione dell'utente rimane ampiamente inesplorata.

Metodologia

TokenMinds è un sistema su scala industriale progettato per colmare queste lacune estendendo il framework PLUM dal recupero degli item alla modellazione dell'utente. Utilizza un'architettura encoder-decoder unificata, adattata da modelli pre-addestrati (LLM), per generare simultaneamente due output complementari:

1. Embedding Utente Densi: Estratti dall'encoder, garantendo la compatibilità con i modelli esistenti a valle che si basano su vettori continui.
2. Token Utente Discreti Basati su SID: Generati autoregressivamente dal decoder, fornendo rappresentazioni discrete e semanticamente ancorate degli interessi dell'utente.

Componenti Core

• Architettura: Il sistema utilizza una configurazione encoder-decoder. L'encoder elabora le sequenze di feature dell'utente (cronologia di visione, query di ricerca) per produrre embedding densi. Il decoder presta attenzione all'output dell'encoder tramite cross-attention per generare token utente basati su SID. Questo design a doppio output permette al sistema di servire sia i modelli legacy a embedding densi, sia i nuovi modelli basati su token.
• Tokenizzazione dell'Input: I comportamenti dell'utente vengono tokenizzati in una sequenza composta da:
  • Token SID: Codeword discrete gerarchiche derivate dalle feature dei contenuti video tramite un Residual-Quantized Variational AutoEncoder (RQ-VAE). Per incoraggiare la diversità e mitigare la memorizzazione, viene utilizzato solo il prefisso-$L$ del SID completo.
  • Soft Token: Le feature non-SID (ad esempio, tempo di visione, dispositivo) sono codificate come soft token tramite proiezione MLP.
  • Token di Condizione: Token specifici per scenario (ad esempio, <LFV>, <SFV>, <Search>) vengono preposti per distinguere i tipi di contenuto e intercalare le query di ricerca.
• Obiettivo di Addestramento: Il modello è addestrato tramite Supervised Fine-Tuning (SFT) seguendo il Continued Pre-Training (CPT) sul vocabolario SID. Impiega il look-ahead sampling, selezionando casualmente molteplici target di visione futuri da una finestra di 24 ore anziché solo l'item immediatamente successivo. Ciò evita l'overfitting sulle sessioni immediate e migliora la generalizzazione agli interessi futuri. La funzione di perdita minimizza la cross-entropy dei prefissi SID predetti, pesata da un segnale di reward di engagement.
• Modellazione Cross-Scenario: TokenMinds unifica la modellazione di Long-Form Video (LFV) e Short-Form Video (SFV) all'interno di un unico framework. Preponendo token di condizione specifici per lo scenario, un singolo modello può elaborare sequenze cronologicamente intercalate. In fase di inferenza, il multi-context decoding consente al sistema di generare token utente specifici per scenario da un singolo passaggio di encoder condiviso, eliminando la necessità di esecuzioni di inferenza ridondanti.
• Infrastruttura di Serving: Per gestire miliardi di utenti sotto rigidi vincoli di latenza, il sistema scinde la generazione delle rappresentazioni dallo scoring in tempo reale. Gli embedding e i token dell'utente vengono generati in modo asincrono tramite un servizio in background e memorizzati in un key-value store. Lo scoring in tempo reale recupera queste rappresentazioni pre-calcolate, garantendo una latenza costante indipendentemente dalla complessità del modello sottostante.

Contributi Chiave

1. Architettura Dual-Output: La proposta di TokenMinds, un'architettura unificata che genera congiuntamente sia standard embedding densi continui che token discreti basati su SID, abilitando la compatibilità con i sistemi esistenti pur introducendo nuove capacità rappresentative.
2. Rappresentazioni Utente Tokenizzate: La nuova applicazione di token discreti basati su SID per la rappresentazione dell'utente. Il lavoro identifica strategie di adattamento ottimali (specificamente gli Learnable Embeddings) per integrare questi token nei modelli di ranking a valle, dimostrando che i token e gli embedding densi catturano segnali complementari.
3. Modellazione Cross-Scenario: Un paradigma altamente efficiente che consolida l'addestramento e il serving per scenari distinti (LFV e SFV) in un unico modello. Questo approccio utilizza il multi-context decoding per ottenere output consapevoli dello scenario senza l'overhead di modelli multipli.
4. Deployment su Scala Industriale: La validazione del sistema attraverso estesi esperimenti offline e test A/B live su molteplici superfici di YouTube, servendo l'intero traffico utente (miliardi di utenti).

Risultati

• Performance Offline: Gli studi di ablazione confermano che il look-ahead sampling e i prefissi SID grossolani sono critici per la generalizzazione. L'uso dell'inizializzazione CPT supera significativamente l'inizializzazione casuale o gli standard checkpoint pre-addestrati.
• Performance Online: I test A/B live sui sistemi di ranking in produzione mostrano guadagni statisticamente significativi:
  • Metriche Core Utente: Fino a +0,11% di miglioramento.
  • Metriche Core di Engagement: Fino a +0,62% di miglioramento.
  • Complementarità: Combinare sia gli embedding densi che i token discreti produce guadagni amplificati rispetto all'uso di uno solo dei due, validando il design dual-output.
• Efficienza:
  • Addestramento: Consolidare LFV e SFV in un unico modello riduce il calcolo dell'addestramento upstream del 50%.
  • Serving: Il multi-context decoding riduce il calcolo del serving upstream del 31% rispetto al mantenimento di modelli separati.
  • Storage: Le rappresentazioni dei token discreti richiedono il 72% di spazio in meno (1.280 byte vs 4.608 byte) rispetto agli embedding densi.
• Scalabilità: Gli studi di scaling indicano che le performance del modello saturano a circa 1.000 elementi di cronologia di visione, e batch size più grandi accelerano la convergenza e migliorano la qualità della rappresentazione.

Significato

Il documento afferma che TokenMinds dimostra la fattibilità pratica dei token utente basati su SID su scala industriale. Stabilisce che le rappresentazioni utente discrete e semanticamente ancorate offrono una direzione promettente per scalare la modellazione dell'utente oltre i vincoli dei soli embedding densi. Integrando con successo questi token nei sistemi di ranking in produzione e mostrandone il valore complementare con gli embedding densi, il lavoro suggerisce un nuovo paradigma per la comprensione dell'utente nei grandi sistemi di raccomandazione che bilancia generalizzazione, efficienza e compatibilità.