Sintesi Tecnica: Token Factory

Problematica

I Large Recommendation Models (LRM) basati su architetture Transformer hanno mostrato un potenziale significativo in compiti su scala industriale, come la predizione del prossimo video. Tuttavia, esiste un collo di bottiglia critico nell'integrare olisticamente i segnali tradizionali (feature dense, sparse ed embedding) in questi modelli. Gli approcci convenzionali tipicamente "testualizzano" questi segnali eterogenei o li mappano in rappresentazioni discrete di item (ad esempio, Semantic ID). Questa mappatura diretta porta a:

• Lunghezza eccessiva dei Prompt: Convertire i segnali densi (ad esempio, rapporti di completamento della visione, tempi di visione) in testo crea prompt proibitivamente lunghi.
• Overhead di risorse: I prompt lunghi comportano impronte di memoria sostanziali e costi computazionali elevati durante l'addestramento e l'inferenza.
• Perdita di informazioni o inefficienza: Per rientrare nelle finestre di contesto, i sistemi spesso troncano le interazioni storiche degli utenti, scartando dati storici preziosi.

Metodologia: Token Factory

Per affrontare queste limitazioni, gli autori propongono Token Factory, un framework che trasforma i segnali tradizionali in "soft token". A differenza dei normali token "hard" (ID discreti da un vocabolario fisso), i soft token sono rappresentazioni di embedding continue generate direttamente nello spazio di embedding del modello.

Architettura Core

Il framework consiste in Token Maker, che agiscono come moduli specializzati per elaborare specifici gruppi di feature:

1. WH Token Maker: Elabora le sequenze di interazione dell'utente (ad esempio, cronologia di visione).
2. Query Token Maker: Integra le feature a livello di utente.
3. Candidate Token Maker: Integra le feature a livello di item candidato.

Processo di Trasformazione:

• Input: Le feature grezze (dense, sparse, embedding) vengono normalizzate o embeddate e concatenate in un vettore $E_{input}$.
• Proiezione: Una funzione apprendibile $G$ (ad esempio, un Multi-Layer Perceptron o una rete neurale) mappa $E_{input}$ in un numero fisso ($N$) di soft token ($T_{output}$).
• Integrazione: Questi soft token sono integrati fluidamente con i token testuali (ad esempio, titoli dei video) nel prompt del LRM.
• Ottimizzazione: La funzione $G$ è co-addestrata end-to-end con il LRM, garantendo che i soft token si allineino con lo spazio semantico del modello.

Meccanismi Chiave

• Compattezza del Prompt: Mappando un numero arbitrario di feature in un numero fisso e ridotto di soft token, il framework evita l'esplosione della lunghezza del prompt.
• Lunghezza Deterministica: La lunghezza del prompt è limitata a un budget predefinito indipendentemente dal numero di input feature, grazie a strati di proiezione a output fisso.
• Compressione della Sequenza: Per le lunghe cronologie di interazione, il framework impiega la Compressione MLP (proiettando la dimensione della sequenza) o il Pooling di Attenzione (riassumendo ogni $K$ item in un singolo token) per ridurre ulteriormente la lunghezza della sequenza pur mantenendo informazioni critiche.
• Caching: Poiché le feature dell'utente e della query sono statiche attraverso molteplici scoring di candidati, i relativi soft token possono essere pre-calcolati e memorizzati in cache, riducendo significativamente la latenza di inferenza.

Contributi Chiave

1. Validazione Empirica dei Segnali Tradizionali: Gli autori dimostrano che sfruttare un ricco set di segnali tradizionali (feature dense/sparse) è fondamentale per le prestazioni dei LRM, affrontando le limitazioni degli attuali metodi allo stato dell'arte che spesso li escludono a causa di compromessi computazionali.
2. Nuovo Framework Architetturale: Introduzione di Token Factory, che consente la mappatura efficiente di feature eterogenee in soft token, fungendo da nuova modalità per i modelli di raccomandazione.
3. Validazione di Efficienza e Qualità: Attraverso valutazioni offline e online, il framework dimostra di raggiungere una qualità di ranking e retrieval pari o superiore, consentendo al contempo significativi miglioramenti di efficienza.

Risultati Sperimentali

Il framework è stato valutato su PLUM, un Large Recommendation Model su scala di produzione presso Google, in compiti di ranking e di retrieval generativo.

Task di Ranking (Previsione CTR)

• Setup: Confronto tra un baseline (Semantic ID testuali + tokenizzazione personalizzata dei segnali densi) contro Token Factory (soft token).
• Efficienza: Token Factory ha ridotto la lunghezza del prompt da 1.536 token a 4 80 impressioni (una riduzione di circa il ~70%), portando a un aumento del 200% della velocità di addestramento.
• Qualità: Inizialmente, il modello Token Factory era leggermente indietro a causa della necessità di apprendere nuove tabelle di embedding. Tuttavia, ha raggiunto le prestazioni del baseline a 1,5 milioni di step di addestramento e ha mantenuto prestazioni comparabili.
• Scaling: Aumentare la dimensione del batch del 200% (reso possibile dai guadagni di efficienza) ha permesso al modello Token Factory di superare il baseline anche nelle prime fasi di addestramento.

Task di Generative Retrieval (Predizione del Prossimo Video)

• Setup: Confronto tra un baseline (SIDs testuali) contro Token Factory su un compito di raccomandazione della Homepage di YouTube.
• Performance Offline: Ha ottenuto un miglioramento del +2,0% in Recall@10.
• Performance Online:
  • Impression Uniche: Aumentate del +16,8%.
  • Scoperta di Contenuti Freschi: Le impression uniche per i video freschi di un giorno sono aumentate del +67,1%, indicando una migliore capacità di recuperare nuovi contenuti.
  • Soddisfazione dell'Utente: Guadagni positivi in Spettatori Soddisfatti (+0,04%) e Tempo di Visione Soddisfacente (+0,05%), confermando che i guadagni di esplorazione non hanno compromesso l'esperienza dell'utente.

Studi di Ablazione

• Importanza delle Feature: Rimuovere le feature dense/sparse tradizionali ha causato una degradazione delle prestazioni, confermandone il valore.
• Soft Token vs. SID Testuale: Quando i vincoli della finestra di contesto erano stretti, i soft token hanno superato i SID testuali perché permettevano di inserire più item (200 vs meno) nel budget fisso del prompt.
• Cronologia più Lunga: Comprimere le estese cronologie di visione (da 200 a 500 item) in soft token ha prodotto un miglioramento dell'AUC del +0,08%, dimostrando il valore della ritenzione di un contesto più lungo.

Significato

L'articolo sostiene che Token Factory offre una soluzione unificata al problema dell' "esplosione della lunghezza del prompt" nei sistemi di raccomandazione industriali. Trasformando i segnali eterogenei in soft token, permette ai Large Recommendation Models di:

1. Ingerire informazioni più ricche (cronologie più lunghe, più feature) senza aumentare l'overhead computazionale.
2. Mantenere o migliorare la qualità del modello sia nei compiti di ranking che di retrieval.
3. Ottenere significativi guadagni di efficienza nell'addestramento e nel serving, consentendo dimensioni di batch più grandi e iterazioni più veloci.

Il lavoro posiziona i soft token non solo come una tecnica di compressione, ma come una necessaria evoluzione per integrare l'intero spettro dei segnali di raccomandazione tradizionali nelle moderne architetture basate su Transformer.