Sintesi Tecnica: Constructive Multi-Sequence Learning (CMSL) per i Sistemi di Raccomandazione

1. Definizione del Problema: Inquinamento del Contesto nella Raccomandazione Sequenziale

Sebbene l'apprendimento sequenziale abbia superato i tradizionali modelli di raccomandazione basati su Deep Learning (DLRM) catturando le sfumature temporali, le attuali architetture allo stato dell'arte si affidano spesso a un'analogia limitante: trattare la cronologia dell'utente come una sequenza cronologica monolitica, simile a una frase in un Large Language Model (LLM).

Gli autori identificano una divergenza fondamentale tra il linguaggio naturale e i dati di raccomandazione:

• Mancanza di Unità Strutturale: A differenza del testo, che segue regole sintattiche lineari e logiche, la cronologia dell'utente è un "mosaico rumoroso" di interessi frammentati, diversificati, click esplorativi e interazioni accidentali.
• Inquinamento del Contesto (Context Pollution): Nella modellazione a sequenza singola, comportamenti non correlati competono per lo stesso budget di attenzione. Questo segnale "rumoroso" diluisce il focus del modello, costringendolo a calcolare dipendenze tra intenti semanticamente distinti (ad esempio, apprendimento professionale rispetto all'intrattenimento casuale). Ciò porta a correlazioni spurie, colli di bottiglia nelle rappresentazioni e predizioni subottimali.

Il documento sostiene che i sistemi di raccomandazione dovrebbero passare dal modellare passivamente "una sequenza" al costruire attivamente "il contesto", affrontando il problema sottoutilizzato dell'inquinamento del contesto nella raccomandazione sequenziale.

2. Metodologia: Constructive Multi-Sequence Learning (CMSL)

CMSL propone un cambio di paradigma dall'ingestione passiva di sequenze alla "ingegneria del contesto" attiva. Invece di alimentare la cronologia grezza come un singolo prompt, CMSL costruisce molteplici sequenze latenti coerenti nello spazio latente per disaggregare gli intenti dell'utente.

2.1 Pre-elaborazione delle Caratteristiche

• Caratteristiche Non-Sequenziali: Le caratteristiche dense (es. età, prezzo) vengono normalizzate e proiettate; le caratteristiche sparse (es. paese, categoria) vengono embeddate.
• Caratteristiche Sequenziali: Le cronologie di interazione dell'utente (click, like, commenti) sono raggruppate per attributi condivisi (es. stessa superficie del prodotto) e compresse in una singola sequenza tramite un meccanismo di sommatoria a gate. Ciò riduce il carico computazionale preservando al contempo l'informazione di interazione.

2.2 Architettura CMSL

Il nucleo di CMSL consiste in $N$ blocchi impilati, ciascuno dei quali contiene quattro componenti chiave:

1. Costruzione Multi-Sequenza:

   • Disaggregazione dell'Intento: Le caratteristiche non sequenziali sono proiettate in $K$ set specifici per il contesto utilizzando $K$ teste di proiezione, disaggregando efficacemente gli intenti dell'utente in diversi contesti.
   • Costruzione della Sequenza: Un modulo di costruzione della sequenza apprendibile utilizza la cross-attention. La rappresentazione della sequenza corrente funge da query ($Q$), mentre le caratteristiche del contesto proiettate fungono da chiavi ($K$) e valori ($V$). Questo genera $K$ sequenze latenti distinte ($\tilde{X}^{(l,k)}$), ognuna focalizzata su un diverso aspetto del contesto dell'utente.

2. Auto-Attenzione (Approssimazione Lineare):

   • Ciascuna delle $K$ sequenze costruite subisce l'auto-attenzione indipendentemente per catturare le correlazioni temporali interne senza interferenza tra intenti.
   • Per affrontare la complessità quadratica della standard attention e l'aumento di calcolo di $K$ volte, CMSL impiega un meccanismo di attenzione a tempo lineare.
   • Questo meccanismo approssima l'attenzione HSTU (ampiamente utilizzata in Meta) usando un'espansione in serie di Taylor della funzione di attivazione SiLU. Decompone l'operazione in un termine di attenzione lineare ($\phi(Q)\phi(K)^\top V$) e un termine sparso ($AV$) che cattura le voci di grandi dimensioni, riducendo significativamente il costo computazionale.

3. Riassunto della Sequenza:

   • Dopo l'auto-attenzione, viene utilizzato il Pooling by Multi-head Attention (PMA) per riassumere ogni sequenza in un vettore a lunghezza fissa.
   • Questo passaggio estrae i segnali globali rilevanti per lo stato attuale dell'utente (usando le caratteristiche non sequenziali come query) e sopprime i dati storici ridondanti, prevenendo l'accumulo di rumore attraverso i livelli.

4. Compressione della Sequenza:

   • Per evitare che il numero di sequenze esploda attraverso i livelli, le $K$ sequenze riassunte vengono concatenate e proiettate nuovamente in una singola sequenza latente tramite un MLP. Ciò consente un apprendimento gerarchico profondo mantenendo un numero costante di sequenze per livello.

2.3 Fusione Finale

La rappresentazione finale è formata dalla concatenazione dei vettori riassunti dell'ultimo livello e viene passata alle teste specifiche per il Click-Through Rate (CTR) e il Conversion Rate (CVR).

3. Contributi Principali

Il documento delinea quattro contributi primari:

1. Nuova Prospettiva: Identifica l'"Inquinamento del Contesto" come un modo di fallimento critico nella raccomandazione sequenziale e propone un paradigma di costruzione multi-sequenza per mitigarlo.
2. Modulo di Costruzione Multi-Sequenza: Un modulo apprendibile che trasforma la cronologia grezza in molteplici flussi latenti utilizzando la cross-attention per una cura del contesto adattiva e consapevole dell'intento.
3. Attenzione Lineare Scalabile: Un efficiente meccanismo di attenzione a tempo lineare che riduce il costo computazionale della modellazione di molteplici sequenze, permettendo la scalabilità.
4. Validazione su Scala Industriale: Implementazione e validazione di successo su quattro grandi superfici in Meta, gestendo miliardi di utenti attivi giornalieri.

4. Risultati Sperimentali

CMSL è stato valutato su compiti di Ranking e Retrieval nell'ambiente di produzione di Meta.

• Valutazione del Ranking:

  • Metrica: Entropia Normalizzata (NE), dove valori più bassi indicano prestazioni migliori.
  • Setup: Valutato su quattro grandi superfici. La Superficie 1 ha utilizzato un approccio di addestramento diretto, mentre le Superfici 2–4 hanno utilizzato un'architettura a due stadi (modello utente upstream asincrono) per gestire la latenza.
  • Risultati: CMSL ha dimostrato miglioramenti statisticamente significativi. Sulla Superficie 1, i miglioramenti di NE sono variati tra -0,31% e -0,62% per i compiti "Like" e "Comment". Sulle Superfici 2–4, l'integrazione degli embedding di CMSL ha prodotto guadagni di NE compresi tra -0,06% e -0,13% nei compiti CTR e CVR.

• Valutazione del Retrieval:

  • Setup: Test A/B online sulla Superficie 5.
  • Risultati: Gli embedding utente di CMSL hanno portato a miglioramenti statisticamente significativi in tutte e quattro le metriche di engagement misurate, con guadagni compresi tra +0,092% e +0,171%.

5. Significatività e Rivendicazioni

Il documento afferma che CMSL rappresenta un passaggio dal trattare la cronologia dell'utente come un "prompt grezzo" da leggere, a un "contesto" da costruire. Disaggregando attivamente la cronologia dell'utente in fili tematici coerenti, CMSL mitiga l'interferenza semantica inerente ai dati eterogenei dell'utente.

Gli autori sottolineano che questo approccio si allinea alla filosofia di "context engineering" degli LLM ma lo adatta ai sistemi di raccomandazione dove gli ID degli item mancano di semantica esplicita, rendendo necessario un approccio implicito e apprendibile. Il framework è presentato come una soluzione pratica per sistemi in scala di produzione, offrendo guadagni costanti rispetto ai forti baselines sequenziali pur rimanendo computazionalmente fattibile grazie all'attenzione lineare e alla compressione della sequenza.