Riepilogo Tecnico: Oltre gli ID degli Item – Scalare la Raccomandazione di Video Brevi tramite Modellazione di Sequenze Lunghe Semanticamente Native

1. Definizione del Problema

I sistemi di raccomandazione di video brevi affrontano un doppio collo di bottiglia quando tentano di modellare sequenze di comportamento dell'utente ultra-lunghe (lunghezza $L > 10^3$):

1. Collo di bottiglia della Rappresentazione: Gli ID Video ortogonali tradizionali sono semanticamente sparsi. Trattano gli item come token indipendenti, fallendo nel catturare le relazioni tra i contenuti e portando a una scarsa generalizzazione sui contenuti cold-start. Inoltre, richiedono tabelle di embedding che scalano in modo illimitato con la dimensione del corpus, creando problemi di archiviazione e sparsità.
2. Collo di bottiglia Computazionale: Le architetture Transformer standard si basano su meccanismi di auto-attenzione con complessità quadratica ($O(L^2)$). Ciò restringe la lunghezza massima della sequenza sotto rigorosi vincoli industriali di latenza e risorse, rendendo spesso necessario l'uso di filtraggi euristici o clustering gerarchici che scartano segnali o richiedono complessa pre-computazione offline.

2. Metodologia

Gli autori propongono un framework implementato in produzione che sinergizza Rappresentazioni Semanticamente Native con un Transformer Compresso Global-Aware per modellare sequenze fino a $L=2000$ su scala di un miliardo di utenti.

2.1 Rappresentazione Semanticamente Nativa (SIDs)

Per affrontare il collo di bottiglia della rappresentazione, il sistema sostituisce gli ID Video atomici con Identificatori Semantici (SIDs) nativi del contenuto generati tramite un VAE a Quantizzazione Residua (RQ-VAE).

• Quantizzazione Gerarchica: L'RQ-VAE proietta gli embedding multi-modali del contenuto in uno spazio latente discreto e gerarchico, producendo una tupla di codici $(c_1, c_2, \dots, c_D)$ che rappresenta una gerarchia semantica dal macro al micro.
• Strategia di Granularità Asimmetrica: Per bilanciare espressività ed efficienza per sequenze ultra-lunghe, gli autori impiegano una strategia Depth-Truncated Bi-gram:
  • Lato Sequenza (Granularità Grossolana): Gli item della cronologia dell'utente sono limitati ai primi due livelli della gerarchia $(c_1, c_2)$. Questi vengono proiettati in un ID intero unificato ($ID_{seq} = c_1 \cdot |V| + c_2$). Ciò limita la dimensione della tabella di embedding indipendentemente dall'espansione del corpus e generalizza naturalmente agli item cold-start tramite prefissi semantici condivisi.
  • Lato Target/Non-Sequenza (Granularità Fine): Gli item candidati e le caratteristiche di interazione cruciali (ad esempio, l'ultimo video guardato) mantengono l'intera gerarchia semantica per garantire un matching discriminativo preciso.

2.2 Transformer Compresso Global-Aware

Per superare la barriera della scalabilità della sequenza, gli autori introducono un'architettura transformer che riduce la complessità computazionale senza aggregazione lossy.

• Temporal Folding Senza Parametri: Invece di un pooling, la sequenza di input $X \in \mathbb{R}^{L \times d}$ viene partizionata in finestre di dimensione $k$ e impilata per canali per formare "super-token". Questa operazione trasforma l'input da $(L, d)$ a $(L/k, k \cdot d)$. Questa operazione scambia esplicitamente la risoluzione temporale con la dimensionalità delle feature, catturando dipendenze dense tra "super-eventi" pur riducendo la lunghezza della sequenza di un fattore $k$.
• Fusione della Rappresentazione Global-Local: Un Global Query Token apprendibile ($G_{init}$) viene preposto alla sequenza compressa. A differenza dell'inizializzazione basata sul profilo utente, questo token è privo di feature, costringendo il meccanismo di attenzione a derivare le rappresentazioni esclusivamente dalle interazioni dinamiche. Agisce come un "attention sink" per stabilizzare l'ottimizzazione.
• Unified Masked Mean Pooling: La rappresentazione finale dell'utente è calcolata fondendo lo stato globale con i segnali sequenziali granulari tramite un'operazione di masked mean pooling, bilanciando l'intento globale con i dettagli locali.

2.3 Architettura di Sistema

Il framework opera all'interno di un Framework Ibrido Sincrono-Asincrono:

• Modulo Sincrono a Breve Termine: Codifica le code di interazione immediata ($S_{short}$) in tempo reale.
• Modulo Asincrono a Lungo Termine: Modella la sequenza ultra-lunga ($S_{long}$) utilizzando il proposto SID e il Transformer Compresso. Entrambi i moduli condividono un backbone e un obiettivo di ottimizzazione per garantire che le rappresentazioni mappino in uno spazio latente condiviso, prevenendo il disallineamento delle feature.

3. Contributi Chiave

1. Rappresentazione Semanticamente Nativa su Scala: Un deployment industriale su larga scala di SIDs basati su RQ-VAE con una strategia Depth-Truncated Bi-gram. Questo decoppia l'archiviazione degli embedding dalla dimensione del corpus e migliora significativamente la generalizzazione sui contenuti cold-start.
2. Architettura di Sequenza Efficiente ad Alta Espressività: Un Transformer Compresso Global-Aware che utilizza il temporal folding non parametrico. Questo raggiunge una riduzione della complessità computazionale preservando le prestazioni, espandendo al contempo le dimensioni delle feature per catturare complesse interazioni locali all'interno di sequenze ultra-lunghe.
3. Validazione Industriale su Larga Scala: Valutazioni rigorose offline e online su una piattaforma di video brevi che serve miliardi di utenti, dimostrando riduzioni sostanziali nei costi di memoria e computazione insieme a significativi guadagni nelle metriche online.

4. Risultati Sperimentali

Il framework è stato valutato su traffico di produzione con una lunghezza di sequenza $L=2000$, confrontato con un baseline allo stato dell'arte che utilizza $L=800$ Video ID.

• Efficacia del Semantic ID: Sostituire i Video ID con i Bi-gram SIDs ($L=160$) ha prodotto un incremento del +0.86% nelle Visualizzazioni Soddisfatte (Satisfied Views) e un incremento del +6.81% nella Freschezza (visualizzazioni soddisfatte con contenuti caricati di recente), confermando una migliore generalizzazione cold-start. Ciò ha inoltre ridotto i parametri di embedding del 38.07% e la dimensione di archiviazione del 39.33%.
• Scalabilità: L'AUC offline ha mostrato aumenti monotoni costanti mentre la lunghezza della sequenza scalava da 400 a 2000. Il modello ha beneficiato significativamente dell'aumento della larghezza (dimensione nascosta) e della profondità (layer), validando la sua capacità di catturare pattern di interazione intricati.
• Efficienza e Prestazioni: Il temporal folding con $k=4$ ha ottenuto un miglioramento di Pareto:
  • Tempo di Training Step: Ridotto dell'83.9% (41.1ms $\to$ 6.6ms).
  • Picco di Memoria di Attivazione: Ridotto del 92.2% (5758 MiB $\to$ 448 MiB).
  • Accuratezza: Nonostante la compressione, l'AUC è migliorata di +0.06% (Task 1) e +0.15% (Task 2), grazie al denoising locale e all'espansione dell'espressività delle feature.
• Impatto del Sistema Completo: L'aggiornamento olistico (SID + Compressione + $L=2000$) ha prodotto guadagni online significativi:
  • Utenti Attivamente Coinvolti: +0.52%
  • Tempo di Visione Soddisfatto: +1.42%
  • Visualizzazioni Soddisfatte: +1.08%

5. Significato e Rivendicazioni

Il paper sostiene di fornire un blueprint pratico per i motori di raccomandazione a contesto infinito di prossima generazione. Risolvendo il collo di bottiglia del vocabolario attraverso la rappresentazione semantica e il collo di bottiglia computazionale attraverso la riorganizzazione strutturale (temporal folding), gli autori dimostrano che la modellazione di sequenze ultra-lunghe è fattibile su scala di un miliardo di utenti senza costi di risorse proibitivi.

Il lavoro afferma che la sinergia tra rappresentazioni native del contenuto e compressione efficiente permette di catturare segnali di interesse dell'utente a lungo termine più ricchi, precedentemente inaccessibili ai modelli baseline. Gli autori posizionano questo lavoro come un passo verso i Large Recommendation Models (LRMs), mirando a investigare ulteriormente le leggi di scala delle sequenze (scaling laws) e il co-design hardware-algoritmo in lavori futuri.