Riepilogo Tecnico: HiGR - Framework di Raccomandazione di Slate Gerarchica su Scala Industriale

1. Definizione del Problema

La raccomandazione di slate, che presenta agli utenti un elenco ordinato di elementi in un'unica visualizzazione, è fondamentale per piattaforme come feed video e aggregatori di notizie. Sebbene i recenti metodi di raccomandazione generativa che utilizzano ID Semantici (SID) mostrino potenziale, l'applicazione diretta della raccomandazione di slate su scala industriale affronta tre disconnessioni fondamentali:

1. Spazi SID Entangled (Aggrovigliati): Gli esistenti metodi di ID semantico spesso producono spazi di codifica in cui i prefissi non catturano in modo affidabile una semantica condivisa. Questo "aggrovigliamento" ostacola la pianificazione di liste di alto livello e rende difficile guidare rilevanza e diversità.
2. Decoding Autoregressivo Inefficiente: Generare una slate di $M$ elementi richiede il decoding di $M \times D$ token (dove $D$ è il numero di token SID per elemento). La ricerca a beam (beam search) autoregressiva sull'intera sequenza introduce una latenza sostanziale e aggroviglia le semantiche intra-elemento con le transizioni inter-elemento, oscurando la struttura globale della slate.
3. Obiettivi Disallineati: L'addestramento standard basato sulla verosimiglianza (likelihood) a livello di token non ottimizza direttamente la qualità olistica della slate. Le piattaforme reali richiedono l'ottimizzazione simultanea di molteplici obiettivi a livello di lista: fedeltà del ranking, interesse genuino dell'utente e diversità intra-lista.

2. Metodologia: Il Framework HiGR

HiGR (Hierarchical Generative Recommendation) affronta queste sfide attraverso una pipeline co-progettata composta da tre componenti strettamente accoppiate:

A. PCRQ-VAE (Prefix-Contrastive Residual Quantized VAE)

Per creare uno spazio discreto controllabile per la pianificazione, HiGR apprende SID strutturati utilizzando un VAE a quantizzazione residua modificato.

• Quantizzazione Globale: A differenza del normale RQ-VAE che ottimizza i livelli indipendentemente, il PCRQ-VAE introduce un obiettivo di quantizzazione globale. Questo allinea la rappresentazione quantizzata aggregata con l'embedding latente originale, preservando i residui informativi attraverso i livelli del codebook e prevenendo la scomparsa dei residui.
• Allineamento Contrastivo a Livello di Prefisso: Per iniettare segnali semantici e collaborativi, il modello applica l'apprendimento contrastivo (perdita InfoNCE) ai primi $D-1$ livelli del codebook (i prefissi). Ciò costringe gli elementi semanticamente o collaborativamente simili a condividere prefissi SID di alto livello, riservando l'ultimo livello del codebook per la discriminazione fine dell'elemento.

B. HSD (Hierarchical Slate Decoder)

L'HSD sposta il processo generativo dal decoding a livello di token a un approccio gerarchico da grossolano a fine per ridurre la latenza e consentire la pianificazione globale.

• Pianificatore di Slate a Grana Grossa (Coarse-Grained Slate Planner): Inveve di decodificare $M \times D$ token sequenzialmente, il pianificatore genera prima $M$ "embedding di preferenza". Ogni embedding rappresenta la semantica prevista per una specifica posizione nella slate. Questa fase modella la struttura globale della lista.
• Generatore di Elementi a Grana Fine (Fine-Grained Item Generator): Un generatore leggero decodifica quindi la sequenza SID di $D$ token per ogni elemento, condizionata al corrispondente embedding di preferenza.
• Efficienza: Limitando la costosa beam search al breve decoding a livello di elemento (condizionato dagli embedding pianificati in precedenza), anziché sull'intera sequenza della slate, l'HSD riduce significativamente la latenza di inferenza mantenendo la struttura globale.
• Regolarizzazione della Diversità: Il pianificatore include un termine di diversità intra-lista (ILD) per minimizzare la similarità a coppie tra gli embedding di preferenza pianificati, incoraggiando slate diverse senza stime post-hoc.

C. Allineamento delle Preferenze Listwise (ORPO)

Per colmare il divario tra la generazione di token e l'esperienza utente, HiGR impiega un meccanismo di allineamento multi-obiettivo listwise utilizzando l'Odds Ratio Preference Optimization (ORPO).

• Ottimizzazione a Triplo Obiettivo: Il modello è ottimizzato rispetto a tre obiettivi complementari:
  1. Fedeltà del Ranking (O1): Garantire che l'ordine corrisponda all'engagement dell'utente.
  2. Interesse Genuino dell'Utente (O2): Filtrare il rumore di esposizione concentrandosi sugli elementi con feedback positivo.
  3. Diversità della Slate (O3): Prevenire raccomandazioni ripetitive e "bolle informative".
• Costruzione delle Coppie di Preferenza: Le slate positive sono costruite partendo dalle sequenze di engagement dell'utente riordinate. Le slate negative sono generate permutando l'ordine, sostituendo elementi che hanno ricevuto feedback negativi o aggiungendo elementi semanticamente simili per testare i vincoli di diversità.
• Reference-Free: ORPO è utilizzato come metodo senza riferimento per ridurre i costi computazionali e mitigare lo scostamento degli obiettivi (objective drift), allineando direttamente il modello con le metriche di business chiave.

3. Contributi Chiave

1. Framework HiGR: Un framework di raccomandazione di slate generativa end-to-end che unifica la tokenizzazione strutturata, la generazione gerarchica efficiente e l'allineamento delle preferenze listwise.
2. PCRQ-VAE: Un metodo di tokenizzazione innovativo che impone l'allineamento contrastivo a livello di prefisso, creando uno spazio SID strutturato in cui i prefissi di alto livello codificano in modo affidabile la semantica, facilitando una pianificazione controllabile.
3. Hierarchical Slate Decoder (HSD): Un'architettura di decoding a due stadi che separa la pianificazione globale della slate dalla generazione degli elementi, ottenendo un'accelerazione dell'inferenza di 5 volte rispetto ai baseline pur preservando la qualità.
4. ORPO a Triplo Obiettivo: Un meccanismo di allineamento listwise che ottimizza congiuntamente ranking, interesse e diversità senza richiedere un modello di riferimento ausiliario.

4. Risultati Sperimentali

Prestazioni Offline

• Qualità: Sia sul dataset industriale su larga scala di Tencent che sul dataset pubblico KuRec, HiGR supera i modelli di stato dell'arte (inclusi ListCVAE, SASRec, TIGER, HSTU e OneRec) di oltre il 10% nelle metriche di qualità della raccomandazione (NDCG@5, Hit Rate, Recall).
• Studi di Ablazione:
  • Rimuovendo il vincolo di contrasto a livello di prefisso in PCRQ-VAE, il tasso di collisione SID aumenta significativamente (dal ~2,4% all'8,7%), confermando la necessità di prefissi strutturati.
  • Rimuovere la regolarizzazione della diversità intra-lista (ILD) riduce le metriche di diversità, mentre rimuovere gli embedding di contesto causa un calo notevole delle prestazioni.
  • L'ottimizzazione congiunta di tutti e tre gli obiettivi (Ranking, Interesse, Diversità) produce le migliori prestazioni complessive, dimostrando che accuratezza e diversità sono complementari.
• Leggi di Scalabilità (Scaling Laws): Gli esperimenti su diverse dimensioni di modello (da 0,05B a 2B parametri) rivelano una chiara relazione di legge di potenza tra la capacità del modello e le prestazioni, suggerendo guadagni prevedibili attraverso lo scaling.

Efficienza

• Latenza: HiGR ottiene un'accelerazione dell'inferenza di 5 volte rispetto a OneRec (un forte baseline generativo) mantenendo una maggiore accuratezza.
• Utilizzo delle Risorse: In fase di deployment online, HiGR riduce la richiesta di GPU di circa il 60% rispetto a OneRec mantenendo la latenza P99 sotto i 50ms.

Test A/B Online

Distribuito su molteplici superfici della piattaforma Tencent (notizie, video, web novel) che servono centinaia di milioni di utenti, HiGR ha dimostrato miglioramenti significativi nel mondo reale:

• Tempo di Visione (Watch Time): +1,22%
• Riproduzioni Video (Video Plays): +1,73%
• Tempo di Permanenza (Stay Time): +1,03%
• Conteggio delle Richieste (Request Count): +1,57%

5. Significato e Rivendicazioni

Il paper sostiene che HiGR riesce a colmare la disconnessione tra la generazione a livello di elemento e l'ottimizzazione olistica della slate in contesti industriali. Introducendo uno spazio SID strutturato e un meccanismo di decoding gerarchico, risolve i colli di bottiglia di efficienza e controllabilità dei modelli di raccomandazione generativi esistenti. Il framework dimostra che la modellazione generativa può essere scalata a livelli industriali, fornendo sia una qualità di raccomandazione superiore che un'efficienza computazionale significativa. Il successo del deployment sulle piattaforme di Tencent valida la sua applicabilità per servire centinaia di milioni di utenti con esigenze di raccomandazione multi-obiettivo complesse.