UniPinRec: Unifying Generative Retrieval and Ranking at Pinterest Scale

Sintesi Tecnica: UniPinRec

Definizione del Problema
I moderni sistemi di raccomandazione industriali, come quelli di Pinterest, operano tipicamente come funnel multistadio in cui recupero (retrieval) e classificazione (ranking) sono addestrati come modelli separati. Nonostante entrambi gli stadi si affidino sempre più a grandi backbone Transformer per codificare gli stessi dati sul comportamento dell'utente, questa separazione crea una significativa ridondanza. L'attuale paradigma duplica parametri, calcolo per l'addestramento e costi di serving perché il recupero e la classificazione non possono condividere i segnali appresi o i pesi del modello. Sebbene lavori precedenti abbiano tentato di unificare le architetture dei modelli (ad es. HSTU, OnePiece), questi approcci spesso non riescono a unificare l'intero pipeline. Rimangono frammentati tra formati di input, procedure di addestramento e stack di serving, oppure si affidano a metodi generativi end-to-end che sostituiscono l'intero funnel, rendendo difficile l'integrazione con le sorgenti di candidati esistenti e il controllo operativo.

Metodologia
Gli autori propongono UniPinRec, un sistema che realizza l'unificazione full-stack di recupero e classificazione. Questo approccio integra i formati di input, l'architettura del modello, l'addestramento e l'infrastruttura di serving in un unico pipeline coeso distribuito all'interno dell'ambiente di produzione esistente di Pinterest. La metodologia si basa su tre innovazioni tecniche fondamentali:

1. Masked Action Modeling (MAM):
   Per consentire a un singolo modello di servire sia il recupero (predizione del prossimo elemento) che la classificazione (predizione dell'azione) senza raddoppiare la lunghezza del contesto o rompere la compatibilità dell'input, gli autori introducono MAM.

   • Architettura: Inveve di intercalare i token di azione tra gli elementi (il che gonfia la lunghezza della sequenza), le azioni sono codificate come embedding densi concatenati con le rappresentazioni degli elementi lungo la dimensione delle feature.
   • Mascheramento: Durante l'addestramento, le azioni nella cronologia dell'utente vengono mascherate casualmente con una probabilità $p_{mask}$. In fase di inferenza, le azioni future sono sempre mascherate. Ciò consente al modello di apprendere obiettivi di predizione delle azioni (ranking) sulla stessa sequenza non intercalata utilizzata per il recupero (predizione del prossimo elemento).
   • Pattern di Attenzione: Il sistema utilizza un pattern di maschera causale modificato (pattern M-FALCON) in cui le posizioni dei candidati prestano attenzione a tutta la cronologia passata ma non tra di loro. Ciò riduce la complessità dell'attenzione da $O((n+k)^2)$ a $O(n^2 + nk)$ e consente la condivisione efficiente della KV-cache.

2. Blended Training e Joint Loss:
   Il sistema costruisce esempi di addestramento unificati che accoppiano la cronologia passata di engagement di un utente con una futura slate di impressioni di feedview (inclusi gli esiti negativi).

   • Infrastruttura Dati: Un join in-trainer basato su Ray unisce tabelle Iceberg separate per la cronologia dell'utente e le impressioni di feedview, evitando la duplicazione dei dati e permettendo rapporti di campionamento flessibili.
   • Obiettivo: Il modello è addestrato con una funzione di perdita congiunta: $L = L_{item} + L_{action}$.
     • $L_{item}$: Una loss sampled softmax per la predizione del prossimo elemento (recupero).
     • $L_{action}$: Una loss di cross-entropy binaria per predire specifici tipi di azione (click, salvataggio, nascondi) sulle posizioni mascherate (classificazione).
   • Questa ottimizzazione congiunta permette all'embedder dell'elemento di apprendere da entrambi i task simultaneamente, migliorando la generalizzazione rispetto al pre-addestramento e al fine-tuning sequenziali.

3. Cross-Stage KV-Cache Sharing:
   Per affrontare l'efficienza del serving, UniPinRec riutilizza il calcolo della codifica della cronologia dell'utente attraverso gli stadi.

   • Meccanismo: Lo stadio di recupero codifica la cronologia dell'utente e memorizza la risultante KV-cache in un pool di memoria GPU pre-allocato. Lo stadio di classificazione, che gira come processo separato, mappa questa stessa memoria GPU e riutilizza la cronologia in cache senza ricodificarla.
   • Efficienza: Questo trasforma lo stadio di classificazione da un passaggio forward completo ($O(n^2)$) in un passo di decodifica incrementale ($O(nk)$), dove $n$ è la lunghezza della cronologia e $k$ è il numero di candidati.
   • Implementazione: Il sistema utilizza NVIDIA Triton per il serving, con Faiss per l'ANN lookup. L'indice Faiss restituisce sia gli ID dei candidati che i loro embedding pre-calcolati, eliminando la necessità di un fetch separato degli embedding durante la classificazione.

Contributi Chiave

• Unificazione Full-Stack: UniPin evenifica per la prima volta recupero e classificazione attraverso input, modello, addestramento e infrastruttura di serving in un sistema di raccomandazione in produzione. Sostituisce la necessità di due modelli indipendenti con un unico decoder generativo.
• Architettura Efficiente: Introducendo MAM e sequenze non intercalate, il sistema raggiunge la piena condivisione dei pesi e l'efficienza dei parametri senza gonfiare la lunghezza del contesto.
• Ottimizzazione del Serving: Il meccanismo di condivisione della KV-cache tra gli stadi riduce significativamente i FLOPs totali e la latenza evitando la doppia codifica della cronologia dell'utente.
• Compatibilità Operativa: Il design è un sostituto "drop-in" che si compone con i generatori di candidati esistenti (ad es. parole chiave, trending) e consente l'A/B testing indipendente e il rollback dei singoli stadi.

Risultati
Il sistema è stato distribuito nelle superfici core di Pinterest, ottenendo i seguenti risultati:

• Performance Offline: UniPinRec ha eguagliato il Recall@10 del modello di recupero in produzione, migliorando al contempo l'Hit@3 del ranker di produzione (TransAct V2 + DCNv2) del +14,8%. Ha inoltre superato HSTU e un baseline PinRec sottoposto a fine-tuning.
• Efficienza del Serving: L'approccio unificato ha ridotto la latenza di serving end-to-end dell'11,1% e ha aumentato le Query Per Second (QPS) del 63,6% rispetto a un deployment separato ingenuo. Il solo riutilizzo della KV-cache ha fornito un'accelerazione di circa 2,4x per il passaggio di classificazione.
• Engagement Online: In test A/B su "Board More Ideas" e "Notifications":
  • Board More Ideas: Ha ottenuto un incremento del +0,95% nei salvataggi sulla superficie e un incremento del +0,08% nei salvataggi su tutto il sito.
  • Notifications: Ha ottenuto un incremento del +0,91% nelle aperture di notifiche push, un incremento del +1,72% per gli utenti dormienti e un incremento del +0,09% nei Weekly Active Users (WAU).

Significatività
L'articolo sostiene che UniPinRec dimostri che il problema "più difficile" di unificare i formati di input, l'addestramento e l'infrastruttura di serving è risolvibile in produzione. Passando dall'unificazione architettonica all'unificazione full-stack, il sistema elimina la ridondanza di codificare due volte la cronologia dell'utente, riduce i costi e migliora la qualità del modello attraverso la condivisione dei segnali. Gli autori posizionano questo lavoro come un percorso pratico e incrementale per i sistemi industriali per adottare il recupero e la classificazione generativi senza sacrificare la flessibilità operativa o richiedere una ristrutturazione completa del funnel di raccomandazione. Il lavoro futuro include l'estensione di questa unificazione allo stadio di classificazione L2 e ad altre superfici come Search e Ads.