Riepilogo Tecnico: RankGraph-2

Problematica

Distribuire il recupero basato su grafi su scala di miliardi di nodi per i sistemi di raccomandazione richiede la risoluzione di tre problemi strettamente accoppiati: costruzione del grafo, apprendimento delle rappresentazioni e servizio in tempo reale. Il lavoro esistente affronta tipicamente queste fasi in modo isolato. La ricerca accademica spesso ottimizza le architetture dei modelli su grafi piccoli e statici, mentre i sistemi industriali avanzano l'infrastruttura di addestramento ma assumono che il grafo di input sia dato, ignorando i costi di servizio. Questo approccio a silos crea colli di bottiglia:

• Costruzione: La costruzione ingenua di grafi di co-engagement completi per sistemi con miliardi di nodi risulterebbe in centinaia di trilioni di archi, rendendo l'archiviazione e l'elaborazione impraticabili.
• Addestramento: L'addestramento su grafi così massicci richiede spesso costose infrastrutture di grafi online (ad esempio, motori di campionamento distribuiti) per gestire l'estrazione dei vicinati in tempo reale.
• Servizio: Servire embedding tramite ricerca di Vicini Più Vicini (KNN) approssimata online per pool di utenti dinamici (ad esempio, utenti attivi negli ultimi 15 minuti) richiede migliaia di macchine, creando latenza e costi proibitivi.

Il documento sostiene che ottimizzare una singola fase senza considerare i vincoli delle altre porti a risultati subottimali. La sfida principale è come co-progettare costruzione, addestramento e servizio quando il grafo possiede miliardi di nodi e centinaia di trilioni di potenziali archi.

Metodologia: Co-Progettazione del Ciclo di Vita

RankGraph-2 è un framework unificato che co-progetta tutte e tre le fasi del ciclo di vita per il recupero basato sulla similarità (User-to-User-to-Item [U2U2I] e User-to-Item-to-Item [U2I2I]). Il sistema opera sul principio secondo cui i requisiti delle fasi a valle (servizio, addestramento) debbano plasmare le fasi a monte (costruzione).

1. Costruzione del Grafo (A Monte)

Per soddisfare le esigenze dell'addestramento (dati autosufficienti) e del servizio (freschezza su base oraria), la pipeline di costruzione esegue quanto segue:

• Schema di Grafo Eterogeneo: Costruisce un grafo con tre tipi di archi derivati esclusivamente dai dati di engagement (click, like, condivisioni, acquisti): User-Item (U-I), User-User (U-U) e Item-Item (I-I).
• Correzione del Bias di Popolarità: Regola i pesi degli archi I-I per evitare che gli articoli popolari dominino le rappresentazioni. Il peso è scalato da un fattore inversamente proporzionale alla popolarità dell'articolo target, garantendo che gli articoli di coda non siano oscurati.
• Sottocampionamento degli Archi: Riduce il grafo da centinaia di trilioni di archi a centinaia di miliardi. Ciò comporta la conservazione di nodi ad alto valore per gli archi U-U e il mantenimento degli archi con il peso maggiore ($K_{CAP}$) per ogni nodo.
• Vicinati Pre-calcolati: Invece del campionamento online, il sistema utilizza il Personalized PageRank (PPR) sul grafo "backbone" per pre-calcolare i $K_{IMP}$ vicini multi-hop più importanti per ogni nodo. Per i nodi privi di vicini dello stesso tipo, viene utilizzato il KNN sulle precedenti embedding come fallback.
• Output: La pipeline produce dati "centrati sugli archi" dove ogni record contiene l'arco, le feature del nodo e i vicini pre-calcolati, pronti per l'ingestione diretta senza necessità di archiviazione di grafi online. L'intera pipeline si completa entro un'ora, consentendo un ciclo di aggiornamento di 3 ore.

2. Addestramento del Modello (A Metà Ciclo)

La fase di addestramento ingerisce i dati pre-calcolati e autosufficienti, eliminando la necessità di un'infrastruttura di grafi online (nessuna archiviazione di grafi o motori di campionamento distribuiti).

• Architettura: Utilizza un aggregatore eterogeneo semplice con encoder multi-testa per utenti e articoli. Si generalizza a nodi non visti (impostazione induttiva).
• Obiettivo: Combina la perdita di ranking a margine (margin ranking loss) e la perdita InfoNCE per la predizione di link contrastiva.
• Co-Apprendimento: Fondamentalmente, il processo di addestramento co-apprende un indice di clustering insieme agli embedding. Il modello ottimizza non solo la qualità dell'embedding, ma anche la qualità dell'embedding ricostruito tramite un obiettivo di quantizzazione residua.
• Regolarizzazione: Per prevenire il "collasso del codebook" (dove pochi codici vengono sovrautilizzati) durante l'addestramento continuo, il sistema impiega:
  • Perdita di Regolarizzazione: Penalizza il batch corrente per il rinforzo di codici frequentemente utilizzati sulla base di una distribuzione empirica di batch passati.
  • Selezione di Codici Biased: Seleziona codici che favoriscono le voci meno utilizzate, agendo come meccanismo di esplorazione.

3. Servizio in Tempo Reale (A Valle)

La strategia di servizio sostituisce l'oneroso KNN online con un approccio basato su cluster guidato dall'indice co-appreso.

• Assegnazione ai Cluster: Ogni utente viene assegnato a un codice di cluster gerarchico tramite quantizzazione residua.
• Recupero U2U2I: Invece di cercare utenti simili, il sistema legge gli articoli più recenti dalla coda del cluster del cluster assegnato all'utente target. Questa coda è mantenuta dai membri recentemente attivi di quel cluster.
• Efficienza: Ciò riduce il recupero U2U2I a una semplice ricerca (lookup), eliminando la necessità di KNN online su pool di utenti dinamici.

Contributi Chiave

1. Framework di Co-Progettazione del Ciclo di Vita: Identifica e implementa un framework in cui i requisiti di servizio, addestramento e costruzione cascata attraverso le fasi, sbloccando prestazioni altrimenti irraggiungibili tramite ottimizzazione indipendente.
2. Addestramento Senza Infrastruttura di Grafi: Dimostra che il recupero basato sulla similarità non richiede infrastrutture di grafi online. I vicinati pre-calcolati (tramite PPR) forniscono una qualità comparabile al campionamento online, permettendo l'addestramento su standard infrastrutture ML.
3. Costruzione di Grafi Eterogenei: Propone un grafo derivato interamente dai dati di engagement con tre tipi di archi (U-U, I-I, U-I), caratterizzato da correzione del bias di popolarità e pre-calcolo dei vicini tramite PPR.
4. Indice di Cluster Co-appreso: Sviluppa un indice di quantizzazione residua con una nuova regolarizzazione e selezione di codici biased per prevenire il collasso del codebook, riducendo i costi di servizio dell'83%.
5. Guadagni di Performance: Mostra che un'architettura semplice, se co-progettata, supera significativamente i baseline complessi (GAT + Deep Graph Infomax e PyTorch-BigGraph) in termini di recall e metriche online.

Risultati

Il sistema è stato distribuito su molteplici superfici in Meta, servendo miliardi di utenti.

• Recall Offline:
  • Embedding Utente: RankGraph-2 ha ottenuto una Recall@5 3.8× superiore rispetto a un modello GAT + Deep Graph Infomax (che utilizzava un'architettura più complessa ma un grafo bipartito più semplice).
  • Embedding Articolo: Ha ottenuto una Recall@100 2.1× superiore rispetto a PyTorch-BigGraph per il recupero degli articoli.
• Test A/B Online (14 giorni):
  • Ha fornito fino a +0.96% di CTR e +2.75% di CVR per il recupero U2I2I.
  • Ha mostrato miglioramenti consistenti per il recupero U2U2I.
• Costo Infrastrutturale:
  • Ha ridotto i costi dell'infrastruttura di servizio U2U dell'83% sostituendo il KNN online con l'indice di cluster co-appreso.
• Distribuzione: Ha alimentato oltre 20 lanci di recupero su le principali superfici di Meta.

Significato e Rivendicazioni

Il documento sostiene che il driver primario delle performance sia la co-progettazione del ciclo di vita, non la complessità del modello. Spostando il calcolo dei vicinati offline, il sistema sblocca operazioni (PPR multi-hop, correzione della popolarità, costruzione di grafi eterogenei) che sono impraticabili in contesti online a causa della latenza e dei vincoli infrastrutturali.

Gli autori sostengono che, per il recupero basato sulla similarità, l'approccio convenzionale di investire in infrastrutture di grafi online per supportare GNN complesse possa essere il trade-off errato. Invece, investire in un'alta qualità di costruzione del grafo offline su infrastrutture ML standard produce sia una qualità di recupero superiore che costi operativi inferiori. Il documento posiziona RankGraph-2 non come un competitore dei modelli fondativi generativi, ma come un prior strutturale complementare che cattura la struttura collaborativa globale, che può essere combinata con modelli di intento temporale per il ranking a valle.