Technische Samenvatting: RankGraph-2

Probleemstelling

Het implementeren van graafgebaseerde retrieval op de schaal van miljarden knopen voor aanbevelingssystemen vereist het oplossen van drie nauw gekoppelde problemen: graafconstructie, representatie-leren en real-time serving. Bestaand werk behandelt deze fasen doorgaans geïsoleerd. Academisch onderzoek optimaliseert vaak modelarchitecturen op kleine, statische grafen, terwijl industriële systemen de trainingsinfrastructuur verbeteren maar uitgaan van een gegeven inputgraaf en de kosten voor serving negeren. Deze gesiloiseerde aanpak creëert bottlenecks:

• Constructie: Het naïef construeren van volledige co-engagement grafen voor systemen met miljarden knopen resulteert in honderden biljoenen randen (edges), wat opslag en verwerking onhaalbaar maakt.
• Training: Het trainen op dergelijke massieve grafen vereist vaak dure online graafinfrastructuur (bijv. gedistribueerde sampling engines) om buurtextractie in real-time af te handelen.
• Serving: Het serveren van embeddings via online Approximate Nearest Neighbor (KNN) zoekopdrachten voor dynamische gebruikerspools (bijv. actieve gebruikers in de laatste 15 minuten) vereist duizenden machines, wat leidt tot onbetaalbare latentie en kosten.

Het artikel betoogt dat het optimaliseren van slechts één fase zonder rekening te houden met de beperkingen van de andere fasen leidt tot suboptimale resultaten. De kernuitdaging is hoe men constructie, training en serving gezamenlijk kan ontwerpen (co-design) wanneer de graaf miljarden knopen en honderden biljoenen potentiële randen bevat.

Methodologie: Lifecycle Co-Design

RankGraph-2 is een verenigd framework dat alle drie de levensfases co-ontwerpt voor gelijkenis-gebaseerde retrieval (User-to-User-to-Item [U2U2I] en User-to-Item-to-Item [U2I2I]). Het systeem werkt volgens het principe dat vereisten van downstream-fasen (serving, training) de upstream-fasen (constructie) vormgeven.

1. Graafconstructie (Upstream)

Om te voldoen aan de behoeften van training (zelfvoorzienende data) en serving (versheid op uurniveau), voert de constructie-pipeline het volgende uit:

• Heterogene Graafschema: Construeert een graaf met drie soorten randen afgeleid van louter engagement-data (clicks, likes, shares, aankopen): User-Item (U-I), User-User (U-U) en Item-Item (I-I).
• Correctie voor Populariteitsbias: Past de gewichten van I-I randen aan om te voorkomen dat populaire items de representaties domineren. Het gewicht wordt geschaald door een factor die omgekeerd evenredig is aan de populariteit van het doelitem, waardoor tail-items niet worden overschaduwd.
• Rand-subsampling: Reduceert de graaf van honderden biljoenen randen naar honderden miljarden. Dit houdt in dat hoogwaardige knopen voor U-U randen worden behouden en de top-gewogen randen ($K_{CAP}$) voor elke knoop worden bewaard.
• Pre-computed Neighborhoods: In plaats van online sampling gebruikt het systeem Personalized PageRank (PPR) op de "backbone" graaf om de $K_{IMP}$ belangrijkste multi-hop buren voor elke knoop vooraf te berekenen. Voor knopen zonder buren van hetzelfde type wordt KNN op eerdere embeddings als fallback gebruikt.
• Output: De pipeline produceert "edge-centric" data waarbij elk record de rand, knoop-features en pre-computed buren bevat, klaar voor directe ingestie zonder online graafopslag. De gehele pipeline wordt binnen één uur voltooid, wat een refresh-cyclus van 3 uur mogelijk maakt.

2. Model Training (Midstream)

De trainingsfase importeert de pre-computed, zelfvoorzienende data, waardoor de noodzaak voor online graafinfrastructuur vervalt (geen graafopslag of gedistribueerde sampling engines nodig).

• Architectuur: Gebruikt een eenvoudige heterogene aggregator met multi-head encoders voor gebruikers en items. Het generaliseert naar ongeziene knopen (inductieve setting).
• Doelstelling: Combineert margin ranking loss en InfoNCE loss voor contrastieve link-voorspelling.
• Co-learning: Cruciaal is dat het trainingsproces ook een cluster index co-leert naast de embeddings. Het model optimaliseert niet alleen voor embedding-kwaliteit, maar ook voor de kwaliteit van de gereconstrueerde embedding via een residual quantization doelstelling.
• Regularisatie: Om "codebook collapse" (waarbij enkele codes overmatig worden gebruikt) tijdens continue training te voorkomen, gebruikt het systeem:
  • Regularisatie Loss: Bestraft de huidige batch voor het versterken van veelgebruikte codes op basis van een empirische distributie uit eerdere batches.
  • Biased Code Selection: Selecteert codes die de voorkeur geven aan onderbenutte entries, wat fungeert als een exploratiemechanisme.

3. Real-Time Serving (Downstream)

De serving-strategie vervangt dure online KNN door een cluster-gebaseerde aanpak die wordt aangestuurd door de co-geleerde index.

• Cluster Toewijzing: Elke gebruiker krijgt een hiërarchische cluster code via residual quantization.
• U2U2I Retrieval: In plaats van te zoeken naar gelijke gebruikers, leest het systeem de meest recente items uit de cluster queue van de toegewezen cluster van de doelgebrueker. Deze wachtrij wordt onderhouden door recent actieve leden van die cluster.
• Efficiëntie: Dit reduceert U2U2I retrieval tot een eenvoudige lookup, waardoor de noodzaak voor online KNN over dynamische gebruikerspools wordt geëlimineerd.

Belangrijkste Bijdragen

1. Lifecycle Co-Design Framework: Identificeert en implementeert een framework waarbij de eisen van serving, training en constructie door de fasen heen cascaderen, wat prestaties ontsluit die onbereikbaar zijn door onafhankelijke optimalisatie.
2. Graaf-Infrastructuur-Vrije Training: Demonstreert dat gelijkenis-gebaseerde retrieval geen online graafinfrastructuur vereist. Pre-computed neighborhoods (via PPR) leveren een kwaliteit die vergelijkbaar is met online sampling, waardoor training op standaard ML-infrastructuur mogelijk is.
3. Heterogene Graafconstructie: Stelt een graaf voor die volledig is afgeleid van engagement-data met drie soorten randen (U-U, I-I, U-I), voorzien van populariteitsbias-correctie en PPR-gebaseerde nabijheid pre-computatie.
4. Co-Learned Cluster Index: Ontwikkelt een residual-quantization index met nieuwe regularisatie en biased code selection om codebook collapse te voorkomen, wat de serving-kosten met 83% vermindert.
5. Prestatiewinst: Toont aan dat een eenvoudige architectuur, wanneer co-designed, significant beter presteert dan complexe baselines (GAT + Deep Graph Infomax en PyTorch-BigGraph) in recall en online metrieken.

Resultaten

Het systeem werd uitgerold over meerdere oppervlakken bij Meta, dienend aan miljarden gebruikers.

• Offline Recall:
  • User Embeddings: RankGraph-2 behaalde een 3,8× hogere Recall@5 dan een GAT + Deep Graph Infomax model (dat een complexere architectuur maar een simpelere bipartite graaf gebruikte).
  • Item Embeddings: Behaalde een 2,1× hogere Recall@100 dan PyTorch-BigGraph op item retrieval.
• Online A/B Tests (14 dagen):
  • Leverde tot +0,96% CTR en +2,75% CVR op voor U2I2I retrieval.
  • Toonde consistente verbeteringen voor U2U2I retrieval.
• Infrastructuurkosten:
  • Verminderde de U2U serving infrastructuurkosten met 83% door online KNN te vervangen door de co-geleerde cluster index.
• Deployment: Ondersteunde 20+ retrieval lanceringen op belangrijke Meta-oppervlakken.

Betekenis en Claims

Het artikel claimt dat de primaire drijfveer voor prestaties lifecycle co-design is, en niet modelcomplexiteit. Door de buurtberekening offline te verplaatsen, ontsluit het systeem operaties (multi-hop PPR, populariteitscorrectie, heterogene graafconstructie) die in online settings onhaalbaar zijn vanwege latentie en infrastructuurbeperkingen.

De auteurs stellen dat voor gelijkenis-gebaseerde retrieval de conventionele aanpak—investeren in online graafinfrastructuur om complexe GNN's te ondersteunen—wellicht de verkeerde afweging is. In plaats daarvan levert investeren in hoogwaardige offline graafconstructie op standaard ML-infrastructuur zowel superieure retrieval-kwaliteit als lagere operationele kosten op. Het artikel positioneert RankGraph-2 niet als een concurrent van generatieve foundation modellen, maar als een complementaire structurele prior die globale collaboratieve structuur vastlegt, welke gecombineerd kan worden met temporele intentiemodellen voor downstream ranking.