Resumo Técnico: RankGraph-2

Declaração do Problema

Implantar a recuperação baseada em grafos na escala de bilhões de nós para sistemas de recomendação exige resolver três problemas intimamente acoplados: construção de grafos, aprendizado de representação e serviço em tempo real. O trabalho existente geralmente aborda essas etapas de forma isolada. A pesquisa acadêmica frequentemente otimiza arquiteturas de modelos em grafos pequenos e estáticos, enquanto sistemas industriais avançam a infraestrutura de treinamento, mas assumem que o grafo de entrada é fornecido e ignoram os custos de serviço. Essa abordagem em silos cria gargalos:

• Construção: Construir ingenuamente grafos de coengajamento completos para sistemas de bilhões de nós resulta em centenas de trilhões de arestas, tornando o armazenamento e o processamento inviáveis.
• Treinamento: Treinar em grafos tão massivos muitas vezes requer infraestrutura de grafo online cara (ex: motores de amostragem distribuída) para lidar com a extração de vizinhança em tempo real.
• Serviço: Servir embeddings via busca de Vizinhos Mais Próximos (KNN) aproximada online para pools de usuários dinâmicos (ex: usuários ativos nos últimos 15 minutos) requer milhares de máquinas, criando latência e custos proibitivos.

O artigo argumenta que otimizar qualquer etapa sem considerar as restrições das outras leva a resultados subótimos. O desafio central é como co-projetar construção, treinamento e serviço quando o grafo possui bilhões de nós e centenas de trilhões de arestas potenciais.

Metodologia: Co-Design de Ciclo de Vida

O RankGraph-2 é um framework unificado que co-projeta todas as três etapas do ciclo de vida para recuperação baseada em similaridade (User-to-User-to-Item [U2U2I] e User-to-Item-to-Item [U2I2I]). O sistema opera sob o princípio de que os requisitos das etapas downstream (serviço, treinamento) devem moldar as etapas upstream (construção).

1. Construção de Grafo (Upstream)

Para satisfazer as necessidades de treinamento (dados autocontidos) e serviço (frescor de nível de hora), a pipeline de construção realiza o seguinte:

• Esquema de Grafo Heterogêneo: Constrói um grafo com três tipos de arestas derivados exclusivamente de dados de engajamento (cliques, curtidas, compartilhamentos, compras): User-Item (U-I), User-User (U-U) e Item-Item (I-I).
• Correção de Viés de Popularidade: Ajusta os pesos das arestas I-I para evitar que itens populares dominem as representações. O peso é escalonado por um fator inversamente proporcional à popularidade do item alvo, garantindo que itens de cauda longa não sejam ofuscados.
• Subamostragem de Arestas: Reduz o grafo de centenas de trilhões de arestas para centenas de bilhões. Isso envolve reter nós de alto valor para arestas U-U e manter as arestas de maior peso ($K_{CAP}$) para cada nó.
• Vizinhanças Pré-computadas: Em vez de amostragem online, o sistema utiliza o PageRank Personalizado (PPR) no grafo "espinha dorsal" para pré-computar os $K_{IMP}$ vizinhos de múltiplos saltos mais importantes para cada nó. Para nós que carecem de vizinhos do mesmo tipo, o KNN em embeddings anteriores é usado como fallback.
• Saída: A pipeline produz dados "centrados em arestas", onde cada registro contém a aresta, características do nó e vizinhança pré-computada, prontos para ingestão direta sem necessidade de armazenamento de grafo online. Toda a pipeline é concluída em uma hora, permitindo um ciclo de atualização de 3 horas.

2. Treinamento de Modelo (Midstream)

A fase de treinamento ingere os dados pré-computados e autocontidos, eliminando a necessidade de infraestrutura de grafo online (sem armazenamento de grafo ou motores de amostragem distribuída).

• Arquitetura: Utiliza um agregador heterogêneo simples com encoders multi-head para usuários e itens. Ele se generaliza para nós não vistos (cenário indutivo).
• Objetivo: Combina perda de ranking de margem (margin ranking loss) e perda InfoNCE para predição de ligação contrastiva.
• Co-Aprendizado: Crucialmente, o processo de treinamento co-aprende um índice de cluster juntamente com os embeddings. O modelo otimiza não apenas a qualidade do embedding, mas também a qualidade do embedding reconstruído através de um objetivo de quantização residual.
• Regularização: Para evitar o "colapso do codebook" (onde poucos códigos são excessivamente usados) durante o treinamento contínuo, o sistema emprega:
  • Perda de Regularização: Penaliza o lote atual por reforçar códigos frequentemente usados com base em uma distribuição empírica de lotes passados.
  • Seleção de Código Enviesada: Seleciona códigos que favorecem entradas subutilizadas, atuando como um mecanismo de exploração.

3. Serviço em Tempo Real (Downstream)

A estratégia de serviço substitui o caro KNN online por uma abordagem baseada em clusters impulsionada pelo índice co-aprendido.

• Atribuição de Cluster: Cada usuário é atribuído a um código de cluster hierárquico via quantização residual.
• Recuperação U2U2I: Em vez de buscar usuários similares, o sistema lê os itens mais recentes da fila de cluster do cluster atribuído ao usuário alvo. Esta fila é mantida pelos membros recentemente ativos daquele cluster.
• Eficiência: Isso reduz a recuperação U2U2I a uma simples consulta (lookup), eliminando a necessidade de KNN online sobre pools de usuários dinâmicos.

Principais Contribuições

1. Framework de Co-Design de Ciclo de Vida: Identifica e implementa um framework onde os requisitos de serviço, treinamento e construção cascateiam entre as etapas, desbloqueando performance inalcançável por otimização independente.
2. Treinamento Livre de Infraestrutura de Grafo: Demonstra que a recuperação baseada em similaridade não requer infraestrutura de grafo online. Vizinhanças pré-computadas (via PPR) produzem qualidade comparável à amostragem online, permitindo o treinamento em infraestrutura padrão de ML.
3. Construção de Grafo Heterogêneo: Propõe um grafo derivado inteiramente de dados de engajamento com três tipos de arestas (U-U, I-I, U-I), apresentando correção de viés de popularidade e pré-computação de vizinhança baseada em PPR.
4. Índice de Cluster Co-aprendido: Desenvolve um índice de quantização residual com nova regularização e seleção de código enviesada para evitar o colapso do codebook, reduzindo os custos de serviço em 83%.
5. Ganhos de Performance: Mostra que uma arquitetura simples, quando co-projetada, supera significativamente baselines complexos (GAT + Deep Graph Infomax e PyTorch-BigGraph) em recall e métricas online.

Resultados

O sistema foi implantado em múltiplas superfícies na Meta, servindo bilhões de usuários.

• Recall Offline:
  • Embeddings de Usuário: O RankGraph-2 alcançou um Recall@5 3,8× maior que um modelo GAT + Deep Graph Infomax (que utilizava uma arquitetura mais complexa, mas um grafo bipartido mais simples).
  • Embeddings de Item: Alcançou um Recall@100 2,1× maior que o PyTorch-BigGraph na recuperação de itens.
• Testes A/B Online (14 dias):
  • Entregou até +0,96% de CTR e +2,75% de CVR para recuperação U2I2I.
  • Mostrou melhorias consistentes para recuperação U2U2I.
• Custo de Infraestrutura:
  • Reduziu o custo de infraestrutura de serviço U2U em 83% ao substituir o KNN online pelo índice de cluster co-aprendido.
• Implantação: Alimentou mais de 20 lançamentos de recuperação em diversas superfícies da Meta.

Significância e Alegações

O artigo alega que o principal motor de performance é o co-design de ciclo de vida, não a complexidade do modelo. Ao mover o cálculo de vizinhança para o offline, o sistema desbloqueia operações (PPR multi-salto, correção de popularidade, construção de arestas heterogêneas) que são inviáveis em configurações online devido a restrições de latência e infraestrutura.

Os autores argumentam que, para recuperação baseada em similaridade, a abordagem convencional de investir em infraestrutura de grafo online para suportar GNNs complexas pode ser a troca errada. Em vez disso, investir em construção de grafo offline de alta qualidade em infraestrutura de ML padrão gera tanto uma qualidade de recuperação superior quanto menores custos operacionais. O artigo posiciona o RankGraph-2 não como um competidor dos modelos de fundação generativos, mas como um prior estrutural complementar que captura a estrutura colaborativa global, que pode ser combinado com modelos de intenção temporal para o ranking downstream.