💻 computer science

Billion-Scale Graph Foundation Models

Este artigo apresenta o GraphBFF, uma arquitetura de ponta a ponta com uma arquitetura Transformer escalável que permite o treinamento bem-sucedido de modelos fundamentais com bilhões de parâmetros em grafos heterogêneos, demonstrando leis de escala neural previsíveis e desempenho superior em diversas tarefas downstream em comparação com as bases existentes.

Autores originais: Maya Bechler-Speicher, Yoel Gottlieb, Andrey Isakov, David Abensur, Ami Tavory, Daniel Haimovich, Ido Guy, Udi Weinsberg

Publicado 2026-05-22

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Maya Bechler-Speicher, Yoel Gottlieb, Andrey Isakov, David Abensur, Ami Tavory, Daniel Haimovich, Ido Guy, Udi Weinsberg

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma biblioteca massiva e caótica, onde cada livro está conectado a todos os outros por milhares de tipos diferentes de cordas. Algumas cordas são vermelhas, outras azuis, algumas feitas de corda e outras de seda. Alguns livros têm grandes pilhas de anotações presas a eles, enquanto outros têm quase nenhuma. É assim que um grafo se parece no mundo dos dados: uma teia gigante de conexões (como redes sociais, transações financeiras ou cadeias de suprimentos).

Por muito tempo, os computadores foram excelentes em ler texto (como livros) ou olhar para imagens (como pinturas), porque essas coisas têm uma estrutura muito organizada e previsível. Mas tentar ensinar um computador a entender essa teia gigante e bagunçada de conexões tem sido incrivelmente difícil.

Este artigo apresenta o GraphBFF, uma nova "receita" para construir um Modelo Fundamental de Grafo. Pense neste modelo como um bibliotecário superinteligente que leu cada livro individual dessa biblioteca massiva e aprendeu como todas as cordas os conectam.

Veja como eles fizeram isso, dividido em conceitos simples:

1. O Problema: Um Tamanho Não Serve para Todos

As tentativas anteriores de ensinar computadores sobre essas teias eram como tentar forçar uma estaca quadrada em um buraco redondo.

A Abordagem "Texto": Alguns tentaram transformar a teia em uma longa lista de palavras. Mas isso é como tentar descrever uma cidade 3D apenas listando nomes de ruas em fila; você perde o mapa.
A Abordagem "Imagem": Outros tentaram tratar a teia como uma grade (como uma foto). Mas as teias são bagunçadas e irregulares, não grades organizadas.

Os autores perceberam que, para lidar com uma teia de um bilhão de nós, é necessário um modelo que entenda que conexões diferentes significam coisas diferentes. Uma conexão de "amigo" é diferente de uma conexão de "transação".

2. A Solução: O Transformer GraphBFF

O cerne de sua invenção é uma nova arquitetura cerebral chamada Transformer GraphBFF. Ele usa uma estratégia inteligente de duas partes para ouvir a teia:

Parte A: O Ouvido "Especialista" (Atenção Condicionada por Tipo): Esta parte ouve atentamente tipos específicos de conexões. Se você está olhando para uma conexão de "amigo", ela só presta atenção em outras conexões de "amigo". É como ter um tradutor que só fala francês quando você está em uma conversa em francês. Isso garante que ele não se confunda com o ruído de outros tipos de conexão.
Parte B: O Ouvido "Generalista" (Atenção Agnóstica ao Tipo): Esta parte ouve tudo que está por perto, independentemente do tipo de conexão. É como um senso geral de "quem está na sala?". Isso ajuda o modelo a ver o quadro geral e não ficar preso em apenas um tipo de detalhe.

Ao combinar esses dois ouvidos, o modelo obtém o melhor dos dois mundos: entende detalhes específicos e o bairro geral.

3. O Desafio: O "Engarrafamento"

Treinar em um grafo de um bilhão de nós é como tentar alimentar um bilhão de pessoas em um restaurante com apenas uma cozinha. Se você tentar servir todos de uma vez, a cozinha explode (sobrecarga de memória). Se você servir aleatoriamente, o chef fica confuso porque continua alternando entre servir sopa e servir bife.

Os autores inventaram duas novas estratégias de serviço:

KL-Batching (O Menu Inteligente): Em vez de pegar mesas aleatórias, eles agrupam os clientes com base no que pediram (tipos de nós) para garantir que cada mesa receba uma mistura equilibrada de comida. Isso impede que o chef fique sobrecarregado com muitos pedidos de "bife" de uma só vez.
Round-Robin Batching (A Fila Justa): Eles garantem que o chef sirva cada tipo de cliente em círculo. Se houver apenas 5 pedidos de "prato raro" mas 1.000 pedidos de "prato comum", eles garantem que os pratos raros também recebam atenção, para que o chef não esqueça como cozinhá-los.

4. Os Resultados: O "Bibliotecário Super"

Eles testaram esse sistema em um grafo real de escala bilionária (como uma rede corporativa gigante). Eles treinaram o modelo em um bilhão de peças de dados e depois pediram que ele resolvesse 10 quebra-cabeças diferentes que ele nunca tinha visto antes.

O Teste: Eles deram ao modelo um cérebro congelado (ele não podia aprender coisas novas) e apenas pediram que ele usasse o que já sabia para resolver novos problemas (como prever se duas pessoas são amigas ou se uma transação é suspeita).
O Resultado: O modelo GraphBFF esmagou a concorrência. Ele superou todos os modelos especializados projetados para essas tarefas específicas por grandes margens (até 31 pontos melhor).
A Magia "Few-Shot" (Poucas Amostras): Mesmo quando deram ao modelo apenas 1 ou 2 exemplos de uma nova tarefa (como mostrar uma foto de um gato e pedir para ele encontrar gatos), ele ainda se saiu incrivelmente bem. Foi como mostrar ao bibliotecário um novo livro e pedir para ele encontrar livros semelhantes em toda a biblioteca, e ele fez isso perfeitamente.

5. A Descoberta da "Lei de Escala"

O artigo também descobriu uma regra prática para esses modelos, semelhante ao que sabemos sobre modelos de linguagem: Você precisa fazer o cérebro e a biblioteca crescerem juntos.

Se você fizer o cérebro maior, mas não der mais livros para ler, ele para de ficar mais inteligente.
Se você der mais livros, mas o cérebro permanecer pequeno, ele fica sobrecarregado e para de aprender.
Para obter os melhores resultados, você deve aumentar a escala do tamanho do modelo e do tamanho dos dados ao mesmo tempo.

Resumo

Em resumo, os autores construíram um cérebro universal de grafos que pode ler, entender e aprender de redes massivas, bagunçadas e do mundo real. Eles resolveram os problemas técnicos de como alimentar esse cérebro sem derrubar o computador e provaram que esse cérebro é tão inteligente que pode resolver novos problemas que nunca viu antes, muitas vezes melhor do que especialistas que passaram anos construindo modelos apenas para aquele único problema específico.

Resumo Técnico: Graph Billion-Foundation-Fusion (GraphBFF)

Declaração do Problema

Dados estruturados em grafos são ubíquos em domínios que vão desde segurança até sistemas de recomendação, contudo, estender o paradigma de modelos fundamentais para grafos gerais e do mundo real permanece fundamentalmente desafiador. Diferentemente da linguagem ou da visão, onde as distribuições de dados são relativamente uniformes (tokens sequenciais ou grades 2D fixas), os grafos exibem heterogeneidade significativa em tipos de nós/arestas, estruturas topológicas e escalas. Além disso, a escassez de conjuntos de dados públicos, de alta qualidade e na escala de bilhões tem dificultado o estudo rigoroso de Modelos Fundamentais de Grafos (GFMs). Abordagens existentes frequentemente dependem de fortes vieses indutivos adaptados a tipos específicos de grafos (por exemplo, grafos moleculares ou de conhecimento) ou tentam reduzir grafos a sequências de texto para Modelos de Linguagem de Grande Escala (LLMs), o que pode levar a desempenho deficiente, previsões instáveis ou exigir ordens de magnitude mais parâmetros do que o necessário.

Metodologia: O Framework GraphBFF

Os autores apresentam Graph Billion-Foundation-Fusion (GraphBFF), uma receita de ponta a ponta para construir GFMs com bilhões de parâmetros em grafos heterogêneos em grande escala. O framework consiste em uma arquitetura inovadora, estratégias específicas de pré-treinamento e leis de escalabilidade.

1. A Arquitetura Transformer GraphBFF

Projetada para grafos heterogêneos na escala de bilhões, o Transformer GraphBFF substitui a atenção auto-referencial padrão entre todos os pares por dois módulos de atenção complementares e conscientes da heterogeneidade:

Atenção Condicionada ao Tipo (TCA): Este componente realiza atenção auto-referencial mascarada dentro de vizinhanças limitadas a subconjuntos específicos de tipos de arestas. Crucialmente, aplica um softmax esparsos separadamente a cada tipo de vizinho, em vez de a todos os vizinhos de uma só vez. Isso mitiga os gargalos de memória e de E/S associados à materialização de matrizes de atenção completas para vizinhanças grandes e heterogêneas. Incorpora características de arestas por meio de projeções específicas por tipo.
Atenção Agnóstica ao Tipo (TAA): Para permitir atenção entre tipos e evitar o sobreajuste a estruturas de grafos específicas (especialmente em casos de distribuições de grau altamente não regulares), este componente aplica atenção compartilhada entre todos os tipos de nós e arestas. Utiliza amostragem de vizinhos de grau fixo para garantir eficiência. A TAA compartilha matrizes de atenção entre todos os tipos, introduzindo poucos parâmetros adicionais enquanto aumenta estritamente a expressividade do modelo.

A representação final do nó é uma combinação aprendida dos embeddings TCA e TAA, seguida por componentes padrão de codificador transformer (conexões residuais, normalização de camada e redes feed-forward). Os autores provam teoricamente que um modelo contendo tanto TCA quanto TAA é estritamente mais expressivo do que um contendo apenas um dos componentes.

2. Estratégias de Pré-treinamento e Agrupamento (Batching)

Para lidar com grafos na escala de bilhões com distribuições de tipos enviesadas, os autores introduzem duas estratégias de agrupamento:

KL-Agrupamento (Nível de Armazenamento): Para garantir que os lotes de treinamento representem a distribuição global de tipos de nós e arestas, o grafo é primeiro particionado em clusters. Os clusters são então agregados em lotes com base em sua divergência de Kullback-Leibler (KL) em relação à distribuição de referência global. Os lotes são construídos adicionando-se greedymente clusters de baixa KL até que um orçamento de memória seja atingido, garantindo que as etapas iniciais de treinamento sejam representativas e estáveis.
Agrupamento Round-Robin (Nível de GPU): Para evitar que mini-lotes sejam dominados por tipos de arestas comuns, as arestas de supervisão são agrupadas por tipo e iteradas em uma ordem cíclica fixa. Isso garante que todos os tipos de arestas recebam supervisão contínua, mesmo que alguns sejam raros.

3. Objetivo de Pré-treinamento

O framework utiliza predição de links mascarados como o único objetivo auto-supervisionado. Arestas positivas são amostradas do grafo, e arestas negativas são amostradas uniformemente ao acaso. O modelo pontua a existência de arestas concatenando os embeddings dos nós de origem e destino e passando-os por um MLP de duas camadas. Os autores conjecturam que, na escala de bilhões, o volume avassalador de dados compensa a falta de vieses indutivos complexos, tornando este objetivo simples suficiente.

4. Leis de Escalabilidade Neural

O estudo estabelece leis de escalabilidade neural para GFMs, demonstrando que a perda de validação segue relações previsíveis de lei de potência em relação tanto ao tamanho do modelo ( $N$ ) quanto ao tamanho dos dados ( $D$ ). Os resultados indicam gargalos estritos: aumentar a capacidade do modelo sem aumentar os dados (ou vice-versa) produz retornos decrescentes. A escalabilidade eficaz exige o crescimento simultâneo dos parâmetros do modelo e dos dados de treinamento.

Resultados Chave

Os autores avaliaram um Transformer GraphBFF com 1,4 bilhão de parâmetros pré-treinado em uma amostra de um bilhão de um grafo empresarial do mundo real (contendo ~50 bilhões de nós/arestas). A avaliação cobriu dez tarefas downstream diversas (classificação e regressão de nós e links) em grafos não vistos durante o treinamento.

Desempenho: O Transformer GraphBFF congelado, acoplado a um probe linear ou não linear simples, superou consistentemente as linhas de base específicas de tarefa (incluindo HGT, HAN e GraphGPS) em todas as dez tarefas.
Margens: As melhorias foram substanciais, com ganhos de até 31 pontos de PRAUC (por exemplo, a Tarefa 9 melhorou de 63,66 para 95,19).
Capacidade Few-Shot: O modelo demonstrou desempenho forte em configurações few-shot (1–10 amostras), frequentemente rivalizando ou excedendo o desempenho de dados completos de modelos especializados treinados nas mesmas tarefas.
Ablação: A remoção de qualquer um dos componentes TCA ou TAA levou a uma degradação significativa do desempenho, confirmando a necessidade de ambos os mecanismos. A TCA foi identificada como o principal motor de capacidade, enquanto a TAA forneceu generalização essencial.

Significado e Alegações

O artigo alega fornecer um projeto concreto e reproduzível para construir GFMs eficazes em escala industrial, apoiado por forte evidência empírica. Suas principais contribuições são:

Escalabilidade: Demonstrar que modelos com bilhões de parâmetros podem ser treinados em grafos heterogêneos na escala de bilhões usando recursos viáveis (por exemplo, 64 GPUs por 12 horas).
Arquitetura: Introduzir o Transformer GraphBFF, que equilibra expressividade e eficiência por meio de mecanismos de atenção duplos e operações de softmax esparsas.
Metodologia: Estabelecer metodologias práticas para agrupamento de dados (KL-Agrupamento, Round-Robin) e pré-treinamento que abordam os desafios específicos de grafos em grande escala com tipos enviesados.
Generalização: Provar que GFMs podem aprender representações transferíveis que generalizam através de tarefas diversas e topologias de grafos, mesmo quando os grafos downstream não compartilham nós ou arestas com os dados de pré-treinamento.

Os autores reconhecem limitações, observando que as leis de escalabilidade são derivadas de um conjunto de dados empresarial específico e podem não transferir-se para grafos com distribuições de grau fundamentalmente diferentes. Eles também destacam que a alocação ótima de computação para modelos de grafos permanece um problema aberto devido à natureza condicional do grafo dos custos de treinamento. Não obstante, o trabalho posiciona os GFMs como uma base prática e principiante para a aprendizagem em grafos em ambientes industriais.