Resumo Técnico: Uma Avaliação Justa de Modelos de Fundação de Grafos para Predição de Propriedades de Nós

Declaração do Problema

O desenvolvimento de Modelos de Fundação de Grafos (GFMs) ganhou tração significativa devido à ubiquidade de dados estruturados em grafos na indústria e na ciência. Especificamente, os GFMs projetados para a predição de propriedades de nós (predizer rótulos de nós desconhecidos a partir de características, estrutura e rótulos conhecidos) são de alto interesse, com aplicações que variam desde a detecção de fraudes até sistemas de recomendação. No entanto, o campo carece de um cenário de avaliação unificado. Os trabalhos existentes avaliam modelos usando protocolos muito distintos, frequentemente empregando conjuntos de dados estreitos e não representativos e baselines (modelos de referência) fracos. Essa inconsistência impede a comparação confiável entre diferentes GFMs e entre GFMs e Redes Neurais de Grafos (GNNs) tradicionais. Além disso, o termo "Modelo de Fundação" é frequentemente aplicado de forma vaga a modelos que visam domínios de grafos (ex: moléculas vs. redes sociais) e tarefas vastamente diferentes, obscurecendo seu escopo e capacidades reais.

Metodologia

Para abordar essas questões, os autores conduziram um estudo empírico rigoroso e de larga escala reavaliando 9 GFMs recentes para predição de propriedades de nós contra baselines de GNN fortes e bem ajustados.

1. Conjuntos de Dados

O estudo utiliza 10 conjuntos de dados do benchmark GraphLand (Bazhenov et al., 2025). Este benchmark foi especificamente projetado para superar as limitações de conjuntos de dados anteriores (ex: bugs, cobertura de domínio estreita, relevância prática questionável) ao representar aplicações industriais do mundo real através de diversos domínios, como e-commerce, transporte e redes sociais. Os autores utilizam divisões de dados padrão RL (Rótulo Aleatório).

2. Baselines (GNNs)

Para garantir uma comparação justa, os autores evitam baselines subajustados. Eles empregam duas versões de arquiteturas de GNN melhoradas, conhecidas por serem baselines fortes:

• Platonov et al. (2023b): Variantes de GCN, GraphSAGE, GAT e Local Graph Transformer (LGT) apresentando melhorias arquiteturais como conexões de salto (skip-connections) e normalização.
• Luo et al. (2024): Variantes melhoradas semelhantes com opções arquiteturais adicionais, como separação de incorporação de vizinho-ego (ego-neighbor embedding separation).
• Ajuste de Hiperparâmetros: Ambos os conjuntos de baselines passam por uma busca extensiva de hiperparâmetros (100 tentativas usando o algoritmo TPE) para garantir o desempenho ideal, combatendo a tendência na literatura de subajustar os baselines.

3. Modelos Avaliados

O estudo avalia 9 GFMs, categorizados por seus mecanismos subjacentes:

• GFMs Não Baseados em PFN: OpenGraph, AnyGraph, GCOPE, SAMGPT, MDGFM e TS-GNN. Estes modelos tipicamente dependem de mecanismos como projeção de características, redução de dimensionalidade ou conversão de grafos em tabelas sem pré-treinamento nativo consciente de grafos.
• GFMs Baseados em PFN: G2T-FM, TAG e GraphPFN. Estes são baseados no paradigma de Redes Ajustadas a Dados Prévios (PFN). Eles são treinados em conjuntos de dados sintéticos para realizar Aprendizado em Contexto (ICL), realizando predições em uma única passagem direta (forward pass) sem treinamento por conjunto de dados.
  • G2T-FM e TAG aumentam as características dos nós com informações de grafo e as alimentam em modelos de fundação tabulares pré-treinados (LimiX-16M ou TabPFNv2).
  • GraphPFN utiliza uma arquitetura customizada nativa de grafos que incorpora a passagem de mensagens diretamente na estrutura do PFN.

4. Protocolos de Avaliação

Os modelos são avaliados sob todos os regimes suportados:

• Aprendizado em Contexto (ICL): Predição zero-shot usando o modelo pré-treinado.
• Ajuste Fino (Fine-Tuning - FT): Treinamento do modelo de parâmetros específico para o conjunto de dados.
• Métricas: Acurácia (multiclasse), Precisão Média (binária) e R² (regressão), agregadas via ranking médio e pontuação normalizada média através dos conjuntos de dados.
• Eficiência: Custos computacionais para ajuste de hiperparâmetros, treinamento e inferência são medidos.

Principais Resultados

1. Desempenho Preditivo

Os resultados bifurcam claramente os GFMs em dois grupos distintos:

• GFMs Não Baseados em PFN: Estes modelos consistentemente desempenham-se abaixo de GNNs clássicas bem ajustadas, muitas vezes por uma margem substancial, em todos os conjuntos de dados.
• GFs Baseados em PFN: Estes modelos geralmente superam as GNNs.
  • No regime de ICL, os modelos baseados em PFN (especificamente GraphPFN, G2T-FM e TAG) alcançam resultados de topo na maioria dos conjuntos de dados, superando todas as GNNs. O GraphPFN lidera no ranking médio.
  • No regime de Fine-Tuning (FT), o desempenho melhora significativamente para os modelos baseados em PFN. O GraphPFN (FT) emerge como o melhor modelo geral, alcançando os melhores resultados em todos os 10 conjuntos de dados, muitas vezes por uma grande margem.
  • Comparação de Arquitetura: Entre os modelos baseados em PFN, aqueles que utilizam o backbone LimiX-16M (G2T-FM, TAG) performam melhor que o TabPFNv2. No entanto, o GraphPFN, que lida nativamente com a estrutura de grafo via passagem de mensagens dentro da arquitetura PFN, supera as abordagens de backbone tabular (G2T-FM e TAG) tanto no regime ICL quanto no FT.

2. Eficiência Computacional

• Inferência: As GNNs são significativamente mais eficientes na inferência, tipicamente exigindo <1 segundo. Em contraste, os GFMs baseados em PFN exigem segundos a minutos (com alguns modelos TAG levando até 30 minutos) devido ao custo computacional de processar todo o contexto em uma única passagem direta.
• Treinamento/Desenvolvimento: As GNNs exigem ajuste extensivo de hiperparâmetros e múltiplas execuções de treinamento (centenas de passagens de forward/backward) para cada novo conjunto de dados. Os modelos baseados em PFN, uma vez pré-treinados, exigem muito menos hiperparâmetros para ajustar (ex: apenas a taxa de aprendizado para fine-tuning) e menos execuções de treinamento. Em cenários onde o tempo de desenvolvimento é crítico e a latência de inferência é menos restrita, os PFNs podem ser preferíveis.

Principais Contribuições

1. Estrutura de Avaliação Unificada: O artigo estabelece um protocolo de avaliação justo e rigoroso para a predição de propriedades de nós de GFMs, utilizando o benchmark GraphLand e baselines de GNN fortes e bem ajustadas.
2. Identificação de Disparidade de Desempenho: Demonstra que a maioria dos GFMs atuais (não baseados em PFN) não supera as GNNs devidamente ajustadas, desafiando a suposição de que "modelos de fundação" inerentemente geram desempenho superior em tarefas de grafos.
3. Validação do Paradigma PFN: O estudo identifica que apenas os GFMs baseados no paradigma de Redes Ajustadas a Dados Prévios (PFN) alcançam desempenho de estado da arte, superando as GNNs tanto nos regimes de ICL quanto de fine-tuning.
4. Insights de Arquitetura: Destaca que, embora adaptar modelos de fundação tabulares para grafos (via aumento de características) funcione, arquiteturas nativas conscientes de grafos (como o GraphPFN) produzem resultados superiores em comparação ao tratamento de grafos como tabelas.
5. Análise de Custo-Benefício: O artigo fornece um detalhamento do trade-off entre o alto custo de inferência dos PFNs e seus custos reduzidos de desenvolvimento/ajuste em comparação com as GNNs.

Significância e Alegações

Os autores alegam que este trabalho fornece uma "reevaliação justa e rigorosa" que esclarece o estado atual do campo. A principal significância reside em:

• Correção de Equívocos: Demonstrar que nem todos os modelos rotulados como "GFMs" são eficazes; apenas aqueles que utilizam o paradigma PFN oferecem atualmente uma vantagem de desempenho sobre as GNNs.
• Definição de Escopo: Argumentar que o termo "GFM" é mal definido e instar os pesquisadores a clarificar explicitamente o escopo de seus modelos (ex: domínios de dados ou tarefas específicas).
• Orientação Prática: Oferecer uma análise de trade-off clara para profissionais: se a velocidade de inferência é primordial, as GNNs bem ajustadas continuam sendo a escolha dominante; se a rápida adaptação a novos conjuntos de dados com ajuste mínimo é necessária, os GFMs baseados em PFN são a opção superior, apesar da maior latência de inferência.

O artigo conclui que, embora o campo ainda não tenha convergido para uma solução unificada, o paradigma PFN representa a direção mais promissora para os Modelos de Fundação de Grafos na predição de propriedades de nós, desde que o custo computacional da inferência seja aceitável para a aplicação específica.