Resumo Técnico: GRAPHNETZ

Declaração do Problema

As atuais benchmarks para Redes Neurais em Grafos (GNNs) frequentemente sofrem de uma falta de rigor estatístico. Estudos típicos relatam estimativas de precisão de ponto único (muitas vezes com desvios padrão) derivadas de sementes aleatórias limitadas e divisões específicas de treino/teste. Essa abordagem frequentemente leva à conclusão de que um modelo "supera" outro com base em diferenças de destaque que são menores que o ruído introduzido pela variância da semente aleatória, divisões do conjunto de dados ou artefatos de avaliação.

Como observado em reavaliações anteriores (Shchur et al., 2018; Errica et al., 2020), muitos ganhos arquitetônicos relatados colapsam quando sementes e divisões são aleatorizadas. Embora ferramentas estatísticas padrão existam — como intervalos de confiança (ICs), comparações pareadas com correção para múltiplas comparações e agregação baseada em ranks —, elas raramente são a saída padrão de suites de benchmark de aprendizado em grafos. Frameworks existentes como PyTorch Geometric, Open Graph Benchmark (OGB) e Benchmarking-GNNs focam na arquitetura e na abrangência dos conjuntos de dados, mas deixam a relatoria estatística, a orquestração de múltiplas sementes e testes de hipóteses rigorosos a cargo do usuário.

Metodologia: O Framework GRAPHNETZ

Os autores introduzem o GRAPHNETZ, um framework de benchmarking projetado para fazer com que um relatório estatístico estruturado seja a saída padrão de uma execução de benchmark, em vez de uma tabela bruta de precisão. O framework é organizado em torno de quatro camadas conceituais:

1. Catálogo de Conjuntos de Dados Categorizados:

   • O framework inclui 63 carregadores de conjuntos de dados mapeados para 10 categorias de pesquisa (Otimização Combinatória, Biologia, Social, Conhecimento, Infraestrutura, Finanças, Computação, Visão, Física e Segurança).
   • Suporta 4 tipos de tarefas: Classificação de Nós, Classificação de Grafos, Regressão de Grafos e Predição de Links.
   • Os carregadores incluem benchmarks públicos canônicos (por exemplo, Planetoid, TUDataset, QM9, ZINC) e instâncias sintéticas (por exemplo, TSP, VRP, rede de Ising) onde benchmarks canônicos estão ausentes.

2. Protocolo de Avaliação Uniforme:

   • O framework avalia 5 arquiteturas canônicas de GNN: GCN, GAT, GIN, GraphSAGE e Graph Transformer.
   • Emprega adaptadores de tarefa (por exemplo, cabeças de agrupamento em nível de grafo, cabeças de predição de links por produto escalar) para garantir que codificadores em nível de nó possam ser testados em todos os tipos de tarefa.
   • O Algoritmo 1 define o protocolo: Para uma dada categoria, os modelos são treinados através de $S$ sementes (padrão $S=10$) e $E$ épocas. O processo é determinístico dada uma pilha de software fixa, com geradores de números aleatórios (RNGs) redefinidos antes de cada execução.

3. Camada de Relatoria Estatística:

   • Análise por Célula: Calcula a média $\pm$ intervalo de confiança de 95% de Student's t para cada par (tarefa, modelo).
   • Testes Pareados Dentro da Tarefa: Realiza testes t pareados (paramétricos) e testes de postos sinalizados de Wilcoxon (não paramétricos) nas métricas finais alinhadas por semente. Estes são corrigidos para múltiplas comparações usando o método Holm-Bonferroni.
   • Agregação Entre Tarefas: Classifica os modelos por tarefa, calcula o teste omnibus de Friedman e gera diagramas de diferença crítica (CD) de Nemenyi para visualizar diferenças significativas entre tarefas.

4. Implementação:

   • O framework é implementado em Python, com um único ponto de entrada run_benchmark.
   • Suporta conjuntos de dados e modelos personalizados através de uma extensão de API de uma linha.
   • Todos os geradores de números aleatórios são sementeados para garantir reprodutibilidade.

Contribuições Principais

O artigo afirma quatro contribuições primárias:

1. Uma Taxonomia Categorial: Um mapeamento de 63 carregadores para 10 áreas de pesquisa, notando explicitamente subtemas que atualmente carecem de benchmarks públicos canônicos.
2. Um Protocolo Uniforme: Uma configuração de avaliação padronizada para cinco grandes arquiteturas de GNN através de quatro tipos de tarefa, garantindo que diferenças de desempenho reflitam escolhas de modelagem em vez de idiossincrasias de avaliação.
3. Uma Camada Estatística Princípia: O tipo de retorno padrão de uma execução de benchmark é um relatório estruturado contendo ICs por célula, valores-p pareados corrigidos por Holm e diagramas CD de Friedman-Nemenyi.
4. Validação Empírica: Um benchmark entre categorias demonstrando que, sob escrutínio estatístico rigoroso, diferenças de rank aparentes entre codificadores canônicos frequentemente caem dentro de um único clique de Nemenyi, indicando nenhuma diferença significativa.

Resultados Experimentais

Os autores conduziram um experimento entre categorias através de 10 tarefas heterogêneas (um conjunto de dados representativo por categoria) usando 10 sementes e 5 arquiteturas.

• Resultados por Categoria: Para cada tarefa, a média de desempenho e os ICs de 95% foram calculados. Em muitos casos, os intervalos de confiança de diferentes arquiteturas se sobrepuseram significativamente.
• Acordo de Teste Pareado: Nos conjuntos de dados sociais/Planetoid (Cora, CiteSeer, PubMed), o teste t pareado paramétrico e o teste de postos sinalizados de Wilcoxon não paramétrico concordaram em todas as 18 comparações após a correção Holm-Bonferroni em $\alpha = 0.05$.
• Ranking Entre Categorias:
  • Os quatro codificadores em nível de nó (GCN, GAT, GraphSAGE, Graph Transformer) foram classificados através das 10 tarefas.
  • O teste omnibus de Friedman resultou em $\chi^2_3 = 2.04$ ($p = 0.56$), falhando em rejeitar a hipótese nula global de ranks médios iguais.
  • A diferença crítica de Nemenyi foi calculada como $CD_{0.05} = 1.48$ unidades de rank.
  • A maior lacuna de rank observada foi entre GraphSAGE (rank médio 2.10) e GAT (rank médio 2.90), uma diferença de 0.80.
  • Conclusão: Como $0.80 < 1.48$, nenhuma das quatro arquiteturas foi significativamente melhor que qualquer outra em $\alpha = 0.05$. Todas as quatro caíram dentro de um único clique de Nemenyi.

Significado e Afirmações

O artigo posiciona o GRAPHNETZ como uma ferramenta para abordar a crise de reprodutibilidade no aprendizado em grafos ao incorporar rigor estatístico no pipeline padrão.

• Comparação Honesta: O framework fornece uma "comparação de modelo reprodutível e honesta" que leva em conta a incerteza da semente e previne a seleção seletiva de resultados.
• Evidência Calibrada: Os autores argumentam que os tamanhos de amostra típicos do campo (por exemplo, $N=10$ tarefas, $S=10$ sementes) frequentemente carecem de poder para distinguir entre arquiteturas canônicas. As saídas estatísticas do framework (ICs, diagramas CD) são "precisamente calibradas" para refletir a evidência real disponível, mostrando que diferenças de destaque frequentemente se dissolvem quando o ruído é devidamente contabilizado.
• Padrão Comunitário: Ao fazer com que a cadeia completa de relatoria estatística (da avaliação de múltiplas sementes aos diagramas CD) seja a saída padrão, o GRAPHNETZ visa servir à comunidade de aprendizado em grafos com um pipeline pronto para ser adotado em artigos de pesquisa, movendo o campo da relatoria de tabelas brutas de precisão para evidência estatística principial.

Os autores permanecem modestos quanto às implicações futuras, notando que aumentar o número de conjuntos de dados ($N$) apertaria o limiar de diferença crítica, e que estender o framework para incluir busca de hiperparâmetros ou modelos de base são próximos passos naturais, mas não fazem parte da versão atual.