Resumo Técnico: GraphLand: Avaliando Modelos de Aprendizado de Máquina em Grafos em Dados Industriais Diversos

Declaração do Problema

Apesar da prevalência de dados estruturados em grafos em aplicações industriais do mundo real, a avaliação de Modelos de Aprendizado de Máquina em Grafos (GML), particularmente Redes Neurais em Grafos (GNNs) e Modelos Fundamentais de Grafos (GFMs), permanece restrita a um conjunto limitado de benchmarks. Os benchmarks populares atuais dependem predominantemente de redes de citação acadêmicas (por exemplo, Cora, Citeseer, Pubmed) e de algumas redes de co-compra de comércio eletrônico. Esses conjuntos de dados sofrem de várias limitações críticas:

• Estreiteza de Domínio: Cobrem apenas um ou domínios de aplicação muito limitados, falhando em representar a diversidade de grafos do mundo real, como redes sociais, grafos da web e redes rodoviárias.
• Homogeneidade de Atributos: A maioria dos conjuntos de dados existentes fornece apenas atributos de nós textuais, ignorando a mistura complexa de recursos numéricos e categóricos comuns em ambientes industriais.
• Viés Estrutural: São amplamente homofílicos (arestas conectam nós semelhantes), enquanto muitos grafos industriais são não homofílicos.
• Lacunas de Avaliação: Benchmarks padrão frequentemente carecem de divisões temporais realistas e configurações indutivas, falhando em avaliar o desempenho do modelo sob deslocamentos distribucionais temporais ou quando novos nós aparecem sem dados de treinamento prévios.
• Limitações de Modelos Fundamentais: GFMs propostos são frequentemente avaliados apenas em grafos atribuídos com texto, ignorando o desafio de generalizar para grafos com conjuntos de atributos de nós arbitrários e não textuais.

Consequentemente, há uma falta de benchmarks confiáveis, diversos e realistas para avaliar as verdadeiras capacidades de generalização de modelos GML em contextos industriais.

Metodologia

Para abordar essas lacunas, os autores introduzem o GraphLand, um benchmark composto por 14 conjuntos de dados de grafos diversos derivados de aplicações industriais e fontes de dados abertas subutilizadas.

Construção do Conjunto de Dados

O benchmark inclui 14 conjuntos de dados cobrindo domínios como detecção de fraude na web, redes sociais de criadores de arte, previsão de tráfego rodoviário, previsão de taxa de cliques em anúncios (CTR) e detecção de fraude de trabalhadores em plataformas de crowdsourcing. Características-chave incluem:

• Diversidade: Grafos variam de ~11 mil a ~3 milhões de nós, com densidades, diâmetros e coeficientes de agrupamento variados.
• Riqueza de Atributos: Nós possuem atributos diversos, incluindo recursos numéricos e categóricos (por exemplo, interesses de usuários, metadados de segmentos de estrada, preços de produtos), indo além de descrições puramente textuais.
• Variedade de Tarefas: As tarefas incluem classificação binária (detecção de fraude), classificação multiclasse (previsão de tópico, previsão de região) e regressão (velocidade do tráfego, contagens de visualizações, CTR).
• Divisões de Dados: Os autores fornecem três estratégias de divisão distintas para a maioria dos conjuntos de dados:
  1. RL (Baixo Aleatório): 10% treinamento, 10% validação, 80% teste.
  2. RH (Alto Aleatório): 50% treinamento, 25% validação, 25% teste.
  3. TH (Temporal Alto): 50% treinamento, 25% validação, 25% teste baseados na evolução temporal, simulando deslocamentos distribucionais realistas.
  4. THI (Temporal Alto Indutivo): Similar ao TH, mas com uma configuração indutiva estrita onde nós de teste e suas arestas incidentes estão indisponíveis durante o treinamento.

Configuração Experimental

Os autores conduziram experimentos extensivos comparando várias classes de modelos:

• Baselines Agnósticas a Grafos: ResMLP (um MLP no estilo ResNet) e Árvores de Decisão com Gradiente Reforçado (GBDTs: XGBoost, LightGBM, CatBoost).
• Baselines Aprimoradas por Grafos: Os modelos acima aprimorados com Agregação de Recursos de Vizinhança (NFA), que anexa estatísticas agregadas de vizinhança (média, máximo, mínimo) aos atributos dos nós.
• Redes Neurais em Grafos (GNNs): Arquiteturas clássicas (GCN, GraphSAGE) e modelos baseados em atenção (GAT, Graph Transformer).
• Modelos Fundamentais de Grafos (GFMs): Avaliação de OpenGraph, AnyGraph, TS-GNN e GCOPE, focando em sua capacidade de lidar com recursos não textuais e transferir entre domínios.

Todos os modelos passaram por ajuste rigoroso de hiperparâmetros. Os experimentos foram executados em configurações transdutivas e indutivas para isolar o impacto da estrutura do grafo e dos deslocamentos temporais.

Resultados Principais

1. Utilidade da Estrutura do Grafo

A estrutura do grafo nos conjuntos de dados do GraphLand é altamente benéfica. As GNNs superaram consistentemente os modelos ResMLP agnósticos a grafos. Além disso, o aprimoramento de GBDTs com NFA melhorou significativamente seu desempenho, frequentemente permitindo que eles igualassem ou superassem GNNs padrão, particularmente em tarefas de regressão. Isso confirma que GBDTs com recursos derivados de grafos servem como bases fortes em ambientes industriais.

2. Desempenho de GNNs

• Mecanismos de Atenção: GNNs baseadas em atenção (GAT, Graph Transformer) geralmente superaram GNNs clássicas (GCN, GraphSAGE) na maioria dos conjuntos de dados, sugerindo que ponderar mensagens de vizinhança com base no conteúdo é crucial para grafos industriais diversos.
• Deslocamentos Temporais: Os modelos performaram significativamente pior sob divisões temporais (TH) em comparação com divisões aleatórias (RH), indicando que deslocamentos distribucionais realistas representam um desafio substancial.
• Configurações Indutivas: O desempenho caiu ainda mais na configuração indutiva (THI) em comparação com a configuração transdutiva, destacando a dificuldade de generalizar para nós não vistos em grafos em evolução.

3. Limitações dos Modelos Fundamentais Atuais

Os GFMs atuais (OpenGraph, AnyGraph, TS-GNN, GCOPE) falharam em produzir resultados competitivos nos conjuntos de dados do GraphLand.

• Eles lutaram com recursos de nós não textuais e grafos em grande escala.
• Seu desempenho foi frequentemente inferior ao de GNNs clássicas e até mesmo de baselines GBDT.
• Muitos modelos encontraram erros de tempo de execução ou limites de memória em conjuntos de dados maiores, e nenhum suportou tarefas de regressão de nós de forma eficaz nas implementações fornecidas.

Significado e Alegações

Os autores posicionam o GraphLand como um passo necessário em direção a uma avaliação mais realista e diversa de métodos GML. O artigo alega o seguinte significado:

1. Realismo de Benchmarking: O GraphLand fornece o primeiro benchmark unificado para previsão de propriedades de nós que abrange domínios industriais diversos, tipos de recursos e propriedades estruturais, indo além do domínio das redes de citação.
2. Destacando Lacunas de Pesquisa: O benchmark revela que os métodos GML atuais, incluindo GFMs, ainda não são robustos a deslocamentos distribucionais temporais ou capazes de lidar com conjuntos de atributos de nós arbitrários. Identifica o design de modelos resilientes a esses deslocamentos como uma direção de pesquisa crítica.
3. Reavaliação de Baselines: Os resultados demonstram que GBDTs com recursos baseados em grafos são competidores formidáveis às GNNs em ambientes industriais, desafiando a suposição de que GNNs são sempre superiores.
4. Avaliação de Modelos Fundamentais: O baixo desempenho dos GFMs atuais nesses conjuntos de dados sugere que o problema de criar modelos fundamentais de grafos verdadeiramente generalizáveis está longe de ser resolvido, particularmente no que diz respeito à generalização de recursos além do texto.

Os autores concluem que o GraphLand serve como um campo de testes confiável para pesquisas futuras, observando que trabalhos iniciais de acompanhamento já utilizaram o benchmark para desenvolver GFMs que alcançam resultados fortes nesses conjuntos de dados. Os conjuntos de dados e o código estão disponíveis publicamente via GitHub e PyTorch Geometric.