Resumo Técnico: Um Conjunto de Dados de Referência para Regressão em Grafos com Variantes Homogêneas e Multi-Relacionais

Declaração do Problema

Redes Neurais em Grafos (GNNs) alcançaram sucesso significativo em tarefas de classificação de nós e grafos em domínios como biologia, redes sociais e sistemas de recomendação. No entanto, a regressão em grafos permanece pouco explorada, com benchmarks públicos fortemente enviesados para grafos moleculares e redes de citação (principalmente em Química e Descoberta de Medicamentos). Essa falta de diversidade restringe o desenvolvimento e a avaliação de GNNs para tarefas de regressão em outros campos críticos, como engenharia de software, finanças e transporte. Especificamente, há uma escassez de conjuntos de dados que permitam aos pesquisadores investigar como escolhas de representação estrutural (homogênea vs. multi-relacional) influenciam o comportamento do modelo em regressão em grafos.

Metodologia

Os autores introduzem o RelSC, um novo conjunto de dados para regressão em grafos projetado para previsão de desempenho de software, focando especificamente na estimativa de tempo de execução de código-fonte Java. A metodologia envolve transformar código-fonte em representações em grafos que capturam tanto a estrutura sintática quanto o fluxo de execução semântico.

Coleta de Dados

O conjunto de dados compreende duas fontes para garantir diversidade em complexidade e ambiente:

1. OSSBuild: Tempos de execução extraídos de sistemas de integração contínua (CI) de quatro projetos de código aberto (SystemDS, H2, Dubbo, RDF4J).
2. HadoopTests: Tempos de execução de 2.895 testes unitários do framework Apache Hadoop, medidos em um ambiente virtual controlado.
   Os valores-alvo (tempos de execução) são normalizados para o intervalo $[0, 1]$ para garantir comparabilidade entre conjuntos de dados com escalas diferentes.

Construção do Grafo

A contribuição central reside na construção de duas variantes de grafos complementares a partir de Árvores de Sintaxe Abstrata (ASTs):

1. RelSC-H (Homogêneo):

   • Começa com uma AST parseada via javalang.
   • Converte a árvore em um grafo direcionado.
   • Aumento: Integra arestas de Grafos de Fluxo de Controle (CFG) e Grafos de Fluxo de Dados (DFG) para capturar semântica de execução. Isso inclui 11 tipos de arestas adicionais (por exemplo, Fluxo de Se, Fluxo de Execução de Enquanto, Próximo Uso, Fluxo da Próxima Instrução).
   • Recursos: Os nós são codificados com vetores one-hot representando 72 tipos de nós AST. Os recursos dos nós são concatenados com a codificação one-hot somada dos tipos de arestas de saída para capturar o contexto relacional.

2. RelSC-M (Multi-Relacional):

   • Baseia-se no RelSC-H, mas categoriza os 72 tipos de nós AST em 7 categorias semânticas: Declarações, Tipos de Dados, Fluxo de Controle, Operações, Elementos Estruturais, Exceções/Erros e Outros.
   • Estrutura: Constrói um grafo multi-relacional onde as arestas são definidas pela relação específica entre essas categorias, resultando em até 49 tipos de relação distintos.
   • Recursos: Similar ao RelSC-H, mas aproveita a passagem de mensagens heterogênea para tratar diferentes tipos de relação distintamente.

Principais Contribuições

1. Novo Benchmark: A introdução do RelSC, o primeiro benchmark de grande escala para regressão em grafos em engenharia de software que fornece tempo de execução como uma variável-alvo contínua.
2. Variantes Duais: A liberação de ambas as variantes RelSC-H (homogênea, com recursos de nós ricos) e RelSC-M (multi-relacional, preservando relações semânticas originais), permitindo comparação direta de como a representação estrutural afeta o desempenho de regressão.
3. Aumento Semântico: Diferentemente de trabalhos anteriores que confiavam apenas em propriedades estruturais, esta abordagem integra recursos de nós semânticos e arestas baseadas em fluxo (CFG/DFG) para criar uma representação mais expressiva da execução do código.
4. Liberação Pública: O conjunto de dados, objetos de grafos (formato PyTorch Geometric) e código para construção de grafos e treinamento de modelos estão disponíveis publicamente.

Resultados Experimentais

Os autores avaliaram um conjunto diversificado de arquiteturas em ambas as variantes:

• Baselines: Modelos de código-fonte (CodeBERT, Code2Vec) e GNNs padrão (GCN, ChebConv, GIN, GraphSAGE, PNA).
• Modelos Multi-Relacionais: HeteroGNNs (HeteroSAGE, HeteroGAT) para RelSC-M.

Principais Descobertas:

• Superioridade das GNNs: Modelos baseados em GNN superaram consistentemente modelos baseados em código-fonte (CodeBERT) e baseados em AST (Code2Vec) em todos os conjuntos de dados.
• Melhores Desempenhos:
  • No RelSC-H, o PNA (Agregação de Vizinhança Principal) alcançou o menor Erro Absoluto Médio (MAE) em cada conjunto de dados.
  • No RelSC-M, o HeteroGAT geralmente superou o HeteroSAGE, embora o desempenho tenha variado significativamente conforme o tamanho e a complexidade do conjunto de dados.
• Impacto da Representação: Contrariando a intuição de que estruturas multi-relacionais fornecem informações mais ricas, modelos treinados no RelSC-H frequentemente superaram aqueles no RelSC-M. Isso sugere que aproveitar efetivamente dados multi-relacionais para regressão permanece um desafio aberto.
• Estudo de Ablação: Adicionar arestas de fluxo (CFG/DFG) a ASTs simples reduziu significativamente o MAE (em ~0,07–0,09), confirmando o papel crítico do aumento semântico na previsão de tempo de execução.
• Limitações: Todos os modelos lutaram com outliers e alvos de alta variância, particularmente no conjunto de dados Hadoop, onde as previsões frequentemente se agrupavam perto de zero e falhavam em estimar tempos de execução altos com precisão.

Significado e Alegações

O artigo afirma que o RelSC aborda uma lacuna crítica na disponibilidade de benchmarks diversos para regressão em grafos. Ao ir além do cenário dominado pela química, permite a exploração de GNNs na engenharia de software, um domínio com alta relevância prática para otimização de código, refatoração e detecção de regressão de desempenho em CI/CD.

Os autores posicionam o RelSC não como uma proposta de uma nova arquitetura, mas como um campo de testes rigoroso para avaliar modelos existentes e futuros. Os resultados destacam que, embora as GNNs sejam superiores a métodos não baseados em grafos para esta tarefa, a escolha específica da representação estrutural (homogênea vs. multi-relacional) impacta significativamente o desempenho. O artigo conclui que os conjuntos de dados propostos servem como um recurso valioso para avançar a aprendizagem baseada em grafos em domínios pouco explorados, embora também revelem que os modelos atuais ainda lutam com a complexidade e a variabilidade dos tempos de execução de software do mundo real.