Riepilogo Tecnico: Un Dataset di Riferimento per la Regressione su Grafi con Varianti Omogenee e Multi-Relazionali

Enunciato del Problema

Le Reti Neurali su Grafi (GNN) hanno ottenuto successi significativi nelle attività di classificazione di nodi e grafi in domini come biologia, reti sociali e sistemi di raccomandazione. Tuttavia, la regressione su grafi rimane poco esplorata, con benchmark pubblici fortemente sbilanciati verso grafi molecolari e reti di citazione (principalmente in Chimica e Scoperta di Farmaci). Questa mancanza di diversità limita lo sviluppo e la valutazione delle GNN per compiti di regressione in altri campi critici, come ingegneria del software, finanza e trasporti. Nello specifico, vi è una scarsità di dataset che permettano ai ricercatori di indagare come le scelte di rappresentazione strutturale (omogenee vs. multi-relazionali) influenzino il comportamento dei modelli nella regressione su grafi.

Metodologia

Gli autori introducono RelSC, un nuovo dataset per regressione su grafi progettato per la previsione delle prestazioni del software, focalizzandosi specificamente sulla stima del tempo di esecuzione del codice sorgente Java. La metodologia prevede la trasformazione del codice sorgente in rappresentazioni a grafo che catturano sia la struttura sintattica che il flusso di esecuzione semantico.

Raccolta dei Dati

Il dataset comprende due fonti per garantire diversità in termini di complessità e ambiente:

1. OSSBuild: Tempi di esecuzione estratti dai sistemi di integrazione continua (CI) di quattro progetti open-source (SystemDS, H2, Dubbo, RDF4J).
2. HadoopTests: Tempi di esecuzione provenienti da 2.895 test unitari del framework Apache Hadoop, misurati in un ambiente virtuale controllato.
   I valori target (tempi di esecuzione) sono normalizzati nell'intervallo $[0, 1]$ per garantire la comparabilità tra dataset con scale diverse.

Costruzione del Grafo

Il contributo fondamentale risiede nella costruzione di due varianti di grafo complementari a partire dagli Alberi della Sintassi Astratta (AST):

1. RelSC-H (Omogeneo):

   • Inizia con un AST analizzato tramite javalang.
   • Converte l'albero in un grafo diretto.
   • Arricchimento: Integra archi provenienti da Grafi del Flusso di Controllo (CFG) e Grafi del Flusso di Dati (DFG) per catturare la semantica di esecuzione. Ciò include 11 tipi di archi aggiuntivi (ad esempio, Flusso If, Flusso di Esecuzione While, Prossimo Uso, Flusso della Prossima Istruzione).
   • Caratteristiche: I nodi sono codificati con vettori one-hot che rappresentano 72 tipi di nodi AST. Le caratteristiche dei nodi sono concatenate con la codifica one-hot sommata dei tipi di archi in uscita per catturare il contesto relazionale.

2. RelSC-M (Multi-Relazionale):

   • Si basa su RelSC-H ma categorizza i 72 tipi di nodi AST in 7 categorie semantiche: Dichiarazioni, Tipi di Dati, Flusso di Controllo, Operazioni, Elementi Strutturali, Eccezioni/Errori e Altri.
   • Struttura: Costruisce un grafo multi-relazionale in cui gli archi sono definiti dalla relazione specifica tra queste categorie, risultando in fino a 49 tipi di relazione distinti.
   • Caratteristiche: Simile a RelSC-H ma sfrutta il passaggio di messaggi eterogeneo per trattare distintamente i diversi tipi di relazione.

Contributi Chiave

1. Nuovo Benchmark: L'introduzione di RelSC, il primo benchmark su larga scala per la regressione su grafi nell'ingegneria del software che fornisce il tempo di esecuzione come variabile target continua.
2. Varianti Duali: Il rilascio di entrambe le varianti RelSC-H (omogenea, con ricche caratteristiche dei nodi) e RelSC-M (multi-relazionale, che preserva le relazioni semantiche originali), consentendo un confronto diretto su come la rappresentazione strutturale influisca sulle prestazioni di regressione.
3. Arricchimento Semantico: A differenza di lavori precedenti che si basavano esclusivamente su proprietà strutturali, questo approccio integra caratteristiche semantiche dei nodi e archi basati sul flusso (CFG/DFG) per creare una rappresentazione più espressiva dell'esecuzione del codice.
4. Rilascio Pubblico: Il dataset, gli oggetti grafo (formato PyTorch Geometric) e il codice per la costruzione del grafo e l'addestramento del modello sono disponibili pubblicamente.

Risultati Sperimentali

Gli autori hanno valutato un insieme diversificato di architetture su entrambe le varianti:

• Baseline: Modelli di codice sorgente (CodeBERT, Code2Vec) e GNN standard (GCN, ChebConv, GIN, GraphSAGE, PNA).
• Modelli Multi-Relazionali: HeteroGNN (HeteroSAGE, HeteroGAT) per RelSC-M.

Risultati Chiave:

• Superiorità delle GNN: I modelli basati su GNN hanno costantemente superato i modelli basati su codice sorgente (CodeBERT) e quelli basati su AST (Code2Vec) su tutti i dataset.
• Migliori Prestazioni:
  • Su RelSC-H, PNA (Principal Neighborhood Aggregation) ha ottenuto l'errore assoluto medio (MAE) più basso in ogni dataset.
  • Su RelSC-M, HeteroGAT ha generalmente superato HeteroSAGE, sebbene le prestazioni siano variate significativamente in base alla dimensione e alla complessità del dataset.
• Impatto della Rappresentazione: Contrariamente all'intuizione secondo cui le strutture multi-relazionali forniscono informazioni più ricche, i modelli addestrati su RelSC-H hanno spesso superato quelli su RelSC-M. Ciò suggerisce che sfruttare efficacemente i dati multi-relazionali per la regressione rimane una sfida aperta.
• Studio di Ablazione: L'aggiunta di archi di flusso (CFG/DFG) agli AST semplici ha ridotto significativamente il MAE (di circa 0,07–0,09), confermando il ruolo critico dell'arricchimento semantico nella previsione del tempo di esecuzione.
• Limitazioni: Tutti i modelli hanno faticato con i valori anomali e gli target ad alta varianza, in particolare nel dataset Hadoop, dove le previsioni si sono spesso raggruppate vicino allo zero e non sono riuscite a stimare accuratamente i tempi di esecuzione elevati.

Significato e Affermazioni

Il documento afferma che RelSC colma una lacuna critica nella disponibilità di benchmark diversificati per la regressione su grafi. Spostandosi oltre il panorama dominato dalla chimica, consente l'esplorazione delle GNN nell'ingegneria del software, un dominio con alta rilevanza pratica per l'ottimizzazione del codice, il refactoring e il rilevamento delle regressioni delle prestazioni CI/CD.

Gli autori posizionano RelSC non come una proposta di una nuova architettura, ma come un banco di prova rigoroso per valutare modelli esistenti e futuri. I risultati evidenziano che, sebbene le GNN siano superiori ai metodi non basati su grafi per questo compito, la scelta specifica della rappresentazione strutturale (omogenea vs. multi-relazionale) influisce significativamente sulle prestazioni. Il documento conclude che i dataset proposti servono come risorsa preziosa per avanzare l'apprendimento basato su grafi in domini poco esplorati, sebbene rivelino anche che i modelli attuali faticano ancora con la complessità e la variabilità dei tempi di esecuzione del software reale.