Technische Samenvatting: Een Benchmarkdataset voor Graph Regression met Homogene en Multi-Relationele Variant

Probleemstelling

Graph Neural Networks (GNN's) hebben aanzienlijk succes geboekt bij node- en graph-classificatietaken in domeinen zoals biologie, sociale netwerken en aanbevelingssystemen. Echter, graph regression blijft onderbelicht, waarbij publieke benchmarks sterk vertekend zijn naar moleculaire grafen en citatienetwerken (voornamelijk in chemie en geneesmiddelenontwikkeling). Dit gebrek aan diversiteit beperkt de ontwikkeling en evaluatie van GNN's voor regressietaken in andere kritieke domeinen, zoals software-engineering, financiën en vervoer. Specifiek is er een schaarste aan datasets die onderzoekers in staat stellen te onderzoeken hoe keuzes in structurele representatie (homogeen versus multi-relationeel) het modelgedrag beïnvloeden bij graph regression.

Methodologie

De auteurs introduceren RelSC, een nieuwe graph-regression dataset ontworpen voor softwareprestatievoorspelling, met name gericht op schatting van uitvoeringstijd van Java-broncode. De methodologie omvat het transformeren van broncode naar graafrepresentaties die zowel de syntactische structuur als de semantische uitvoeringsflow vastleggen.

Datacollectie

De dataset bestaat uit twee bronnen om diversiteit in complexiteit en omgeving te waarborgen:

1. OSSBuild: Uitvoeringstijden ontleend aan continuous integration (CI)-systemen van vier open-sourceprojecten (SystemDS, H2, Dubbo, RDF4J).
2. HadoopTests: Uitvoeringstijden van 2.895 unit-tests van het Apache Hadoop-framework, gemeten in een gecontroleerde virtuele omgeving.
   Doelwaarden (uitvoeringstijden) zijn genormaliseerd naar het bereik $[0, 1]$ om vergelijkbaarheid te garanderen tussen datasets met verschillende schalen.

Graph Constructie

De kernbijdrage ligt in de constructie van twee complementaire graphvarianten vanuit Abstract Syntax Trees (AST's):

1. RelSC-H (Homogeen):

   • Start met een AST die is geparseerd via javalang.
   • Converteert de boom naar een gerichte graaf.
   • Augmentatie: Integreert randen uit Control Flow Graphs (CFG) en Data Flow Graphs (DFG) om uitvoeringssemantiek vast te leggen. Dit omvat 11 extra randtypes (bijv. If Flow, While Execution Flow, Next Use, Next Statement Flow).
   • Features: Nodes worden gecodeerd met one-hot-vectoren die 72 AST-nodetypes vertegenwoordigen. Node-features worden geconcentreerd met de opgetelde one-hot-codering van uitgaande randtypes om relationele context vast te leggen.

2. RelSC-M (Multi-Relationeel):

   • Bouwt voort op RelSC-H maar categoriseert de 72 AST-nodetypes in 7 semantische categorieën: Declaraties, Datatypes, Control Flow, Operaties, Structurele Elementen, Uitzonderingen/Fouten en Overig.
   • Structuur: Construeert een multi-relationele graaf waarbij randen worden gedefinieerd door de specifieke relatie tussen deze categorieën, wat resulteert in maximaal 49 distincte relationtypes.
   • Features: Vergelijkbaar met RelSC-H, maar maakt gebruik van heterogene message passing om verschillende relationtypes distinct te behandelen.

Belangrijkste Bijdragen

1. Nieuwe Benchmark: De introductie van RelSC, de eerste grootschalige benchmark voor graph regression in software-engineering die uitvoeringstijd biedt als continue doelvariabele.
2. Dual Varianten: De release van zowel RelSC-H (homogeen, rijke node-features) als RelSC-M (multi-relationeel, behoud van oorspronkelijke semantische relaties), waardoor directe vergelijking mogelijk is van hoe structurele representatie regressieprestaties beïnvloedt.
3. Semantische Augmentatie: In tegenstelling tot eerdere werken die uitsluitend leunden op structurele eigenschappen, integreert deze aanpak semantische node-features en flow-gebaseerde randen (CFG/DFG) om een expressievere representatie van code-uitvoering te creëren.
4. Publieke Release: De dataset, graph-objecten (PyTorch Geometric-formaat) en code voor graph-construction en modeltraining zijn publiek beschikbaar.

Experimentele Resultaten

De auteurs evalueerden een diverse set architecturen op beide varianten:

• Baselines: Broncode-modellen (CodeBERT, Code2Vec) en standaard GNN's (GCN, ChebConv, GIN, GraphSAGE, PNA).
• Multi-Relationele Modellen: HeteroGNN's (HeteroSAGE, HeteroGAT) voor RelSC-M.

Belangrijkste Bevindingen:

• GNN-superioriteit: GNN-gebaseerde modellen presteerden consistent beter dan op broncode gebaseerde (CodeBERT) en op AST gebaseerde (Code2Vec) modellen over alle datasets.
• Beste Performers:
  • Op RelSC-H behaalde PNA (Principal Neighborhood Aggregation) de laagste Mean Absolute Error (MAE) in elke dataset.
  • Op RelSC-M presteerde HeteroGAT over het algemeen beter dan HeteroSAGE, hoewel de prestaties aanzienlijk varieerden naargelang datasetgrootte en complexiteit.
• Impact van Representatie: In tegenstelling tot de intuïtie dat multi-relationele structuren rijkere informatie bieden, presteerden modellen getraind op RelSC-H vaak beter dan die op RelSC-M. Dit suggereert dat het effectief benutten van multi-relationele data voor regression nog steeds een open uitdaging blijft.
• Ablatiestudie: Het toevoegen van flow-randen (CFG/DFG) aan gewone AST's verlaagde de MAE aanzienlijk (met ongeveer 0,07–0,09), wat de kritieke rol van semantische augmentatie bij het voorspellen van uitvoeringstijd bevestigt.
• Beperkingen: Alle modellen hadden moeite met outliers en doelvariabelen met hoge variantie, met name in de Hadoop-dataset, waarbij voorspellingen vaak dicht bij nul clusterden en hoge uitvoeringstijden niet accuraat konden schatten.

Betekenis en Claims

Het artikel stelt dat RelSC een kritieke kloof aanpakt in de beschikbaarheid van diverse benchmarks voor graph regression. Door verder te gaan dan het door chemie gedomineerde landschap, maakt het de exploratie van GNN's in software-engineering mogelijk, een domein met hoge praktische relevantie voor code-optimalisatie, refactoring en het detecteren van prestatierelaties in CI/CD.

De auteurs positioneren RelSC niet als een voorstel voor een nieuwe architectuur, maar als een rigoureus testbed om bestaande en toekomstige modellen te evalueren. De resultaten benadrukken dat, hoewel GNN's superieur zijn aan niet-graph-methoden voor deze taak, de specifieke keuze van structurele representatie (homogeen versus multi-relationeel) de prestaties aanzienlijk beïnvloedt. Het artikel concludeert dat de voorgestelde datasets een waardevolle bron vormen voor het bevorderen van op grafen gebaseerd leren in onderbelichte domeinen, hoewel ze ook aantonen dat huidige modellen nog steeds worstelen met de complexiteit en variabiliteit van uitvoeringstijden in real-world software.