Technische Samenvatting: GraphLand: Evaluatie van Graph Machine Learning-modellen op Diverse Industriële Data

Probleemstelling

Ondanks de prevalentie van grafgestructureerde data in real-world industriële toepassingen, blijft de evaluatie van Graph Machine Learning (GML)-modellen, met name Graph Neural Networks (GNN's) en Graph Foundation Models (GFM's), beperkt door een smal scala aan benchmarks. Huidige populaire benchmarks vertrouwen voornamelijk op academische citatienetwerken (bijv. Cora, Citeseer, Pubmed) en een paar e-commerce co-aankoopnetwerken. Deze datasets lijden aan verschillende kritieke beperkingen:

• Domene-beperking: Ze dekken slechts één of zeer beperkte toepassingsdomeinen, waardoor ze de diversiteit van real-world grafen zoals sociale netwerken, webgrafieken en verkeersnetwerken niet weerspiegelen.
• Feature-homogeniteit: De meeste bestaande datasets bieden alleen tekstuele knooppuntattributen, waarbij ze de complexe mix van numerieke en categorische features die gebruikelijk is in industriële omgevingen, negeren.
• Structurele bias: Ze zijn grotendeels homofiel (randen verbinden vergelijkbare knooppunten), terwijl veel industriële grafen niet-homofiel zijn.
• Evaluatiegaten: Standaard benchmarks missen vaak realistische temporele data-splits en inductieve settings, waardoor ze het modelprestatie onder temporele distributieveranderingen of wanneer nieuwe knooppunten verschijnen zonder voorafgaande trainingsdata, niet beoordelen.
• Beperkingen van Foundation Models: Voorgestelde GFM's worden frequent alleen geëvalueerd op tekst-geattribueerde grafen, waarbij de uitdaging wordt genegeerd om te generaliseren naar grafen met willekeurige, niet-tekstuele knooppunt-feature sets.

Consequenterwijs ontbreekt het aan betrouwbare, diverse en realistische benchmarks om de ware generalisatiecapaciteiten van GML-modellen in industriële contexten te evalueren.

Methodologie

Om deze gaten aan te vullen, introduceren de auteurs GraphLand, een benchmark bestaande uit 14 diverse grafdatasets afgeleid van industriële toepassingen en onderbenutte open data-bronnen.

Dataset Constructie

De benchmark omvat 14 datasets die domeinen bestrijken zoals webfraudedetectie, sociale netwerken van kunstenaars, verkeersvoorspelling, advertentie-click-through rate (CTR)-voorspelling en fraude-detectie van crowdsourcing-werknemers. Belangrijke kenmerken zijn:

• Diversiteit: Grafen variëren van ~11K tot ~3M knooppunten, met variërende dichtheden, diameters en clusteringcoëfficiënten.
• Feature-rijkdom: Knopen bezitten diverse attributen, waaronder numerieke en categorische features (bijv. gebruikersinteresses, metadata van wegsegmenten, productprijzen), verdergaand dan puur tekstuele beschrijvingen.
• Taakvariëteit: Taken omvatten binaire classificatie (fraudedetectie), multiclass classificatie (onderwerpvoorspelling, regiovoorspelling) en regressie (verkeerssnelheid, aantal weergaven, CTR).
• Data-splits: De auteurs bieden drie verschillende splitsstrategieën voor de meeste datasets:
  1. RL (Random Low): 10% training, 10% validatie, 80% test.
  2. RH (Random High): 50% training, 25% validatie, 25% test.
  3. TH (Temporal High): 50% training, 25% validatie, 25% test gebaseerd op temporele evolutie, waarbij realistische distributieveranderingen worden gesimuleerd.
  4. THI (Temporal High Inductive): Vergelijkbaar met TH maar met een strikte inductieve setting waarbij testknooppunten en hun incidente randen tijdens training niet beschikbaar zijn.

Experimentele Opzet

De auteurs voerden uitgebreide experimenten uit waarbij verschillende modelklassen werden vergeleken:

• Graf-onafhankelijke Baselines: ResMLP (een ResNet-stijl MLP) en Gradient-Boosted Decision Trees (GBDT's: XGBoost, LightGBM, CatBoost).
• Graf-geaugmenteerde Baselines: De bovenstaande modellen verrijkt met Neighborhood Feature Aggregation (NFA), waarbij geaggregeerde buurstatistieken (gemiddelde, maximum, minimum) worden toegevoegd aan knooppuntfeatures.
• Graph Neural Networks (GNN's): Klassieke architecturen (GCN, GraphSAGE) en op attentie gebaseerde modellen (GAT, Graph Transformer).
• Graph Foundation Models (GFM's): Evaluatie van OpenGraph, AnyGraph, TS-GNN en GCOPE, met focus op hun vermogen om niet-tekstuele features te verwerken en te transfereren tussen domeinen.

Alle modellen ondergingen rigoureuze hyperparameter-tuning. Experimenten werden uitgevoerd in zowel transductieve als inductieve settings om de impact van grafstructuur en temporele verschuivingen te isoleren.

Belangrijkste Resultaten

1. Nut van Grafstructuur

De grafstructuur in GraphLand-datasets is zeer waardevol. GNN's presteerden consequent beter dan graf-onafhankelijke ResMLP-modellen. Bovendien verbeterde het aanvullen van GBDT's met NFA hun prestaties aanzienlijk, waardoor ze vaak standaard GNN's konden evenaren of zelfs overtreffen, met name bij regressietaken. Dit bevestigt dat GBDT's met graf-gebaseerde features sterke baselines vormen in industriële settings.

2. Prestaties van GNN's

• Attentie-mechanismen: Op attentie gebaseerde GNN's (GAT, Graph Transformer) presteerden over het algemeen beter dan klassieke GNN's (GCN, GraphSAGE) op de meeste datasets, wat suggereert dat het wegen van buurberichten op basis van inhoud cruciaal is voor diverse industriële grafen.
• Temporele verschuivingen: Modellen presteerden aanzienlijk slechter onder temporele (TH) splits in vergelijking met willekeurige (RH) splits, wat aangeeft dat realistische distributieveranderingen een aanzienlijke uitdaging vormen.
• Inductieve settings: De prestaties daalden verder in de inductieve (THI) setting in vergelijking met de transductieve setting, wat de moeilijkheid benadrukt om te generaliseren naar ongezette knooppunten in evoluerende grafen.

3. Beperkingen van Huidige Foundation Models

Huidige GFM's (OpenGraph, AnyGraph, TS-GNN, GCOPE) slaagden er niet in om concurrerende resultaten te behalen op GraphLand-datasets.

• Ze hadden moeite met niet-tekstuele knooppuntfeatures en grootschalige grafen.
• Hun prestaties waren vaak inferieur aan klassieke GNN's en zelfs GBDT-baselines.
• Veel modellen liepen vast op runtime-fouten of geheugengrenzen op grotere datasets, en geen enkele ondersteunde knoopregressietaken effectief in de meegeleverde implementaties.

Betekenis en Claims

De auteurs positioneren GraphLand als een noodzakelijke stap naar een realistischere en diversere evaluatie van GML-methoden. Het paper claimt de volgende betekenis:

1. Realisme in Benchmarking: GraphLand biedt de eerste unified benchmark voor knoop eigenschapsvoorspelling die diverse industriële domeinen, feature-types en structurele eigenschappen bestrijkt, verdergaand dan de dominantie van citatienetwerken.
2. Benadrukken van Onderzoeksgaten: De benchmark onthult dat huidige GML-methoden, inclusief GFM's, nog niet robuust zijn tegen temporele distributieveranderingen of in staat zijn om willekeurige knoop-feature sets te verwerken. Het identificeert het ontwerpen van modellen die resistent zijn tegen deze verschuivingen als een kritieke onderzoeksrichting.
3. Her-evaluatie van Baselines: De resultaten tonen aan dat GBDT's met graf-gebaseerde features formidable concurrenten zijn voor GNN's in industriële settings, wat de aanname uitdaagt dat GNN's altijd superieur zijn.
4. Beoordeling van Foundation Models: De slechte prestaties van huidige GFM's op deze datasets suggereren dat het probleem van het creëren van echt generaliseerbare graph foundation modellen verre van opgelost is, met name wat betreft feature-generalisatie buiten tekst om.

De auteurs concluderen dat GraphLand dient als een betrouwbare testomgeving voor toekomstig onderzoek, waarbij wordt opgemerkt dat vroeg opvolgend werk de benchmark al heeft gebruikt om GFM's te ontwikkelen die sterke resultaten behalen op deze datasets. De datasets en code zijn publiek beschikbaar gesteld via GitHub en PyTorch Geometric.