Technische Samenvatting: OgBench – Een Kader voor het Evalueren van Graph Neural Networks op Omics-Data

Probleemstelling

Graph Neural Networks (GNN's) hebben zich gevestigd als het dominante kader voor inductief leren op graf-niveau. Echter, bestaande benchmarks (zoals OGB, TUDataset, LRGB) opereren voornamelijk in het regime $n \gg p$, waarbij het aantal grafen ($n$) aanzienlijk groter is dan het aantal knopen per graf ($p$). Dit staat in schril contrast met het biologische domein van omics (genomica, transcriptomica, proteomica, epigenomica), dat opereert in het regime $n \ll p$. In omics worden datasets gekenmerkt door massale grafen (tienduizenden genen of eiwitten per steekproef), maar een schaarste aan gelabelde steekproeven (patiënten of proefpersonen) vanwege kosten, privacy en klinische beperkingen.

Huidig GNN-onderzoek loopt het risico te stagneren omdat standaardbenchmarks deze realiteit van hoge dimensionaliteit en lage steekproefgrootte niet weerspiegelen. In statistisch leren is het regime $n \ll p$ vatbaar voor overfitting en instabiliteit. Hoewel GNN's structurele priors benutten die theoretisch gunstig zouden kunnen zijn voor deze setting, suggereren recente studies dat ze vaak falen om betere prestaties te leveren dan eenvoudigere machine learning-baselines in omics-taken. Bovendien ontbreekt het de sector aan een gestandaardiseerde pijplijn; prestatiewinsten worden vaak verward met heterogene upstream-voorverwerking (zoals aggregatie van probe naar gen, normalisatie, aanpassing van covariaten), waardoor het moeilijk is om te isoleren of verbeteringen voortkomen uit architecturale innovatie of artefacten van dataverwerking.

Methodologie: Het OgBench-kader

Om deze hiaten aan te pakken, introduceren de auteurs OgBench, het eerste benchmarkplatform dat expliciet is ontworpen voor voorspelling op graf-niveau in het $n \ll p$ omics-regime. OgBench biedt een modulaire, end-to-end infrastructuur die dataverwerking, grafconstructie en modeltraining ontkoppelt.

1. Gestandaardiseerde Datasets

Het kader integreert vier opgeschoonde, modelklare datasets die drie omics-modaliteiten bestrijken:

• HERITAGE (Proteomica): Binaire classificatie van respons op beweging ($n=654$, $p=4977$ eiwitten).
• Parkinson's (Transcriptomica): Binaire classificatie van cognitieve status op basis van MoCA-scores ($n=535$, $p=21.755$ genen).
• AddNeuroMed (Transcriptomica): Drie-klassen klinische diagnose (AD, MCI, Controle) ($n=711$, $p=17.198$ genen).
• BRCA (Epigenomica): Vier-klassen classificatie van borstkankersubtypes ($n=640$, $p=19.049$ methylatieregio's gemapt op genen).

Alle datasets ondergaan een consistente voorverwerkingspijplijn inclusief aggregatie van probe naar gen, normalisatie en aanpassing van covariaten, waarbij de data-splits vaststaan op 70/15/15 (train/val/test).

2. Modulaire Grafconstructie

OgBench behandelt knoopselectie en randconstructie als uitwisselbare modules om gecontroleerde ablatiestudies mogelijk te maken:

• Knoopselectie: Strategieën omvatten filtering op variantie, Pearson-correlatie, afstandscorrelatie (voor niet-lineaire afhankelijkheden) en willekeurige subsampling. Dit stelt onderzoekers in staat om de impact van priors voor feature-selectie op modelprestaties te bestuderen.
• Randconstructie: Twee primaire strategieën worden ondersteund:
  • Data-gedreven: Co-expressie-grafen gebouwd via paarwise Pearson-correlatie met soft-thresholding om een schaalvrije topologie te benaderen.
  • Biologische prior: Protein-Protein Interaction (PPI)-netwerken afgeleid van de STRING-database (interacties met gemiddeld vertrouwen).
  • Cruciaal is dat de adjacentiematrix voor alle steekproeven gelijk blijft (globale topologie), terwijl de knoopkenmerken (expressiewaarden) steekproefs specifiek blijven.

3. Modellenreeks en Baselines

Het kader benchmarkt een diverse reeks modellen tegen klassieke baselines:

• Baselines: Support Vector Machines (SVM) en Elastic Net (geregulariseerde lineaire modellen), die vaak concurrerend zijn in settings met hoge dimensionaliteit.
• Deep Learning-baseline: Multi-Layer Perceptrons (MLP's) om de bijdrage van graf-topologie te isoleren van niet-lineaire kenmerktransformatie.
• GNN's:
  • Klassiek: GCN, GraphSAGE, GATv2, GIN.
  • Schalbaar: SAGN (ontworpen voor grote grafen).
  • Specifiek voor omics: ChebNet (spectrale convoluties), MLA-GNN (multi-level attention).
  • Transformers: GPS (General Graph Transformer).

4. Evaluatieprotocol

Experimenten omvatten rigoureuze hyperparameteroptimalisatie (grid search over leersnelheden, aantal lagen, etc.) en het gebruik van Top-K ensemble-aggregatie om de instabiliteit van validatiegebaseerde selectie in regimes met kleine steekproefgroottes te mitigeren. Metrieken omvatten Macro F1, Weighted F1, Accuracy en AUROC, naast maatstaven voor computationele efficiëntie.

Belangrijkste Resultaten

De experimentele evaluatie over de vier datasets levert enkele kritieke inzichten op:

1. GNN's presteren niet consequent beter dan eenvoudige baselines: In het regime $n \ll p$ slagen veelgebruikte GNN's (GCN, GAT, GIN) er vaak niet in om overtuigend beter te presteren dan eenvoudige MLP's of klassieke regulariseerde lineaire modellen (SVM, Elastic Net). Op datasets zoals Parkinson's en BRCA blijven lineaire baselines concurrerend of superieur.
2. Taakafhankelijke bruikbaarheid van structuur: De waarde van grafstructuur is sterk dataset-afhankelijk. Op de HERITAGE-dataset vertoonden grafgebaseerde methoden voordelen, terwijl dit op andere datasets niet het geval was. Dit suggereert dat structurele inductieve biases niet universeel gunstig zijn in omics.
3. Readout-mechanismen zijn belangrijk: In datasets waar GNN's onderpresteren ten opzichte van baselines (Parkinson's, BRCA), presteert het gebruik van een MLP readout (het leren van gewichten op knoop-embeddings zonder berichtdoorvoer) aanzienlijk beter dan vanilla pooling (gemiddelde/sum-aggregatie). Dit impliceert dat globale kenmerkinTEGRATIE de prestaties drijft in plaats van lokaal berichtdoorvoer, wat aangeeft dat de graf-topologie in deze gevallen beperkte signalen toevoegt boven de knoopkenmerken zelf.
4. Knoopselectie is cruciaal: De keuze voor een strategie voor knoopselectie interageert complex met modelprestaties. Interessant is dat op HERITAGE willekeurige knoopselectie soms de beste grafgebaseerde prestaties opleverde, wat suggereert dat het behoud van netwerkkoppeling (zelfs met minder voorspellende knopen) cruciaal is voor berichtdoorvoer-mechanismen, terwijl correlatiegebaseerde selectie (die individueel voorspellende knopen kiest) de grafstructuur kan verstoren.
5. Gevoeligheid voor randbron: Geen enkele randbron (PPI versus Co-expressie) presteert consequent beter dan de andere. De optimale keuze hangt af van de specifieke GNN-ruggegraat en dataset, wat suggereert dat de interactie tussen architectuur en topologie belangrijker is dan de randbron zelf.
6. Validatie-instabiliteit: In het regime $n \ll p$ is het selecteren van een enkel beste model op basis van een kleine validatieset onbetrouwbaar. Ensemble-aggregatie (het middelen van voorspellingen van de top-K configuraties) vermindert variantie en onthult ware modelvoordelen die selectie op basis van een enkele configuratie vaak verdoezelt.

Betekenis en Claims

Het paper claimt dat OgBench een noodzakelijke "realiteitscheck" biedt voor de toepassing van GNN's in biomedische context. Door bloot te leggen dat standaard GNN's vaak moeite hebben om betere prestaties te leveren dan eenvoudigere methoden in data-schaarse, hoogdimensionale omics-settings, daagt het kader de heersende aanname uit dat grafstructuur inherent waarde toevoegt.

De auteurs betogen dat de sector voorbij moet gaan aan incrementele prestatiewinsten op standaardbenchmarks en moet ingaan op een kritische herbeoordeling van leerparadigma's. De resultaten suggereren dat het blind toepassen van grafmethoden op biologische data zonder de geldigheid van de onderliggende structuur of de geschiktheid van de architectuur voor het regime $n \ll p$ in twijfel te trekken, kan leiden tot stagnatie. OgBench heeft tot doel de ontwikkeling van nieuwe architecturen te stimuleren die expliciet zijn toegesneden op biologische grafen, en de gemeenschap een reproduceerbaar, open-source ecosysteem te bieden om dergelijke innovaties te valideren. De code en datasets zijn vrijgegeven om deze transitie te faciliteren.