Riepilogo Tecnico: OgBench – Un Framework per la Valutazione delle Reti Neurali su Grafi su Dati Omici

Enunciato del Problema

Le Reti Neurali su Grafi (GNN) si sono affermate come il framework dominante per l'apprendimento induttivo a livello di grafo. Tuttavia, i benchmark esistenti (ad esempio OGB, TUDataset, LRGB) operano prevalentemente nel regime $n \gg p$, dove il numero di grafi ($n$) supera significativamente il numero di nodi per grafo ($p$). Questo contrasta nettamente con il dominio biologico delle omics (genomica, trascrittomica, proteomica, epigenomica), che opera nel regime $n \ll p$. Nelle omics, i dataset sono caratterizzati da grafi massicci (decine di migliaia di geni o proteine per campione) ma da una scarsità di campioni etichettati (pazienti o soggetti) a causa di costi, privacy e vincoli clinici.

La ricerca attuale sulle GNN rischia la stagnazione perché i benchmark standard non riflettono questa realtà ad alta dimensionalità e basso numero di campioni. Nell'apprendimento statistico, il regime $n \ll p$ è soggetto a overfitting e instabilità. Sebbene le GNN sfruttino prior strutturali che potrebbero teoricamente avvantaggiare questo contesto, studi recenti suggeriscono che spesso non riescono a superare semplici baseline di machine learning nelle attività omiche. Inoltre, il campo manca di una pipeline standardizzata; i guadagni di prestazioni sono spesso confusi da pre-elaborazioni a monte eterogenee (ad esempio, aggregazione da sonda a gene, normalizzazione, aggiustamento delle covariate), rendendo difficile isolare se i miglioramenti derivino da innovazioni architetturali o da artefatti di elaborazione dei dati.

Metodologia: Il Framework OgBench

Per colmare queste lacune, gli autori introducono OgBench, la prima piattaforma di benchmarking progettata specificamente per la previsione a livello di grafo nel regime omico $n \ll p$. OgBench fornisce un'infrastruttura modulare end-to-end che disaccoppia la pre-elaborazione dei dati, la costruzione del grafo e l'addestramento del modello.

1. Dataset Standardizzati

Il framework integra quattro dataset puliti e pronti per il modello, che coprono tre modalità omiche:

• HERITAGE (Proteomica): Classificazione binaria dei responder all'esercizio fisico ($n=654$, $p=4977$ proteine).
• Parkinson's (Trascrittomica): Classificazione binaria dello stato cognitivo basata sui punteggi MoCA ($n=535$, $p=21.755$ geni).
• AddNeuroMed (Trascrittomica): Diagnosi clinica a tre classi (AD, MCI, Controllo) ($n=711$, $p=17.198$ geni).
• BRCA (Epigenomica): Classificazione a quattro classi dei sottotipi di cancro al seno ($n=640$, $p=19.049$ regioni di metilazione mappate sui geni).

Tutti i dataset subiscono una pipeline di pre-elaborazione coerente che include aggregazione da sonda a gene, normalizzazione e aggiustamento delle covariate, con divisioni dei dati fissate al 70/15/15 (addestramento/convalida/test).

2. Costruzione Modulare del Grafo

OgBench tratta la selezione dei nodi e la costruzione degli archi come moduli intercambiabili per consentire studi di ablazione controllati:

• Selezione dei Nodi: Le strategie includono il filtraggio per varianza, la correlazione di Pearson, la correlazione di distanza (per dipendenze non lineari) e il sottocampionamento casuale. Ciò permette ai ricercatori di studiare l'impatto dei prior di selezione delle caratteristiche sulle prestazioni del modello.
• Costruzione degli Archi: Sono supportate due strategie principali:
  • Guidata dai dati: Grafi di co-espressione costruiti tramite correlazione di Pearson pairwise con sogliatura soft per approssimare la topologia senza scala.
  • Prior Biologico: Reti di interazione proteina-proteina (PPI) derivate dal database STRING (interazioni a media confidenza).
  • Crucialmente, la matrice di adiacenza è fissa su tutti i campioni (topologia globale), mentre le caratteristiche dei nodi (valori di espressione) rimangono specifiche per il campione.

3. Suite di Modelli e Baseline

Il framework mette a confronto una serie diversificata di modelli con baseline classiche:

• Baseline: Macchine a vettori di supporto (SVM) e Elastic Net (modelli lineari regolarizzati), che sono spesso competitivi in contesti ad alta dimensionalità.
• Baseline di Deep Learning: Perceptron Multistrato (MLP) per isolare il contributo della topologia del grafo dalla trasformazione non lineare delle caratteristiche.
• GNN:
  • Classiche: GCN, GraphSAGE, GATv2, GIN.
  • Scalabili: SAGN (progettato per grafi grandi).
  • Specifiche per le omics: ChebNet (convoluzioni spettrali), MLA-GNN (attenzione multilivello).
  • Trasformatori: GPS (General Graph Transformer).

4. Protocollo di Valutazione

Gli esperimenti prevedono un'ottimizzazione rigorosa degli iperparametri (ricerca a griglia su tassi di apprendimento, numero di livelli, ecc.) e l'uso dell'aggregazione di ensemble Top-K per mitigare l'instabilità della selezione basata sulla convalida in regimi a basso numero di campioni. Le metriche includono Macro F1, Weighted F1, Accuratezza e AUROC, insieme a misure di efficienza computazionale.

Risultati Chiave

La valutazione sperimentale sui quattro dataset produce diverse intuizioni critiche:

1. Le GNN non superano costantemente le semplici baseline: Nel regime $n \ll p$, le GNN ampiamente utilizzate (GCN, GAT, GIN) spesso non riescono a superare in modo convincente semplici MLP o modelli lineari regolarizzati classici (SVM, Elastic Net). Su dataset come Parkinson's e BRCA, le baseline lineari rimangono competitive o superiori.
2. Utilità dipendente dal compito della struttura: Il valore della struttura del grafo è altamente dipendente dal dataset. Sul dataset HERITAGE, i metodi basati su grafi hanno mostrato vantaggi, mentre su altri non li hanno avuti. Ciò suggerisce che i bias induttivi strutturali non sono universalmente benefici nelle omics.
3. I meccanismi di lettura (Readout) contano: Nei dataset in cui le GNN performano peggio delle baseline (Parkinson's, BRCA), l'uso di un readout MLP (apprendimento dei pesi sugli embedding dei nodi senza passaggio di messaggi) supera significativamente il pooling vanilla (aggregazione media/somma). Ciò implica che l'integrazione globale delle caratteristiche guida le prestazioni piuttosto che il passaggio locale di messaggi, indicando che in questi casi la topologia del grafo aggiunge un segnale limitato oltre alle caratteristiche dei nodi stessi.
4. La selezione dei nodi è critica: La scelta della strategia di selezione dei nodi interagisce in modo complesso con le prestazioni del modello. Interessantemente, su HERITAGE, la selezione casuale dei nodi ha talvolta prodotto le migliori prestazioni basate su grafi, suggerendo che preservare la connettività di rete (anche con nodi meno predittivi) è cruciale per i meccanismi di passaggio dei messaggi, mentre la selezione basata sulla correlazione (che seleziona nodi individualmente predittivi) può disturbare la struttura del grafo.
5. Sensibilità alla fonte degli archi: Nessuna singola fonte di archi (PPI vs Co-espressione) supera costantemente l'altra. La scelta ottimale dipende dal backbone specifico della GNN e dal dataset, suggerendo che l'interazione tra architettura e topologia è più significativa della fonte degli archi stessa.
6. Instabilità della convalida: Nel regime $n \ll p$, la selezione di un singolo modello migliore basata su un piccolo set di convalida è inaffidabile. L'aggregazione di ensemble (media delle previsioni dalle configurazioni Top-K) riduce la varianza e rivela i veri vantaggi del modello che la selezione a configurazione singola spesso oscura.

Significato e Affermazioni

Il paper afferma che OgBench fornisce un necessario "reality check" per l'applicazione delle GNN in biomedicina. Esporre il fatto che le GNN standard spesso faticano a superare metodi più semplici in contesti omici ad alta dimensionalità e scarsità di dati, sfida l'assunzione prevalente secondo cui la struttura del grafo aggiunge intrinsecamente valore.

Gli autori sostengono che il campo deve andare oltre i guadagni incrementali di prestazioni sui benchmark standard e impegnarsi in una rivalutazione critica dei paradigmi di apprendimento. I risultati suggeriscono che applicare ciecamente metodi basati su grafi ai dati biologici senza mettere in discussione la validità della struttura sottostante o l'idoneità dell'architettura per il regime $n \ll p$ può portare alla stagnazione. OgBench mira a favorire lo sviluppo di nuove architetture specificamente adattate ai grafi biologici e a fornire alla comunità un ecosistema open-source e riproducibile per validare tali innovazioni. Il codice e i dataset sono rilasciati per facilitare questa transizione.