Riepilogo Tecnico: GraphLand: Valutazione di Modelli di Apprendimento Automatico su Grafi su Dati Industriali Diversificati

Enunciato del Problema

Nonostante la prevalenza di dati strutturati a grafo nelle applicazioni industriali reali, la valutazione dei modelli di Graph Machine Learning (GML), in particolare delle Graph Neural Networks (GNN) e dei Graph Foundation Models (GFM), rimane vincolata da un insieme ristretto di benchmark. I benchmark popolari attuali si basano prevalentemente su reti di citazioni accademiche (ad esempio Cora, Citeseer, Pubmed) e su alcune reti di acquisto congiunto di e-commerce. Questi dataset soffrono di diverse limitazioni critiche:

• Strettezza del Dominio: Coprono solo uno o molto pochi domini applicativi, non riuscendo a rappresentare la diversità dei grafi reali come reti sociali, grafi web e reti stradali.
• Omogeneità delle Feature: La maggior parte dei dataset esistenti fornisce solo attributi nodali testuali, trascurando il complesso mix di feature numeriche e categoriali comuni negli ambienti industriali.
• Bias Strutturale: Sono largamente omofili (gli archi connettono nodi simili), mentre molti grafi industriali sono non omofili.
• Lacune nella Valutazione: I benchmark standard spesso mancano di divisioni temporali realistiche e di setting induttivi, non riuscendo a valutare le prestazioni del modello sotto spostamenti distribuzionali temporali o quando nuovi nodi appaiono senza dati di addestramento precedenti.
• Limitazioni dei Foundation Model: I GFM proposti vengono frequentemente valutati solo su grafi con attributi testuali, ignorando la sfida di generalizzare a grafi con insiemi di feature nodali arbitrari e non testuali.

Di conseguenza, manca un insieme di benchmark affidabili, diversificati e realistici per valutare le vere capacità di generalizzazione dei modelli GML nei contesti industriali.

Metodologia

Per colmare queste lacune, gli autori introducono GraphLand, un benchmark composto da 14 dataset di grafi diversificati derivati da applicazioni industriali e fonti di dati aperti sottoutilizzate.

Costruzione del Dataset

Il benchmark include 14 dataset che coprono domini come rilevamento delle frodi web, reti sociali di creatori d'arte, previsione del traffico stradale, previsione del tasso di clic (CTR) degli annunci e rilevamento delle frodi dei lavoratori nel crowdsourcing. Le caratteristiche chiave includono:

• Diversità: I grafi variano da ~11K a ~3M di nodi, con densità, diametri e coefficienti di clustering variabili.
• Ricchezza delle Feature: I nodi possiedono attributi diversificati, inclusi feature numeriche e categoriali (ad esempio interessi degli utenti, metadati dei segmenti stradali, prezzi dei prodotti), andando oltre le semplici descrizioni testuali.
• Varietà di Compiti: I compiti includono classificazione binaria (rilevamento frodi), classificazione multiclasse (previsione di argomenti, previsione di regioni) e regressione (velocità del traffico, conteggio visualizzazioni, CTR).
• Divisioni dei Dati: Gli autori forniscono tre strategie di divisione distinte per la maggior parte dei dataset:
  1. RL (Random Low): 10% addestramento, 10% validazione, 80% test.
  2. RH (Random High): 50% addestramento, 25% validazione, 25% test.
  3. TH (Temporal High): 50% addestramento, 25% validazione, 25% test basati sull'evoluzione temporale, simulando spostamenti distribuzionali realistici.
  4. THI (Temporal High Inductive): Simile a TH ma con un setting induttivo rigoroso in cui i nodi di test e i loro archi incidenti non sono disponibili durante l'addestramento.

Configurazione Sperimentale

Gli autori hanno condotto esperimenti estesi confrontando varie classi di modelli:

• Baseline Agnostiche al Grafo: ResMLP (un MLP in stile ResNet) e Gradient-Boosted Decision Trees (GBDT: XGBoost, LightGBM, CatBoost).
• Baseline Potenziate dal Grafo: I modelli sopra citati potenziati con Neighborhood Feature Aggregation (NFA), che aggiunge statistiche aggregate dei vicini (media, massimo, minimo) alle feature nodali.
• Graph Neural Networks (GNN): Architetture classiche (GCN, GraphSAGE) e modelli basati su attenzione (GAT, Graph Transformer).
• Graph Foundation Models (GFM): Valutazione di OpenGraph, AnyGraph, TS-GNN e GCOPE, focalizzandosi sulla loro capacità di gestire feature non testuali e trasferirsi tra domini.

Tutti i modelli hanno subito un'attenta ottimizzazione degli iperparametri. Gli esperimenti sono stati eseguiti sia in setting trasduttivi che induttivi per isolare l'impatto della struttura del grafo e degli spostamenti temporali.

Risultati Chiave

1. Utilità della Struttura del Grafo

La struttura del grafo nei dataset di GraphLand è altamente benefica. Le GNN hanno costantemente superato i modelli ResMLP agnostici al grafo. Inoltre, potenziare i GBDT con NFA ha migliorato significativamente le loro prestazioni, permettendo loro spesso di eguagliare o superare le GNN standard, in particolare nei compiti di regressione. Ciò conferma che i GBDT con feature derivate dal grafo fungono da baseline solide negli ambienti industriali.

2. Prestazioni delle GNN

• Meccanismi di Attenzione: Le GNN basate su attenzione (GAT, Graph Transformer) hanno generalmente superato le GNN classiche (GCN, GraphSAGE) nella maggior parte dei dataset, suggerendo che la ponderazione dei messaggi dei vicini in base al contenuto è cruciale per i grafi industriali diversificati.
• Spostamenti Temporali: I modelli hanno performato significativamente peggio sotto le divisioni temporali (TH) rispetto alle divisioni casuali (RH), indicando che gli spostamenti distribuzionali realistici pongono una sfida sostanziale.
• Setting Induttivi: Le prestazioni sono ulteriormente diminuite nel setting induttivo (THI) rispetto al setting trasduttivo, evidenziando la difficoltà di generalizzare a nodi non visti in grafi in evoluzione.

3. Limitazioni dei Foundation Model Attuali

I GFM attuali (OpenGraph, AnyGraph, TS-GNN, GCOPE) non sono riusciti a produrre risultati competitivi sui dataset di GraphLand.

• Hanno faticato con feature nodali non testuali e grafi su larga scala.
• Le loro prestazioni sono state spesso inferiori rispetto alle GNN classiche e persino alle baseline GBDT.
• Molti modelli hanno incontrato errori di runtime o limiti di memoria su dataset più grandi, e nessuno ha supportato efficacemente i compiti di regressione nodale nelle implementazioni fornite.

Significato e Affermazioni

Gli autori posizionano GraphLand come un passo necessario verso una valutazione più realistica e diversificata dei metodi GML. Il paper afferma il seguente significato:

1. Realismo del Benchmark: GraphLand fornisce il primo benchmark unificato per la previsione delle proprietà nodali che abbraccia domini industriali diversificati, tipi di feature e proprietà strutturali, superando il dominio delle reti di citazioni.
2. Evidenziazione delle Lacune di Ricerca: Il benchmark rivela che i metodi GML attuali, inclusi i GFM, non sono ancora robusti agli spostamenti distribuzionali temporali o capaci di gestire insiemi di feature nodali arbitrari. Identifica la progettazione di modelli resilienti a questi spostamenti come una direzione di ricerca critica.
3. Rivalutazione delle Baseline: I risultati dimostrano che i GBDT con feature basate sul grafo sono competitor formidabili delle GNN negli ambienti industriali, sfidando l'assunzione che le GNN siano sempre superiori.
4. Valutazione dei Foundation Model: La scarsa performance dei GFM attuali su questi dataset suggerisce che il problema di creare foundation model di grafi veramente generalizzabili è tutt'altro che risolto, in particolare per quanto riguarda la generalizzazione delle feature oltre il testo.

Gli autori concludono che GraphLand funge da terreno di prova affidabile per la ricerca futura, notando che lavori di follow-up iniziali hanno già utilizzato il benchmark per sviluppare GFM che ottengono risultati solidi su questi dataset. I dataset e il codice sono resi pubblicamente disponibili tramite GitHub e PyTorch Geometric.