A Fair Evaluation of Graph Foundation Models for Node Property Prediction

Questo articolo conduce una rivalutazione equa e rigorosa di nove recenti modelli fondazionali per grafi applicati alla predizione di proprietà dei nodi, rivelando che solo i modelli più recenti basati su Prior-data Fitted Network superano le baseline di Graph Neural Network ben ottimizzate in termini di prestazioni predittive, sebbene a un costo di inferenza più elevato.

L'essenziale

Immagina di cercare di insegnare a un computer a comprendere il mondo delle connessioni: come le reti sociali, le mappe stradali o le abitudini di acquisto. In questo mondo, i dati non sono solo un elenco di numeri; sono una gigantesca ragnatela dove tutto è collegato a tutto il resto. Per anni, il modo standard per risolvere problemi in questa ragnatela (come individuare un truffatore o prevedere il prossimo acquisto di un utente) è stato l'utilizzo delle Graph Neural Networks (GNN). Pensa alle GNN come ad apprendisti altamente qualificati e specializzati. Sono bravi, ma devono essere addestrati da zero per ogni singolo nuovo lavoro, il che richiede tempo e molta calibrazione per essere fatto correttamente.

Recentemente, una nuova ondata di "super-modelli" chiamati Graph Foundation Models (GFM) è arrivata. Questi sono come gli "oracoli onniscienti" del mondo dell'IA. La promessa è che abbiano già appreso tutto da una biblioteca massiccia di dati e possano risolvere istantaneamente nuovi problemi senza bisogno di molto addestramento.

Gli autori di questo articolo hanno deciso di mettere alla prova questi "oracoli". Volevano vedere se questi nuovi GFM fossero effettivamente migliori degli apprendisti laboriosi e ben calibrati (le GNN) in un compito specifico: prevedere le proprietà dei nodi (indovinare l'etichetta di una specifica persona, luogo o cosa nella rete).

Ecco cosa hanno scoperto, suddiviso in modo semplice:

1. Il problema delle "Mele con le Arance"

I ricercatori hanno notato che il campo era un po' caotico. Alcuni GFM venivano testati su dataset minuscoli e facili, mentre altri venivano testati su dataset enormi e disordinati. Alcuni usavano "apprendisti" (GNN) molto deboli come termine di paragone, facendo sembrare i GFM dei geni per default. Era come confrontare un'auto di Formula 1 con una bicicletta e dichiarare la vincitrice l'auto senza aver prima controllato se la bicicletta fosse stata calibrata correttamente.

Per risolvere questo problema, gli autori hanno organizzato una gara equa. Hanno utilizzato 10 dataset reali, di livello industriale (come vere reti sociali e mappe stradali), e hanno messo in competizione 9 diversi GFM contro GNN forti e pesantemente calibrate. Non si sono limitati a usare le impostazioni predefinite delle GNN; hanno passato ore a calibrarle per renderle il più veloci e accurate possibile.

2. Le due squadre

I risultati hanno diviso i GFM in due squadre molto distinte:

• Squadra "Old School" (Modelli Non-PFN): Questi modelli cercavano di essere "universali" forzando i dati del grafo in una forma che somigliasse a un foglio di calcolo. Il risultato? Si sono comportati male. In realtà, sono stati quasi sempre battuti dai ben calibrati apprendisti GNN. È come cercare di usare un maglio per eseguire un intervento chirurgico; lo strumento semplicemente non era adatto al compito.
• Squadra "New School" (Modelli PFN): Questi modelli utilizzano un trucco intelligente chiamato Prior-data Fitted Networks (PFN). Immagina uno chef che ha assaggiato migliaesimila ricette diverse e ha imparato i principi della cucina. Quando gli dai un nuovo set di ingredienti, non ha bisogno di leggere un libro di cucina; guarda semplicemente gli ingredienti e sa istantaneamente come cucinare il piatto. Questi modelli possono guardare un nuovo grafo e fare previsioni immediatamente (un processo chiamato "in-context learning").

3. Il Vincitore (con un "Però")

I modelli PFN della "New School" sono stati i chiari vincitori. Hanno superato costantemente le migliori GNN calibrate. Un modello in particolare, chiamato GraphPFN, è stato il campione, vincendo su quasi tutti i dataset.

Tuttavia, c'è un compromesso:

• Gli Apprendisti (GNN): Richiedono molto tempo per l'addestramento (come studiare per un esame finale), ma una volta pronti, sono incredibilmente veloci nel fare previsioni. Ci mettono meno di un secondo per indovinare una nuova etichetta.
• Gli Oracoli (Modelli PFN): Sono "pre-addestrati" (hanno studiato per anni prima di incontrarti), quindi non hanno bisogno di studiare per il tuo specifico lavoro. Ma, quando effettuano effettivamente una previsione, sono lenti. A seconda della dimensione dei dati, può volere loro diversi secondi o persino minuti per dare una risposta.

Il succo del discorso

L'articolo conclude che, se hai bisogno di un modello che possa adattarsi istantaneamente a un nuovo grafo senza addestramento, i modelli basati su PFN (Graph Foundation Models) sono gli unici che funzionano effettivamente meglio dei metodi tradizionali.

Tuttavia, se ti trovi in uno scenario del mondo reale in cui devi effettuare milioni di previsioni al secondo (come un rilevatore di frodi in tempo reale), le GNN tradizionali (una volta opportunamente calibrate) sono ancora la scelta migliore perché sono molto più veloci, anche se hanno richiesto più tempo per essere configurate inizialmente.

In breve: i nuovi "oracoli" sono più intelligenti e adattabili, ma sono anche molto più lenti a rispondere al telefono. I vecchi "apprendisti" sono veloci e affidabili, ma hanno bisogno di più addestramento per raggiungere il loro pieno potenziale.

Sommario tecnico

Sintesi Tecnica: Una Valutazione Equa dei Modelli di Fondazione per Grafi per la Predizione di Proprietà di Nodi

Definizione del Problema

Lo sviluppo dei Modelli di Fondazione per Grafi (GFM) ha guadagnato una trazione significativa a causa dell'ubiquità dei dati strutturati a grafo nell'industria e nella scienza. Nello specifico, i GFM progettati per la predizione di proprietà di nodi (predire etichette di nodi sconosciute partendo da caratteristiche, struttura ed etichette note) sono di grande interesse, con applicazioni che spaziano dal rilevamento delle frodi ai sistemi di raccomandazione. Tuttavia, il campo manca di un protocollo di valutazione unificato. Gli studi esistenti valutano i modelli utilizzando protocolli molto diversi, impiegando spesso dataset ristretti e non rappresentativi e baseline deboli. Questa incoerenza impedisce un confronto affidabile tra diversi GFM e tra i GFM e le tradizionali Reti Neurali su Grafi (GNN). Inoltre, il termine "Modello di Fondazione" è spesso applicato in modo lato a modelli che mirano a domini grafici (es. molecole vs reti sociali) e compiti molto diversi, oscurando il loro reale ambito e le loro capacità.

Metodologia

Per affrontare queste problematiche, gli autori hanno condotto uno studio empirico rigoroso e su larga scala rivalutando 9 recenti GFM per la predizione di proprietà di nodi rispetto a forti baseline GNN ben ottimizzate.

1. Dataset

Lo studio utilizza 10 dataset dal benchmark GraphLand (Bazhenov et al., 2025). Questo benchmark è stato progettato specificamente per superare i limiti dei dataset precedenti (es. bug, copertura di dominio ristretta, dubbia rilevanza pratica) rappresentando applicazioni industriali reali attraverso diversi domini come l'e-commerce, il trasporto e le reti sociali. Gli autori utilizzano divisioni dei dati RL (Random Label) standard.

2. Baseline (GNN)

Per garantire un confronto equo, gli autori evitano baseline sottotunate. Impiegano due versioni di architetture GNN migliorate, note per essere baseline forti:

• Platonov et al. (2023b): Varianti di GCN, GraphSAGE, GAT e Local Graph Transformer (LGT) caratterizzate da miglioramenti architettonici come skip-connection e normalizzazione.
• Luo et al. (2024): Simili varianti migliorate con ulteriori opzioni architettoniche come la separazione dell'embedding ego-neighbor.
• Ottimizzazione degli Iperparametri: Entrambi i set di baseline sono sottoposti a una ricerca estensiva degli iperparametri (100 tentativi utilizzando l'algoritmo TPE) per garantire prestazioni ottimali, contrastando la tendenza in letteratura a sottotunare le baseline.

3. Modelli Valutati

Lo studio valuta 9 GFM, categorizzati in base ai loro meccanismi sottostanti:

• GFM non basati su PFN: OpenGraph, AnyGraph, GCOPE, SAMGPT, MDGFM e TS-GNN. Questi modelli si affidano tipicamente a meccanismi come la proiezione delle caratteristiche, la riduzione della dimensionalità o la conversione dei grafi in tabelle senza un pre-addestramento nativo consapevole del grafo.
• GFM basati su PFN: G2T-FM, TAG e GraphPFN. Questi si basano sul paradigma delle Prior-data Fitted Networks (PFN). Sono addestrati su dataset sintetici per eseguire l'In-Context Learning (ICL), effettuando predizioni in un singolo passaggio in avanti senza addestramento per ogni dataset.
  • G2T-FM e TAG aumentano le caratteristiche dei nodi con informazioni sul grafo e le alimentano in modelli di fondazione tabulari pre-addestrati (LimiX-16M o TabPFNv2).
  • GraphPFN utilizza un'architettura custom nativa per i grafi che incorpora il passaggio di messaggi direttamente nella struttura PFN.

4. Protocolli di Valutazione

I modelli sono valutati sotto tutti i regimi supportati:

• In-Context Learning (ICL): Predizione zero-shot utilizzando il modello pre-addestrato.
• Fine-Tuning (FT): Addestramento del modello dei parametri specifico per il dataset.
• Metriche: Accuratezza (multiclasse), Average Precision (binaria) e R² (regressione), aggregati tramite rank medio e punteggio normalizzato medio attraverso i dataset.
• Efficienza: I costi computazionali per l'ottimizzazione degli iperparametri, l'addestramento e l'inferenza vengono misurati.

Risultati Chiave

1. Prestazioni Predittive

I risultati biforcano chiaramente i GFM in due gruppi distinti:

• GFM non basati su PFN: Questi modelli sottoperformano costantemente le classiche GNN ben ottimizzate, spesso con un margine sostanziale, in tutti i dataset.
• GFM basati su PFN: Questi modelli generalmente superano le GNN.
  • Nel regime ICL, i modelli basati su PFN (specificamente GraphPFN, G2T-FM e TAG) ottengono i migliori risultati sulla maggior parte dei dataset, superando tutte le GNN. GraphPFN guida nel rank medio.
  • Nel regime di Fine-Tuning, le prestazioni migliorano significativamente per i modelli basati su PFN. GraphPFN (FT) emerge come il miglior modello complessivo, ottenendo i risultati migliori su tutti i 10 dataset, spesso con un ampio margine.
  • Confronto tra Architetture: Tra i modelli basati su PFN, quelli che utilizzano il backbone LimiX-16M (G2T-FM, TAG) performano meglio di quelli che utilizzano TabPFNv2. Tuttavia, GraphPFN, che gestisce nativamente la struttura del grafo tramite il passaggio di messaggi all'interno dell'architettura PFN, supera gli approcci con backbone tabulare (G2T-FM e TAG) sia nei regimi ICL che FT.

2. Efficienza Computazionale

• Inferenza: Le GNN sono significativamente più efficienti all'inferenza, richiedendo tipicamente meno di 1 secondo. Al contrario, i GFM basati su PFN richiedono da secondi a minuti (con alcuni modelli TAG che arrivano fino a 30 minuti) a causa del costo computazionale di elaborare l'intero contesto in un singolo passaggio in avanti.
• Addestramento/Sviluppo: Le GNN richiedono un'estesa ottimizzazione degli iperparametri e molteplici sessioni di addestramento (centinaia di passaggi forward/backward) per ogni nuovo dataset. I modelli PFN, una volta pre-addestrati, richiedono molti meno iperparametri da ottimizzare (ad esempio, solo il learning rate per il fine-tuning) e meno sessioni di addestramento. In scenari in cui il tempo di sviluppo è critico e la latenza di inferenza è meno vincolante, i PFN possono essere preferibili.

Contributi Chiave

1. Framework di Valutazione Unificato: Il documento stabilisce un protocollo di valutazione equo e rigoroso per la predizione di proprietà di nodi nei GFM, utilizzando il benchmark GraphLand e forti baseline GNN ben ottimizzate.
2. Identificazione della Disparità di Prestazioni: Dimostra che la maggior parte degli attuali GFM (non basati su PFN) non supera le GNN opportunamente ottimizzate, sfidando l'assunto che i "modelli di fondazione" garantiscano intrinsecamente prestazioni superiori nei compiti sui grafi.
3. Validazione del Paradigma PFN: Lo studio identifica che solo i GFM basati sul paradigma delle Prior-data Fitted Networks (PFN) raggiungono prestazioni allo stato dell'arte, superando le GNN sia nei regimi ICL che di fine-tuning.
4. Intuizioni sull'Architettura: Evidenzia che, sebbene l'adattamento dei modelli di fondazione tabulari ai grafi (tramite l'aumento delle caratteristiche) funzioni, le architetture native per i grafi (come GraphPFN) producono risultati superiori rispetto al trattamento dei grafi come tabelle.
5. Analisi Costo-Beneficio: Il documento fornisce una ripartizione dettagliata del compromesso tra l'alto costo di inferenza dei PFN e i ridotti costi di sviluppo/ottimizzazione rispetto alle GNN.

Significato e Rivendicazioni

Gli autori affermano che questo lavoro fornisce una "rivalutazione equa e rigorosa" che chiarisce lo stato attuale del campo. Il significato primario risiede nel:

• Correggere i Malintesi: Dimostrare che non tutti i modelli etichettati come "GFM" sono efficaci; solo quelli che sfruttano il paradigma PFN offrono attualmente un vantaggio di prestazioni rispetto alle GNN.
• Definire l'Ambito: Argomentare che il termine "GFM" è mal definito e sollecitare i ricercatori a chiarire esplicitamente l'ambito dei loro modelli (es. domini di dati o compiti specifici).
• Guida Pratica: Offrire un'analisi chiara del compromesso per i professionisti: se la velocità di inferenza è fondamentale, le GNN ben ottimizzate rimangono la scelta dominante; se è richiesta una rapida adattabilità a nuovi dataset con un minimo di ottimizzazione, i GFM basati su PFN sono l'opzione superiore nonostante la maggiore latenza di inferenza.

Il documento conclude che, sebbene il campo non sia ancora convergente verso una soluzione unificata, il paradigma PFN rappresenta la direzione più promettente per i Modelli di Fondazione per Grafi nella predizione di proprietà di nodi, a condizione che il costo computazionale dell'inferenza sia accettabile per la specifica applicazione.