Sintesi Tecnica: Una Revisione del Decennio Post-GCN: Valutazione Stratificata per Curvatura dell'Apprendimento Relazionale

1. Definizione del Problema

Le attuali pratiche di valutazione nell'apprendimento relazionale si affidano pesantemente a "classifiche piatte" che mediano le prestazioni dei modelli su dataset eterogenei. Questo approccio assume implicitamente che i dati relazionali costituiscano una categoria monolitica con una struttura sottostante uniforme. Gli autori sostengono che tale assunzione introduca un bias sistematico oscurando le variazioni di performance dipendenti dalla geometria. Di conseguenza, i benchmark standard possono produrre conclusioni fuorvianti sulla generalizzazione dei modelli, attribuendo il successo a una superiorità architettonica quando in realtà è il risultato di un fortuito allineamento con le proprietà geometriche dominanti del mix specifico di dataset.

Sebbene lavori recenti abbiano introdotto modelli iperbolici, sferici e a curvatura mista per adattarsi a specifiche topologie di dati, il paradigma di valutazione rimane stagnante, giudicando modelli specializzati rispetto a medie globali che ne nascondono l'effettiva utilità. Ciò crea un "disallineamento geometrico" in cui i modelli sono progettati per curvature specifiche ma valutati per la "media".

2. Metodologia: CURVBENCH

Per affrontare queste problematiche, gli autori introducono CURVBENCH, un framework di audit stratificato per curvatura. La metodologia procede attraverso tre fasi principali:

A. Caratterizzazione Geometrica

Il framework tratta i grafi come spazi metrici finiti e quantifica la loro geometria intrinseca utilizzando due metriche primarie derivate dalla curvatura sezionale discreta:

1. Curvatura Media ($\bar{\kappa}(G)$): Misura la curvatura media con segno, indicando se la geometria locale è generalmente euclidea (vicina allo zero), sferica (positiva) o iperbolica (negativa).
2. Asimmetria della Curvatura ($\gamma_\kappa(G)$): Cattura l'asimmetria della distribuzione della curvatura. Questo è fondamentale per identificare dataset in cui un sottoinsieme di nodi o archi trasporta segnali geometrici sproporzionatamente grandi (ad esempio, geometria guidata dalla coda in grafi derivati da tabelle), anche se la curvatura media è vicina allo zero.

Sulla base di queste metriche, i dataset vengono partizionati in tre regimi:

• Near-zero (Vicino allo zero): $|\bar{\kappa}(G)| < 0.01$ e $|\gamma_\kappa(G)| < 0.5$.
• Positive (Positivo): Caratterizzato da curvatura media positiva o asimmetria positiva.
• Negative (Negativo): Caratterizzato da curvatura media negativa o asimmetria negativa.

B. Configurazione Sperimentale

• Dataset: Il benchmark valuta 14 dataset diversificati, inclusi 9 grafi naturali (es. Cora, Citeseer, Airport, Telecom) e 5 grafi derivati da tabelle (es. Carcinogenesis, Hepatitis, F1).
• Modelli: Vengono valutati 18 modelli rappresentativi, categorizzati per i loro bias induttivi geometrici:
  • Euclidei/Indipendenti dalla geometria: MLP, GCN, GAT, GraphSAGE, PCNet.
  • Iperbolici: HGNN, HGCN, HAT, HyboNet.
  • Flessibili/Curvatura Mista: QGCN, CUSP.
  • Riemanniani Adattivi: GraphMoRE.
  • Modelli Fondativi per Grafi (GFM): GCOPE, MDGPT, MDGFM, SAMGPT, GraphGluing, SA2GFM.
• Task: Classificazione dei Nodi e Predizione dei Collegamenti (Link Prediction).
• Protocollo di Valutazione: Invece di una singola classifica globale, la performance è analizzata tramite diagnostica condizionata al regime. Gli autori utilizzano metriche di consistenza del ranking (Spearman, Kendall, sovrapposizione di Jaccard) per confrontare le classifiche dei modelli all'interno e tra i regimi di curvatura.

C. Fondamento Teorico

Il documento fornisce una giustificazione teorica dell'approccio:

• Disallineamento della Curvatura: Viene dimostrato che la distorsione metrica in un embedding è limitata inferiormente dal disallineamento nei residui di curvatura. Se lo spazio di embedding di un modello non si allinea con la curvatura intrinseca del grafo, la distorsione metrica sistematica è inevitabile.
• Ordini Condizionati al Regime: Gli autori dimostrano che il divario tra la stabilità del ranking intra-regime e quella inter-regime funge da stima diretta della variazione di preferenza. Se la curvatura influenza il comportamento del modello, i ranking saranno stabili all'interno di un regime ma instabili tra i regimi.

3. Risultati Chiave

A. I Regimi di Curvatura Inducono Ordini Parziali Coerenti

Le classifiche dei modelli sono altamente stabili all'interno di un regime geometrico omogeneo, ma cambiano significatamente tra i regimi.

• Consistenza: La correlazione di Spearman intra-regime per i primi 3 ranking è 0.539, rispetto a soli 0.036 tra i regimi.
• Riorganizzazione dei Bias Induttivi:
  • Regime Near-zero: Dominano i metodi euclidei (GraphSAGE, PCNet).
  • Regime Positivo: I metodi euclidei rimangono competitivi, ma l'MLP diventa altamente predittivo, suggerendo che gli attributi dei nodi prevalgono sulla struttura relazionale in grafi compatti/clusterizzati.
  • Regime Negativo: I metodi misti e riemanniani adattivi (GraphMoRE, QGCN) dominano, mentre i metodi euclidei scendono allo 0% delle posizioni nei primi 3. Ciò indica che i modelli euclidei non sono intrinsecamente deboli, ma limitati dal regime.

B. I Modelli Fondativi per Grafi (GFM) sono Condizionati dalla Geometria

I GFM non eliminano la necessità di una valutazione consapevole della curvatura; introducono nuovi bias induttivi condizionati dalla geometria.

• Performance 1-Shot: I ranking rimangono condizionati dalla curvatura. I modelli basati su token (MDGPT, MDGFM) eccellono sui grafi near-zero, mentre i modelli di allineamento strutturale (GraphGluing) dominano nei regimi positivi.
• Elasticità delle Etichette: L'aumento della supervisione da 1-shot a 5-shot produce guadagni elevati per i grafi near-zero (limitati dalle etichette), ma rendimenti decrescenti per i grafi positivi e negativi (limitati dalla geometria).
• Fattibilità: Diversi GFM incontrano errori di Out-Of-Memory (OOM) su specifici dataset (es. Telecom), evidenziando che la fattibilità è una manifestazione della difficoltà di trasferimento, non solo un dettaglio di implementazione.

C. I Grafi Derivati da Tabelle Rivelano una Geometria Guidata dalla Coda

I grafi derivati da tabelle spesso presentano una curvatura media vicino allo zero ma un'estrema asimmetria positiva.

• Specialista vs. Robustezza: Modelli come HAT agiscono come "specialisti ad alta varianza", eccellendo su dataset con code di curvatura pronunciate (es. F1, PTE) ma fallendo su altri. Al contrario, i baseline euclidei come GraphSAGE forniscono una performance più stabile e robusta attraverso questi dataset eterogenei.
• Necessità di Metriche: Affidarsi esclusivamente alla curvatura media oscura questi trade-off tra specialista e robustezza; sia la media che l'asimmetria sono necessari per spiegare la performance.

D. Profili di Efficienza

La modellazione consapevole della geometria introduce profili di efficienza distinti. Mentre i baseline euclidei sono computazionalmente leggeri, i metodi adattivi e pesanti sul piano manifold (es. GraphMoRE, HAT) comportano sostanziali costi di addestramento e inferenza. Notevolmente, il costo di addestramento e il costo di inferenza non sempre correlano (es. HyboNet ha un costo di addestramento moderato ma un basso costo di inferenza, mentre GraphMoRE è costoso in entrambi).

4. Contributi

1. Sviluppo del Framework: Un framework stratificato per curvatura basato sulla curvatura media e l'asimmetria per categorizzare i dataset di grafi e tabelle in regimi geometricamente significativi.
2. Evidenza Empirica: Valutazione di 18 metodi che rivela come la performance sia fondamentalmente dipendente dalla geometria piuttosto che universalmente trasferibile, con i ranking dei modelli che si invertono tra i regimi.
3. Formalizzazione Metodologica: Una metodologia stratificata per regime che sostituisce le classifiche piatte con confronti consapevoli della geometria, offrendo intuizioni più affidabili e interpretabili per la selezione dei modelli.
4. Rilascio delle Risorse: Rilascio di tutto il codice, delle suddivisioni dei dataset stratificate per curvatura e degli strumenti diagnostici per supportare la valutazione riproducibile.

5. Significato e Rivendicazioni

Il documento sostiene che ridurre la capacità di un modello a un singolo punteggio aggregato non è più sufficiente per l'attuale panorama della ricerca. La rilevanza di questo lavoro risiede nello spostamento del paradigma di valutazione dall'identificare un modello "globalmente migliore" al determinare quali bias induttivi siano più efficaci sotto specifiche condizioni geometriche.

Gli autori sostengono che:

• Affidabilità: Una valutazione affidabile deve trascendere la semplice accuratezza per incorporare l'elasticità delle etichette, i trade-off tra specialista e robustezza, la copertura e la fattibilità computazionale.
• Traiettorie Future: Il campo dovrebbe muoversi verso diagnostiche stratificate e consapevoli della copertura che rivelino le condizioni specifiche sotto le quali un modello ha successo. Inoltre, i futuri sistemi di apprendimento relazionale dovrebbero passare da bias induttivi fissi verso architetture adattive alla geometria capaci di inferire o comporre i bias appropriati direttamente dai dati.

Rendendo il design dei benchmark strutturalmente consapevole, gli autori mirano a caratterizzare meglio i punti di forza e i limiti fondamentali della prossima generazione di modelli grafici e fondativi.