🤖 machine learning

Neural Message Passing on Structural Interaction Graphs for Fully-Inductive Graph Neural Networks

Questo articolo introduce SIGIL, un framework completamente induttivo che supera l'eterogeneità degli input nei modelli di fondazione per grafi mappando grafi attribuiti arbitrari in un grafo di interazione strutturale unificato, consentendo il trasferimento delle rappresentazioni delle caratteristiche apprese attraverso grafi diversi e unificando gli esistenti approcci di ragionamento sui grafi di conoscenza.

Autori originali: Omer Yom Tov, Avigdor Gal

Pubblicato 2026-08-11

📖 3 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Omer Yom Tov, Avigdor Gal

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot a comprendere il mondo. Nel mondo del testo, abbiamo un enorme dizionario di parole su cui tutti concordano; una volta che il robot impara cosa significano "gatto" o "correre", può leggere un nuovo libro sui gatti o sullo scorrere senza aver bisogno di una nuova lezione. Ma nel mondo dei grafi — reti di cose connesse come gli amici sui social media, le molecole chimiche o le reti di citazioni — non esiste un dizionario universale. Ogni grafo porta con sé il proprio set unico di "caratteristiche" (come gli attributi specifici di una persona o di una molecola) che possono essere completamente diversi dal precedente. Un modello addestrato a comprendere una rete di scienziati potrebbe essere completamente confuso quando gli viene consegnata una rete di acquirenti online perché le "parole" (le caratteristiche) non corrispondono. Questo rende incredibilmente difficile costruire un singolo "modello fondazionale" intelligente che possa saltare da un tipo di rete all'altro senza dover essere riaddestrato da zero. La grande domanda che i ricercatori si pongono è: possiamo costruire un traduttore universale per queste reti disordinate e diverse che funzioni su tutto, ovunque, senza bisogno di un dizionario per ogni singolo nuovo compito?

Questo articolo introduce un nuovo e astuto framework chiamato Sigil (che sta per Structural Interaction Graphs for Inductive Learning) per risolvere esattamente quel problema. Pensa a Sigil come a uno chef maestro a cui non importa quali ingredienti gli tu venga consegnati (che siano mele, carote o frutti alieni). Invece di cercare di memorizzare ogni possibile ingrediente, Sigil osserva come gli ingredienti interagiscono tra loro. Prende una rete disordinata e complessa e la eleva a un nuovo livello semplificato chiamato "Grafo di Interazione Strutturale" (SIG). In questa nuova visione, i "nodi" non sono più le persone o le molecole; sono le caratteristiche stesse (come "altezza", "prezzo" o "colore"). Le connessioni in questo nuovo grafo mostrano come queste caratteristiche tendono ad allinearsi o a scontrarsi in base a come la rete originale è connessa.

Eseguendo un gioco speciale di passaggio di messaggi su questa mappa delle caratteristiche, Sigil impara un linguaggio universale per le caratteristiche. Traduce qualsiasi grafo, non importa quanto strano o diverso siano le sue caratteristiche, in un formato standard a dimensione fissa che un'IA a valle può comprendere facilmente. L'articolo dimostra che questo non è solo un nuovo trucco; è una teoria unificante. Quando le caratteristiche sono codici "one-hot" semplici (come i tipi di relazione discreti in un grafo di conoscenza), Sigil recupera perfettamente i modelli esistenti e potenti. Ma quando le caratteristiche sono numeri continui (come i dati sensoriali a valori reali), Sigil va dove quei vecchi modelli non potevano arrivare. Gli autori hanno testato questo approccio su una vasta gamma di compiti, inclusa la previsione di link mancanti nelle reti e la classificazione dei nodi. Hanno scoperto che un singolo modello Sigil, addestrato su un solo grafo (come la rete di citazioni Cora), poteva performare incredibilmente bene su grafi completamente nuovi con caratteristiche diverse, spesso superando altri modelli "completamente induttivi" che cercano di generalizzare. È come insegnare a uno studente a leggere un libro, e poi vederlo superare un test su un libro scritto in una lingua completamente diversa, semplicemente perché ha imparato la grammatica sottostante di come le idee si connettono, piuttosto che memorizzare le parole.

Riassunto Tecnico: Passaggio di Messaggi Neurale su Grafi di Interazione Strutturale per Reti Neurali su Grafi Completamente Induttive

1. Definizione del Problema

Lo sviluppo dei Modelli Fondazionali per Grafi (GFM) affronta un ostacolo centrale: l'eterogeneità dell'input. A differenza del linguaggio naturale, dove un vocabolario di token condiviso permette ai modelli di codificare qualsiasi testo, i grafi arrivano con spazi di caratteristiche dei nodi unici che differiscono in dimensionalità, semantica delle coordinate e set di etichette. Di conseguenza, un modello addestrato su un grafo generalmente non è in grado di "leggere" un altro.

Gli approcci esistenti affrontano parte di questa sfida ma non riescono a unificarla:

GFM per Classificazione di Nodi: Metodi come GraphAny gestiscono spazi di caratteristiche e di etichette arbitrari, ma sono progettati esclusivamente per la classificazione di nodi, mancando di meccanismi per la predizione di link o il ragionamento relazionale.
Modelli Fondazionali per Knowledge Graph (KGFM): Modelli come ULTRA ottengono il trasferimento zero-shot sui knowledge graph costruendo un "grafo di relazioni" su tipi di relazioni discrete. Tuttavia, questo approccio è fondamentalmente discreto; presuppone un vocabolario finito di relazioni e manca di meccanismi per caratteristiche di nodi o archi continui.

La sfida principale è progettare un modello di grafo completamente induttivo che generalizzi simultaneamente su tre assi: strutture di grafi non viste, spazi di caratteristiche non visti (dimensionalità e semantica arbitrarie) e spazi di etichette non visti.

2. Metodologia: Il Framework Sigil

Gli autori propongono Sigil (Structural Interaction Graphs for Inductive Learning), un framework che mappa qualsiasi grafo attributato in uno spazio di rappresentazione unificato a dimensionalità fissa. L'innovazione centrale è il Grafo di Interazione Strutturale (SIG).

2.1 Costruzione del Grafo di Interazione Strutturale (SIG)

Dato un grafo di input $G=(V, E)$ con caratteristiche dei nodi $X \in \mathbb{R}^{n \times d}$ , Sigil "solleva" il grafo dal dominio dei nodi al dominio della dimensione delle caratteristiche.

Propagazione Multi-Ordine: Le caratteristiche vengono propagate su ordini di vicinato crescenti $k$ (da $0 $a$ K$) utilizzando una propagazione non parametrica: $X^{(k)} = A^k X$ .
Operatori di Interazione: Per ogni ordine $k$ , un operatore di interazione $g$ (ad esempio, sottrazione o moltiplicazione elemento per elemento) viene applicato alle caratteristiche dei nodi adiacenti per creare caratteristiche degli archi.
Aggregazione di Ruolo: Queste caratteristiche degli archi vengono aggregate nuovamente ai nodi, separate per ruolo (testa/coda per grafi diretti), creando matrici di riepilogo $\bar{X}^{(k)}_h$ e $\bar{X}^{(k)}_t$ . Queste matrici caratterizzano come i valori delle caratteristiche si istanziano attraverso i vicinati locali.
Costruzione della Matrice di Gram: L'allineamento tra le dimensioni delle caratteristiche è catturato calcolando le matrici di Gram (prodotti scalari) di questi vettori di riepilogo: $\bar{A}^{(k)} = (\bar{X}^{(k)})^\top \bar{X}^{(k)}$ .
Il SIG: Le matrici risultanti $\bar{A}^{(k)}$ $\overset{ˉ}{A}^{(k)}$ formano un Grafo di Interazione Strutturale $G_{struct}$ $G_{s t r u c t}$ . In questo grafo:
- I Nodi sono le dimensioni delle caratteristiche di input $[d]$ .
- Gli Archi sono pesati e tipizzati, codificando come coppie di caratteristiche si allineano attraverso diversi ordini di connettività.
- Per i grafi diretti, la costruzione produce quattro slice per ogni ordine (head-head, tail-tail, head-tail, tail-head), catturando le interazioni direzionali.

2.2 Apprendimento delle Rappresentazioni tramite Passaggio di Messaggi Relazionale

Una volta costruito il SIG, un Rete di Passaggio di Messaggi Relazionale (RMPNN) opera su di esso:

Embedding: L'RMPNN imbedde ogni dimensione di caratteristica $f \in [d]$ in uno spazio nascosto di dimensione fissa $d_h$ .
Trasformazione: Le rappresentazioni apprese delle caratteristiche $\Theta^{(T)} \in \mathbb{R}^{d \times d_h}$ vengono utilizzate per trasformare le caratteristiche originali dei nodi di qualsiasi grafo in una rappresentazione unificata: $H = X \Theta^{(T)}$ .
Proprietà Induttiva: Poiché i parametri dell'RMPNN agiscono solo sulla larghezza nascosta fissa $d_h$ e mai sulla dimensione di input $d$ , un singolo modello Sigil addestrato può elaborare grafi con dimensionalità di caratteristiche arbitrarie.

2.3 Task a Valle

Predizione di Link: Le rappresentazioni unificate dei nodi vengono fornite a GNN espressive per la predizione di link (es. NBFNet) per eseguire l'inferenza zero-shot.
Classificazione di Nodi: Le rappresentazioni unificate fungono da input per un decoder a valle (es. un MLP leggero o una soluzione analitica in forma chiusa) per predire le etichette.

3. Contributi Chiave e Proprietà Teoriche

3.1 Generalizzazione Stretta dei KGFM

Il documento dimostra che Sigil è una generalizzazione stretta degli esistenti Modelli Fondazionali per Knowledge Graph (come ULTRA).

Teorema 1: Quando le caratteristiche di input sono indicatori one-hot di relazioni discrete, la costruzione del SIG recupera esattamente il grafo di relazione utilizzato dai KGFM.
Estensione: A differenza dei KGFM, Sigil accetta caratteristiche continue. Le matrici di Gram diventano matrici di allineamento delle caratteristiche continue invece di conteggi di co-occorrenza interi. Inoltre, la propagazione multi-ordine di Sigil codifica interazioni di ordine superiore tra le caratteristiche che i KGFM (limitati ai motivi a singolo salto) perdono.

3.2 Simmetria ed Equivarianza

Sigil soddisfa le simmetrie richieste per la generalizzazione completamente induttiva:

Equivarianza alla Permutazione dei Nodi: Le rappresentazioni dei nodi in uscita sono equivarianti alle permutazioni dei nodi di input.
Invarianza alla Permutazione delle Caratteristiche: La rappresentazione unificata è invariante rispetto all'ordine o all'identità delle dimensioni delle caratteristiche di input. Ciò consente al modello di leggere grafi con spazi di caratteristiche mai visti prima.
Equivarianza alla Permutazione delle Etichette: Quando accoppiato con un decoder equivariante, il modello rispetta le permutazioni delle etichette.

4. Risultati Sperimentali

Gli autori valutano Sigil in tre regimi, utilizzando un singolo modello pre-addestrato sul dataset Cora (per la predizione di link e la classificazione di nodi) o su un mix di knowledge graph (per il ragionamento KG).

4.1 Predizione di Link (Caratteristiche Continue)

Valutato su 11 benchmark (7 con attributi, 4 senza).

Grafi con Attributi: Sigil-lp è il metodo completamente induttivo più forte su ogni dataset, superando i baseline come UniLP e TFMLinker. Notevolmente, supera significativamente UniLP su dataset come CiteSeer e AmazonPhotos, dimostrando che sfruttare gli spazi di caratteristiche tramite SIG è superiore allo scarto degli stessi.
Grafi senza Attributi: Sigil-lp rimane competitivo, classificandosi secondo tra i metodi completamente induttivi e mostrando un'alta stabilità.
Efficienza: Sigil-lp completa l'inferenza in pochi minuti, mentre i baseline in-context come UniLP superano le 24 ore di tempo.

4.2 Ragionamento su Knowledge Graph

Valutato sul benchmark ULTRA (setting induttivi con entità e relazioni non viste).

Riproduzione: Sigil(0) (ordine 0 SIG) riproduce le prestazioni di ULTRA entro un piccolo margine (ad esempio, pareggiando esattamente l'MRR sui grafi di pre-addestramento).
Espressività: I SIG di ordine superiore (Sigil(1), Sigil(2)) mostrano prestazioni variabili a seconda del dataset, suggerendo che sebbene le interazioni di ordine superiore aggiungano espressività, non migliorano uniformemente le prestazioni in tutti i task.

4.3 Classificazione di Nodi

Valutato su 26 benchmark con diverse dimensioni delle caratteristiche e conteggi di classi.

Prestazioni: Sigil-nc è competitivo, classificandosi primo o secondo nei 26 dataset. Resta dietro a modelli specializzati come RGVT e TAG (ottimizzati per task specifici), ma supera GraphAny e TS-MEAN.
Analisi: Gli autori attribuiscono il divario di prestazioni al "costo dell'unificazione": comprimere spazi di caratteristiche arbitrari in una dimensione fissa $d_h$ rende le coordinate originali inaccessibili al decoder, richiedendo più supervisione. Tuttavia, i risultati confermano che l'apprendimento su SIG è un approccio valido per i modelli fondazionali di classificazione di nodi.

5. Significato e Rivendicazioni

Il paper sostiene che Sigil unifica diversi regimi precedentemente separati nel design dei modelli fondazionali per grafi:

Unificazione: Colma il divario tra i GFM per la classificazione di nodi (che gestiscono caratteristiche arbitrarie) e i KGFM (che gestiscono il ragionamento relazionale), fornendo un unico meccanismo per entrambi.
Trasferibilità: Dimostra che un singolo modello, addestrato su un grafo, può fornire forti prestazioni zero-shot su grafi con spazi di caratteristiche e strutture completamente differenti.
Generalizzazione: Formalizzando il grafo di relazione come un'istanza discreta di un Grafo di Interazione Strutturale, il lavoro fornisce una base teorica per estendere il ragionamento relazionale a spazi di input continui.

Gli autori concludono che la trasferibilità, il ragionamento relazionale e i task a livello di arco possono derivare da un unico meccanismo (costruzione del SIG e passaggio di messaggi), piuttosto che richiedere design separati per diversi tipi di grafi. Il lavoro futuro suggerito riguarda il perfezionamento delle architetture per l'apprendimento sui SIG e lo studio della loro capacità espressiva.