Sintesi Tecnica: Filtrare il Filtro, non il Messaggio

Definizione del Problema

Le Reti Neurali a Grafo Pre-propagazione (PP-GNN) affrontano i limiti di scalabilità delle classiche MP-GNN (message-passing GNN) disaccoppiando la computazione dipendente dal grafo dal ciclo di addestramento. Nelle PP-GNN, la propagazione sul grafo viene eseguita una sola volta come fase di pre-elaborazione per generare feature nodali dense (hop), e il modello si addestra esclusivamente su queste feature. Sebbene questo approccio permetta di addestrare su grafi massivi con incrementi di velocità di ordini di grandezza, rimane un enigma persistente: aggregatori di feature più complessi non superano sistematicamente quelli più semplici.

Le osservazioni empiriche mostrano che aggregatori basati su semplici MLP (es. SIGN) spesso eguagliano o superano le prestazioni di sofisticati meccanismi di attenzione tra gli hop (es. HOGA) in vari benchmark. Le spiegazioni esistenti focalizzate sulla pura capacità architettonica non riescono a giustificare ciò. Il documento postula che il limite non risieda nella complessità dell'aggregatore, ma in come i coefficienti del filtro siano condivisi tra i nodi e i canali di feature all'interno della base di diffusione precomputata. Nello specifico:

• Le architetture basate su MLP apprendono filtri che sono dipendenti dai canali ma ampiamente condivisi tra i nodi.
• Le architetture di hop-attention apprendono miscele che sono dipendenti dai nodi ma ampiamente condivise tra i canali.
  Nessuno dei due approcci realizza pienamente un filtraggio adattivo congiunto nodo-canale, un regime che i design standard delle PP-GNN lasciano inesplorato.

Metodologia: FilterMoE

Gli autori propongono FilterMoE, una PP-GNN basata su Mixture-of-Experts (MoE) che introduce un filtraggio adattivo congiunto nodo-canale, rispettando rigorosamente il contratto computazionale della pre-propagazione (nessun passaggio di messaggi sparso durante l'addestramento).

Architettura Core

1. Pre-elaborazione (Offline):

   • Una base di diffusione di Chebyshev viene materializzata una sola volta: $B_k = T_k(\tilde{L})X$ per $k=0, \dots, K$, dove $\tilde{L}$ è il Laplaciano del grafo riscalato e $T_k$ sono polinomi di Chebyshev.
   • Viene utilizzata una quadratura di Lanczos stocastica (SLQ) per generare una griglia spettrale per analizzare le risposte dei filtri.

2. Expert Bank (Banca di Esperti):

   • Invece di predire coefficienti polinomiali indipendenti per ogni coppia nodo-canale (il che sarebbe computazionalmente proibitivo e debole dal punto di vista dell'induttiva bias), FilterMoE apprende una piccola banca di $M$ esperti di filtri di Chebyshev.
   • Ogni esperto $m$ è definito da un insieme di coefficienti di Chebyshev $\alpha_m$, che rappresenta una specifica risposta spettrale $g_m(\lambda)$.

3. Routing Nodo-Canale Congiunto:

   • Un tensore di gating 3D $G \in \mathbb{R}^{N \times M \times F}$ instrada gli esperti. $G_{i,m,f}$ determina il peso dell'esperto $m$ per il nodo $i$ e il canale di feature $f$.
   • Ciò consente a ogni coppia nodo-canale di avere un filtro efficace unico $\beta_{i,f} = \sum_m G_{i,m,f} \alpha_m$, pur vincolando tutti i filtri a essere miscele della banca di esperti condivisa.

4. Varianti del Router:

   • Direct Joint MLP: Mappa direttamente i descrittori dei nodi sull'intera griglia di logit $M \times F$.
   • Router a Due Stadi Sensibile alla Risposta: Utilizza gli sketch della risposta spettrale degli esperti come chiavi. Calcola prima un prior a livello di nodo sugli esperti e poi lo raffina con residui a livello di canale. Questo condiziona esplicitamente il routing sulle forme spettrali del grafo degli esperti.

5. Obiettivo di Addestramento:

   • La perdita primaria è la perdita del task supervisionato.
   • Regolarizzazione Ausiliaria:
     • Perdita di Diversità: Incoraggia risposte spettrali distinte tra gli esperti nello spazio della risposta spettrale (usando la griglia SLQ) per prevenire il collasso.
     • Perdita di Smoothness (Fluidità): Penalizza i coefficienti di Chebyshev ad alto grado per garantire filtri stabili.
     • Bilanciamento MoE: Classiche perdite di importanza e bilanciamento del carico per garantire un uso equo degli esperti.

Contributi Chiave

1. Analisi dalla Prospettiva Grafo-Filtro: Il documento inquadra le prestazioni delle PP-GNN non come una funzione della capacità dell'aggregatore, ma come una funzione di come i coefficienti del filtro vengono condivisi. Identifica che i metodi esistenti sono o condivisi per nodo/adattivi per canale o condivisi per canale/adattivi per nodo, mancando del regime adattivo congiunto.
2. Architettura FilterMoE: Una nuova PP-GNN che implementa il filtraggio adattivo congiunto nodo-canale tramite una miscela di esperti di Chebyshev condivisi, instradati da un tensore di gating 3D.
3. Alternativa Robusta al Tuning Manuale: FilterMoE funge da meccanismo appreso e robusto che elimina la necessità di selezionare manualmente specifici aggregatori di hop (MLP vs. Attention vs. Fusion) per diversi dataset.
4. Valutazione Esaustiva: Esperimenti estesi su 11 benchmark (omofilici, eterofilici e su larga scala) dimostrano l'efficacia dell'approccio.

Risultati Sperimentali

FilterMoE è stato valutato su 11 dataset, inclusi quattro omofilici, quattro eterofilici e tre grafi su larga scala (Pokec, OGBN-Products, OGBN-Papers100M).

• Prestazioni Complessive: FilterMoE ha superato i più forti baseline PP-GNN (SIGN, HOGA, GAMLP) su 9 dataset su 11, migliorando il punteggio medio di test di 1.53 punti.
• Grafi su Larga Scala: FilterMoE si è classificato primo in tutti e tre i benchmark su larga scala, superando il miglior baseline PP-GNN di +1.76 (Pokec), +0.93 (OGBN-Products) e +0.71 (OGBN-Papers100M).
• Confronto con MP-GNN: Sui grafi grandi, FilterMoE ha superato tutti i baseline MP-GNN valutati, mantenendo l'efficienza di addestramento della pre-propagazione. Sui grafi più piccoli, è rimasto competitivo con le MP-GNN adattive specializzate (es. varianti AGDN), ma non le ha dominate uniformemente, suggerendo che il suo punto di forza principale risieda nel regime PP-GNN.
• Studi di Ablazione:
  • Routing: Il routing congiunto nodo-canale ha costantemente superato le varianti a asse singolo (solo nodo o solo canale).
  • Operatore: Il guadagno di prestazioni non è dovuto esclusivamente all'operatore di Chebyshev; sostituire l'operatore nei baseline con Chebyshev li ha migliorati ma non ha colmato il divario con FilterMoE.
  • Regolarizzazione: La perdita di fluidità spettrale è stata il regolarizzatore più critico, mentre le perdite di diversità e bilanciamento MoE hanno fornito benefici minori e dipendenti dal dataset.

Significato e Rivendicazioni

Il documento afferma che il limite principale delle attuali PP-GNN non è la mancanza di aggregatori complessi, ma la mancanza di un meccanismo strutturato per apprendere filtri grafici che siano congiuntamente adattivi per nodo e canale pur mantenendo la scalabilità.

FilterMoE stabilisce il routing del filtro nodo-canale congiunto come un'alternativa robusta alla selezione del l'aggregatore di hop specifica per dataset. Disaccoppiando la risposta spettrale (esperti appresi) dal meccanismo di routing (gating nodo-canale), il modello raggiunge un'alta espressività senza reintrodurre il problema dell'esplosione dei vicini o l'overhead computazionale del passaggio di messaggi per ogni epoca. I risultati suggeriscono che una strategia di routing adattiva appresa su una banca di filtri condivisi è superiore al design manuale o al tuning di specifici head di aggregazione per ogni dataset.

Gli autori rimangono modesti riguardo all'ambito, notando che il lavoro attuale si concentra su grafi omogenei fissi per la classificazione dei nodi. Estensioni alla link prediction, compiti a livello di grafo, grafi eterogenei e grafi dinamici sono identificate come lavori futuri piuttosto che capacità attuali.