SpectralMLP: Message-Passing-Free Dual-Frequency Spectral Filtering on Hypergraphs

Sintesi Tecnica: SpectralMLP

Problematica
Le attuali reti neurali ipergrafiche (HGNN) si affidano prevalentemente a meccanismi di aggregazione — come il passaggio di messaggi locale, l'attenzione globale o la proiezione spettrale — per arricchire le rappresentazioni dei nodi. Questi approcci affrontano significativi limiti pratici: il passaggio di messaggi locale soffre di over-squashing e sensibilità al rumore; l'attenzione globale comporta una complessità $O(N^2)$, limitando la scalabilità; e i metodi spettrali esatti richiedono la decomposizione degli autovalori $O(N^3)$, rendendoli impraticabili per grafi di grandi dimensioni. Inoltre, i metodi spettrali esistenti spesso non riescono ad affrontare la "degenerazione spettrale", un fenomeno in cui gli autovalori del Laplaciano si raggruppano strettamente (ad esempio, $\lambda_{max} - \lambda_{min} < 10^{-4}$), causando il collasso dei filtri standard in risposte costanti e la perdita di discriminazione in frequenza. Inoltre, una singola risposta spettrale non può catturare simultaneamente i segnali a bassa frequenza, benefici per i grafi omofili, e i segnali ad alta frequenza richiesti per compiti eterofili o multi-classe.

Metodologia
Gli autori propongono SpectralMLP, un framework privo di passaggio di messaggi che sostituisce l'aggregazione con un filtraggio spettrale a doppia frequenza utilizzando basi polinomiali di Jacobi apprendibili. Il framework consiste in tre componenti primarie:

1. Backbone MLP: Un MLP trasforma le caratteristiche di input in rappresentazioni nascoste senza alcuna operazione sul grafo, fungendo da baseline equa per il confronto.
2. Filtro Spettrale Adattivo a Doppia Frequenza (ADF-SF): Questa è l'innovazione centrale. Inveve di un singolo filtro, l'ADF-SF decompone le rappresentazioni nascoste in due rami indipendentemente parametrizzati:
   • Ramo a bassa frequenza: Gestito da una base polinomiale di Jacobi apprendibile con parametri $(\alpha_l, \beta_l)$ e coefficienti $\theta_{low}$.
   • Ramo ad alta frequenza: Gestito da una separata base di Jacobi apprendibile con parametri $(\alpha_h, \beta_h)$ e coefficienti $\theta_{high}$.
   • Gating Adattivo: Un gate apprendibile ($g = \sigma(W_g[h_{low}; h_{high}] + b_g)$) fonde dinamicamente questi rami su base per nodo, permettendo al modello di bilanciare adattivamente i segnali omofili e eterofili.
   • Connessione Residua: L'output filtrato viene combinato con il segnale originale tramite una scala apprendibile $\beta_{res}$ per garantire stabilità e preservazione del segnale.
3. Dettagli di Implementazione: Il metodo opera direttamente sulla matrice Laplaciana normalizzata sparsa (derivata tramite espansione di clique) utilizzando relazioni di ricorrenza a tre termini. Ciò evita completamente la decomposizione degli autovalori, riducendo la complessità per livello a $O(K \cdot \text{nnz} \cdot H)$, dove $K$ è l'ordine del polinomio e $\text{nnz}$ è il numero di elementi non nulli del Laplaciano.

L'obiettivo di addestramento combina la perdita di cross-entropy con un regolarizzatore di regolarità consapevole della struttura che penalizza le grandi distanze euclidee tra i nodi all'interno dello stesso iperarco, calcolate efficientemente tramite campionamento.

Contributi Chiave

• Framework Privo di Passaggio di Messaggi: SpectralMLP dimostra che il filtraggio spettrale da solo, senza operatori di aggregazione apprendibili, è sufficiente per la classificazione dei nodi in ipergrafi.
• Basi di Jacobi Apprendibili: Il documento introduce la prima applicazione del filtraggio polinomiale di Jacobi apprendibile agli ipergrafi. Rendendo i parametri $(\alpha, \beta)$ apprendibili, il modello adatta la base polinomiale alla distribuzione spettrale specifica di ogni dataset, aggiungendo solo due parametri per filtro.
• Architettura a Doppia Frequenza: Il framework affronta esplicitamente la diversità delle caratteristiche spettrali negli ipergrafi mediante la decuplicazione dell'elaborazione a bassa e alta frequenza. Questo design permette al modello di gestire sia l'omofilia che l'eterofilia e, crucialmente, mitiga la degenerazione spettrale dove i filtri standard falliscono.
• Efficienza Computazionale: Il metodo elimina la necessità di decomposizione degli autovalori ed espansione dei vicini, basandosi esclusivamente su prodotti matrice-vettore sparsi.

Risultati Sperimentali
Gli autori hanno valutato SpectralMLP su 10 dataset di classificazione dei nodi di ipergrafi (con un range da 101 a 41.302 nodi) contro 9 baseline, inclusi modelli HGNN basati su passaggio di messaggi, modelli basati su transformer e metodi basati su MLP.

• Performance: SpectralMLP si è classificato primo o secondo in 7 dataset su 10.
  • Degenerazione Spettrale: Sul dataset Congress, caratterizzato da una severa degenerazione spettrale ($\lambda_{max} - \lambda_{min} < 10^{-4}$), SpectralMLP ha raggiunto un'accuratezza del 95,88%, superando significativamente la baseline MLP (70,47%) e altri metodi allo stato dell'arte. Ciò rappresenta un guadagno del +27,9% rispetto alla baseline MLP in configurazioni uniformi.
  • Compiti Multi-classe: Su ModelNet40 (40 classi), SpectralMLP ha raggiunto il 98,08%, superando tutte le baseline.
  • Robustezza: La modalità a doppia frequenza ha servito come robusta configurazione predefinita "zero-configuration", performando entro l'1% della migliore variante a singolo ramo in tutti i dataset.
• Efficienza dei Parametri: SpectralMLP ha aggiunto una mediana di circa il 2,4% di parametri rispetto al backbone MLP. Il suo numero totale di parametri era inferiore alla maggior parte delle baseline basate su passaggio di messaggi (es. AllSet, HyperGT, SheafHyperGCN), confermando che il filtraggio spettrale è un'alternativa efficiente in termini di parametri rispetto all'aggregazione apprendibile.

Significatività e Rivendicazioni
Il documento sostiene che SpectralMLP stabilisce un nuovo paradigma per l'apprendimento su ipergrafi, provando che il filtraggio è teoricamente equivalente all'aggregazione in termini di potenza rappresentativa, ma superiore in termini di efficienza pratica. Gli autori sostengono che bypassando l'aggregazione, il framework evita l'over-squashing, i costi di attenzione $O(N^2)$ e la decomposizione degli autovalori $O(N^3)$. Il design a doppia frequenza è presentato come una soluzione al limite "one-size-fits-all" dei filtri spettrali standard, consentendo al modello di scoprire automaticamente l'equilibrio di frequenza ottimale per diversi compiti. I risultati sul dataset Congress evidenziano specificamente la capacità del metodo di recuperare le prestazioni in scenari in cui i metodi spettrali esistenti degenerano.

Limiti e Lavori Futuri
Gli autori notano che l'attuale backbone MLP stabilisce un limite superiore alle prestazioni e suggeriscono che connessioni residue ad alta capacità o MLP aumentati dall'attenzione potrebbero migliorare ulteriormente i risultati. Le direzioni future includono lo sviluppo di ordini polinomiali adattivi ($K$) tramite ottimizzazione degli ipergradienti e la progettazione di filtri spettrali che operino direttamente sulla struttura di incidenza dell'ipergrafo piuttosto che attraverso l'espansione di clique.