SpectralMLP: Message-Passing-Free Dual-Frequency Spectral Filtering on Hypergraphs

Technische Samenvatting: SpectralMLP

Probleemstelling
Huidige hypergraaf neurale netwerken (HGNN's) vertrouwen voornamelijk op aggregatiemechanismen—zoals lokale berichtoverdracht (message passing), globale aandacht (attention) of spectrale projectie—om knooprepresentaties te verrijken. Deze benaderingen kampen met aanzienlijke praktische beperkingen: lokale berichtoverdracht lijdt aan over-squashing en gevoeligheid voor ruis; globale aandacht brengt een $O(N^2)$ complexiteit met zich mee, wat de schaalbaarheid beperkt; en exacte spectrale methoden vereisen een $O(N^3)$ eigendecompositie, wat ze onhaalbaar maakt voor grote grafen. Bovendien slagen bestaande spectrale methoden vaak niet in het aanpakken van "spectrale degeneratie", een fenomeen waarbij Laplaciaanse eigenwaarden dicht bij elkaar clusteren (bijv. $\lambda_{max} - \lambda_{min} < 10^{-4}$), waardoor standaardfilters instorten tot constante responsen en frequentiediscriminatie verliezen. Daarnaast kan een enkele spectrale respons niet simultaan de laagfrequente signalen vastleggen die gunstig zijn voor homofiele grafen, en de hoogfrequente signalen die vereist zijn voor heterofiele of multi-class taken.

Methodologie
De auteurs stellen SpectralMLP voor, een framework zonder berichtoverdracht dat aggregatie vervangt door dual-frequency spectrale filtering met behulp van leerbare Jacobi-polynoombasissen. Het framework bestaat uit drie primaire componenten:

1. MLP Backbone: Een MLP transformeert inputkenmerken naar verborgen representaties zonder enige graafoperaties uit te voeren, wat dient als een eerlijke baseline voor vergelijking.
2. Adaptive Dual-Frequency Spectral Filter (ADF-SF): Dit is de kerninnovatie. In plaats van één filter, deelt ADF-SF de verborgen representaties op in twee onafhankelijk geparametriseerde takken:
   • Laagfrequente tak: Gestuurd door een leerbare Jacobi-polynoombasis met parameters $(\alpha_l, \beta_l)$ en coëfficiënten $\theta_{low}$.
   • Hoogfrequente tak: Gestuurd door een aparte leerbare Jacobi-basis met parameters $(\alpha_h, \beta_h)$ en coëfficiënten $\theta_{high}$.
   • Adaptieve Gating: Een geleerde gate ($g = \sigma(W_g[h_{low}; h_{high}] + b_g)$) fuseert deze takken dynamisch op basis van per knoop, waardoor het model adaptief de balans kan vinden tussen homofiele en heterofiele signalen.
   • Residuele Connectie: De gefilterde output wordt gecombineerd met het originele signaal via een leerbare schaal $\beta_{res}$ om stabiliteit en signaalbehoud te garanderen.
3. Implementatiedetails: De methode werkt direct op de ijle genormaliseerde Laplaciaan (afgeleid via clique expansie) met behulp van drie-term recursierelaties. Dit vermijdt eigendecompositie volledig, waardoor de complexiteit per laag wordt teruggebracht naar $O(K \cdot \text{nnz} \cdot H)$, waarbij $K$ de polynoomorde is en $\text{nnz}$ het aantal niet-nul elementen in de Laplaciaan.

De trainingsdoelstelling combineert cross-entropy loss met een structuurbewuste smoothness regularizer die grote Euclidische afstanden tussen knopen binnen dezelfde hyperedge bestraft, efficiënt berekend via sampling.

Belangrijkste Bijdragen

• Message-Passing-Free Framework: SpectralMLP demonstreert dat spectrale filtering alleen, zonder leerbare aggregatie-operators, voldoende is voor hypergraaf knopenclassificatie.
• Leerbare Jacobi Basissen: Het artikel introduceert de eerste toepassing van leerbare Jacobi-polynoomfiltering op hypergrafen. Door de parameters $(\alpha, \beta)$ leerbaar te maken, past het model de polynoombasis aan op de specifieke spectrale distributie van elk dataset, waarbij slechts twee parameters per filter worden toegevoegd.
• Dual-Frequency Architectuur: Het framework adresseert expliciet de diversiteit aan spectrale kenmerken in hypergrafen door de verwerking van laag- en hoogfrequente signalen te ontkoppelen. Dit ontwerp stelt het model in staat om zowel homofilie als heterofilie te behandelen, en mitigeert cruciaal spectrale degeneratie waar standaardfilters falen.
• Computationele Efficiëntie: De methode elimineert de noodzaak voor eigendecompositie en buurtexpansie, en vertrouwt uitsluitend op ijle matrix-vector producten.

Experimentele Resultaten
De auteurs hebben SpectralMLP geëvalueerd op 10 hypergraaf knopenclassificatie-datasets (variërend van 101 tot 41.302 knopen) tegenover 9 baselines, inclus \ de message-passing HGNN's, transformer-gebaseerde modellen en MLP-gebaseerde methoden.

• Prestaties: SpectralMLP behaalde de eerste of tweede plaats op 7 van de 10 datasets.
  • Spectrale Degeneratie: Op de Congress dataset, gekenmerkt door ernstige spectrale degeneratie ($\lambda_{max} - \lambda_{min} < 10^{-4}$), behaalde SpectralMLP een nauwkeurigheid van 95,88%, waarmee het de MLP-baseline (70,47%) en andere state-of-the-art methoden aanzienlijk versloeg. Dit vertegenwoordigt een winst van +27,9% ten opzichte van de MLP-baseline onder uniforme instellingen.
  • Multi-class Taken: Op ModelNet40 (40 klassen) behaalde SpectralMLP 98,08%, waarmee het alle baselines overtrof.
  • Robuustheid: De dual-frequency modus diende als een robuuste "zero-configuration" default, waarbij het op alle datasets binnen 1% presteerde van de beste single-branch variant.
• Parameter-efficiëntie: SpectralMLP voegde een mediaan van ongeveer 2,4% extra parameters toe ten opzichte van de MLP-backbone. Het totale aantal parameters was lager dan de meeste message-passing baselines (bijv. AllSet, HyperGT, SheafHyperGCN), wat bevestigt dat spectrale filtering een parameter-efficiënt alternatief is voor leerbare aggregatie.

Significantie en Claims
Het artikel claimt dat SpectralMLP een nieuw paradigma voor hypergraaf leren vestigt door te bewijzen dat filtering theoretisch gelijkwaardig is aan aggregatie qua representatiekracht, maar superieur is in praktische efficiëntie. De auteurs stellen dat door aggregatie te omzeilen, het framework over-squashing, $O(N^2)$ attention kosten en $O(N^3)$ eigendecompositie vermijdt. Het dual-frequency ontwerp wordt gepresenteerd als een oplossing voor de "one-size-fits-all" beperking van standaard spectrale filters, waardoor het model automatisch de optimale frequentiebalans kan ontdekken voor diverse taken. De resultaten op de Congress-dataset benadrukken specifiek het vermogen van de methode om prestaties te herstellen in scenario's waar bestaande spectrale methoden degenereren.

Beperkingen en Toekomstig Werk
De auteurs merken op dat de huidige MLP-backbone een bovengrens stelt aan de prestaties en suggereren dat high-capacity residuele connecties of attention-augmented MLPs de resultaten verder kunnen verbeteren. Toekomstige richtingen omvatten het ontwikkelen van adaptieve polynoomordes ($K$) via hypergradient optimalisatie en het ontwerpen van spectrale filters die direct opereren op de hypergraaf incidentiestructuur in plaats van via clique expansie.