🤖 machine learning

Fixed Aggregation Features Can Rival GNNs

Dit artikel daagt de noodzaak van trainbare buurtaggregaties in graph neural networks uit door aan te tonen dat een training-vrije benadering met behulp van Fixed Aggregation Features (FAFs) gecombineerd met standaard tabulaire classificatoren de state-of-the-art GNN's op de meeste benchmarks kan evenaren of overtreffen, waarmee wordt gepleit voor sterkere tabulaire baselines en meer diverse benchmarking in graph learning.

Oorspronkelijke auteurs: Celia Rubio-Madrigal, Rebekka Burkholz

Gepubliceerd 2026-06-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Celia Rubio-Madrigal, Rebekka Burkholz

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorm, complex sociaal netwerk hebt waar je moet uitzoeken wat iemands beroep is, enkel door te kijken naar wie diegene kent en wat diegene zegt.

Jarenlang hebben de experts (Graph Neural Networks, of GNN's) ongelooflijk ingewikkelde, hoogtechnologische fabrieken gebouwd om dit op te lossen. Deze fabrieken hebben "trainbare" assemblagelijnen die stap voor stap leren hoe ze informatie van vrienden moeten mengen en combineren om iemands beroep te raden. De aanname was: Om het beste antwoord te krijgen, heb je een machine nodig die leert hoe hij moet luisteren.

De Grote Verrassing:
Dit artikel betoogt dat je eigenlijk geen machine nodig hebt die leert hoe hij moet luisteren. Je hebt alleen een machine nodig die zeer zorgvuldig luistert met behulp van een paar eenvoudige, vooraf ingestelde regels, en vervolgens een slim persoon (een standaard computerprogramma) om te interpreteren wat er gehoord is.

De auteurs noemen hun methode Fixed Aggregation Features (FAFs). Zo werkt het, met behulp van alledaagse analogieën:

1. Het "Vaste Recept" versus de "Meesterkok"

De Oude Manier (GNN's): Stel je een Meesterkok voor die jarenlang in de culinaire opleiding heeft doorgebracht om precies te leren hoeveel zout, peper en knoflook hij aan een soep moet toevoegen op basis van de specifieke ingrediënten in de pan. Ze passen het recept constant aan tijdens het koken. Dit is de "trainbare aggregatie."
De Nieuwe Manier (FAFs): Stel je een robot voor die niet weet hoe hij moet koken. In plaats daarvan heeft hij een strikt, onveranderlijk regelboek: "Neem het gemiddelde van alles in de pan," of "Neem het grootste item," of "Tel hoeveel items er zijn." Hij doet dit voor de directe buren, en vervolgens voor de buren van de buren, enzovoort. Hij leert niet hoe hij moet mengen; hij mengt simpelweg volgens vaste, eenvoudige regels.

2. Een Puzzel Veranderen in een Spreadsheet

Zodra de robot deze eenvoudige regels (gemiddelden nemen, optellen, de maximum/minimumwaarde bepalen) heeft toegepast op de vrienden van een persoon, de vrienden van die vrienden, enzovoort, neemt hij al die getallen en plakt ze in een gigantische spreadsheet (een tabel).

Plotseling ziet het complexe, rommelige web van een sociaal netwerk eruit als een standaard Excel-blad.

Kolom A: De eigen gegevens van de persoon.
Kolom B: Het gemiddelde van de gegevens van hun vrienden.
Kolom C: De maximale waarde van de gegevens van de vrienden van hun vrienden.
...enzovoort.

3. De "Slimme Lezer"

Nu de gegevens in een spreadsheet staan, heb je geen ingewikkelde Graph Neural Network meer nodig. Je kunt een zeer krachtige, goed afgestemde "Standaard Lezer" (een Multi-Layer Perceptron, of MLP) gebruiken. Deze lezer is erg goed in het bekijken van spreadsheets en het vinden van patronen.

Het Resultaat:
De auteurs hebben hun methode getest op 14 verschillende real-world datasets (zoals citatienetwerken, Amazon productrecensies en Wikipedia-pagina's).

De Uitkomst: In 12 van de 14 gevallen presteerde deze eenvoudige "Vast Recept + Standaard Lezer"-aanpak net zo goed als, of zelfs beter dan, de complexe, hoogtechnologische Meesterkok (de state-of-the-art GNN's).
De Uitzondering: De enige twee keren dat de eenvoudige methode moeite had, was bij datasets die vereisten om zeer ver weg te kijken (zoals 10+ stappen verder in het netwerk) om het antwoord te vinden. In die zeldzame gevallen waren de complexe modellen die konden "leren" om verder te kijken, nodig.

Waarom dit ertoe doet (Het "Aha!"-moment)

Het artikel suggereert dat voor de meeste problemen de "geheime saus" niet zit in het leren aan de computer hoe hij de ingrediënten moet mengen. De geheime saus zit al in de ingrediënten zelf!

Het Signaal is Lokaal: De informatie die je nodig hebt om de puzzel op te lossen, zit meestal direct in de onmiddellijke omgeving (1 of 2 stappen verder).
Eenvoudheid Wint: Door eenvoudige, vaste regels te gebruiken (zoals alleen het gemiddelde nemen), voorkom je dat de computer in de war raakt of gaat "overfitten" (het trainingsdata onthouden in plaats van het patroon te leren).
Transparantie: Omdat de regels vast en eenvoudig zijn, kun je de spreadsheet gemakkelijk bekijken en zeggen: "Ah, de computer gokte op 'Ingenieur' omdat het gemiddelde van de vaardigheden van de buren hoog was." Met de complexe GNN's is het vaak een "black box" waarbij je niet kunt zien waarom een beslissing is genomen.

De Kernboodschap

De auteurs zeggen: "Stop met het bouwen van zulke ingewikkelde machines om te leren luisteren. Soms is het genoeg om te luisteren met een eenvoudige, vaste regel en daarna een slim persoon de aantekeningen te laten lezen om het spel te winnen."

Ze zeggen niet dat complexe machines voor altijd nutteloos zijn, maar ze dagen het idee uit dat we ze moeten gebruiken voor elk grafiekprobleem. Ze suggereren dat we eerst met deze eenvoudige, transparante "Vaste Recept"-methode moeten beginnen als baseline voordat we proberen een wolkenkrabber van complexiteit te bouwen.

Technische Samenvatting: Fixed Aggregation Features kunnen concurreren met GNN's

Probleemstelling

Graph Neural Networks (GNN's) zijn de standaard geworden voor het leren van grafische gegevens, met name voor node-classificatie. Deze modellen vertrouwen doorgaans op het message-passing paradigma, waarbij node-representaties worden bijgewerkt via meerdere lagen van leerbare buurt-aggregaties (bijv. geleerde lineaire combinaties, aandachtmechanismen). Hoewel effectief, introduceert deze aanpak een hoge modelcomplexiteit, uitdagingen in interpreteerbaarheid en aanzienlijke computationele kosten.

Recente bewijzen suggereren dat klassieke GNN's (GCN, GAT, GraphSAGE) concurrerend blijven met state-of-the-art Graph Transformers en heterofilie-bewuste modellen wanneer ze zijn uitgerust met rigoureuze hyperparameteroptimalisatie. Dit roept een fundamentele vraag op: Is de hoge complexiteit van het leren van aggregatiefuncties werkelijk noodzakelijk? Specifiek: hoe relevant is het leren van de aggregatie zelf vergeleken met de downstream classificatie taak?

Methodologie: Fixed Aggregation Features (FAFs)

De auteurs introduceren Fixed Aggregation Features (FAFs), een training-vrije benadering die grafische leertaken transformeert naar standaard tabelvormige problemen. Het kernidee is om representatie-leren te ontkoppelen van optimalisatie door gebruik te maken van vaste, niet-trainbare aggregatie-operators.

De FAF Pipeline

Fixed Aggregation: Voor een gegeven node $v$ $v$ berekent de methode recursief kenmerken uit zijn $k$ $k$ -hop buren met behulp van een set vaste reducers $\mathcal{R}$ $R$ (bijv. gemiddelde, som, max, min, std).
- $h^{(0,r)}_v = x_v$ (oorspronkelijke kenmerken)
- $h^{(k,r)}_v = r(\{h^{(k-1,r)}_u : u \in \mathcal{N}(v)\})$
Feature Concatenation: De kenmerken van alle hops ( $k \in \{1, \dots, K\}$ $k \in {1, \dots, K}$ ) en alle reducers ( $r \in \mathcal{R}$ $r \in R$ ) worden geconcateneerd met de oorspronkelijke node-kenmerken om een hoog-dimensionale tabelvormige vector $z_v$ $z_{v}$ te vormen.
- $z_v = x_v \oplus \bigoplus_{r \in \mathcal{R}} \bigoplus_{k=1}^K h^{(k,r)}_v$
Downstream Classification: Een standaard, goed getunede Multi-Layer Perceptron (MLP) wordt getraind op deze vaste kenmerken $z_v$ . Er worden geen gradiënten teruggepropageerd door de aggregatiestappen; de aggregatie is een pre-processing stap.

Theoretische Fundering

Het artikel verbindt FAF's met de Kolmogorov–Arnold representatietheorema, die stelt dat elke multivariate continue functie gerepresenteerd kan worden als een compositie van univariate functies.

Theoretische Mogelijkheid: De auteurs construeren een specifieke, vaste, injectieve aggregatiefunctie $\Phi$ (gebaseerd op ternaire expansies en de Cantor-verzameling) die theoretisch een verliesloze codering van buurt-multisets mogelijk maakt. Dit impliceert dat het in theorie niet nodig is om tijdens aggregatie informatie te leren om expressiviteit te behouden.
Praktische Realiteit: Hoewel $\Phi$ theoretisch verliesloos is, is het numeriek broos en produceert het "ruwe" embeddings die ongeschikt zijn voor standaard classifiers. In tegenstelling hiertoe zijn eenvoudige, niet-injectieve reducers (zoals gemiddelde en som) empirisch gezien meer geschikt voor optimalisatie. De auteurs stellen dat voor de meeste benchmarks het relevante signaal geconcentreerd is in lage-hop buren (1–2 hops), waar eenvoudige aggregaties voldoende informatie behouden.

Belangrijkste Bijdragen

Theoretisch Inzicht: Het artikel stelt vast dat verliesloze buurt-aggregatie theoretisch mogelijk is via vaste, injectieve functies afgeleid van Kolmogorov–Arnold representaties. Het benadrukt echter een cruciale kloof tussen expressiviteit en leerbaarheid: eenvoudige, niet-injectieve reducers leveren vaak betere praktische prestaties omdat ze gladdere embeddings produceren die downstream classifiers effectiever kunnen optimaliseren.
Methodologische Voorstel: De introductie van FAF's, die grafische gegevens omzetten naar een tabelformaat door vaste multi-hop aggregaties te stapelen. Dit biedt een interpreteerbaar kader om de interactie tussen grafische structuur, kenmerken en de taak te bestuderen zonder architecturale bias.
Empirisch Bewijs: Uitgebreide experimenten op 14 standaard node-classificatie benchmarks tonen aan dat FAF's gecombineerd met goed getunede MLP's concurreren met of beter presteren dan state-of-the-art GNN's en Graph Transformers op 12 van de 14 taken.
- Prestaties: FAF's evenaren of overtreffen klassieke GNN's (GCN, GAT, SAGE) en complexe architecturen op citatie-netwerken (Cora, Citeseer, PubMed), co-authorship grafen en Amazon product grafen.
- Uitzonderingen: FAF's presteren alleen ondermaat op de Roman Empire en Minesweeper datasets. De auteurs schrijven dit toe aan het feit dat deze datasets lange-afstands afhankelijkheden of specifieke lineaire residuele verbindingen vereisen die standaard FAF's (gebruikmakend van 2–4 hops) niet vangen, wat in lijn is met bevindingen dat deze taken profiteren van diepe GNN's met geparametriseerde residuen.
Implicaties voor Benchmarking: De resultaten dagen de noodzaak van geleerde aggregatie op huidige standaard benchmarks uit. De auteurs stellen dat veel datasets kunnen worden opgelost door krachtige tabelvormige voorspellers gevoed met vaste, transparante kenmerken, wat suggereert dat huidige benchmarks niet adequaat testen op het vermogen om complexe aggregatiedynamieken te leren.

Resultaten en Analyse

Ablatie Studies:
- Classifier Complexiteit: Een goed getunede MLP presteert aanzienlijk beter dan een enkele lineaire laag wanneer deze wordt toegepast op FAF-kenmerken, wat aangeeft dat niet-lineariteit en capaciteit cruciaal zijn voor het benutten van multi-hop informatie.
- Hop Concatenatie: Het concateneren van kenmerken van alle hops levert betere prestaties op dan het gebruiken van alleen de laatste hop, wat bevestigt dat informatie verloren gaat tijdens herhaalde aggregaties en dat vroege hops (0–2) het meest voorspellende signaal bevatten.
- Reducer Keuze: Hoewel het concateneren van meerdere reducers (bijv. gemiddelde, som, max, min) over het algemeen gunstig is, volstaat een enkele reducer (vaak het gemiddelde) vaak en presteert soms zelfs beter dan complexe combinaties, waarschijnlijk door verminderde overfitting in hoog-dimensionale ruimtes.
Interpreteerbaarheid: Door het probleem als tabelvormig te behandelen, gebruiken de auteurs SHAP-waarden om de belangrijkheid van kenmerken te analyseren. Zo identificeren ze op de Minesweeper dataset dat het hop-1 gemiddelde van specifieke kenmerken het primaire signaal is, wat verheldert waar het model slaagt of faalt.
Efficiëntie: Het voorbereiden van aggregaties en het trainen van een MLP is over het algemeen schaalbaarder en efficiënter dan het trainen van diepe GNN's, hoewel de input-dimensionaliteit toeneemt met het aantal hops en reducers.

Betekenis en Claims

Het artikel stelt dat het vakgebied van graph learning mogelijk te veel leunt op complexe, trainbare aggregatiemechanismen voor taken waar eenvoudige, vaste statistieken volstaan. De auteurs beweren:

Sterke Baselines: FAF's zouden een verplichte, sterke baseline moeten zijn voor toekomstig onderzoek naar graph learning. Als een nieuwe GNN niet beter kan presteren dan een goed getunede FAF, is de toegevoegde complexiteit wellicht niet gerechtvaardigd.
Herwaardering van Benchmarks: Huidige standaard benchmarks (bijv. Cora, Citeseer) vereisen mogelijk niet echt geleerde aggregatie, aangezien het voorspellende signaal vaak geconcentreerd is in lage-orde buurten. De auteurs pleiten voor "rijkere benchmarks" die specifer testen op lange-afstands afhankelijkheden en complexe inter-hop dynamieken.
Optimalisatie vs. Expressiviteit: Het succes van FAF's suggereert dat optimaliseerbaarheid en trainbaarheid even kritiek zijn als theoretische expressiviteit. Complexe GNN's kunnen moeite hebben met het leren van nuttige aggregaties door optimalisatieproblemen (bijv. vanishing gradients, over-smoothing) in plaats van een gebrek aan theoretische capaciteit.
Tabulaire Perspectief: Het converteren van grafische problemen naar tabelvormige problemen stelt onderzoekers in staat om gebruik te maken van de volwassen toolkit van tabelvormig leren (kenmerkselectie, interpreteerbaarheid, omgaan met klasse-imbalans) en de bijdrage van grafische structuur te isoleren van optimalisatie-artefacten.

Concluderend pleiten de auteurs voor een verschuiving in de focus: in plaats van aan te nemen dat extra parameters of hogere expressiviteit automatisch meer relevant signaal extraheren, zou de gemeenschap prioriteit moeten geven aan eenvoudigere, meer interpreteerbare modellen en het ontwerpen van benchmarks die daadwerkelijk een complexe aggregatiefunctie vereisen.