🤖 machine learning

Fixed Aggregation Features Can Rival GNNs

Diese Arbeit stellt die Notwendigkeit trainierbarer Nachbarschaftsaggregationen in Graph Neural Networks infrage, indem sie zeigt, dass ein trainingsfreier Ansatz unter Verwendung von Fixed Aggregation Features (FAFs) in Kombination mit Standard-Tabellenklassifikatoren auf den meisten Benchmarks mit dem Stand der Technik bei GNNs konkurrieren oder diesen sogar übertreffen kann, wodurch für stärkere Tabellen-Baselines und ein vielfältigeres Benchmarking im Graph-Learning plädiert wird.

Ursprüngliche Autoren: Celia Rubio-Madrigal, Rebekka Burkholz

Veröffentlicht 2026-06-04

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Celia Rubio-Madrigal, Rebekka Burkholz

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten ein riesiges, komplexes soziales Netzwerk und müssten herausfinden, was der Beruf jeder einzelnen Person ist, indem Sie nur darauf schauen, wen sie kennt und was sie sagt.

Jahrelang haben die Experten (Graph Neural Networks oder GNNs) unglaublich komplizierte, hochtechnologische Fabriken gebaut, um genau dieses Problem zu lösen. Diese Fabriken verfügen über „trainierbare“ Fließbänder, die Schritt für Schritt lernen, wie man Informationen von den Freunden einer Person mischt und kombiniert, um deren Beruf zu erraten. Die Annahme war: Um die beste Antwort zu erhalten, braucht man eine Maschine, die lernt, zuzuhören.

Die große Überraschungen:
Dieses Paper argumenttiert, dass man eigentlich gar keine Maschine braucht, die lernt, wie man zuhört. Man braucht lediglich eine Maschine, die unter Verwendung einiger einfacher, vordefinierter Regeln sehr genau zuhört, und dann eine kluge Person (ein Standard-Computerprogramm), die das Gehörte interpretiert.

Die Autoren nennen ihre Methode Fixed Aggregation Features (FAFs). So funktioniert sie, erklärt anhand alltäglicher Analogien:

1. Das „feste Rezept“ vs. der „Meisterkoch“

Der alte Weg (GNNs): Stellen Sie sich einen Meisterkoch vor, der jahrelang in der Kochschule verbracht hat, um genau zu lernen, wie viel Salz, Pfeffer und Knoblauch er je nach den spezifischen Zutaten im Topf hinzufügen muss. Er passt das Rezept während des Kochens ständig an. Dies ist die „trainierbare Aggregation“.
Der neue Weg (FAFs): Stellen Sie sich einen Roboter vor, der nicht weiß, wie man kocht. Stattdessen hat er ein striktes, unveränderliches Regelbuch: „Nimm den Durchschnitt von allem im Topf“, oder „Nimm das größte Element“, oder „Zähle, wie viele Elemente vorhanden sind“. Er wendet dies auf die unmittelbaren Nachbarn an, dann auf die Nachbarn der Nachbarn und so weiter. Er lernt nicht, wie man mischt; er mischt einfach unter Anwendung dieser festen, einfachen Regeln.

2. Ein Puzzle in eine Tabellenkalkulation verwandeln

Sobald der Roboter diese einfachen Regeln (Durchschnitt bilden, Summen bilden, Maximum/Minimum finden) auf die Freunde einer Person, deren Freunde, deren Freunde und so weiter angewendet hat, nimmt er all diese Zahlen und fügt sie in eine riesige Tabellenkalkulation (eine Tabelle) ein.

Plötzlich sieht das komplexe, chaotische Geflecht eines sozialen Netzwerks aus wie eine ganz normale Excel-Tabelle.

Spalte A: Die eigenen Daten der Person.
Spalte B: Der Durchschnitt der Daten ihrer Freunde.
Spalte C: Der Maximalwert der Daten ihrer Freunde-der-Freunde.
...und so weiter.

3. Der „kluge Leser“

Da die Daten nun in einer Tabellenkalkulation vorliegen, benötigen Sie kein ausgeklügeltes Graph Neural Network mehr. Sie können einen sehr leistungsfähigen, gut abgestimmten „Standard-Leser“ (ein Multi-Layer Perceptron oder MLP) verwenden. Dieser Leser ist sehr gut darin, Muster in Tabellenkalkulationen zu finden.

Das Ergebnis:
Die Autoren haben dies auf 14 verschiedene reale Datensätze getestet (wie Zitationsnetzwerke, Amazon-Produktbewertungen und Wikipedia-Seiten).

Das Ergebnis: In 12 von 14 Fällen schnitt dieser einfache „Feste Rezept + Standard-Leser“-Ansatz genauso gut ab wie oder sogar besser als die komplexen, hochtechnologischen Meisterköche (die State-of-the-Art GNNs).
Die Ausnahme: Die einzigen zwei Fälle, in denen die einfache Methode Schwierigkeiten hatte, waren Datensätze, die erforderten, dass man sehr weit entfernt sucht (wie 10+ Schritte entfernt im Netzwerk), um die Antwort zu finden. In diesen seltenen Fällen wurden die komplexen Modelle, die „lernen“ konnten, weiter zu schauen, benötigt.

Warum das wichtig ist (Der „Aha!“-Moment)

Das Paper legt nahe, dass die „Geheimzutat“ bei den meisten Problemen nicht darin liegt, dem Computer beizubringen, wie man die Zutaten mischt. Die Geheimzutat steckt bereits in den Zutaten selbst!

Das Signal ist lokal: Die meisten Informationen, die Sie benötigen, um das Rätsel zu lösen, befinden sich direkt in der unmittelbaren Nachbarschaft (1 oder 2 Schritte entfernt).
Einfachheit gewinnt: Indem Sie einfache, feste Regeln verwenden (wie etwa einfach den Durchschnitt zu bilden), vermeiden Sie, dass der Computer verwirrt wird oder „overfittet“ (also die Trainingsdaten auswendig lernt, statt das zugrunde liegende Muster zu verstehen).
Transparenz: Da die Regeln fest und einfach sind, können Sie leicht in die Tabelle schauen und sagen: „Ah, der Computer hat ‚Ingenieur‘ geschätzt, weil der Durchschnitt der Fähigkeiten der Nachbarn hoch war.“ Bei den komplexen GNNs handelt es sich oft um eine „Black Box“, bei der man nicht nachvollziehen kann, warum eine Entscheidung getroffen wurde.

Das Fazit

Die Autoren sagen: „Hören Sie auf, so komplizierte Maschinen zu bauen, um zu lernen, wie man zuhört. Manchmal reicht es aus, mit einer einfachen, festen Regel zuzuhören und dann eine kluge Person die Notizen lesen zu lassen, um das Spiel zu gewinnen.“

Sie sagen nicht, dass komplexe Maschinen für immer nutzlos sind, aber sie stellen die Idee infrage, dass wir für jedes Graph-Problem zwingend komplexe Modelle verwenden müssen. Sie schlagen vor, dass wir mit dieser einfachen, transparenten „Feste Rezept“-Methode als Baseline beginnen sollten, bevor wir versuchen, ein Wolkenkratzer-Gebäude aus Komplexität zu errichten.

Technisches Resümee: Fixed Aggregation Features können mit GNNs konkurrieren

Problemstellung

Graph Neural Networks (GNNs) sind zum Standard für das Lernen aus graphbasierten Daten geworden, insbesondere für die Knotenklassifikation. Diese Modelle verlassen sich typischerweise auf das Paradigma des Message-Passing, bei dem Knotenrepräsentationen durch mehrere Schichten trainierbarer Nachbarschaftsaggregationen (z. B. gelernte lineare Kombinationen, Attention-Mechanismen) aktualisiert werden. Obwohl dieser Ansatz effektiv ist, führt er zu hoher Modellkomplexität, Herausforderungen bei der Interpretierbarkeit und erheblichen Rechenkosten.

Jüngste Erkenntnisse deuten darauf hin, dass klassische GNNs (GCN, GAT, GraphSAGE) bei strengem Hyperparameter-Tuning mit State-of-the-Art Graph Transformern und heterophilie-bewussten Modellen konkurrenzfähig bleiben. Dies wirft eine grundlegende Frage auf: Ist die hohe Komplexität des Lernens von Aggregationsfunktionen wirklich notwendig? Speziell: Wie relevant ist das Lernen der Aggregation selbst im Vergleich zur nachgeschalteten Klassifikationsaufgabe?

Methodik: Fixed Aggregation Features (FAFs)

Die Autoren führen Fixed Aggregation Features (FAFs) ein, einen trainingsfreien Ansatz, der Graphlernaufgaben in Standard-Tabellenprobleme transformiert. Der Kern der Idee besteht darin, das Repräsentationslernen von der Optimierung zu entkoppeln, indem feste, nicht-trainierbare Aggregationsoperatoren verwendet werden.

Die FAF-Pipeline

Feste Aggregation: Für einen gegebenen Knoten $v$ $v$ berechnet die Methode rekursiv Merkmale aus seinen $k$ $k$ -Hop-Nachbarschaften unter Verwendung einer Menge fester Reduzierer $\mathcal{R}$ $R$ (z. B. Mittelwert, Summe, Maximum, Minimum, Standardabweichung).
- $h^{(0,r)}_v = x_v$ (Originalmerkmale)
- $h^{(k,r)}_v = r(\{h^{(k-1,r)}_u : u \in \mathcal{N}(v)\})$
Merkmalskonkatenation: Die Merkmale aus allen Hops ( $k \in \{1, \dots, K\}$ $k \in {1, \dots, K}$ ) und allen Reduzierern ( $r \in \mathcal{R}$ $r \in R$ ) werden mit den ursprünglichen Knotenmerkmalen zu einem hochdimensionalen Tabellenvektor $z_v$ $z_{v}$ konkateniert.
- $z_v = x_v \oplus \bigoplus_{r \in \mathcal{R}} \bigoplus_{k=1}^K h^{(k,r)}_v$
Nachgeschaltete Klassifikation: Ein Standard-, gut abgestimmtes Multi-Layer Perceptron (MLP) wird auf diesen festen Merkmalen $z_v$ trainiert. Es werden keine Gradienten durch die Aggregationsschritte zurückpropagiert; die Aggregation ist ein Vorverarbeitungsschritt.

Theoretische Grundlage

Das Paper verbindet FAFs mit dem Kolmogorov–Arnold-Repräsentationstheorem, welches besagt, dass jede multivariate stetige Funktion als Komposition univariater Funktionen dargestellt werden kann.

Theoretische Möglichkeit: Die Autoren konstruieren eine spezifische, feste, injektive Aggregationsfunktion $\Phi$ (basierend auf ternären Expansionen und der Cantor-Menge), die theoretisch eine verlustfreie Kodierung von Nachbarschafts-Multimengen ermöglicht. Dies impliziert, dass es theoretisch nicht notwendig ist, während der Aggregation Informationen zu lernen, um die Expressivität zu bewahren.
Praktische Realität: Während $\Phi$ theoretisch verlustfrei ist, ist sie numerisch instabil und erzeugt "raue" Embeddings, die für Standard-Klassifikatoren ungeeignet sind. Im Gegensatz dazu sind einfache, nicht-injektive Reduzierer (wie Mittelwert und Summe) empirisch besser optimierbar. Die Autoren argumentieren, dass für die meisten Benchmarks das relevante Signal in Low-Hop-Nachbarschaften (1–2 Hops) konzentriert ist, wo einfache Aggregationen ausreichend Informationen bewahren.

Wichtigste Beiträge

Theoretische Einsicht: Das Paper stellt fest, dass eine verlustfreie Nachbarschaftsaggregation theoretisch über feste, injektive Funktionen möglich ist, die aus Kolmogorov–Arnold-Repräsentationen abgeleitet sind. Es hebt jedoch eine entscheidende Lücke zwischen Expressivität und Lernbarkeit hervor: Einfache, nicht-injektive Reduzierer liefern oft eine bessere praktische Leistung, da sie glattere Embeddings erzeugen, die nachgeschaltete Klassifikatoren effektiver optimieren können.
Methodischer Vorschlag: Die Einführung von FAFs, die Graphdaten in ein Tabellenformat umwandeln, indem sie feste Multi-Hop-Aggregationen stapeln. Dies bietet ein interpretierbares Framework, um das Zusammenspiel von Graphstruktur, Merkmalen und der Aufgabe ohne Architektur-Bias zu untersuchen.
Empirische Evidenz: Umfangreiche Experimente auf 14 Standard-Knotenklassifikations-Benchmarks zeigen, dass FAFs in Kombination mit gut abgestimmten MLPs State-of-the-Art GNNs und Graph Transformer auf 12 von 14 Aufgaben übertreffen oder ihnen ebenbürtig sind.
- Leistung: FAFs erreichen oder übertreffen klassische GNNs (GCN, GAT, SAGE) sowie komplexe Architekturen in Zitationsnetzwerken (Cora, Citeseer, PubMed), Co-Autorenschafts-Graphen und Amazon-Produktgraphen.
- Ausnahmen: FAFs schneiden nur bei den Datensätzen Roman Empire und Minesweeper schlechter ab. Die Autoren führen dies auf Datensätze zurück, die langreichweitige Abhängigkeiten oder spezifische lineare Residualverbindungen erfordern, welche Standard-FAFs (unter Verwendung von 2–4 Hops) nicht erfassen – dies deckt sich mit den Befunden, dass diese Aufgaben von tiefen GNNs mit parametrisierten Residuals profitieren.
Implikationen für das Benchmarking: Die Ergebnisse stellen die Notwendigkeit des gelernten Aggregationsmechanismus auf aktuellen Standard-Benchmarks infrage. Die Autoren argumentieren, dass viele Datensätze durch leistungsstarke Tabellen-Prädiktoren gelöst werden können, die mit festen, transparenten Merkmalen gespeist werden, was darauf hindeutet, dass aktuelle Benchmarks die Fähigkeit von Modellen, komplexe Aggregationsdynamiken zu lernen, möglicherweise nicht angemessen testen.

Ergebnisse und Analyse

Ablationsstudien:
- Komplexität des Klassifikators: Ein gut abgestimmtes MLP schneidet bei der Anwendung auf FAF-Merkmale signifikant besser ab als eine einzelne lineare Schicht, was zeigt, dass Nichtlinearität und Kapazität entscheidend sind, um Multi-Hop-Informationen zu nutzen.
- Hop-Konkatenation: Die Konkatenation von Merkmalen aus allen Hops liefert eine bessere Leistung als die Verwendung nur des letzten Hops, was bestätigt, dass Informationen während wiederholter Aggregationen verloren gehen und frühe Hops (0–2) das aussagekräftigste Signal enthalten.
- Wahl des Reduzierers: Während die Konkatenation mehrerer Reduzierer (z. B. Mittelwert, Summe, Maximum, Minimum) im Allgemeinen vorteilhaft ist, reicht ein einzelner Reduzierer (oft der Mittelwert) häufig aus und übertrifft manchmal sogar komplexe Kombinationen, was wahrscheinlich auf eine verringerte Überanpassung in hochdimensionalen Räumen zurückzuführen ist.
Interpretierbarkeit: Durch die Behandlung des Problems als Tabellenproblem nutzen die Autoren SHAP-Werte, um die Merkmalswichtigkeit zu analysieren. Beispielsweise identifizieren sie beim Minesweeper-Datensatz, dass der Hop-1-Mittelwert bestimmter Merkmale das primäre Signal ist, was verdeutlicht, warum das Modell erfolgreich oder erfolglos ist.
Effizienz: Das Vorberechnen von Aggregationen und das Training eines MLP ist im Allgemeinen skalierbarer und effizienter als das Training tiefer GNNs, obwohl die Eingabendimensionalität mit der Anzahl der Hops und Reduzierer steigt.

Bedeutung und Behauptungen

Das Paper postuliert, dass das Feld des Graphlernens möglicherweise zu sehr auf komplexen, trainierbaren Aggregationsmechanismen basiert, wenn für Aufgaben einfache, feste Statistiken ausreichen. Die Autoren behaupten:

Starke Baselines: FAFs sollten als obligatorische, starke Baseline für die zukünftige Graphlernforschung dienen. Wenn ein neues GNN einen gut abgestimmten FAF nicht übertreffen kann, ist seine zusätzliche Komplexität möglicherweise nicht gerechtfertigt.
Neubewertung von Benchmarks: Aktuelle Standard-Benchmarks (z. B. Cora, Citeseer) erfordern möglicherweise gar keine gelernte Aggregation, da das prädiktive Signal oft in Nachbarschaften niedriger Ordnung konzentriert ist. Die Autoren fordern „reichere Benchmarks“, die gezielt langreichweitige Abhängigkeiten und komplexe Inter-Hop-Dynamiken testen.
Optimierung vs. Expressivität: Der Erfolg von FAFs legt nahe, dass Optimierbarkeit und Trainierbarkeit ebenso kritisch sind wie die theoretische Expressivität. Komplexe GNNs könnten aufgrund von Optimierungsschwierigkeiten (z. B. verschwindende Gradienten, Over-Smoothing) Schwierigkeiten haben, nützliche Aggregationen zu lernen, statt an einem Mangel an theoretischer Kapazität zu scheitern.
Tabellarische Perspektive: Die Umwandlung von Graphproblemen in Tabellenprobleme ermöglicht es Forschern, das ausgereifte Werkzeug der Tabellenmodellierung (Merkmalsselektion, Interpretierbarkeit, Umgang mit Klassenungleichgewicht) zu nutzen und den Beitrag der Graphstruktur von Optimierungsartefakten zu isolieren.

Zusammenfassend plädieren die Autoren für einen Fokuswechsel: Anstatt davon auszugehen, dass zusätzliche Parameter oder höhere Expressivität automatisch relevantere Signale extrahieren, sollte die Gemeinschaft den Fokus auf einfachere, interpretierbarere Modelle legen und Benchmarks entwickeln, die die das Lernen komplexer Aggregationsfunktionen tatsächlich notwendig machen.