🤖 machine learning

Structure-Centric Graph Foundation Model via Geometric Bases

Dieser Artikel schlägt Struktur-zentrierte Graph-Foundation-Modelle (SCGFM) vor, einen neuartigen Ansatz, der die Graph-Topologie als primäre Quelle übertragbaren Wissens behandelt, indem er lernbare geometrische Basen und die Gromov-Wasserstein-Ausrichtung nutzt, um strukturelle Heterogenität und Feature-Inkompatibilität zu überwinden und dadurch eine überlegene Generalisierung über diverse Graphendomänen hinweg zu erreichen.

Ursprüngliche Autoren: Xiaodong He, Haolan He, Ruiyi Fang, Ming Sun, Zhao Kang

Veröffentlicht 2026-05-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Xiaodong He, Haolan He, Ruiyi Fang, Ming Sun, Zhao Kang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, verschiedene Arten von Karten zu erkennen. Einige Karten zeigen Städte mit gitterartigen Straßen, andere Wälder mit schlängelnden Pfaden, und wieder andere U-Bahn-Systeme mit komplexen Schleifen.

Das Problem ist, dass diese Karten sich überhaupt nicht ähnlich sehen. Sie haben unterschiedliche Anzahlen von Haltestellen, verschiedene Formen, und die „Beschriftungen" an den Haltestellen (wie „Café" versus „Baum") verwenden völlig unterschiedliche Sprachen. Herkömmliche KI-Modelle haben hier Schwierigkeiten, weil sie versuchen, jede Karte in denselben starren Kasten zu zwängen, wobei sie dabei oft die einzigartige Form der Karte verlieren.

Diese Arbeit stellt ein neues KI-Modell namens SCGFM (Structure-Centric Graph Foundation Model) vor. Anstatt Karten in einen Kasten zu zwängen, lehrt SCGFM den Roboter, zuerst die Form der Karte zu verstehen, unabhängig davon, was darauf geschrieben steht.

So funktioniert es, aufgeschlüsselt in einfache Konzepte:

1. Das „universelle Lineal" (Geometrische Basen)

Stellen Sie sich vor, Sie haben eine Reihe von Master-Vorlagen oder „geometrischen Basen". Dies sind keine echten Karten; es ist vielmehr eine kleine Sammlung abstrakter Formen: eine sieht aus wie ein Stern, eine wie ein Ring, eine wie eine lange Linie und so weiter.

Die Analogie: Betrachten Sie diese Basen als eine Reihe von Lego-Steinen, die die fundamentalen Bausteine eines jeden Netzwerks darstellen.
Wie es funktioniert: Die KI lernt diese Formen automatisch. Es ist ihr egal, ob die Eingabe ein Molekül oder ein soziales Netzwerk ist; sie fragt einfach: „Wie sehr ähnelt diese neue Karte meinem 'Stern'-Stein? Wie sehr ähnelt sie meinem 'Ring'-Stein?"

2. Der „Abstandscheck" (Gromov-Wasserstein)

Um herauszufinden, wie sehr eine neue Karte einer Master-Vorlage ähnelt, verwendet das Modell ein spezielles mathematisches Werkzeug namens Gromov-Wasserstein (GW)-Abstand.

Die Analogie: Stellen Sie sich vor, Sie haben ein zerknittertes Blatt Papier (die neue Karte) und eine flache Vorlage (die Master-Basis). Sie können sie nicht einfach übereinanderlegen, da sie unterschiedliche Größen haben. Stattdessen stellen Sie sich vor, Sie strecken und verformen das zerknitterte Papier, bis es perfekt zur Vorlage passt. Die „Kosten" oder der „Aufwand", der zum Strecken erforderlich ist, ist der Abstand.
Das Ergebnis: Wenn eine neue Karte der „Ring"-Vorlage sehr ähnlich ist, sind die Streckkosten gering. Wenn sie sehr unterschiedlich ist, sind die Kosten hoch. Dies erzeugt ein Koordinatensystem, das rein auf der Form basiert und die spezifischen Namen oder Beschriftungen der Knoten ignoriert.

3. Der „universelle Übersetzer" (Feature-Neukodierung)

Normalerweise geraten KI-Modelle in Verwirrung, wenn ein Datensatz 100 Zahlen verwendet, um einen Knoten zu beschreiben, und ein anderer 50. SCGFM löst dies, indem es zunächst die ursprünglichen Zahlen ignoriert.

Die Analogie: Stellen Sie sich vor, Sie übersetzen ein Buch. Anstatt wortwörtlich zu übersetzen (was scheitert, wenn die Sprachen zu unterschiedlich sind), fassen Sie zuerst die Handlungsstruktur (die Form) zusammen. Sobald Sie wissen, dass die Geschichte eine „Heldenreise" ist (die Form), können Sie die spezifischen Details (die Merkmale) in ein Format übersetzen, das zu dieser Handlungsstruktur passt.
Wie es funktioniert: Das Modell nimmt die Knotenmerkmale (wie „Benutzeralter" oder „Art der chemischen Bindung") und projiziert sie auf die Master-Vorlagen. Dies erzeugt eine vereinheitlichte Beschreibung, die für jeden Datensatz funktioniert, sei es ein Molekül oder ein soziales Netzwerk.

4. Die „magische Karte" (Die endgültige Ausgabe)

Das Endergebnis ist ein einzelner, kompakter „Fingerabdruck" für jeden Graphen. Dieser Fingerabdruck besteht aus drei Teilen:

Die Form-Koordinaten: „Dieser Graph ist zu 30 % Stern, zu 50 % Ring, zu 20 % Linie."
Die statistische Zusammenfassung: „Dieser Graph hat viele Dreiecke und kurze Schleifen."
Die abgeglichenen Merkmale: „Hier sind die spezifischen Details, aber organisiert gemäß der Form."

Warum ist das eine große Sache?

Die meisten aktuellen KI-Modelle sind wie spezialisierte Köche: Ein Koch, der großartige Pizza macht, aber kein Sushi herstellen kann. Wenn Sie ihm Sushi-Zutaten geben, scheitert er.

SCGFM ist wie ein Meisterarchitekt. Es ist ihm egal, ob Sie ein Haus, eine Brücke oder einen Turm bauen. Es versteht die zugrunde liegenden strukturellen Prinzipien (die Geometrie). Da es diese Prinzipien zuerst lernt, kann es:

Wissen leicht übertragen: Es kann aus einem Datensatz von Molekülen lernen und dieses Wissen sofort auf soziale Netzwerke anwenden, auch wenn diese völlig unterschiedlich aussehen.
Mit sehr wenig Daten arbeiten: Es kann einen neuen Graphentyp erkennen, nachdem es nur wenige Beispiele gesehen hat (Few-Shot-Learning), weil es bereits die „Sprache der Formen" versteht.
Unordentliche Daten bewältigen: Es benötigt keine Daten, die vorher bereinigt oder perfekt formatiert wurden. Es betrachtet einfach die Form.

Das Fazit

Die Arbeit behauptet, dass SCGFM, indem es Graphen als geometrische Formen und nicht nur als Listen von Datenpunkten behandelt, eine universelle Sprache für Netzwerke schafft. Es ermöglicht der KI, zuerst die Struktur eines Graphen zu „verstehen", was sie unglaublich gut darin macht, Muster über völlig verschiedene Welten hinweg zu erkennen (wie Biologie, soziale Medien und Chemie), ohne für jede einzelne von Grund auf neu trainiert werden zu müssen.

Technische Zusammenfassung: Strukturzentriertes Graph-Grundlagenmodell mittels Geometrischer Basen

1. Problemstellung

Graph-Grundlagenmodelle (GFMs) zielen darauf ab, übertragbare Repräsentationen über diverse Graphendomänen hinweg zu erlernen. Herkömmliche Ansätze stoßen jedoch auf zwei primäre Einschränkungen:

Strukturelle Heterogenität: Graphen variieren erheblich in Topologie, Skalierung und induzierten Metriken über Domänen hinweg. Im Gegensatz zu Text oder Bildern sind Graphen relationale Objekte, die nur bis auf Isomorphie definiert sind und keine gemeinsame geometrische Referenz besitzen.
Inkompatibilität der Merkmale: Die Merkmalsräume der Knoten unterscheiden sich häufig in Dimensionalität und Semantik zwischen Datensätzen. Aktuelle GFMs erzwingen typischerweise feste Merkmalsdimensionen mittels datensatzspezifischer Projektionen, Padding oder Adapter. Während dies Merkmalsräume ausrichtet, gelingt es nicht, die zugrunde liegenden Graphstrukturen auszurichten, was zu Repräsentationen führt, die die intrinsische Graphähnlichkeit nur schlecht widerspiegeln und den domänenübergreifenden Transfer einschränken.

Bestehende Alternativen, wie etwa Graph-Tokenisierung, erzwingen künstliche Ordnungen auf inhärent ungeordneten Strukturen, verletzen die Permutationsinvarianz und erfassen die intrinsische Graphgeometrie nicht.

2. Methodik: SCGFM

Die Autoren schlagen Strukturzentrierte Graph-Grundlagenmodelle (SCGFM) vor, die die Graphtopologie als primäre Quelle übertragbaren Wissens behandeln. Die Kernidee besteht darin, Graphen als Maßmetrische Räume (mm-Räume) zu modellieren und ein gemeinsames strukturelles Koordinatensystem zu erlernen.

2.1. Geometrische Perspektive

SCGFM geht davon aus, dass reale Graphen innerhalb einer total beschränkten Teilmenge des Raums der mm-Räume liegen. Basierend auf dem Kompaktheitsatz von Gromov kann jeder Graph durch seine Abstände zu einer endlichen Menge kanonischer geometrischer Muster (Basen) approximiert werden.

2.2. Kernkomponenten

Das Framework besteht aus zwei Stufen: Geometrische Basen-Vorverarbeitung und Downstream-Projektion.

A. Lernbare Geometrische Basen

SCGFM lernt eine endliche Menge von $K$ geometrischen Basen $\{B_k\}_{k=1}^K$ . Jede Basis $B_k$ ist als endlicher mm-Raum $( [M], d_k, \mu_k )$ definiert:

Metrik ( $d_k$ ): Repräsentiert durch eine lernbare, symmetrische, hohle Matrix $B_k \in [0, 1]^{M \times M}$ , die die Kantengewichte einer kanonischen Graphstruktur mit $M$ Knoten parametrisiert.
Maß ( $\mu_k$ ): Auf eine Gleichverteilung festgelegt, um wohldefinierte Kopplungen sicherzustellen.

Diese Basen bilden gemeinsam ein gemeinsames strukturelles Koordinatensystem.

B. Strukturelle Ausrichtung mittels Gromov–Wasserstein (GW)

Eingangsgraphen $G$ werden unter Verwendung von Gromov–Wasserstein (GW)-Abständen an die Basen ausgerichtet. Um die Skalierbarkeit zu gewährleisten, setzt die Methode Gekürzte Gromov–Wasserstein (SGW)-Abstände ein, die die rechnerische Komplexität von $O(N^3)$ auf quasi-linear $O(N \log N)$ reduzieren, indem sie metrische Strukturen auf 1D-Schnitte projizieren.

Für einen Graphen $G$ wird die strukturelle Diskrepanz zu jeder Basis $B_k$ als $\delta_k = d_{GW}(G, B_k)$ berechnet. Diese Abstände werden über eine Softmax-Funktion in einen strukturellen Koordinatenvektor $w$ (Gewichte) umgewandelt:
$w_k = \frac{\exp(-\delta_k / \tau)}{\sum_j \exp(-\delta_j / \tau)}$
Dieser Vektor $w$ dient als Repräsentation des Graphen im gemeinsamen geometrischen Raum.

C. Merkmals-Neu-Encoding

Um die Inkompatibilität der Merkmale zu adressieren, ohne feste Dimensionen vorauszusetzen, setzt SCGFM einen strukturbewussten Merkmals-Neu-Encoding-Mechanismus ein:

Transportplan: Der während der GW-Berechnung erhaltene optimale Transportplan $T_{ik}$ bildet Knoten vom Eingangsgraphen auf die geometrische Basis ab.
Projektion: Knotenmerkmale werden unter Verwendung von $T_{ik}$ aggregiert und auf die Basen projiziert, was zu einer einheitlichen Merkmalsmatrix $H(G)$ führt.
Vereinheitlichung: Dieser Prozess vereinheitlicht Knotenrepräsentationen, die an der Struktur verankert sind, und bleibt dabei gegenüber der ursprünglichen Merkmalsdimensionalität agnostisch.

D. Trainingsziele

Das Vorverarbeitungsziel minimiert eine gewichtete Summe aus drei Verlusten:

GW-Rekonstruktionsverlust ( $L_{gw}$ ): Minimiert den Abstand zwischen dem Eingangsgraphen und einem linearen Surrogat des GW-Baryzentrums (eine gewichtete Kombination von Basen).
Statistischer Rekonstruktionsverlust ( $L_{rec}$ ): Ein Decoder $f(\cdot)$ rekonstruiert Graph-Level-Statistiken (Grad-Histogramm, Clustering, Motive) aus $w$ , um strukturelle Treue sicherzustellen.
Diversitäts-Regularisierung ( $L_{div}$ ): Erzwingt eine paarweise Trennung zwischen den Basen, um einen Kollaps zu verhindern und sicherzustellen, dass sie den strukturellen Raum ausfüllen.

2.3. Downstream-Repräsentation

Die finale Graph-Embedding $z(G)$ ist eine Verkettung von:

Strukturellen Koordinaten $w$ .
Rekonstruierten Statistiken $f(w)$ .
Projizierten Merkmalen $vec(H(G))$.

Diese einheitliche Einbettung wird für Downstream-Aufgaben (Knoten- oder Graphklassifizierung) über einen eingefrorenen Encoder und einen leichten Klassifikator (z. B. Prototypisches Netzwerk) verwendet.

3. Hauptbeiträge

Strukturzentriertes GFM: Ein neuartiges Framework, das Transfer über heterogene Graphdatensätze hinweg ermöglicht, ohne datensatzspezifische Architekturen oder Merkmalsvorverarbeitung zu benötigen, und stattdessen auf ein gemeinsames geometrisches Koordinatensystem setzt.
Geometrische Basen & Latenter Raum: Die Einführung lernbarer geometrischer Basen, die einen geometrieausgerichteten latenten Raum induzieren. Die Autoren zeigen, dass Abstände in diesem Raum stark mit der intrinsischen GW-Graphgeometrie korrelieren.
Merkmalsflexibilität: Ein Mechanismus zur Vereinheitlichung heterogener Knotenmerkmale durch strukturelle Ausrichtung, der feste Merkmalsdimensionen oder domänenspezifische Vorverarbeitung überflüssig macht.
Theoretische Garantien: Beweis, dass die erlernten strukturellen Koordinaten und rekonstruierten Statistiken bezüglich des GW-Abstands Lipschitz-stetig sind, was Stabilität gewährleistet.

4. Experimentelle Ergebnisse

Die Autoren evaluierten SCGFM auf 12 Datensätzen über 5 Domänen hinweg (Moleküle, Soziale Netzwerke, Akademisch, E-Commerce, Synthetisch) sowohl für Graph-Level- als auch für Knoten-Level-Klassifizierung unter einem 5-Shot Few-Shot-Learning-Protokoll.

Leistung: SCGFM übertraf konsistent starke Baselines, einschließlich naiver GNNs (GCN, GIN, GAT), selbstüberwachter Methoden (GraphCL, GraphMAE) und bestehender GFMs (GCOPE, RiemannGFM, GIT).
- Graphklassifizierung: Erzielte überlegene In-Domain- und Cross-Domain-Genauigkeit, insbesondere auf dem COLORS-3-Datensatz, bei dem Baselines aufgrund großer struktureller Verschiebungen auf nahezu Zufallsniveau absanken.
- Knotenklassifizierung: Zeigte nahezu quellunabhängiges Verhalten. Beispielsweise blieb die Leistung auf dem Reddit-Datensatz hoch (~84 %), unabhängig vom Vorverarbeitungsdomäne, was der Fähigkeit des Modells zugeschrieben wird, hochdimensionale semantische Merkmale in einen Raum zu projizieren, in dem lineare Trennbarkeit garantiert ist (Covers Theorem).
Skalierbarkeit: SCGFM skalierte nahtlos auf Graphen mit 5 Millionen Knoten und wies den niedrigsten Spitzen-Speicherbedarf (~12 GB) aller Methoden auf. Konkurrierende Methoden (GAT, GIT) stießen bei geringeren Skalierungen auf Speicherfehler.
Ablationsstudien:
- Auf merkmal-dominierten Datensätzen (z. B. Cora) waren die projizierten Merkmale $vec(H)$ entscheidend; deren Entfernung führte zu einem katastrophalen Leistungsabfall.
- Auf struktur-dominierten Datensätzen (z. B. PROTEINS, MUTAG) waren die geometrischen Koordinaten $w$ die Haupttreiber der Leistung.
- Sowohl Rekonstruktions- als auch Diversitätsverluste waren für ein stabiles Training über alle Modalitäten hinweg unerlässlich.
Interpretierbarkeit: Visualisierungen zeigten, dass erlernte Basen sich auf unterschiedliche geometrische Motive spezialisierten (z. B. dichte Cluster, Ring-Schwanz-Muster) und sich während des Trainings von unstrukturierten Mustern zu scharfen topologischen Primitive entwickelten.
Isometrie: Die latenten euklidischen Abstände zeigten eine starke lineare Korrelation ( $\rho \approx 0,70$ ) mit den wahren GW-Abständen, was bestätigt, dass die Einbettung die intrinsische Graphgeometrie erhält.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass SCGFM eine prinzipielle Alternative zur Graph-Tokenisierung und zu domänenabhängigen GFMs bietet. Durch die Modellierung von Graphen als maßmetrische Räume und die Nutzung von GW-Abständen gelingt es SCGFM, Topologie erfolgreich von Semantik zu entkoppeln.

Die Autoren betonen, dass ihr Ansatz:

Über disparate Domänen hinweg robust generalisiert, ohne architektonische Modifikationen.
Theoretische Stabilität durch Lipschitz-Stetigkeitsgarantien bietet.
Effizient auf massive Graphen skaliert und die rechnerischen Engpässe der exakten GW-Berechnung durch die SGW-Näherung überwindet.
Sich an die Datenmodalität anpasst und entweder strukturelle oder semantische Signale je nach Datensatzcharakteristik effektiv nutzt.

Die Arbeit positioniert sich als Schritt hin zu einem einheitlichen, strukturzentrierten Paradigma für Graph-Grundlagenmodelle, das die Einschränkungen von merkmalzentrierten und tokenbasierten Ansätzen überwindet.