GraphProp: Training the Graph Foundation Models using Graph Properties

Die Arbeit stellt GraphProp vor, ein zweiphasiges Trainingsverfahren für Graph-Foundation-Modelle, das durch die Vorhersage struktureller Graphinvarianten eine robuste domänenübergreifende Generalisierung erreicht und insbesondere bei Graphen ohne Knotenattribute überlegene Leistung in überwachtem und Few-Shot-Learning zeigt.

Das Wesentliche

GraphProp: Wie man Graphen-Fundamentalmodelle mit „Graph-Eigenschaften" trainiert

Stellen Sie sich vor, Sie wollen einen sehr klugen Roboter bauen, der alle möglichen Arten von Netzwerken versteht – von chemischen Molekülen über soziale Medien bis hin zu Verkehrsnetzen. In der KI-Welt nennt man diese Roboter Graph-Fundamentamodelle (GFMs). Das Problem ist: Ein Molekül sieht ganz anders aus als ein Freundesnetzwerk auf Facebook. Die Daten sind so unterschiedlich, dass ein Modell, das für Chemie gelernt hat, oft bei sozialen Netzwerken versagt.

Die Forscher von GraphProp haben eine geniale Lösung gefunden. Hier ist die Erklärung, wie sie das gemacht haben, mit ein paar einfachen Vergleichen:

1. Das Problem: Der falsche Fokus

Bisher haben die meisten Modelle versucht, die Details der Knoten zu lernen (z. B. „Dieser Atom ist Kohlenstoff" oder „Dieser Nutzer mag Pizza").

• Das Problem: Diese Details sind wie die Kleidung der Menschen. Ein Kohlenstoffatom trägt keine Jeans, und ein Facebook-Nutzer hat keine chemische Formel. Wenn Sie ein Modell nur auf die „Kleidung" trainieren, kann es nicht verstehen, wie die Menschen (oder Atome) miteinander verbunden sind, wenn es in eine ganz andere Welt wechselt.

Die Forscher stellten fest: Die Struktur selbst ist universell.

• Die Erkenntnis: Egal ob es ein Molekül oder ein soziales Netzwerk ist – beide haben eine „Form". Sie haben einen Durchmesser, eine bestimmte Art, wie sie verbunden sind, und mathematische Eigenschaften, die immer gelten. Das ist wie die Architektur eines Gebäudes: Ob es ein Schloss in Europa oder ein Tempel in Asien ist, die Grundprinzipien von Wänden, Türen und Dach sind ähnlich.

2. Die Lösung: GraphProp in zwei Schritten

GraphProp trainiert den KI-Roboter in zwei Phasen, wie einen Schüler, der erst die Grammatik lernt und dann Texte schreibt.

Phase 1: Der „Struktur-Experte" (Das Gerüst)

Zuerst trainieren die Forscher ein Modell, das nur die Form des Netzwerks versteht.

• Wie? Sie lassen das Modell mathematische „Eigenschaften" (Graph-Invarianten) vorhersagen.
• Der Vergleich: Stellen Sie sich vor, Sie geben dem Roboter einen blauen Kasten (ein Molekül) und einen roten Kasten (ein soziales Netzwerk). Sie fragen ihn nicht: „Was ist drin?", sondern: „Wie viele Ecken hat der Kasten? Wie weit ist der längste Weg von einer Ecke zur anderen? Ist er stabil?"
• Diese Fragen (mathematische Eigenschaften wie der Lovász-Zahl oder Fiedler-Wert) sind für alle Netzwerke gleich. Das Modell lernt also die universelle „Grammatik" der Verbindungen, ohne sich um den Inhalt zu kümmern. Es wird zum Struktur-Experten.

Phase 2: Der „Allrounder" (Das Haus)

Jetzt nehmen sie den Struktur-Experten und fügen die spezifischen Details hinzu.

• Wie? Sie nutzen die Struktur-Erkenntnisse aus Phase 1 als „Platzhalter" (Positionscodierung) und fügen dann die spezifischen Daten (z. B. chemische Eigenschaften oder Nutzerprofile) hinzu.
• Der Vergleich: Der Struktur-Experte hat jetzt den perfekten Grundriss für ein Haus gezeichnet. In Phase 2 fügt man die Möbel, die Farbe der Wände und die Dekoration hinzu. Da der Grundriss (die Struktur) schon perfekt ist, kann das Modell auch in einem völlig neuen Haus (einem neuen Datentyp) sofort verstehen, wie die Möbel (die Daten) zusammenpassen.

3. Warum ist das so genial?

• Es funktioniert auch ohne Daten: Viele alte Modelle brauchen detaillierte Beschreibungen der Knoten (z. B. „Dieser Nutzer ist 25 Jahre alt"). GraphProp kann auch mit leeren Netzwerken arbeiten, solange die Struktur da ist. Das ist, als könnte man ein Haus bauen, auch wenn man keine Möbel hat, solange man den Grundriss kennt.
• Es nutzt „Fake"-Daten: Da es nur um die Struktur geht, können die Forscher künstliche, synthetische Netzwerke erstellen, um das Modell zu trainieren. Das ist wie ein Flugsimulator: Man muss nicht wirklich fliegen, um zu lernen, wie ein Flugzeug aerodynamisch funktioniert.
• Bessere Vorhersagen: In Tests hat GraphProp deutlich besser abgeschnitten als die Konkurrenz, besonders bei Aufgaben, bei denen es wenig Daten gibt (Few-Shot Learning) oder bei denen die Knoten keine Beschreibungen haben.

Zusammenfassung

GraphProp ist wie ein Architekt, der zuerst lernt, wie man irgendein Gebäude konstruiert (Struktur), bevor er sich darum kümmert, ob es ein Krankenhaus oder ein Kino wird (Inhalt). Dadurch kann er sich viel schneller an neue, unbekannte Gebäude anpassen als Modelle, die nur gelernt haben, wie man Klinkersteine (Knotendetails) verlegt.

Das Ergebnis: Ein KI-Modell, das wirklich versteht, wie Netzwerke funktionieren – egal ob in der Chemie, in sozialen Medien oder im Internet.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „GraphProp: Training the Graph Foundation Models using Graph Properties" auf Deutsch:

1. Problemstellung

Das Ziel von Graph-Foundation-Modellen (GFMs) ist es, durch das Lernen aus diversen Datenquellen generalisierbare Repräsentationen für Graphen zu erstellen, die auf verschiedenen Aufgaben und Domänen (z. B. Moleküldesign, soziale Netzwerke) funktionieren.

Die Hauptprobleme bestehender Ansätze sind:

• Mangelnde strukturelle Generalisierung: Traditionelle GFMs konzentrieren sich stark auf die Vereinheitlichung von Knotenmerkmalen (Node Features) über verschiedene Domänen hinweg. Da diese Merkmale jedoch domänenspezifisch sind (z. B. chemische Eigenschaften vs. Benutzerattribute), fehlt es oft an einer konsistenten, domänenübergreifenden strukturellen Generalisierung.
• Abhängigkeit von Knotenmerkmalen: Viele aktuelle Modelle (wie OFA) nutzen In-Context-Learning mit Text-beschriebenen Graphen (TAGs). Wenn Graphen keine Knotenmerkmale besitzen (z. B. reine Strukturdaten in sozialen Netzwerken), versagen diese Modelle oder degenerieren zu einfachen GNNs.
• Datenknappheit: Das Training von Foundation-Modellen erfordert große Mengen an gelabelten Daten, die oft nicht verfügbar sind. Unbeschriftete Daten werden von bestehenden GFMs kaum genutzt.

Die Autoren stellen fest, dass Graphstrukturen im Vergleich zu Knotenmerkmalen und Graph-Labels mehr konsistente, domänenübergreifende Informationen enthalten (z. B. invariante Eigenschaften wie der chromatische Bruchzahl oder die Lovász-Zahl), die unabhängig von der spezifischen Domäne gelten.

2. Methodik: GraphProp

GraphProp ist ein zweiphasiger Trainingsansatz, der strukturelle Generalisierung und domänenspezifische Merkmalsgeneralisierung kombiniert.

Phase 1: Training eines strukturellen GFM durch Graph-Invarianten

In dieser Phase wird ein reines Strukturmodell trainiert, das nur auf der Adjazenzmatrix basiert, ohne Knotenmerkmale oder Labels zu verwenden.

• Vorhersage von Graph-Eigenschaften: Das Modell lernt, Graph-Invarianten (Eigenschaften, die nur von der abstrakten Struktur abhängen) vorherzusagen. Dazu werden 15 verschiedene Eigenschaften verwendet, darunter Fiedler-Wert, Durchmesser, fraktionale chromatische Zahl, Lovász-Zahl und Wiener-Index.
• Reversible Positional Encodings: Um sicherzustellen, dass das Modell alle Informationen der Adjazenzmatrix erfasst, wird eine reversible Positional-Encoding-Methode verwendet ($B = U\Lambda^{1/2}$), die es erlaubt, die Adjazenzmatrix aus der Kodierung zurückzugewinnen. Herkömmliche spektrale Einbettungen sind hier nicht reversibel und daher ungeeignet.
• Daten-Augmentierung: Das Modell kann auch auf synthetischen Graphen trainiert werden, da die Vorhersage von Invarianten keine Labels benötigt. Dies löst das Problem der Datenknappheit.
• Theoretische Garantie: Ein Theorem beweist, dass das Modell in der Lage ist, Graphen zu unterscheiden (Graph-Discrimination), wenn die vorhergesagten Invarianten unterschiedlich sind.

Phase 2: Training eines umfassenden GFM (Comprehensive GFM)

In der zweiten Phase wird das in Phase 1 trainierte strukturelle Modell als Positional Encoding für ein umfassendes GFM genutzt.

• Kombination von Merkmalen: Die strukturelle Repräsentation $Z$ (aus Phase 1) wird mit den domänenspezifischen Knotenmerkmalen $E$ (erzeugt durch In-Context-Learning mit Text-beschriebenen Graphen, TAGs) kombiniert: $\hat{x}_i = e_i \oplus z_i$.
• In-Context-Learning: Das umfassende Modell nutzt diese angereicherten Merkmale, um domänenspezifische Labels vorherzusagen. Dies verbessert die Generalisierung der Knotenmerkmale über verschiedene Domänen hinweg.

3. Wichtige Beiträge

• Erster GFM für strukturelle und Merkmals-Generalisierung: GraphProp ist das erste Modell, das sowohl strukturelle als auch knotenmerkmalbasierte Generalisierung über Domänen hinweg für Graph-Level-Aufgaben erreicht.
• Brücke zwischen Graph-Theorie und Foundation-Modellen: Durch die Nutzung von Graph-Invarianten als Supervision wird die Graph-Theorie direkt in das GFM-Training integriert. Dies ermöglicht das Lernen von abstrakten Strukturmustern.
• Überwindung der Datenknappheit: Durch die Vorhersage von Invarianten können unbeschriftete und synthetische Graphen effektiv für das Training genutzt werden, was die Skalierbarkeit erhöht.
• Robustheit bei fehlenden Knotenmerkmalen: Da der strukturelle Teil des Modells keine Knotenmerkmale benötigt, funktioniert GraphProp auch hervorragend bei Graphen, die keine Knotenattribute besitzen.

4. Ergebnisse

Die Experimente wurden auf zwei Gruppen von Datensätzen durchgeführt:

• G1: Datensätze mit Knotenmerkmalen (z. B. PROTEINS, NCI1, HIV).
• G2: Datensätze ohne Knotenmerkmale (z. B. COLLAB, IMDB-B, DD, REDDIT).

Ergebnisse:

• Überlegenheit bei fehlenden Merkmalen (G2): GraphProp übertrifft die State-of-the-Art-Baselines (OFA, BRIDGE, EdgePrompt+) signifikant in allen Szenarien ohne Knotenmerkmale. Während OFA bei fehlenden Merkmalen stark an Leistung verliert, bleibt GraphProp robust, da es auf der strukturellen Repräsentation aufbaut.
• Verbesserung bei vorhandenen Merkmalen (G1): Auch in Datensätzen mit Knotenmerkmalen erzielt GraphProp konsistent bessere oder vergleichbare Ergebnisse im Vergleich zu OFA und anderen Baselines.
• Few-Shot Learning: In Few-Shot-Szenarien (wenige Trainingsbeispiele) zeigt GraphProp eine überlegene Generalisierungsfähigkeit, insbesondere auf Datensätzen wie IMDB-B und DD.
• Vergleich: Die Verbesserungen sind besonders bei den Datensätzen COLLAB, IMDB-B und DD enorm, was die Effektivität der strukturellen Generalisierung unterstreicht.

5. Bedeutung und Fazit

GraphProp stellt einen Paradigmenwechsel im Training von Graph-Foundation-Modellen dar. Anstatt sich ausschließlich auf die Vereinheitlichung von Knotenmerkmalen zu verlassen, nutzt es die inhärente Konsistenz von Graphstrukturen über Domänen hinweg.

• Praktische Relevanz: Das Modell ist besonders wertvoll für Anwendungen in Bereichen, wo Graphen oft keine detaillierten Knotenattribute haben oder wo Daten aus völlig unterschiedlichen Domänen kombiniert werden müssen.
• Skalierbarkeit: Die Fähigkeit, synthetische und unbeschriftete Daten zu nutzen, macht den Ansatz skalierbar und weniger abhängig von teuren manuellen Annotationen.
• Zukunftsperspektive: Die Arbeit legt den Grundstein für Foundation-Modelle, die nicht nur „Text-basierte" Graphen verstehen, sondern die zugrundeliegende Topologie und mathematische Struktur von Graphen tiefgreifend erfassen.

Zusammenfassend demonstriert GraphProp, dass die explizite Modellierung von Graph-Invarianten der Schlüssel zu robusten, domänenübergreifenden Graph-Repräsentationen ist.