A Fair Evaluation of Graph Foundation Models for Node Property Prediction
Diese Arbeit führt eine faire und rigorose Neubewertung von neun aktuellen Graph-Foundation-Modellen für die Vorhersage von Knoten-Eigenschaften durch und zeigt auf, dass nur die jüngsten auf Prior-Data-Fitted-Networks basierenden Modelle die gut abgestimmten Graph Neural Network-Baselines in der Vorhersageleistung übertreffen, wenn auch bei einem höheren Inferenzaufwand.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem Computer die Welt der Verbindungen beizubringen – wie soziale Netzwerke, Straßenkarten oder Einkaufsgewohnheiten. In dieser Welt sind Daten nicht nur eine Liste von Zahlen; es ist ein riesiges Geflecht, in dem alles mit allem anderen verknüpft ist. Jahrelang war die Standardmethode, um Probleme in diesem Geflecht zu lösen (wie das Aufspüren eines Betrügers oder das Vorhersagen des nächsten Kaufs eines Nutzers), die Verwendung von Graph Neural Networks (GNNs). Betrachten Sie GNNs als hochqualifizierte, spezialisierte Lehrlinge. Sie sind großartig, aber sie müssen für jeden neuen Job von Grund auf neu trainiert werden, was Zeit und viel Feinabstimmung erfordert, um es richtig zu machen.
Vor kurzem ist eine neue Welle von „Super-Modellen“ namens Graph Foundation Models (GFMs) angekommen. Diese sind wie die „allwissenden Orakel“ der KI-Welt. Das Versprechen ist, dass sie bereits alles aus einer massiven Bibliothek von Daten gelernt haben und neue Probleme sofort lösen können, ohne viel Training zu benötigen.
Die Autoren dieser Arbeit beschlossen, diese „Orakel“ auf die Probe zu stellen. Sie wollten sehen, ob diese neuen GFMs tatsächlich besser als die hart arbeitenden, gut abgestimmten Lehrlinge (GNNs) bei einer spezifischen Aufgabe sind: der Vorhersage von Eigenschaften von Knoten (das Erraten des Labels einer bestimmten Person, eines Ortes oder einer Sache im Netzwerk).
Hier ist, was sie herausgefunden haben, einfach aufgeschlüsselt:
1. Das „Äpfel und Birnen“-Problem
Den Forschern fiel auf, dass das Feld ein wenig chaotisch war. Einige GFMs wurden auf winzigen, einfachen Datensätzen getestet, während andere auf riesigen, unordentlichen Datensätzen getestet wurden. Einige nutzten sehr schwache „Lehrlinge“ (GNNs) als Vergleich, was die GFMs als Genies erscheinen ließ, obwohl dies nur der Standard war. Es war, als würde man ein Formel-1-Auto mit einem Fahrrad vergleichen und das Auto zum Sieger erklären, ohne zu prüfen, ob das Fahrrad ordnungsgemäß abgestimmt worden war.
Um dies zu beheben, setzten die Autoren ein faires Rennen auf. Sie verwendeten 10 reale Datensätze aus der Industrie (wie echte soziale Netzwerke und Straßenkarten) und ließen 9 verschiedene GFMs gegen starke, intensiv abgestimmte GNNs antreten. Sie verwendeten nicht einfach die Standardeinstellungen der GNNs; sie verbrachten Stunden damit, diese so schnell und genau wie möglich abzustimmen.
2. Die zwei Teams
Die Ergebnisse teilten die GFMs in zwei sehr unterschiedliche Teams auf:
- Team „Old School“ (Nicht-PFN-Modelle): Diese Modelle versuchten, „Einheitslösungen“ zu sein, indem sie Graphdaten in eine Form pressten, die wie eine Tabellenkabelle aussah. Das Ergebnis? Sie schnitten schlecht ab. Tatsächlich wurden sie fast immer von den gut abgestimmten GNN-Lehrlingen geschlagen. Es ist, als würde man versuchen, einen chirurgischen Eingriff mit einem Vorschlaghammer durchzuführen; das Werkzeug passt einfach nicht zur Aufgabe.
- Team „New School“ (PFN-Modelle): Diese Modelle nutzen einen cleveren Trick namens Prior-data Fitted Networks (PFNs). Stellen Sie sich einen Koch vor, der tausende verschiedene Rezepte probiert und die Prinzipien des Kochens gelernt hat. Wenn Sie ihm ein neues Set an Zutaten geben, muss er kein Kochbuch lesen; er betrachtet einfach die Zutaten und weiß sofort, wie er das Gericht zubereitet. Diese Modelle können einen neuen Graphen betrachten und Vorhersagen sofort treffen (ein Prozess, der „In-Context Learning“ genannt wird).
3. Der Gewinner (mit einem Haken)
Die „New School“ PFN-Modelle waren die klaren Gewinner. Sie übertrafen die am besten abgestimmten GNNs konsequent. Ein Modell insbesondere, genannt GraphPFN, war der Champion und gewann auf fast jedem Datensatz.
Es gibt jedoch einen Kompromiss:
- Die Lehrlinge (GNNs): Sie benötigen eine lange Trainingszeit (wie das Lernen für eine Abschlussprüfung), aber sobald sie bereit sind, sind sie unglaublich schnell bei der Erstellung von Vorhersagen. Es dauert weniger als eine Sekunde, um ein neues Label zu erraten.
- Die Orakel (PFN-Modelle): Sie sind „vor-trainiert“ (sie haben Jahre studiert, bevor Sie überhaupt auf die Idee kamen), sodass sie nicht für Ihren spezifischen Job lernen müssen. Aber wenn sie tatsächlich eine Vorhersage treffen, sind sie langsam. Je nach Größe der Daten kann es mehrere Sekunden oder sogar Minuten dauern, bis sie eine Antwort geben.
Das Fazit
Die Arbeit kommt zu dem Schluss, dass, wenn Sie ein Modell benötigen, das sich ohne Training sofort an einen neuen Graphen anpassen kann, die PFN-basierten Graph Foundation Models die einzigen sind, die tatsächlich besser als traditionelle Methoden funktionieren.
Wenn Sie jedoch in einem realen Szenario arbeiten, in dem Sie Millionen von Vorhersagen pro Sekunde treffen müssen (wie bei einem Echtzeit-Betrugserkennungssystem), sind die traditionellen GNNs (sofern sie ordnungsgemäß abgestimmt sind) immer noch die bessere Wahl, da sie viel schneller sind, auch wenn die Einrichtung anfangs länger dauerte.
Kurz gesagt: Die neuen „Orakel“ sind klüger und anpassungsfähiger, aber sie sind auch viel langsamer beim Abheben des Telefons. Die alten „Lehrlinge“ sind schnell und zuverlässig, aber sie müssen mehr trainieren, um ihr volles Potenzial auszuschöpfen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.