GraphLand: Evaluating Graph Machine Learning Models on Diverse Industrial Data
Dieser Beitrag stellt GraphLand vor, einen umfassenden Benchmark aus 14 vielfältigen industriellen Graphendatensätzen, der darauf abzielt, den eingeschränkten Umfang bestehender Evaluierungen zu überwinden, indem er aufzeigt, dass aktuelle Graph-Grundlagenmodelle im Vergleich zu mit Graphmerkmalen erweiterten gradientenverstärkten Entscheidungsbäumen schlechter abschneiden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, die Welt zu verstehen. Lange Zeit testeten wir diesen Roboter ausschließlich, indem wir ihm Bilder eines einzigen, sehr spezifischen Stadtviertels zeigten: einer Bibliothek, in der jeder nur mit anderen Personen spricht, die exakt dieselben Bücher lesen. Wir nannten dies das „Zitationsnetzwerk".
Die Autoren dieses Papiers, Gleb Bazhenov, Oleg Platonov und Liudmila Prokhorenkova, sagen: „Moment mal! Die reale Welt ist nicht nur eine Bibliothek."
Sie argumentieren, dass wir zwar großartige Werkzeuge zur Erfassung von Zusammenhängen haben (Graph Neural Networks, oder GNNs), diese jedoch in einem sehr kleinen, künstlichen Sandkasten getestet haben. Um dies zu beheben, schufen sie einen neuen Spielplatz namens GraphLand.
Hier ist eine einfache Zusammenfassung dessen, was sie taten und was sie herausfanden:
1. Das Problem: Der „Bibliotheks"-Bias
Die meisten KI-Modelle für Graphen werden mit Daten trainiert und getestet, die wie wissenschaftliche Arbeiten aussehen, die andere Arbeiten zitieren. Dies ist eine sehr eingeschränkte Sichtweise der Welt.
- Die Realität: In der echten Welt sind Graphen allgegenwärtig. Sie sind soziale Netzwerke (wer mit wem befreundet ist), Straßennetze (welche Straßen mit welchen verbunden sind) und Einkaufsnetzwerke (welche Artikel Menschen gemeinsam kaufen).
- Das Problem: Diese realen Graphen sind chaotisch. Sie haben unterschiedliche Größen, verschiedene Arten von Informationen (wie Zahlen und Kategorien, nicht nur Text) und sie verändern sich im Laufe der Zeit. Die alten „Bibliotheks"-Tests prüften nicht, ob die Roboter mit diesem Chaos zurechtkommen.
2. Die Lösung: GraphLand (Der neue Spielplatz)
Das Team schuf GraphLand, eine Sammlung von 14 verschiedenen „Welten" (Datensätzen), die aus realen industriellen Anwendungen stammen.
- Was ist enthalten?
- Das Internet: Eine Landkarte von Websites, um Betrug aufzudecken oder zu erraten, worum es auf einer Seite geht.
- Künstler: Ein soziales Netzwerk von Kunstschaffenden, um vorherzusagen, wer explizite Inhalte erstellt oder wie populär sie sind.
- Städte: Straßennetze zur Vorhersage der Verkehrsgeschwindigkeit und Bewertungssysteme, um gefälschte Bewertungen zu erkennen.
- Einkaufen: Netzwerke von gemeinsam gekauften Produkten, um Preise oder Kategorien vorherzusagen.
- Die Vielfalt: Einige dieser Graphen sind riesig (Millionen von Knoten), andere klein. Manche sind „homophil" (Gleichgesinnte gesellen sich zusammen), andere „heterophil" (Gegensätze ziehen sich an). Sie enthalten umfangreiche Daten wie Zahlen, Kategorien und Text.
3. Die Experimente: Die Roboter auf die Probe stellen
Die Forscher nahmen die besten verfügbaren KI-Modelle und unterzogen sie in GraphLand drei verschiedenen Arten von Herausforderungen:
- Der „Zufalls"-Test: Das zufällige Mischen der Daten (wie das Ziehen von Namen aus einem Hut).
- Der „Zeitreise"-Test: Training mit alten Daten und Testen mit neuen Daten (wie das Erlernen des Autofahrens im Jahr 2020 und das Ablegen einer Prüfung im Jahr 2024). Dies simuliert, wie sich die reale Welt verändert.
- Der „Induktive"-Test: Training mit einer Karte einer Stadt und dann die Aufforderung an den Roboter, einen neuen Teil der Stadt zu navigieren, den er noch nie gesehen hat.
4. Die überraschenden Ergebnisse
Hier ist, was geschah, als sie die Tests durchführten:
- Der „Old-School"-Champion: Sie testeten eine klassische, nicht-KI-Methode namens GBDT (Gradient-Boosted Decision Trees). Stellen Sie sich dies als einen sehr klugen, erfahrenen Menschen vor, der eine Liste von Fakten betrachtet und eine Entscheidung trifft.
- Die Wendung: Als sie diesem Menschen einen „Spickzettel" mit einigen grundlegenden Grapheninformationen gaben (wie „Wer sind deine Nachbarn?"), wurde er unglaublich stark. In vielen Fällen besiegte er die ausgefeilten KI-Modelle, insbesondere bei der Vorhersage von Zahlen (wie Verkehrsgeschwindigkeit oder Preise).
- Die KI-Modelle (GNNs): Die ausgefeilten Graph Neural Networks schnitten gut ab, waren aber nicht perfekt.
- Aufmerksamkeit ist der Schlüssel: Die Modelle, die „Aufmerksamkeit" auf bestimmte Nachbarn richten konnten (wie ein Detektiv, der sich auf die verdächtigste Person konzentriert), schnitten besser ab als diejenigen, die alle gleich behandelten.
- Das Zeitproblem: Wenn sich die Daten im Laufe der Zeit änderten (der „Zeitreise"-Test), hatten fast alle Modelle Schwierigkeiten. Sie gerieten in Verwirrung, weil die Welt, in der sie lernten, anders war als die Welt, in der sie getestet wurden.
- Das „Foundation-Model"-Scheitern: In jüngster Zeit gab es viel Hype um „Graph Foundation Models" – Super-Roboter, die auf allem trainiert wurden und sich sofort an jeden neuen Graphen anpassen können.
- Der Realitätscheck: Auf diesen realen industriellen Datensätzen schnitten diese Super-Roboter schrecklich ab. Sie konnten mit der Mischung aus Zahlen und Kategorien nicht umgehen und versagten darin, die einfacheren, klassischen Methoden zu schlagen.
5. Das Fazit
Das Papier kommt zu dem Schluss, dass:
- Reale Daten chaotisch sind: Wir müssen aufhören, KI nur an sauberen, akademischen Daten zu testen.
- Einfachheit ist manchmal besser: In industriellen Umgebungen kann ein intelligenter Entscheidungsbaum mit ein wenig Grapheninformation ein riesiges neuronales Netzwerk schlagen.
- Zeit spielt eine Rolle: KI muss besser darin werden, Veränderungen im Laufe der Zeit zu bewältigen, sonst wird sie beim Einsatz in der realen Welt scheitern.
- Foundation Models sind noch nicht bereit: Die „All-in-One"-Super-Roboter sind noch nicht gut genug für vielfältige, reale Aufgaben.
Kurz gesagt ist GraphLand ein neuer, härterer Trainingsraum für KI-Modelle, der sicherstellt, dass sie, wenn sie schließlich in die reale Welt entsandt werden (z. B. zur Aufdeckung von Betrug oder zum Verkehrsmanagement), tatsächlich für die Aufgabe bereit sind.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.