Same Graph Cross-Task Transfer in GNNs: Protocols and Predictors
Diese Arbeit etabliert ein leckagefreies Evaluierungsprotokoll für den auf demselben Graphen basierenden Cross-Task-Transfer zwischen Knotenklassifizierung und Link-Vorhersage in GNNs, zeigt auf, dass der Transfer stark gerichtet und basierend auf der Graph-Homophilie vorhersagbar ist, und führt den CoTask Score ein, um die Mechanismuswahl zu leiten und negativen Transfer zu vermeiden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, Rätsel in einer riesigen, geschäftigen Stadt zu lösen. In dieser Stadt ist der „Graph“ die Landkarte aller Straßen und Verbindungen zwischen Menschen. Normalerweise spezialisieren sich Detektive auf nur eine Art von Fall: Entweder darauf, herauszufinden, wer eine Person ist (wie zum Beispiel: „Ist diese Person ein Bäcker oder ein Geselle eines Bäckers?“) oder darauf, vorherzusagen, wer als Nächstes Freunde werden wird („Werden Alice und Bob Zeit miteinander verbringen?“). Lange Zeit haben Wissenschaftler, die Computergehirne zur Lösung dieser Rätsel bauten, dies als zwei völlig getrennte Aufgaben behandelt, für die jeweils unterschiedliche Regelwerke verwendet wurden. Aber in der realen Welt ist die Stadtkarte für beide Aufgaben dieselbe, und die Hinweise für die eine helfen oft auch bei der anderen. Die große Frage ist: Wenn man das Computergehirn zuerst das „Wer-ist-wer“-Rätsel lösen lässt, wird es dann automatisch besser im „Wer-wird-Freunde“-Rätsel? Oder funktioniert der umgekehrte Weg? Und noch wichtiger: Könnte der Versuch, diese Hinweise zu mischen, das Computergehirn tatsächlich verwirren und es in beiden Aufgaben schlechter machen?
Diese Arbeit taucht genau in diese Frage ein, aber mit einem sehr strengen Satz von Regeln, um sicherzustellen, dass die Antwort echt ist und nicht nur ein Trick des Experiments. Die Forscher haben ein „leckagefreies“ Protokoll aufgestellt, was so ist, als würde man sicherstellen, dass der Detektiv nicht versehentlich in den Lösungsschlüssel schaut, während er die Hinweise studiert. Sie testeten dies auf drei verschiedenen Arten von Computergehirnen (genannt GCN, GraphSAGE und GPS) über elf verschiedene Stadtkarten hinweg. Sie fanden heraus, dass die Beziehung zwischen diesen beiden Aufgaben kein fairer Kampf ist; es ist eine Einbahnstraße, die völlig davon abhängt, wie die Stadt gebaut ist.
Hier ist die überraschende Wendung, die sie aufgedeckt haben: Dem Computer zuerst beizubringen, Personen zu identifizieren (Knotenklassifizierung), hilft fast immer dabei, später Freundschaften vorherzusagen (Verbindungsvorhersage), aber nur, wenn die Stadt „homophil“ ist. Denken Sie bei Homophilie an eine Nachbarschaft, in der Menschen, die ähnlich aussehen oder denselben Beruf haben, dazu neigen, in derselben Straße zu leben. In diesen freundlichen Nachbarschaften gibt das Wissen darüber, wer wo lebt, einen riesigen Hinweis darauf, wer Freunde werden wird. Es ist so, als wüsste man, dass alle Bäcker in der Bäckerstraße leben; wenn man dann zwei Leute auf dieser Straße sieht, kann man vermuten, dass sie Freunde werden könnten.
Das Gegenteil ist jedoch viel komplizierter. Wenn man dem Computer zuerst beibringt, Freundschaften vorherzusagen, und dann versucht, dieses Wissen zu nutzen, um Personen zu identifizieren, schlägt dies oft fehl. Tatsächlich macht es in vielen Fällen das Computergehirn sogar schlechter darin, Menschen zu identifizieren, als wenn es einfach bei Null angefangen hätte. Die Autoren fanden heraus, dass dieser „Freundschafts-zuerst“-Ansatz nur in einer sehr spezifischen, seltenen Art von Stadt funktioniert: einer, in der das Straßenlayout so offensichtlich ist, dass die Vorhersage von Freundschaften einfach ist, die Identifizierung von Menschen aber immer noch ein Rätsel bleibt. In diesen „strukturdominanten“ Städten wirken die Freundschaftshinweise wie eine strukturelle Karte, die dem Computer hilft, das Layout zu lernen, was ihm wiederum hilft, die Identitäten der Menschen zu erraten. Aber wenn die Stadt chaotisch oder die Hinweise schwach sind, ist der Versuch, das Wissen über Freundschaften wiederzuverwenden, so, als würde man versuchen, ein Auto mithilfe einer Karte eines anderen Landes zu steuern – es führt nur zum Crash.
Die Forscher führten auch eine neue Art der Erfolgsmessung ein, den „CoTask Score“. Stellen Sie sich vor, Sie betreiben eine Bäckerei und ein Café im selben Gebäude. Sie wollen wissen, ob die Einstellung einer Person, die beide Jobs erledigt, Geld spart, ohne die Qualität der einzelnen Aufgaben zu ruinieren. Der CoTask Score ist ihre Methode, um zu berechnen, ob die kombinierte Anstrengung tatsächlich besser ist, als die beiden Aufgaben getrennt voneinander zu erledigen. Sie fanden heraus, dass der sicherste Weg meistens darin besteht, das Computergehirn darauf zu trainieren, beide Aufgaben gleichzeitig zu erledigen, anstatt zu versuchen, ein fertiges Produkt aus einer Aufgabe für die andere wiederzuverwenden.
Kurz gesagt deutet das Papier darauf hin, dass die Wiederverwendung von Wissen zwischen diesen beiden Aufgaben zwar möglich ist, aber kein Wundermittel darstellt. Man kann nicht einfach davon ausgehen, dass die Lösung eines Problems automatisch auch die Lösung des anderen ist. Die Richtung spielt eine Rolle, und die Art der Daten spielt eine Rolle. Wenn Ihre Daten voll von ähnlichen Nachbarn sind, ist es eine großartige Abkürzung, dem Computer zuerst beizubringen, sie zu identifizieren. Aber wenn Sie versuchen, zuerst Freundschaften vorherzusagen, um die Identifizierung zu unterstützen, verschwenden Sie vielleicht nur Ihre Zeit oder machen die Sache sogar schlimmer. Die wichtigste Erkenntnis ist, dass Sie, bevor Sie versuchen, diese Aufgaben zu mischen, Ihre „Stadtkarte“ prüfen müssen, um zu sehen, in welche Richtung der Wind weht, sonst fliegen Sie am Ende in die falsche Richtung.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.