Do Deep Ensembles Actually Capture Uncertainty in Graph Neural Networks?
Diese Arbeit zeigt, dass Deep Ensembles in Graph Neural Networks die Unsicherheit nicht effektiv erfassen, da unabhängig trainierte Modelle zu funktional identischen Vorhersagen konvergieren, was zu einem epistemischen Kollaps führt und die Vorteile des Ensembles darauf beschränkt, Punktvorhersagen lediglich zu stabilisieren, anstatt Unsicherheitsschätzungen zu verbessern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die große Frage: Funktionieren „Menschenmengen" für Graph-KI?
Stellen Sie sich vor, Sie versuchen, ein schwieriges Puzzle zu lösen. In der Welt der Künstlichen Intelligenz (KI) ist ein beliebter Trick, um eine bessere Antwort zu erhalten, eine Gruppe von Experten (ein „Ensemble") zu befragen, anstatt nur einen einzigen. Sie trainieren fünf verschiedene KI-Modelle auf denselben Daten, indem Sie sie mit unterschiedlichen Zufallssamen starten (als würden Sie ihnen verschiedene Anfangsvermutungen geben), und lassen sie dann über die endgültige Antwort abstimmen.
Bei Standard-KI-Aufgaben (wie dem Erkennen von Katzen auf Fotos) funktioniert diese „Weisheit der Menge" hervorragend. Die Experten sind sich oft nicht einig, warum sie glauben, dass etwas eine Katze ist, und diese Uneinigkeit hilft der Gruppe zu erkennen: „Hey, bei diesem einen sind wir nicht zu 100 % sicher!" Dies nennt man Erfassung von Unsicherheit.
Diese Arbeit fragt: Funktioniert derselbe Trick der „Weisheit der Menge", wenn die KI Graphen betrachtet?
Was ist ein Graph? Denken Sie an einen Graphen nicht als Diagramm, sondern als eine Landkarte von Verbindungen. Es könnte ein soziales Netzwerk sein (Menschen, die durch Freundschaften verbunden sind), ein Straßennetz (Städte, die durch Straßen verbunden sind) oder ein Molekül (Atome, die durch Bindungen verbunden sind). Die KI, die dafür verwendet wird, heißt Graph Neural Network (GNN).
Die kurze Antwort: Nein, die Menge ist nur ein Spiegel
Die Forscher stellten fest, dass der Trick der „Menge" bei Graph Neural Networks versagt.
Als sie fünf verschiedene GNNs trainierten, um als Team zu arbeiten, verhielt sich das Team nicht wie eine vielfältige Gruppe von Experten. Stattdessen dachten und handelten sie alle genau gleich.
- Die Analogie: Stellen Sie sich vor, Sie fragen fünf verschiedene Köche, eine bestimmte Suppe zu kochen. In einer normalen Küche (Standard-KI) könnten sie verschiedene Gewürze oder Techniken verwenden, und wenn sie alle zustimmen, dass die Suppe zu salzig ist, wissen Sie sicher, dass sie salzig ist.
- Die Graphen-Wirklichkeit: In dieser Studie landeten die fünf Köche alle bei exakt demselben Rezept, der exakt gleichen Menge Salz und der exakt gleichen Technik. Sie stimmten nicht nur überein; sie waren Klone. Da sie so identisch waren, konnte die Gruppe Ihnen nicht sagen, ob sie sich beim Geschmack unsicher waren. Sie gaben Ihnen einfach eine einzige, selbstbewusste Antwort, selbst wenn sie falsch lagen.
Was haben sie entdeckt?
Das Papier gliedert drei Hauptergebnisse auf:
1. Der „epistemische Kollaps" (Das Gruppendenken)
Die Autoren prägten einen Begriff für dieses Phänomen: Epistemic Collapse (epistemischer Kollaps).
- Epistemisch bedeutet „Wissen".
- Kollaps bedeutet „Zusammenbruch".
Im Wesentlichen verschwand der Teil des Wissens, der sich auf die Unsicherheit der Gruppe bezog. Obwohl die fünf Modelle separat trainiert wurden, konvergierten sie alle auf exakt dieselbe Lösung. Da sie sich nicht gegenseitig widersprachen, konnte das System nicht messen, wie unsicher es war. Die „Menge" bot kein zusätzliches Sicherheitsnetz.
2. Warum wurden sie überhaupt besser? (Der Rauschfilter)
Sie könnten fragen: „Wenn sie alle gleich sind, warum sagte das Papier dann, dass die Gruppe manchmal etwas bessere Ergebnisse erzielte?"
Die Antwort ist Optimierungsrauschen.
- Die Analogie: Stellen Sie sich vor, Sie versuchen, einen Bullseye auf einer Dartpfeilscheibe zu treffen, während Sie auf einem wackeligen Boot stehen. Manchmal verfehlen Sie das Ziel, weil das Boot wackelte, nicht weil Sie schlecht zielen.
- Wenn Sie fünf Würfe von fünf verschiedenen Personen auf diesem Boot machen und deren Positionen mitteln, hebt sich das „Wackeln" (Rauschen) auf, und der Durchschnittspunkt liegt näher am Bullseye.
Das Papier stellte fest, dass die GNN-Ensembles nur geringfügig besser darin wurden, die genaue Zahl (die Punktvorhersage) vorherzusagen, weil das Mitteln von fünf ähnlichen Modellen die zufälligen Fehler des Trainings glättete. Es machte sie nicht besser darin zu wissen, wann sie unsicher waren.
3. Das „konvexe" Rätsel (Warum sind sie so ähnlich?)
Warum landeten fünf verschiedene Modelle dabei, dasselbe zu denken?
- Bei Standard-KI ist die „Landschaft" möglicher Lösungen wie eine zerklüftete Bergkette mit vielen verschiedenen Tälern. Verschiedene Modelle bleiben in verschiedenen Tälern stecken, was zu unterschiedlichen Meinungen führt.
- Die Autoren vermuten, dass die Landschaft für Graph Neural Networks tatsächlich eher wie eine glatte, einzelne Schüssel ist. Egal wo Sie einen Ball starten (ein Modell trainieren), er rollt immer genau an dieselbe Stelle am Boden.
- Sie testeten dies, indem sie die „Gehirne" (Gewichte) der Modelle miteinander vermischten. Wenn sich die Modelle in verschiedenen Tälern befunden hätten, hätte das Mischen ein schlechteres Modell ergeben müssen. Da sie jedoch alle auf denselben funktionalen Punkt zusteuerten, half das Mischen nicht viel. Dies deutet darauf hin, dass die „Nachrichtenweitergabe"-Natur dieser Netzwerke sie in eine einzige, enge Denkweise zwingt.
Das Fazit
Das Papier kommt zu dem Schluss, dass Deep Ensembles kein Allheilmittel für Graph-KI sind.
Wenn Sie ein System entwickeln, das wissen muss, wann es unsicher ist (wie ein autonomes Fahrzeug oder ein Werkzeug für medizinische Diagnosen), wird das einfache Trainieren von fünf Graph Neural Networks und das Mitteln ihrer Ergebnisse nicht funktionieren. Sie werden Ihnen einfach fünf Kopien derselben selbstbewussten (aber potenziell falschen) Antwort geben.
Anstatt Geld und Rechenleistung damit zu verschwenden, fünf identische Modelle zu trainieren, schlägt das Papier vor, dass es besser ist, ein Modell zu trainieren, dasjenige auszuwählen, das zufällig am besten funktioniert hat, und dieses zu verwenden. Die „Menge" fügt keinen echten Wert hinzu, weil die Menge nicht wirklich vielfältig ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.