NICE: Scale-Stable Perturbations for Graph Neural Network Explanations via Noise Corruption

In der Welt der künstlichen Intelligenz gibt es eine wachsende Klasse von Systemen, die als Graph Neural Networks bekannt sind. Dies sind nicht die Standardwerkzeuge zur Bilderkennung, wie man sie in seinem Telefon findet; stattdessen sind sie darauf ausgelegt, Daten zu verstehen, die als ein Geflecht von Verbindungen existieren, wie etwa Moleküle in einer chemischen Verbindung, soziale Netzwerke oder Verkehrsrouten. Um eine Entscheidung zu treffen, leiten diese Systeme Informationen entlang der Verbindungen zwischen den Knoten weiter, ganz ähnlich wie ein Gerücht, das sich in einer Menge verbreitet. Da diese Systeme unglaublich komplex sind und ihre interne Logik oft eine verworrene „Black Box“ darstellt, haben Wissenschaftler „Explainer“ entwickelt. Dies sind Werkzeuge, die darauf ausgelegt sind, eine fertige Entscheidung zu betrachten und aufzuzeigen, welche spezifischen Verbindungen oder Informationsteile am wichtigsten waren. Die Standardmethode, mit der diese Werkzeuge arbeiten, ist ein Spiel des „Was wäre wenn“. Sie nehmen eine spezifische Verbindung, entfernen sie oder unterdrücken sie, und fragen die KI dann: „Ändert sich deine Antwort?“ Wenn sich die Antwort drastisch ändert, nimmt das Werkzeug an, dass diese Verbindung entscheidend war. Diese Methode ist seit Jahren der Industriestandard, sie beruht jedoch auf einer fragilen Annahme: dass der Akt des Entfernens einer Verbindung nicht versehentlich das gesamte System auf eine Weise beschädigt, die nichts mit der Verbindung selbst zu tun hat.

Ein Team von Forschern der Central South University, der Hong Kong Polytechnic University und der Griffith University hat entdeckt, dass diese Standardmethode fundamental fehlerhaft ist. Sie fanden heraus, dass die Art und Weise, wie diese Explainer Verbindungen unterdrücken, eine versteckte Verzerrung einführt, die die Antworten der KI unzuverlässig macht. Wenn ein Explainer versucht, eine Verbindung im Netzwerk „auszuschalten“, multipliziert er typischerweise die Information, die durch diese Verbindung fließt, mit einer Zahl nahe Null. Während dies die spezifische Nachricht erfolgreich stoppt, schrumpft es auch das Gesamtvolumen der Information, die sich durch das gesamte Netzwerk bewegt. Die Forscher nennen dieses Phänomen „Scale Drift“ (Skalen-Drift). Stellen Sie sich ein Gespräch vor, bei dem Sie eine Person bitten, einem Freund ein Geheimnis zuzuflüstern, aber dadurch versehentlich erreichen, dass alle im Raum nur noch mit einem Bruchteil ihrer normalen Lautstärke sprechen. Das Geheimnis ist vielleicht weg, aber das gesamte Gespräch ist ebenfalls leise und verzerrt geworden. Die KI, die dieses geschrumpfte Signal erhält, könnte ihre Meinung ändern, nicht weil das Geheimnis wichtig war, sondern einfach weil der ganze Raum zu leise wurde, um irgendetwas klar zu hören. Die Forscher zeigten, dass sich dieser Drift mit jedem Schritt verstärkt, den die Information durch das Netzwerk nimmt, was bedeutet, dass der interne Zustand der KI mit jeder tieferen Ebene des Netzwerks weiter von der Realität abweicht, was die Erklärung unzuverlässig macht.

Um dies zu lösen, schlugen die Forscher einen neuen Weg vor, die KI zu testen, der das Schrumpfen des Signals vermeidet. Anstatt eine Verbindung einfach verstummen zu lassen, führten sie eine Methode namens „Noise Corruption“ (Rausch-Korruption) ein. Anstatt die Lautstärke auf Null zu senken, ersetzt diese Methode die klare Nachricht durch eine zufällige, verzerrte Version, die exakt dieselbe Gesamtkraft oder „Lautstärke“ besitzt. Es ist, als würde man einen klaren Satz nehmen und ihn durch ein Rauschen ersetzen, das genauso laut ist wie die ursprüngliche Stimme. Die Information wird korrumpiert, aber die Energie, die durch das Netzwerk fließt, bleibt stabil. Durch das Beibehalten der konstanten Lautstärke stellten die Forscher sicher, dass jede Änderung in der Antwort der KI auf den Verlust der spezifischen Bedeutung zurückzuführen war und nicht auf einen Zusammenbruch der Gesamtleistung des Systems. Sie bauten ein neues Framework um diese Idee herum auf, das sie NICE nannten. Dieses System lernt zuerst eine Grenze dessen, wie viel Information wiederhergestellt werden muss, um die KI zu ihrer ursprünglichen Entscheidung zurückzuführen, und berechnet dann exakt, welche Verbindungen am meisten zu dieser Wiederherstellung beigetragen haben.

Die Ergebnisse dieses neuen Ansatzes waren signifikant. Als das neue Verfahren bei acht verschiedenen Benchmarks mit chemischen Molekülen und anderen komplexen Strukturen getestet wurde, übertraf es die besten bestehenden Werkzeuge. Es war in der Lage, die korrekten kritischen Verbindungen genauer zu identifizieren und verbesserte seine Fähigkeit, die richtigen Antworten zu finden, um durchschnittlich fast neun Prozent gegenüber den bisher besten Methoden. Noch wichtiger ist, dass die Forscher bestätigten, dass ihre neue Technik das Problem des „Scale Drift“ erfolgreich eliminiert. Als sie die alte Methode des Unterdrückens von Verbindungen mit ihrer neuen Methode des Hinzufügens von Rauschen verglichen, trieb die alte Methode den internen Zustand der KI konsequent weit weg von ihrem normalen Arbeitsbereich, während die neue Methode den internen Zustand der KI viel näher an ihrem Verhalten vor den Änderungen hielt. Dies deutet darauf hin, dass viele Erklärungen, die jahrelang von KIs generiert wurden, irreführend gewesen sein könnten – nicht weil die KI falsch lag, sondern weil die Werkzeuge, die man nutzte, um sie zu erklären, das System, das sie zu verstehen versuchten, unbeabsichtigt beschädigten. Durch die Korrektur der Art und Weise, wie sie die Daten stören, haben die Forscher einen trefflicheren Weg bereitgestellt, in den Geist dieser komplexen Netzwerke zu blicken.