A Comparative Study of Counterfactual Explainers for Graph Neural Networks Enabling Multiple Types of Graph Edit

In der Welt der künstlichen Intelligenz gibt es eine wachsende Nachfrage danach, zu verstehen, wie Maschinen Entscheidungen treffen, insbesondere wenn diese Entscheidungen reale Leben beeinflussen. Stellen Sie sich ein Computerprogramm vor, das ein komplexes Netzwerk von Verbindungen betrachtet – wie etwa eine Karte, die zeigt, wie verschiedene Medikamente miteinander interagieren, oder wie Menschen in einem sozialen Netzwerk miteinander verknüpft sind – und ein Ergebnis vorhersagt. Diese Programme, bekannt als Graph Neural Networks, sind unglaublich leistungsstark, aber sie agieren oft wie Black Boxes, die eine Vorhersage liefern, ohne zu erklären, warum. Um dies zu beheben, haben Forscher eine Methode namens „Counterfactual Explanation“ (kontrafaktische Erklärung) entwickelt. Anstatt nur darauf hinzuweisen, welche Teile des Netzwerks für das Endergebnis wichtig waren, stellt diese Methode eine „Was wäre wenn“-Frage: Was ist die kleinste, realistischste Änderung, die wir am Netzwerk vornehmen könnten, um ein völlig anderes Ergebnis zu erhalten? Wenn beispielsweise ein System vorhersagt, dass zwei Medikamente sicher nebeneinander eingenommen werden können, würde eine kontrafaktische Erklärung genau zeigen, welche neue Verbindung, falls sie existierte, das System dazu bringen würde, eine gefährliche Reaktion vorherzusagen. Dieser Ansatz hilft Ärzten, Wissenschaftlern und Ingenieuren, der Maschine zu vertrauen, indem er ihnen die präzisen Hebel zeigt, die ihre Logik steuern.

Ein Team von Forschern am Institut für Informatik in Griechenland hat sich kürzlich zum Ziel gesetzt, die derzeit besten Werkzeuge zu testen, die zur Erzeugung dieser „Was wäre wenn“-Szenarien in Graph-Netzwerken fähig sind. Sie konzentrierten sich auf eine neue Generation von Werkzeugen, die mehr können als nur Verbindungen zu löschen; sie können auch neue hinzufügen. Diese Fähigkeit, sowohl Verbindungen hinzuzufügen als auch zu entfernen, ist entscheidend, da reale Netzwerke selten statisch sind; sie entwickeln sich weiter, und das Verständnis darüber, wie man sie verändert, erfordert einen Blick in beide Richtungen. Die Forscher versammelten sechs der fortschrittlichsten Computerprogramme, die für diese Aufgabe konzipiert wurden, und unterzogen sie einer Reihe strenger Tests. Sie ließen diese Programme auf einer Vielzahl von Daten laufen, darunter synthetische Netzwerke, die nach spezifischen Mustern aufgebaut wurden, sowie reale Datensätze, die alles von chemischen Molekülen bis hin zu Social-Media-Beiträgen und wissenschaftlichen Zitaten repräsentierten. Das Ziel war nicht nur zu sehen, welches Programm eine Antwort finden konnte, sondern die Qualität dieser Antwort zu beurteilen: War die Änderung klein genug, um glaubwürdig zu sein? Hat sie tatsächlich die Vorhersage umgekehrt? Und dauerte die Berechnung zu lange?

Die Studie ergab, dass es keinen einzelnen Champion gibt, der in jeder Kategorie gewinnt. Die Forscher fanden einen ständigen Kompromiss zwischen der Geschwindigkeit der Erklärung, der Größe der erforderlichen Änderung und der Zuverlässigkeit des Ergebnisses. Einige Programme waren exzellent darin, winzige, minimale Änderungen zu finden, die die Vorhersage umkehrten, scheiterten jedoch oft daran, überhaupt eine Lösung zu finden, wenn es um komplexe, reale Daten ging. Andere waren sehr zuverlässig und konnten fast immer einen Weg finden, das Ergebnis zu ändern, aber die von ihnen vorgeschlagenen Änderungen waren oft so groß und kompliziert, dass sie für einen Menschen unmöglich zu interpretieren oder zu vertrauen wären. Ein Programm, das eine Technik nutzte, die davon inspiriert war, wie Bilder generiert werden, war sehr gründlich und fand qualitativ hochwertige Antworten, war aber so langsam, dass es Stunden brauchte, um einen einzigen Graphen zu verarbeiten, was es für viele Anwendungen unpraktisch machte. Ein anderes Programm war unglaublich schnell und effizient, neigte jedoch dazu, Erklärungen zu produzieren, die zu groß waren, um nützlich zu sein.

Vielleicht war die überraschendste Erkenntnis, dass selbst die besten Werkzeuge Schwierigkeiten hatten, sich auf den richtigen Teil des Netzwerks zu konzentrieren. In den synthetischen Tests, bei denen die Forscher genau wussten, welches Muster von Verbindungen für die Vorhersage verantwortlich war, schlugen viele der Programme immer noch Änderungen in Bereichen des Netzwerks vor, die irrelevant waren. Sie fügten Kanten hinzu oder entfernten sie weit entfernt vom kritischen Muster und arbeiteten somit effektiv im Dunkeln, anstatt den wahren Grund präzise zu lokalisieren. Dies deutet darauf hin, dass diese Werkzeuge zwar besser darin werden, eine Lösung zu finden, aber noch nicht konsistent die richtige Lösung finden. Die Forscher stellten auch fest, dass die meisten existierenden Werkzeuge primär dafür entwickelt wurden, ganze Netzwerke zu klassifizieren, wie etwa die Frage, ob ein Molekül toxisch ist, aber deutlich schlechter abschnitten, wenn sie darum gebeten wurden, das Verhalten eines einzelnen Knotens innerhalb eines Netzwerks zu erklären, wie etwa die Vorhersage des Themas eines spezifischen wissenschaftlichen Papers.

Letztendlich dient diese Arbeit als Realitätscheck für ein Feld, das sich sehr schnell bewegt. Die Autoren kommen zu dem Schluss, dass die Fähigkeit, sowohl Verbindungen hinzuzufügen als auch zu entfernen, ein großer Schritt nach vorn ist, die aktuelle Generation der Werkzeuge jedoch noch ein Work in Progress ist. Keine einzelne Methode bietet derzeit die perfekte Balance zwischen Geschwindigkeit, Genauigkeit und Einfachheit. Die Studie hebt hervor, dass die zukünftige Forschung über das bloße Finden einer Antwort hinausgehen und sich darauf konzentrieren muss, Erklärungen zu generieren, die nicht nur korrekt, sondern auch aussagekräftig und effizient sind. Bis eine Methode gefunden wird, die konsistent die präzisen, minimalen Änderungen identifizieren kann, die nötig sind, um eine Vorhersage zu ändern, ohne sich in Komplexität oder Zeit zu verlieren, wird das volle Potenzial dieser leistungsstarken KI-Systeme weiterhin teilweise hinter einem Schleier der Ungewissheit verborgen bleiben.