On the Disagreement in Perturbation-based xAI -- Benchmarking Perturbation Choices for Flood Detection from SAR Images
Diese Arbeit untersucht, wie kritische Parameterentscheidungen in der störungsbasierten erklärbaren KI, insbesondere Patch-Geometrie und Störungstyp, die Relevanzkarten für die Flutdetektion in SAR-Bildern signifikant verändern, und hebt die Notwendigkeit hervor, diese Einstellungen rigoros zu evaluieren, um robuste und getreue Modellinterpretationen zu gewährleisten.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten einen superintelligenten Roboter, der ein Bild betrachten und Ihnen genau sagen kann, wo eine Überschwemmung stattfindet, selbst wenn das Foto durch dicke Wolken aus dem Weltraum aufgenommen wurde. Dieser Roboter ist ein „Deep-Learning-Modell“, eine Art Computergehirn, das gelernt hat, Muster zu erkennen, indem es tausende von Beispielen betrachtet hat. Aber hier ist der Haken: Der Roboter ist eine Art Blackbox. Er liefert Ihnen die richtige Antwort, aber er sagt Ihnen nicht, warum. Hat er das dunkle, nasse Wasser gesehen? Oder hat er sich einfach von einem Schatten auf einem Berg verwirren lassen, der dunkel aussieht?
Um dieses Rätsel zu lösen, verwenden Wissenschaftler etwas namens „Explainable AI“ (xAI). Denken Sie an dies wie an einen Detektiv, der versucht herauszufinden, welche Hinweise der Roboter verwendet hat. Eine beliebte Methode ist die „Perturbation“ (Störung). Stellen Sie sich vor, Sie haben ein Foto einer Überschwemmung und fangen an, kleine Teile davon mit einem grauen Quadrat abzudecken, eines nach dem anderen, um zu sehen, ob der Roboter aufhört, die Überschwemmung zu erkennen. Wenn das Abdecken eines bestimmten Flecks dazu führt, dass der Roboter sagt: „Warte, ich glaube nicht mehr, dass das eine Überschwemmung ist!“, dann muss dieser Fleck wichtig gewesen sein. Es ist wie ein Spiel mit dem „Was wäre wenn?“, um zu sehen, worauf der Roboter Wert legt. Aber was, wenn das Spiel selbst manipuliert ist? Was, wenn die Größe Ihres grauen Quadrats oder die Farbe, die Sie verwenden, um den Fleck abzudecken, das Ergebnis verändert? Das ist die große Frage, die diese Arbeit stellt.
Die Forscher hinter dieser Studie beschlossen, dieses „Was wäre wenn?“-Spiel auf die Probe zu stellen, speziell unter Verwendung von Radarbildern von Überschwemmungen. Sie wollten sehen, ob das Ändern der Regeln des Spiels – wie etwa die Verwendung eines winzigen Quadrats gegenüber einem riesigen oder das Abdecken eines Flecks mit einer grauen Farbe gegenüber einem zufälligen Pixel aus einem anderen Foto – die „Argumentation“ des Roboters verändern würde. Sie fanden heraus, dass die Antwort ein lautes, deutliches „Ja“ ist.
In ihren Experimenten entdeckte das Team, dass die „Erklärung“ des Roboters unglaublich empfindlich darauf reagiert, wie man das Spiel spielt. Sie testeten verschiedene Formen und Größen für die Patches, die sie verwendeten, um das Bild abzudecken, reichend von kleinen 8x8-Pixel-Quadraten bis hin zu großen 128x128-Pixel-Blöcken. Sie probierten auch verschiedene Wege aus, um die abgedeckten Stellen zu füllen: Einige wurden mit der dunkelstmöglichen Farbe gefüllt, einige mit der durchschnittlichen Hintergrundfarbe und einige mit zufälligen Pixeln aus anderen Bildern.
Die Ergebnisse waren überraschend und ein wenig chaotisch. Wenn sie ein großes, blockiges Quadrat verwendeten, um das Bild abzudecken, wurde die „Heatmap“ des Roboters (die visuelle Anleitung, was wichtig ist) verschwommen und grobkörnig, wie ein Videosignal mit niedriger Auflösung. Er konnte nicht zwischen einem schmalen Fluss und einem breiten See unterscheiden. Aber wenn sie kleinere Patches oder Formen verwendeten, die den natürlichen Kurven des Landes entsprachen (wie Superpixel), wurde die Argumentation des Roboters viel schärfer und detaillierter.
Noch verwirrender war, dass die Art der Farbe, mit der sie den Fleck bedeckten, die Geschichte völlig veränderte. Zum Beispiel, als sie einen Fleck mit dem „Minimum“ (dem dunkelsten Wert) bedeckten, schien der Roboter zu denken, dass der Hintergrund das Wichtigste sei, und ignorierte das Wasser. Aber als sie die „Durchschnittsfarbe“ des Hintergrunds verwendeten, begann der Roboter plötzlich, sich auf das Wasser zu konzentenrieren, und in einigen Fällen änderte er sogar seine Meinung und sagte, dass das Wasser in einer Szene hilfreich, in einer anderen jedoch ablenkend sei. Es ist, als würde der Roboter sagen: „Oh, ich kümmere mich nur um das Wasser, wenn du den Boden mit dieser spezifischen Farbe bedeckst!“
Die Forscher überprüften auch, ob diese Erklärungen tatsächlich die Wahrheit sagten. Sie verwendeten einen „Deletionstest“ (Löschtest), bei dem sie die Teile des Bildes entfernten, die der Roboter als am wichtigsten bezeichnet hatte, um zu sehen, ob der Roboter tatsächlich verwirrt wurde. Sie fanden heraus, dass der Roboter bei einigen Methoden nicht verwirrt war, bis sie fast das gesamte Bild entfernt hatten, was bedeutete, dass die Erklärung irreführend war. Für andere Methoden wurde der Roboter sofort unfähig, die Überschwemmung zu erkennen, was darauf hindeutete, dass die Erklärung ehrlicher war.
Die wichtigste Erkenntnis ist, dass es keinen einzelnen „richtigen“ Weg gibt, den Roboter zu fragen, was er denkt. Die Wahl der Art und Weise, wie man das Bild stört – wie groß Ihr „Abdeckungselement“ ist und was man an dessen Stelle setzt – steuert die Erklärung vollkommen. Die Autoren legen nahe, dass wir nicht einfach eine Methode nach dem anderen auswählen und das Ergebnis vertrauen können. Stattdessen müssen wir sehr vorsichtig sein, wie ein Wissenschaftler, der das richtige Werkzeug für eine Aufgabe wählt. Wenn wir ein Modell zur Erkennung von Überschlemmungen verstehen wollen, müssen wir uns bewusst sein, dass die Erklärung, die wir erhalten, eine Mischung aus dem Gehirn des Modells und den spezifischen Regeln ist, mit denen wir es sondiert haben. Ohne vorsichtig mit diesen Regeln umzugehen, könnten wir am Ende einer Geschichte vertrauen, die der Roboter eigentlich gar nicht erzählt hat.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.