Challenges in Evaluating Explanation Methods for Static and Evolving Data

Stellen Sie sich vor, Sie hätten einen superintelligenten Roboter gebaut, der ein Bild betrachten und Ihnen genau sagen kann, was darauf zu sehen ist. Er ist erstaunlich, aber es gibt einen Haken: Der Roboter ist eine „Black Box“. Er gibt Ihnen die Antwort, aber er verrät Ihnen nicht, wie er darauf gekommen ist. Es ist wie ein Magier, der ein Kaninchen aus einem Hut zieht, aber den Trick nicht zeigen will. In der Welt der Künstlichen Intelligenz (KI) ist dies ein großes Problem. Wenn ein Roboter lebenswichtige Entscheidungen trifft – etwa eine Krankheit diagnostiziert oder ein Problem auf einem Raumschiff entdeckt – müssen wir wissen, warum er sich für diese Entscheidung entschieden hat. Dieses Feld, genannt Explainable AI (XAI), versucht, die Black Box zu öffnen und den Gedankengang des Roboters aufzuzeigen. Aber hier liegt der Clou: Obwohl wir unzählige neue Wege haben, in die Box hineinzuschauen, sind wir schrecklich darin, zu prüfen, ob diese Blicke tatsächlich hilfreich sind oder ob sie nur Dinge erfinden. Es ist, als hätten wir hundert verschiedene Taschenlampen, um in der Dunkelheit zu leuchten, aber niemand hat getestet, ob sie tatsächlich den Weg beleuchten oder einen nur blenden.

Dieses Paper ist ein Weckruf des Forschers Jerzy Stefanowski, der argumentiert, dass wir eilen, neue Erklärwerkzeuge zu erfinden, ohne sie richtig zu testen. Er legt nahe, dass viele aktuelle Methoden wie „Illusionen des Fortschritts“ sind – sie sehen schick aus, könnten aber in der realen Welt nicht nützlich sein. Das Paper untersucht zwei Hauptwege, um dies zu beheben. Erstens betrachtet es, wie wir diese Werkzeuge nutzen können, um festzustellen, ob ein Roboter unfair oder voreingenommen agiert (wie zum Beispiel zu denken, dass eine Person mit einer Krawatte ein Mann ist, selbst wenn sie es nicht ist). Zweitens befasst es sich mit dem kniffligen Problem von Robotern, die lernen müssen, während sich die Welt um sie herum verändert. Stellen Sie sich einen Roboter vor, der lernt, Tiere zu erkennen, aber dann tragen die Tiere Hüte oder das Licht ändert sich; die alten Erklärungen des Roboters könnten nutzlos werden. Der Autor zeigt, dass wir aufhören müssen, nur zu zählen, wie „genau“ eine Erklärung auf dem Papier ist, und statfangen müssen, echte Menschen zu fragen, ob sie sie tatsächlich verstehen. Er schlägt zudem vor, dass wir anstatt nur eine einzige „beste“ Erklärung auszuwählen, mehrere verschiedene Optionen anbieten sollten, damit die Menschen diejenach wählen können, die für sie am meisten Sinn ergibt.

Der Zaubertrick des Roboters und die kaputte Taschenlampe

Betrachten Sie moderne KI-Systeme als unglaublich talentierte, aber geheimnisvolle Magier. Sie können ein Foto einer Katze betrachten und mit 99 %iger Sicherheit sagen: „Das ist eine Katze!“ Aber wenn Sie fragen: „Warum?“, starren sie nur zurück. Dies ist das „Black Box“-Problem. In Bereichen wie der Medizin oder der Luft- und Raumfahrt, in denen Fehler gefährlich sein können, können wir dem Magier nicht einfach vertrauen; wir müssen den Trick sehen. Hier kommt Explainable AI (XAI) ins Spiel. Es ist die Wissenschaft, eine Taschenlampe zu bauen, um in die Black Box zu leuchten, damit Menschen sehen können, warum die KI eine Entscheidung getroffen hat.

Das Paper weist jedoch auf einen schwerwiegenden Fehler in unserem aktuellen Ansatz hin. Wir haben Dutzende verschiedener Taschenlampen erfunden (Methoden wie Saliency Maps, Counterfactuals und Prototypen), aber wir haben es nicht gut gemacht, zu testen, ob sie tatsächlich funktionieren. Es ist, als würde ein Spielzeugladen tausend verschiedene Taschenlampen verkaufen, aber keine von ihnen wurde getestet, um zu sehen, ob sie tatsächlich einen dunklen Raum beleuchten oder ob sie nur seltsame Formen an die Wand werfen. Der Autor argumentt, dass wir in einem Kreislauf stecken, in dem wir ständig neue Werkzeuge erschaffen, ohne zu prüfen, ob sie wirklich nützlich sind, was zu einer „Illusion des Fortschritts“ führt.

Der Fall des voreingenommenen Roboters und der Krawatte

Um zu zeigen, warum das Testen wichtig ist, betrachtet das Paper ein spezifisches Projekt namens DetoxAI. Stellen Sie sich einen Roboter vor, der darauf trainiert wurde, Gesichter zu erkennen. Man könnte denken, er schaue nur auf Augen und Nasen, aber das Paper enthüllt, dass der Roboter Abkürzungen nutzen kann. In einem Datensatz berühmter Persönlichkeiten bemerkte der Roboter beispielsweise, dass Menschen, die Krawatten trugen, fast immer Männer waren. Anstatt also auf Gesichtszüge zu achten, begann er, die „Krawatte“ als Abkürzung zu nutzen, um das Geschlecht zu erraten. Dies ist ein Bias (eine Voreingenommenheit) – ein Fehler in der Logik des Roboters, der zu unfairen Ergebnissen führt.

Die Forscher nutzten XAI-Werkzeuge, um ein Licht in das Gehirn des Roboters zu werfen. Sie fanden heraus, dass der Roboter sich tatsächlich stark auf die Krawatte konzentrierte. Sobald sie dies sahen, konnten sie ihm diese schlechte Angewohnheit „abgewöhnen“, indem sie den Roboter lehrten, die Krawatte zu ignorieren und stattdessen auf das Gesicht zu achten. Das Paper zeigt, dass sie durch den Einsatz dieser Erklärwerkzeuge genau messen konnten, wie sehr sich der Roboter verbesserte. Es war nicht bloß eine Vermutung; es gab Zahlen, die belegten, dass der Roboter fairer wurde. Dies beweist, dass Erklärungen nicht nur zur Schau gestellt werden; sie sind essenziell, um defekte KI zu reparieren.

Der Human-Test: Verstehen wir es eigentlich wirklich?

Der zweite Teil des Papers stellt eine einfache, aber schwierige Frage: „Verstehen Menschen diese Erklärungen tatsächlich?“ Der Autor stellt fest, dass die meisten Studien nur fragen: „Gefällt Ihnen diese Erklärung?“ und dann weitermachen. Aber das Paper argumentiert, dass wir es besser machen müssen.

Um dies zu testen, führten die Forscher eine Umfrage mit 148 Personen (Studenten und Mitarbeitern) durch, die keine KI-Experten waren. Sie zeigten ihnen Bilder von Tieren (wie Zebras, Tiger und Pandas) und drei verschiedene Arten von „Taschenlampen“ (Erklärungsmethoden), die hervorbanden, warum der Roboter dachte, es sei ein Zebra.

• Das Ergebnis: Die Leute wählten nicht einfach zufällig. Sie bevorzugten eine Methode namens ProtoPNet gegenüber den anderen.
• Die Überraschung: Die Methode, die den Menschen am besten gefiel, war nicht unbedingt diejenige, die in einem Computertest mathematisch „perfekt“ war. Es war diejeneste, die mit dem übereinstimmte, was die Menschen für wichtig hielten. Wenn sie zum Beispiel einen Tiger betrachteten, wollten die Menschen, dass die Streifen hervorgehoben werden. Die ProtoPNet-Methode konnte dies am besten.
• Die Lehre: Das Paper legt nahe, dass wir Erklärungen, wenn wir wollen, dass sie nützlich sind, für Menschen konzipieren müssen, nicht nur für Computer. Wir müssen sie mit echten Menschen testen, so wie ein Lehrer einen Unterrichtsentwurf mit echten Schülern testet und nicht nur, indem er das Lehrbuch liest.

Das bewegliche Ziel: Wenn sich die Welt verändert

Die letzte Herausforderung, mit der sich das Paper befasst, ist das „bewegliche Ziel“. Die meisten KI-Erklärungen sind für eine Welt konzipiert, die gleich bleibt. Aber im echten Leben ändern sich die Dinge. Dies wird als Concept Drift bezeichnet. Stellen Sie sich einen Roboter vor, der lernt, Autos zu erkennen. Wenn der Roboter mit Bildern von Autos aus dem Jahr 2010 trainiert wurde und die Welt plötzlich auf Elektroautos ohne Auspuffrohre umstellt, könnten die alten Erklärungen des Roboters sagen: „Ich weiß, dass es ein Auto ist, weil es ein Auspuffrohr hat.“ Diese Erklärung ist nun falsch und verwirrend.

Das Paper untersucht, wie man diese Erklärungen aktualisiert, wenn sich die Daten ändern. Anstatt nur den Roboter neu zu trainieren, versuchten die Forscher, zu verfolgen, wie sich die „Gründe“ für Entscheidungen im Laufe der Zeit verschieben. Sie nutzten eine Methode, die auf Counterfactuals (Kontrafaktika) basiert (die „Was wäre wenn?“-Fragen stellen, wie zum Beispiel: „Was wäre, wenn dieses Auto ein Auspuffrohr hätte?“). Sie fanden heraus, dass sie durch die Beobachtung, wie sich diese „Was wäre wenn“-Antworten veränderten, genau erkennen konnten, wann und warum sich die Logik des Roboters verschob. Es ist wie das Beobachten einer Kompassnadel: Wenn sie zu stark ausschlägt, weiß man, dass sich das Magnetfeld (die Daten) geändert hat.

Das große Fazit

Das Paper kommt zu dem Schluss, dass wir uns derzeit in einer Phase befinden, in der wir zu viele Werkzeuge, aber zu wenig Tests haben.

• Was wir brauchen: Wir müssen aufhören, nur zu messen, wie „genau“ eine Erklärung auf einem Computer ist, und anfangen zu messen, ob sie einem Menschen hilft, eine bessere Entscheidung zu treffen.
• Die Zukunft: Wir brauchen mehr Experimente mit echten Menschen, bessere Werkzeuge für den Umgang mit sich ändernden Daten und eine Möglichkeit, mehrere Erklärungen anzubieten, damit Menschen diejenige wählen können, die für sie am meisten Sinn ergibt.

Der Autor sagt nicht, dass wir das Problem gelöst haben. Tatsächlich deutet er an, dass wir erst an der Oberfläche kratzen. Aber indem wir Erklärungen als Werkzeuge für Menschen behandeln und nicht nur als mathematische Probleme, können wir KI-Systeme bauen, die nicht nur intelligent, sondern auch vertrauenswürdig und fair sind. Das Ziel ist nicht nur, den Roboter erklären zu lassen; es geht darum, sicherzustellen, dass die Erklärung uns tatsächlich hilft, die Welt zu verstehen.