Stellen Sie sich vor, Sie hätten einen superintelligenten Roboter gebaut, der das Wetter vorhersagen, Krankheiten diagnostizieren oder sogar Poesie schreiben kann. Er funktioniert erstaunlich gut, ist aber eine „Black Box“: Sie drücken einen Knopf, er spuckt eine Antwort aus, und Sie haben keine Ahnung, warum er sich für diese Antwort entschieden hat. Dies ist die Welt der Künstlichen Intelligenz (KI). Um das Rätsel zu lösen, haben Wissenschaftler das Feld der Erklärbaren KI (Explainable AI, XAI) ins Leben gerufen. Betrachten Sie XAI als einen Übersetzer, der versucht, uns Menschen die geheimen Gedanken des Roboters zu erklären. Wir haben Werkzeuge, die hervorheben, welche Wörter in einem Satz am wichtigsten waren oder welche Pixel in einem Foto den Roboter dazu brachten, an eine „Katze“ zu denken. Aber hier liegt der Haken: Nur weil der Roboter uns eine Übersetzung geben kann, bedeutet das nicht, dass diese Übersetzung uns auch wirklich hilft, etwas Nützliches zu tun. Wir müssen wissen, ob diese Erklärungen vertrauenswürdig sind, ob sie zum echten Gehirn des Roboters passen und – am wichtigsten – ob sie uns tatsächlich dabei helfen, bessere Entscheidungen zu treffen oder den Roboter zu korrigieren, wenn er Fehler macht.

Genau dieses Problem behandelt ein neuer wissenschaftlicher Artikel. Die Autoren argumentieren, dass die KI-Gemeinschaft einen Marathon in die falsche Richtung läuft. Anstatt ein solides Fundament dafür zu bauen, wie und warum wir Dinge erklären, hat jeder hektisch versucht, neue, glänzende „Taschenlampen“ (Methoden) zu erfinden, um in die Black Box zu leuchten. Der Artikel legt nahe, dass diese neuen Taschenlampen zwar cool sind, uns aber oft nicht helfen, im Dunkeln zu navigieren, weil wir noch nicht einmal vereinbart haben, wie eine „Karte“ überhaupt aussieht, wie wir prüfen, ob eine Karte genau ist, oder was wir tun sollen, sobald wir eine haben.

Das „Taschenlampen“-Problem

Die Autoren, ein Team von Forschern aus führenden Universitäten und Technologieunternehmen, haben sich hunderte aktuelle Arbeiten über Erklärbare KI angesehen und mit Dutzenden von Menschen gesprochen, die diese Werkzeuge tatsächlich in ihrem Berufsalltag nutzen. Sie fanden ein besorgniserregendes Muster: Das Feld ist besessen davon, neue Methoden zu entwickeln. Tatsächlich waren 77 % der von ihnen analysierten Arbeiten lediglich Vorschläge für einen neuen Weg, KI zu erklären, während sich nur 1ly % der Arbeiten die Mühe machten, eine klare, formale Definition dessen zu liefern, was eine „Erklärung“ eigentlich ist.

Es ist, als würde eine Gruppe von Köchen versuchen, neue Rezepte zu erfinden, ohne jemals vereinbart zu haben, was „Suppe“ eigentlich ist. Einige sagen, Suppe müsse heiß sein; andere sagen, sie müsse Karotten enthalten; manche werfen einfach alles in einen Topf und nennen es Suppe. Da jeder unterschiedliche Definitionen verwendet, ist das Ergebnis ein Chaos. Ein Forscher mag behaupten, seine Methode sei „treu“ (was bedeutet, dass sie die Wahrheit über die KI sagt), während ein anderer einen anderen Test verwendet und behaupten muss, dieselbe Methode sei eine Lüge. Der Artikel argumentiert, dass wir in einer Endlosschleife feststecken, in der wir Dinge einfach so erfinden, anstatt ein zuverlässiges System aufzubauen.

Die vier fehlenden Säulen

Die Autoren sagen, wir müssen innehalten und vier spezifische Grundlagen schaffen, bevor wir weiter neue Taschenlampen erfinden. Sie nennen dies die „Vier Herausforderungen“:

1. Das Definitionsproblem (Was ist eine Erklärung?)
Im Moment wird das Wort „Erklärung“ für alles verwendet. Manchmal bedeutet es eine Liste wichtiger Merkmale; manchmal bedeutet es eine Geschichte, die die KI sich selbst erzählt. Der Artikel argumentt, dass wir aufhören müssen zu raten. Eine Erklärung sollte dadurch definiert werden, für wen sie ist und was diese Person damit tun muss. Wenn ein Arzt wissen muss, warum einem Patienten eine Versicherung verweigert wurde, muss die Erklärung anders aussehen, als wenn ein Robotikingenieur einen Bug beheben muss. Ohne eine klare Definition können wir nicht einmal messen, ob wir eine gute Arbeit leisten.

2. Das Eigenschaftsproblem (Was macht eine gute Erklärung aus?)
Wir müssen uns auf die Regeln einigen. Eine gute Erklärung muss „treu“ (faithful) sein – sie muss tatsächlich mit dem übereinstimmen, was die KI tut, und nicht nur gut aussehen. Aber Treue allein reicht nicht aus. Eine Erklärung muss auch „vollständig“ sein (sie sollte nicht die wichtigsten Teile auslassen) und „robust“ (sie sollte sich nicht drastisch ändern, wenn man die Eingabe leicht verändert). Der Artikel weist darauf an, dass viele aktuelle Methoden diese Tests nicht bestehen. Zum Beispiel kann eine Methode in einem Test großartig aussehen, aber scheitern, wenn es darum geht, einem Menschen bei einer Entscheidung zu helfen. Die Autoren schlagen vor, dass wir diese Eigenschaften streng testen müssen, anstatt einfach nur anzunehmen, dass sie funktionieren, weil die Mathematik dahinter gut aussieht.

3. Das Evaluierungsproblem (Wie testen wir, ob es funktioniert?)
Hier wird es so richtig unübersichtlich. Der Artikel fand heraus, dass zwar 56 % der Forscher behaupten, zu testen, ob ihre Erklärungen „treu“ sind, aber nur sehr wenige tatsächlich mit Menschen kommunizieren. Nur 11 % der von ihnen untersuchten Arbeiten enthielten eine Studie mit echten Menschen. Die meisten Forscher führen lediglich Computersimulationen durch oder prüfen, ob die Zahlen stabil aussehen. Aber eine Erklärung ist nutzlos, wenn ein Mensch sie nicht verstehen kann oder ihr nicht vertraut. Die Autoren argumentieren, dass wir aufhören müssen, Erklärungen wie ein mathematisches Problem zu behandeln, und anfangen müssen, sie wie ein Produkt zu testen: Hilft es einem Menschen tatsächlich, seinen Job besser zu machen?

4. Das Aktionsproblem (Was machen wir mit der Erklärung?)
Dies ist die größte Lücke. Stellen Sie sich vor, ein Arzt erhält eine Erklärung, die besagt: „Die KI glaubt, dass dieser Patient aufgrund seines Alters eine seltene Krankheit hat.“ Großartig, aber was macht der Arzt nun damit? Kann er die Meinung der KI ändern? Kann er nach weiteren Tests fragen? Der Artikel fand heraus, dass 38,2 % der Praktiker Schwierigkeiten haben, diese Erklärungen in ihren tatsächlichen Arbeitsablauf zu integrieren. Derzeit sind Erklärungen oft nur „Show-and-Tell“-Elemente, die man sich ansieht und dann wieder wegwirft. Die Autoren argumentieren, dass Erklärungen Teil eines Kreislaufs sein müssen, in dem Menschen Feedback geben, die KI korrigieren und das System verbessern können. Ohständen dies fehlt, ist die Erklärung nur eine Dekoration.

Was die Daten sagen

Um ihre Behauptungen zu untermauern, haben die Autoren zwei große Dinge getan. Zuerst nutzten sie eine KI (ein LLM), um 617 Arbeiten von Top-Konferenzen wie NeurIPS und ICML zu lesen. Die KI fand heraus, dass das Feld fast ausschließlich von „neuen Methoden“-Papieren getrieben wird, mit sehr wenig Fokus auf Definitionen oder menschliche Tests.

Zweitens haben sie 34 echte Anwender befragt – Menschen, die diese Werkzeuge tatsächlich in ihrem Beruf nutzen. Die Ergebnisse waren augenöffnend:

• Verwirrung: 44,1 % von ihnen gaben an, nicht zu wissen, wie man prüft, ob eine Erklärung gut ist.
• Entscheidungsparalyse: 23,5 % gaben zu, nicht zu wissen, welche Methode sie wählen sollen, und 26,5 % wussten nicht, wie man die richtigen Einstellungen (Parameter) für die verwendeten Werkzeuge wählt.
• Die „Vertrauensfalle“: Während viele sagten, dass diese Werkzeuge ihnen halfen, der KI zu „vertrauen“, warnt der Artikel, dass Vertrauen ohne Verständnis gefährlich ist. Tatsächlich sagten 44,1 % der Praktiker, dass die größte Herausforderung darin bestehe, die Ergebnisse denjenigen zu erklären, die letztendlich die Entscheidungen treffen müssen.

Der Weg nach vorn

Die Autoren sagen nicht, dass wir aufhören sollten, neue Werkzeuge zu entwickeln. Sie sagen nicht, dass XAI für immer kaputt ist. Sie sagen, dass wir unsere Prioritäten ändern müssen. Anstatt zu versuchen, die 100. neue Taschenlampe zu bauen, müssen wir erst einmal vereinbaren, wie eine Karte aussieht, wie man sie präzise zeichnet und wie man sie nutzt, um ans Ziel zu kommen.

Sie schlagen eine einfache Checkliste für jeden vor, der eine neue Arbeit über Erklärbare KI veröffentlicht. Bevor Sie publizieren, fragen Sie sich selbst:

1. Haben Sie Ihr Ziel definiert? (Für wen ist das, und was versuchen sie zu erreichen?)
2. Ist Ihre Behauptung testbar? (Kann jemand Sie widerlegen?)
3. Haben Sie die Treue getestet? (Passt es tatsächlich zum Gehirn der KI?)
4. Ist es nützlich? (Hilft es jemandem, eine echte Entscheidung zu treffen?)
5. Haben Sie es mit Menschen getestet? (Haben echte Menschen es in einer echten Situation genutzt?)

Der Artikel schließt mit dem Gedanken, dass wir, wenn wir uns zuerst auf diese Grundlagen konzentrieren, den Schritt von „coolen wissenschaftlichen Experimenten“ zu „zuverlässigen Werkzeugen“ vollziehen können, die Menschen und Maschinen tatsächlich bei der Zusammenarbeit unterstützen. Bis dahin bauen wir vielleicht weiterhin Taschenlampen, die zwar hell leuchten, uns aber nur im Kreis führen.