The Contribution of XAI for the Safe Development and Certification of AI: An Expert-Based Analysis

Stellen Sie sich vor, Sie hätten einen superintelligenten Roboter-Koch gebaut. Er kann eine perfekte Lasagne zaubern, aber er ist eine totale „Black Box“. Sie fragen ihn: „Warum hast du extra viel Salz hinzugefügt?“ und er starrt Sie nur mit einem leuchtenden Bildschirm an und weigert sich, sein geheimes Rezept zu erklären. Das ist das Problem vieler moderner Systeme der Künstlichen Intelligenz (KI): Sie treffen Entscheidungen, aber niemand weiß genau, wie oder warum.

Nun stellen Sie sich vor, Sie müssten diesen Roboter von einem strengen Sicherheitsinspektor zertifizieren lassen, bevor er in einem echten Restaurant kochen darf. Der Inspektor sagt: „Ich kann das nicht abzeichnen, wenn ich seine Logik nicht verstehe.“ Hier kommt XAI (Explainable AI – Erklärbare KI) ins Spiel, ein neuer Satz von Werkzeugen, die darauf ausgelegt sind, in diese Black Box hineinzuschauen und die geheimen Gedanken des Roboters in menschliche Sprache zu übersetzen.

Doch hier ist der Clou: Ein Forscherteam unter der Leitung von Benjamin Fresz und seinen Kollegen ging auf die Suche nach Antworten und fragte 15 Experten (Menschen, die sowohl wissen, wie man diese Roboter baut, als auch, wie man sie inspiziert), ob XAI der magische Schlüssel zur Zertifizierung ist. Sie führten keine Computersimulationen durch oder bauten neue Roboter; sie sprachen einfach mit Menschen und hörten sich deren reale Geschichten an.

Die große Entdeckung: Ein hilfreicher Gehilfe, kein Zauberstab

Das Hauptergebnis ist ein wenig Realitätscheck. Die Experten sind sich einig, dass XAI ein super hilfreicher Gehilfe für die Menschen ist, die die KI entwickeln. Es ist wie ein Detektiv, der in die chaotische Küche des Roboters blickt und sagen kann: „Hey, du benutzt Salz, weil die Tomaten sauer waren“, oder „Oh nein, du fügst Salz hinzu, weil die Daten, mit denen du den Roboter gefüttert hast, auf salzige Rezepte voreingenommen waren.“

In dieser Rolle ist XAI großartig beim Debugging. Es hilft Entwicklern, Fehler aufzuspüren, Verzerrungen (Biases) zu finden und zu verstehen, wo das Modell im Labor noch falsch abbiegt. Ein Experte bemerkte sogar, dass XAI half, neue, sinnvolle Muster in Daten zu finden, die Menschen zuvor übersehen hatten.

Wenn es jedoch um die offizielle Zertifizierung geht (den Stempel der Unbedenklichkeit, der besagt: „Dies ist sicher zu verwenden“), sind die Experten viel skeptischer. Sie argumentieren, dass XAI keine vollständige Lösung ist. Man kann dem Inspektor nicht einfach einen Stapel XAI-Erklärungen überreichen und sagen: „Schau, es ist sicher!“

Warum XAI nicht die endgültige Antwort ist

Das Paper schließt explizit einige populäre Ideen aus:

1. XAI ist keine „wahre“ Erklärung: Die Autoren legen nahe, dass eine „wahre“ Erklärung für komplexe KI möglicherweise unmöglich ist. Ein Experte verglich dies mit dem menschlichen Denken: Menschen können im Nachhinein Gründe für ihr Handeln konstruieren (wie etwa zu sagen: „Ich habe Salz hinzugefügt, weil ich es so wollte“), aber das ist nicht der eigentliche Grund (der vielleicht eine blitzschnelle Intuition ist). Ähnlich verhält es sich mit XAI: Es liefert vielleicht einen menschenlesbaren Grund, aber der echte Grund ist in Millionen von Berechnungen verborgen, die kein Mensch vollständig erfassen kann.
2. XAI ist keine eigenständige Sicherheitsgarantie: Das Paper spricht sich gegen die Idee aus, dass XAI allein ein System zertifizieren kann. Die Experten weisen darauf hin, dass aktuelle XAI-Methoden tückisch sein können. Manchmal liefern verschiedene XAI-Werkzeuge unterschiedliche Erklärungen für dieselbe Entscheidung, was die Frage aufwirft: „Welches davon ist richtig?“ Es ist, als würde man drei verschiedenen Detektiven einen Tatort erklären lassen, und sie alle erzählen eine andere Geschichte.
3. XAI löst das „Black Box“-Problem des Inspektors nicht: Es besteht das Risiko, dass XAI lediglich eine Black Box (die KI) durch eine andere (das XAI-Tool selbst) ersetzt. Wenn das Werkzeug, das die KI erklären soll, selbst ein Mysterium ist, wie können wir ihm dann vertrauen?

Das „Evidenz“-Problem

Hier ist ein faszinierender Punkt, den die Experten aufgeworfen haben: Bei traditionellen Sicherheitsprüfungen vertrauen Inspektoren der vom Hersteller bereitgestellten Evidenz. Aber was ist bei KI, wenn der Hersteller XAI nutzt, um eine Erklärung zu generieren, die zwar gut aussieht, aber in Wirklichkeit falsch ist? Das Paper legt nahe, dass wir noch keinen Weg haben, um zu prüfen, ob die XAI-Erklärung selbst „korrekt“ ist. Es ist wie bei einem Schüler, der einen Aufsatz schreibt; wir können ihn zwar lesen, aber ohne das Bewertungskriterium des Lehrers wissen wir nicht, ob der Aufsatz tatsächlich wahr ist.

Was die Experten hoffen

Die Experten sagen nicht, dass XAI nutzlos ist. Sie sagen, dass es erwachsen werden muss. Sie hoffen auf:

• Bessere Werkzeuge: Neue Arten von Erklärungen, die nicht nur aus „Heatmaps“ auf Bildern bestehen, sondern Dinge wie Zeitreihen (Daten, die sich über die Zeit verändern) oder Text erklären können.
• Klarere Regeln: Derzeit gibt es keine Standardregeln dafür, wie viel Erklärung genug ist. Die Experten sagen, wir brauchen klare Richtlinien, wie eine Rezeptkarte, damit Unternehmen genau wissen, was sie dem Inspektor zeigen müssen.
• Human-in-the-Loop: Sie betonen, dass Menschen weiterhin im Prozess involviert bleiben müssen. Ein Inspektor muss die XAI-Ausgabe immer noch prüfen und entscheiden, ob sie Sinn ergibt.

Das Fazit

Ist XAI also der magische Schlüssel zu sicherer KI? Nicht ganz.

Das Paper legt nahe, dass XAI ein wertvolles Asset ist, um Bugs zu finden und KI-Entwickler klüger zu machen. Es ist wie eine sehr gute Taschenlampe in einem dunklen Raum; sie hilft einem zu sehen, wo die Fallen liegen. Aber sie ist nicht das Zertifikat selbst. Man kann nicht einfach eine Taschenlampe vor einen Sicherheitsinspektor halten und erwarten, dass er ein Gebäude abnimmt.

Die Experten glauben, dass wir für eine echte Zertifizierung von KI eine Mischung aus Dingen benötigen: besseres Testen, formale mathematische Beweise und XAI als nur einen Teil des Puzzles. Bis wir klare Regeln dafür haben, wie man eine „gut genuge“ Erklärung misst, wird XAI ein hilfreiches Werkzeug für Entwickler bleiben, aber nicht die endgültige Antwort für die Sicherheitsinspektoren sein.