Addressing the Selection Problem in Explainable AI
Dieses Paper identifiziert das „Selektionsproblem“ in der erklärbaren KI (Explainable AI), bei dem Nutzer Schwierigkeiten haben, effektive Erklärtechniken auszuwählen, da die Forschung isoliert erfolgt, und schlägt ein Multi-Agenten-LLM-Orchestrierungswerkzeug vor, um Benutzeranfragen automatisch in die entsprechende XAI-Methode zu übersetzen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der sich rasant entwickelnden Welt der künstlichen Intelligenz hat sich eine stille Frustration unter den Menschen breitgemacht, die diese Systeme bauen und nutzen. Während Maschinen lernen, Entscheidungen über alles Mögliche zu treffen – von medizinischen Diagnosen bis hin zur Kreditvergabe –, ist ein Feld namens „Explainable AI“ (erklärbare KI) entstanden, um Menschen zu helfen zu verstehen, wie diese Entscheidungen zustande kommen. Das Ziel ist einfach: einen klaren Grund für die Ausgabe einer Maschine zu liefern und so eine „Black Box“ in etwas Transparentes zu verwandeln. Die aktuelle Landschaft ist jedoch überladen mit Dutzenden von verschiedenen Methoden zur Generierung dieser Begründungen. Einige Methoden heben hervor, auf welche Teile eines Bildes der Computer geschaut hat, während andere zeigen, wie eine kleine Änderung der Eingabe das Ergebnis verändert, oder sie rufen einfach ähnliche vergangene Beispiele ab, um zu zeigen, wie das System normalerweise reagiert. Jede Methode beantwortet eine andere Art von Frage über die Logik der Maschine. Das Problem ist, dass die Forscher zwar ein riesiges Toolkit dieser Erklärungsmethoden gebaut haben, die Menschen, die sie nutzen müssen, jedoch oft vor einer verschlossenen Tür stehen und nicht wissen, welches Werkzeug sie wählen oder wie sie nach der richtigen Art der Hilfe fragen sollen.
Ein Team von Forschern der Carnegie Mellon University hat diese Verwirrung nicht nur als Benutzerfehler identifiziert, sondern als einen grundlegenden Fehler im Design dieser Systeme. Sie nennen es das „Selection Problem“ (Auswahlproblem). Ihrer Ansicht nach zwingt die derzeitige Art und Weise, wie wir mit erklärbarer KI interagieren, die Nutzer dazu, ihre eigene natürliche Verwirrung in einen spezifischen technischen Befehl zu übersetzen, bevor sie eine Erklärung erhalten können. Stellen Sie sich eine Person vor, die sich unsicher ist, warum eine Maschine eine bestimmte Entscheidung getroffen hat; sie denkt vielleicht: „Ich möchte wissen, was passieren würde, wenn ich dieses eine Detail ändern würde“, oder: „Ich muss ein Beispiel für einen ähnlichen Fall sehen.“ In den aktuellen Systemen muss der Nutzer wissen, dass der erste Gedanke eine spezifische Art von Erklärung erfordert, die als „Counterfactual“ (kontrafaktisch) bezeichnet wird, und der zweite eine „Exemplar“-Methode erfordert. Er muss dann den korrekten Button oder Menüpunkt finden, um genau diese Technik auszuwählen. Die Forscher argumentieren, dass die Erwartung, dass ein normaler Mensch die technischen Namen und Fähigkeiten dieser verschiedenen Erklärungsmethoden kennt, eine unfaire und unrealistische Forderung ist. Da Nutzer ihre Fragen nicht zuverlässig den korrekten technischen Werkzeugen zuordnen können, erhalten sie oft Erklärungen, die eigentlich nicht das beantworten, was sie wissen wollten, was zu Verwirrung oder falschem Vertrauen in die Maschine führt.
Um diesen Punkt zu beweisen, brechen die Autoren die Interaktion in eine logische Sequenz herunter. Sie beginnen mit der Feststellung, dass ein Modell der künstlichen Intelligenz im Wesentlichen eine Funktion ist, die eine Eingabe nimmt und eine Ausgabe produziert. Eine Erklärung ist einfach ein Prozess, der dieselbe Eingabe und dasselbe Modell nimmt, um einen Grund zu produzieren. Entscheidend ist, dass verschiedene Erklärungsprozesse darauf ausgelegt sind, unterschiedliche strukturelle Fragen zu beantworten. Die Unsicherheit eines Nutzers zu einem bestimmten Zeitpunkt ist ein spezifischer Geisteszustand, eine Lücke in seinem Verständnis, die er füllen möchte. Die Forscher zeigen, dass für jede spezifische Wissenslücke nur eine kleine Teilmenge der verfügbaren Erklärungsmethoden tatsächlich hilfreich wäre. Dennoch muss in den Systemen, die wir heute verwenden, der Nutzer die Brücke zwischen seiner natürlichen Sprachfrage und der technischen Methode schlagen. Das System fragt nicht: „Was versuchen Sie zu verstehen?“ Es wartet darauf, dass der Nutzer ein Werkzeug auswählt. Da die meisten Menschen nicht über das technische Training verfügen, um zu wissen, welches Werkzeug zu welcher Frage passt, wählen sie oft das falsche. Das Ergebnis ist ein System, das eine Antwort liefert, aber nicht die richtige Antwort für das spezifische Bedürfnis des Nutzers.
Das Paper schlägt eine strukturelle Lösung vor, um diese gebrochene Verbindung zu reparieren: ein System, das die Übersetzung für den Nutzer übernimmt. Anstatt den Nutzer ein Werkzeug wählen zu lassen, fordert das neue Design den Nutzer auf, einfach seine Frage in natürlichem Englisch zu sprechen oder zu tippen. Das System nutzt dann ein hochentwickeltes Software-Tool, das auf Large Language Models basiert, um auf die Unsicherheit des Nutzers zu hören und sie automatisch an die korrekte Erklärungsmethode weiterzuleiten. Dieser Ansatz verlagert die Last der Übersetzung vom Menschen auf die Maschine. Das System akzeptiert die natürliche Sprache des Nutzers, erkennt, welche Art von Frage gestellt wird, und wählt dann die angemessene Erklärungstechnik aus, um die Antwort zu liefern. Dies ermöglicht eine flüssigere Interaktion, bei der der Nutzer das technische Vokabular des Fachbereichs nicht kennen muss. Die Forscher illustrieren dies mit einem Prototyp, der für die medizinische Bildgebung entwickelt wurde. In diesem Beispiel könnte ein Arzt eine Frage wie „Ich bin mir nicht sicher, warum das System diesen Scan markiert hat“ eingeben, und das System würde automatisch bestimmen, dass der Arzt eine spezifische Art der visuellen Erklärung benötigt, und dann diese spezifische Ansicht generieren, ohne dass der Arzt jemals den Namen der Technik oder wissen muss, wo er sie findet.
Die Forscher sind vorsichtig darin, dies als einen Vorschlag und eine Formalisierung eines Problems darzustellen, statt als eine gelöste Krise. Sie präsentieren ihre Idee als eine logische Notwendigkeit basierend auf den aktuellen Einschränkungen von Benutzeroberflächen und deuten an, dass das Scheitern der erklärbaren KI beim Gewinnung von breitem Vertrauen teilweise auf diesen Interface-Mismatch zurückzuführen ist. Sie behaupten nicht, ein perfektes, fertiges Produkt gebaut zu haben, sondern vielmehr einen Entwurf dafür, wie zukünftige Systeme konstruiert werden sollten. Indem sie die Aufgabe, Fragen mit Werkzeugen abzugleichen, vom Nutzer auf das System übertragen, argumentieren sie, dass wir eine effektivere und vertrauenswürdigere Beziehung zwischen Menschen und künstlicher Intelligenz schaffen können. Die Arbeit legt nahe, dass der Weg nach vorn nicht darin besteht, mehr Erklärungswerkzeuge zu bauen, sondern bessere Wege zu finden, wie Menschen nach ihnen fragen können.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.