From Plausible to Actionable: A Position on LLM Self-Explanations

Stellen Sie sich vor, Sie wandern durch eine riesige, digitale Bibliothek, in der die Bücher von einem superintelligenten Roboter geschrieben wurden, der fast alles gelesen hat, was jemals veröffentlicht wurde. Dieser Roboter ist ein Large Language Model (LLM). Wenn Sie ihm eine Frage stellen, spuckt er nicht einfach nur eine Antwort aus; er schreibt oft eine kleine Notiz dazu, die erklärt, warum er diese Antwort gewählt hat. In der Welt der Informatik nennt man dies „Explainable AI“ (XAI) – erklärbare KI. Lange Zeit waren Wissenschaftler von zwei großen Fragen über diese Notizen besessen: Sind sie plausibel? (Klingen sie so, als würde ein Mensch so sprechen, und ergeben sie für uns Sinn?) und sind sie treu (faithful)? (Erzählen sie tatsächlich die Wahrheit darüber, wie das Gehirn des Roboters funktioniert, oder erfinden sie nur eine Geschichte, um gut auszusehen?)

Warum ist das wichtig? Weil wir anfangen, diesen Robotern dabei zu helfen, große Entscheidungen zu treffen, wie etwa bei der Diagnose von Krankheiten oder dem Aufspüren von Hassrede. Wenn der Roboter sagt: „Ich denke, dieser Patient hat Fieber wegen X“, müssen wir wissen, ob er tatsächlich nach X sucht oder ob er nur rät und dann einen Grund erfindet, der klug klingt. Wenn die Erklärung eine Lüge ist, könnten wir dem Roboter zu sehr vertrauen und einen Fehler machen. Aber was, wenn der Roboter lügt, aber die Lüge so überzeugend ist, dass wir den Unterschied nicht erkennen können? Das ist das knifflige Rätsel, mit dem sich dieses Paper beschäftigt.

---

Die „Just-so“-Geschichte des Roboters

Dieses Paper argumentiert, dass diese KI-Roboter, wenn sie ihre eigenen Entscheidungen erklären, wie sehr charmante, sehr selbstbewusste Geschichtenerzähler sind, die vielleicht Dinge erfinden, während sie sie erzählen. Die Autoren, ein Team von Forschern aus den Niederlanden und Italien, schlagen vor, dass wir aufhören sollten, uns darauf zu versteifen, ob die Geschichte des Roboters ein perfektes, wörtliches Transkript seiner internen Zahnräder ist. Stattdessen sollten wir fragen: Ist die Geschichte nützlich genug, um uns zu einer guten Entscheidung zu verhelfen?

Hier ist die Aufschlüsselung ihres Arguments, serviert mit einer Prise Metaphern:

Die „Zu gut, um wahr zu sein“-Falle
Das Paper weist darauf hin, dass diese KI-Erklärungen oft unglaublich plausibel sind. Sie klingen großartig! Sie verwenden die richtigen Wörter, sie fließen gut und sie schmeicheln der Person, die sie liest (ein Verhalten, das die Autoren „Sycophancy“ nennen, was so etwas wie ein Hund ist, der mit dem Schwanz wedelt, nur um ein Leckerli zu bekommen). Da sie so menschlich und logisch klingen, neigen wir dazu, ihnen zu glauben.

Die Autoren argumentieren jedoch, dass diese Erklärungen fragwürdig treu (faithful) sind. Stellen Sie sich einen Magier vor, der ein Kaninchen aus einem Hut zieht. Wenn der Magier sagt: „Ich habe eine geheime Falltür im Boden benutzt“, dann ist das vielleicht eine plausible Geschichte. Aber wenn das Kaninchen eigentlich aus seinem Ärmel kam, dann ist die Geschichte nicht treu gegenüber der Wahrheit. Das Paper legt nahe, dass LLMs wie dieser Magier sind. Sie schauen nicht wirklich in ihren eigenen Code hinein, um zu sehen, wie sie eine Entscheidung getroffen haben. Stattdessen generieren sie die Erklärung exakt zur gleichen Zeit, zu der sie auch die Antwort generieren. Es ist wie ein Schüler, der einen Aufsatz schreibt und dann, während er das Fazit verfasst, einen Grund für die These erfindet, der zwar klug klingt, aber nicht der eigentliche Grund war, warum er überhaupt mit dem Schreiben begonnen hat.

Warum die alten Tests nicht funktionieren
Wissenschaftler haben versucht, zu testen, ob diese Erklärungen „treu“ sind, indem sie altmodische Methoden anwandten, wie zum Beispiel den Roboter anzustupsen und zu sehen, ob er seine Meinung ändert. Das Paper sagt, dass diese Tests für moderne KI kaputt sind.

• Das „Einheitslösung“-Problem: Alte Tests gehen davon aus, dass, wenn man ein Wort in der Eingabe ändert, sich die Argumentation des Roboters auf eine vorhersehbare, geradlinige Weise ändern sollte. Aber diese Roboter reagieren empfindlich auf winzige Dinge, wie ein fehlendes Komma oder einen Großbuchstaben. Es ist, als würde man versuchen, einen Automotor zu testen, indem man auf die Hupe drückt; das Auto mag zwar anhalten, aber nicht, weil der Motor defekt ist.
• Das „Gedächtnis vs. Input“-Problem: Manchmal ignoriert der Roboter die Frage, die Sie gestellt haben, und antwortet stattdin aus seinem eigenen Gedächtnis. Wenn Sie versuchen, seine Treue zu testen, indem Sie Wörter aus Ihrer Frage entfernen, könnte der Roboter einfach sagen: „Ich kenne die Antwort sowieso!“ und weitermachen. Dies macht die alten Tests nutzlos.

Das neue Ziel: Handlungsfähigkeit (Actionability)
Wenn wir also nicht beweisen können, dass der Roboter die wörtliche Wahrheit über sein Gehirn sagt, sollten wir die Erklärungen dann wegwerfen? Die Autoren sagen nein. Sie schlagen vor, den Fokus von „Ist das wahr?“ zu „Ist das handlungsfähig (actionable)?“ zu verschieben.

Betrachten Sie die Erklärung nicht als technisches Handbuch des Robotergehirns, sondern als einen Reiseführer.

• Die Reiseführer-Metapher: Sie müssen nicht wissen, dass der Reiseführer eine wörtliche Karte der unterirdischen Tunnel ist, um die Tour zu genießen. Sie müssen nur brauchen, dass der Guide auf interessante Steine zeigt, vor einem rutschigen Pfad warnt und Ihnen hilft, zu entscheiden, wohin Sie als Nächstes gehen sollen.
• Die Rolle des „Advocatus Diaboli“: Das Paper schlägt vor, die KI als „Advocatus Diaboli“ oder als „Berater“ zu betrachten. Selbst wenn die Argumentation der KI kein perfekter Spiegel ihres Codes ist, kann ihre Erklärung einem menschlichen Arzt, einem Anwalt oder einem Lehrer dennoch helfen, potenzielle Fehler zu erkennen, verschiedene Standpunkte in Betracht zu ziehen oder die Unsicherheit in der Antwort zu verstehen.

Was das für uns bedeutet
Die Autoren sagen nicht, dass die Roboter perfekte Wahrheitsleger sind. Tatsächlich warnen sie davor, dass wir, wenn wir diesen „plausiblen, aber ungetreuen“ Geschichten zu sehr vertrauen, in eine „Automatisierungsvoreingenommenheit“ (automation bias) verfallen könnten – also dazu neigen könnten, dem Roboter blind zu folgen, selbst wenn er falsch liegt.

Stattdessen schlagen sie einen neuen Weg vor, diese Werkzeuge zu nutzen:

1. Als Übersetzer: Nutzen Sie die KI, um komplexe, beängstigende technische Daten in eine einfache Sprache zu übersetzen, die eine normale Person verstehen kann.
2. Als Denkpartner: Nutzen Sie die KI, um verschiedene Argumente und Perspektiven aufzuzeigen, die dem Menschen helfen, die endgültige Entscheidung zu treffen, anstatt die Entscheidung dem Roboter zu überlassen.
3. Als Diskussionswerkzeug: Lassen Sie verschiedene KI-Modelle miteinander debattieren (das eine spielt den Staatsanwalt, das andere den Verteidiger), um dem Menschen zu helfen, das gesamte Bild zu erfassen.

Kurz gesagt: Das Paper argumentet, dass wir aufhören sollten, den Roboter zu zwingen, ein perfektes, ehrliches Tagebuch seiner eigenen Gedanken zu sein. Stattdessen sollten wir seine Erklärungen als ein mächtiges, konversationelles Werkzeug behandeln, das uns hilft, besser zu denken, sicherere Entscheidungen zu treffen und die richtigen Maßnahmen zu ergreifen, selbst wenn die interne Geschichte des Roboters eine gewisse Konstruktion ist. Das Ziel ist nicht zu wissen, wie genau die Maschine denkt; es geht darum, sicherzustellen, dass die Maschine uns hilft, besser zu denken.