Explanation Multiplicity: Circuit-Level Interpretability Evidence Does Not Survive Defensible Analytic Variation

Stell dir vor, du versuchst einem skeptischen Freund einen Zaubertrick zu erklären. Du sagst: „Der Magier hat nicht nur einen Zauberstab geschwungen; er benutzte einen speziellen, versteckten Hebel unter der Bühne.“ Doch dann fragt dein Freund: „Woher wissen wir, dass es dieser Hebel ist? Was, wenn ich unter einem anderen Teil der Bühne nachsehe oder eine andere Taschenlampe benutze oder einen anderen Magier frage, um nachzusehen?“ Wenn sich deine Erklärung komplett ändert, je nachdem, wie man nach dem Geheimnis sucht, kannst du sie dann wirklich als Tatsache bezeichnen? Dies ist der Kern einer neuen Studie in der Welt der Künstlichen Intelligenz (KI).

Im Bereich der „mechanistischen Interpretierbarkeit“ versuchen Wissenschaftler, in die KI-Gehirne (wie das berühmte GPT-2-Modell) hineinzublicken, um die spezifischen „Schaltkreise“ – winzige Netzwerke von Verbindungen – zu finden, die bewirken, dass die KI das tut, was sie tut. Es ist, als würde man versuchen, die exakte elektrische Verkabelung in einem Haus zu kartieren, um zu erklären, warum ein Licht anging. Die Europäische Union hat ein neues Gesetz erlassen, das besagt, dass, wenn eine KI eine Entscheidung mit hoher Tragweite trifft (wie etwa die Ablehnung eines Kredits), das Unternehmen einen Bericht einreichen muss, der erklärt, wie die KI entschieden hat. Der offensichtliche Weg, dies zu tun, besteht darin, eine Karte der internen Schaltkreise der KI einzureichen. Aber dieses Paper stellt eine schwierige Frage: Wenn zwei kluge Experten dieselbe KI und dieselben Werkzeuge benutzen, aber leicht unterschiedliche, vernünftige Entscheidungen darüber treffen, wie sie nach den Schaltkreisen suchen, werden sie dann dieselbe Karte finden? Oder werden sie zwei völlig unterschiedliche Geschichten finden?

Der Autor dieses Papers entschied sich, dies zu testen, indem er ein massives „Choose-Your-Own-Adventure“-Experiment aufbaute. Er betrachtete die KI nicht nur einmal; er betrachtete sie 15.840 verschiedene Male. Er erstellte ein Raster aus sieben verschiedenen Wegen, die KI zu analysieren, und nahm dabei jede einzelne Einstellung aus bestehenden, veröffentlichten Werkzeugen. Er fragte: „Wenn wir die Metrik, den Seed, die Größe des Schaltkreises oder die Art und Weise, wie wir ihn testen, ändern, bleibt die Geschichte, die wir über das Gehirn der KI erzählen, dieselbe?“

Die Antwort ist leider ein lautes „Nein“.

Als die Forscher ihr Experiment durchführten, fanden sie heraus, dass die Beweislage unglaublich wackelig ist. Von all den verschiedenen Wegen, auf denen sie die Daten hätten analysieren können, änderte sich die Geschichte, die sie über den Schaltkreis der KI erzählten, in 73,2 % der Fälle zu einer völlig anderen Version. Das bedeutet, wenn zwei Prüfer dieselbe KI mit denselben Werkzeugen, aber leicht unterschiedlichen Einstellungen untersuchen würden, würden sie wahrscheinlich zwei völlig unterschiedliche Berichte erstellen. Selbst als sie versuchten, die wichtigsten Entscheidungen streng zu standardisieren, sank die Fluktuationsrate nur auf 59,4 %.

Um sicherzustellen, dass dies kein Zufall war, prüften sie, ob die gefundenen Schaltkreise tatsächlich dasselbe waren, nur in anderen Worten beschrieben. Das waren sie nicht. Die Schaltkreise waren strukturell fast vollständig unterschiedlich (sie teilten nur etwa 4 % ihrer Bestandteile) und funktional unkorreliert. Es ist, als hätte ein Prüfer eine Karte der Küchenverkabelung gefunden und der andere eine Karte der Wasserleitungen, und beide behaupteten: „Dies ist das Geheimnis, wie das Haus funktioniert!“

Das Paper entdeckte auch, dass eines der sieben Hauptwerkzeuge, die sie zur Suche dieser Schaltkreise verwendeten, bei der getesteten Aufgabe überhaupt nicht funktionierte; es stürzte sofort ab. Zudem wurden mehr als die Hälfte der potenziellen Erklärungen verworfen, weil sie die strengen Regeln des Tests nicht erfüllten.

Was bedeutet das also für die Zukunft? Der Autor sagt nicht, dass die KI kaputt ist oder dass wir sie nicht verstehen können. Er sagt, dass die aktuellen „Belege“, die wir haben, um zu beweisen, wie eine KI funktioniert, noch nicht bereit sind, bei einer Regulierungsbehörde eingereicht zu werden. Wenn Sie einem Richter heute eine Schaltkreis-Karte übergeben und ein zweiter Richter dieselben Werkzeuge, aber eine etwas andere Methode verwendet, könnte er Ihre Karte ablehnen und sagen: „Dies ist nicht die richtige Erklärung.“ Die Studie legt nahe, dass wir, bevor wir diesen KI-Erklärungen vor Gericht oder bei Sicherheitsprüfungen vertrauen können, herausfinden müssen, wie wir die Karten stabil machen können, unabhängig davon, wer die Taschenlampe hält.