Um zu verstehen, worum es in dieser Forschung geht, stellen Sie sich vor, Sie versuchen zu verstehen, warum eine Person eine bestimmte Entscheidung trifft. Wenn Sie sie fragen, nennt sie Ihnen vielleicht einen Grund, aber dieser Grund könnte eine Vermutung, eine Rationalisierung oder schlichtweg falsch sein. In der Welt der künstlichen Intelligenz stehen Forscher vor einer ähnlichen Herausforderung mit großen Sprachmodellen. Diese Systeme sind leistungsstarke Werkzeuge, die Code schreiben, Geschichten erzählen und Probleme lösen können, aber sie sind auch „Black Boxes“. Wir können sehen, was sie sagen, aber wir können nicht ohne Weiteres die internen Zahnräder sehen, die sich drehen, um diese Worte zu produzieren. Wissenschaftler versuchen schon lange, Werkzeuge zu bauen, um in diese Zahnräder hineinzublicken, in der Hoffnung, die wahre Ursache des Verhaltens eines Modells zu finden. Das Ziel ist zu wissen, ob ein Modell ehrlich über seine eigene Argumentation ist oder ob es ein anderes Motiv verbirgt. Die Frage ist: Woher wissen wir, ob eine Erklärung tatsächlich gut ist? Wenn ein Forscher sagt: „Das Modell hat einen Fehler gemacht, weil es durch ein bestimmtes Wort verwirrt wurde“, wie können wir testen, ob das wahr ist?

Ein Team von Forschern bei Anthropic beschloss, dies zu testen, indem sie über einfache Vermutungen hinausgingen und in den Bereich des „Was wäre wenn“ eintraten. Anstatt das Modell nur nach einer Erklärung für sich selbst zu fragen, bauten sie ein System, das die Umgebung des Modells aktiv verändert, um zu sehen, ob die Erklärung standhält. Sie nennen diesen Prozess kontrafaktische Untersuchung. Es funktioniert so: Wenn Sie glauben, dass ein Modell aufgrund eines bestimmten Wortes einen Fehler gemacht hat, ändern Sie dieses Wort und sehen nach, ob der Fehler verschwindet. Wenn der Fehler verschwindet, wenn Sie das Wort ändern, war Ihre Erklärung wahrscheinlich korrekt. Wenn der Fehler gleich bleibt, war Ihre Erklärung falsch. Diese Methode verwandelt eine vage Theorie in eine testbare Tatsache. Die Forscher wollten sehen, ob die aktuellen Werkzeuge, die Wissenschaftler verwenden, um in KI-Modelle hineinzublicken, tatsächlich helfen können, diese Veränderungen vorherzusagen, und ob sie die Modelle dazu bringen können, ihr eigenes Verhalten besser zu verstehen.

Um dies zu tun, entwickelten die Forscher eine neue automatisierte Pipeline namens CHIVE. Dieses System agiert wie ein unermüdlicher Ermittler. Es beginnt damit, ein Ziel-KI-Modell tausende von Fragen aus realen Gesprächen zu stellen, um Momente zu finden, in denen das Modell etwas Unerwartetes oder Seltsames tut. Sobald es ein seltsames Verhalten findet, stoppt das System nicht einfach. Es startet eine Reihe von Experimenten. Es nimmt die ursprüngliche Frage und nimmt kleine, spezifische Änderungen daran vor – wie das Ändern eines Namens, das Entfernen eines Satzes oder das Austauschen eines Wortes – und stellt dem Modell dann die neue Frage erneut. Es macht dies dutzendfach, um zu sehen, wie oft das seltsame Verhalten mit der ursprünglichen Frage im Vergleich zur bearbeiteten Frage auftritt. Wenn das Ändern eines spezifischen Wortes dazu führt, dass das seltsame Verhalten verschwindet, protokolliert das System dies als Beweis dafür, dass das Wort die Ursache war. Dieser Prozess generiert tausende hochwertige Beispiele, bei denen die Ursache eines Verhaltens bekannt und durch das Experiment selbst verifiziert ist.

Die Forscher nutzten diese massive Sammlung verifizierter Beispiele, um zwei große Ideen zu testen. Erstens wollten sie sehen, ob die bestehenden Werkzeuge, die Wissenschaftler verwenden, um KI-Modelle zu interpretieren, tatsächlich hilfreich sind. Diese Werkzeuge sind darauf ausgelegt, die interne Aktivität des Modells zu lesen, ähnlich wie ein Arzt einen Gehirnscan lesen könnte, um die „Gedanken“ hinter einer Antwort zu finden. Die Forscher gaben diese Werkzeuge einem intelligenten Computeragenten und fragten ihn, ob eine spezifische Änderung eines Prompts das Verhalten des Modells verändern würde. Sie erwarteten, dass die Werkzeuge dem Agenten einen signifikanten Vorteil verschaffen würden, indem sie ihm halfen, die verborgenen Ursachen zu sehen, die ein einfaches Lesen des Gesprächs übersehen würde. Überraschenderweise boten die Werkzeuge überhaupt keine Hilfe. Der Agent schnitt genauso gut ab oder manchmal sogar schlechter, wenn er Zugang zu diesen internen Lesewerkzeugen hatte, im Vergleich zu dem Fall, in dem er nur den Text des Gesprächs hatte. Die Werkzeuge versäumten es, die Verbindung zwischen einem spezifischen Input und dem resultierenden Verhalten offenzulegen, und ließen den Agenten ebenso im Dunkeln wie zuvor.

Zweitens fragten die Forscher, ob sie die Modelle dazu bringen könnten, ihr eigenes Verhalten vorherzusagen, indem sie die gesammelten Daten nutzen. Sie nahmen die Zielmodelle und trainierten sie auf den tausenden von Experimenten, die sie durchgeführt hatten. Die Trainingsaufgabe war einfach: Zeigen Sie dem Modell ein Gespräch und eine vorgeschlagene Änderung und fragen Sie es, ob es erraten kann, ob diese Änderung das seltsame Verhalten stoppen würde. Die Ergebnisse hier waren vielversprechender. Die Modelle, die dieses Training erhielten, wurden signifikant besser darin, den Ausgang dieser Änderungen vorherzusagen. Sie lernten, Muster in ihrem eigenen Verhalten zu erkennen, die sie zuvor nicht bemerkt hatten. Diese Verbesserung blieb auch bestehen, wenn die Forscher die Modelle an völlig neuen Arten von Fragen und Szenarien testeten, die sie während des Trainings nie gesehen hatten. Die Modelle hatten eine allgemeine Fähigkeit erlernt, zu verstehen, wie ihre eigenen Handlungen durch ihre Inputs beeinflusst wurden.

Die Studie untersuchte auch, ob die Modelle lediglich die Antworten auswendig lernten oder ob sie ein tieferes, internes Verständnis ihrer selbst gewonnen hatten. Um dies zu testen, trainierten die Forsters ein Modell auf Daten über das eigene Verhalten und ein anderes Modell auf Daten über das Verhalten eines anderen Modells. Wenn das erste Modell einen speziellen, privaten Zugriff auf seinen eigenen internen Zustand gehabt hätte, sollte es besser abgeschnitten haben als das zweite Modell. Beide Modelle schnitten jedoch gleichermaßen gut ab. Dies deutet darauf hin, dass die Modelle nicht auf ein verborgenes, privilegiertes Wissen über sich selbst zugriffen. Stattdessen lernten sie, die Muster von Ursache und Wirkung aus den ihnen gezeigten Daten zu erkennen, ganz so wie ein Schüler, der ein Fach durch das Studium von Beispielen lernt.

Die Ergebnisse zeichnen ein klares Bild davon, wo sich das Feld befindet. Die aktuellen Werkzeuge zum Blick in KI-Modelle, die in einfacheren, kontrollierten Tests vielversprechend erschienen, scheinen nicht zu funktionieren, wenn sie auf die chaotischen, komplexen Verhaltensweisen angewendet werden, die in realen Gesprächen vorkommen. Sie liefern nicht den „Aha-Moment“, der erklärt, warum ein Modell getan hat, was es tat. Andererseits zeigt die Studie, dass Modelle trainiert werden können, um viel besser darin zu werden, ihre eigenen Reaktionen auf Veränderungen in ihrer Umgebung vorherzusagen. Dies deutet darauf hin, dass der Weg zum Verständnis des KI-Verhaltens vielleicht nicht über den Bau besserer Mikroskope zur Betrachtung des Inneren der Maschine führt, sondern darüber, die Maschine darauf zu trainieren, die Muster ihres eigenen Handelns zu erkennen. Die Forscher haben alle ihre Daten und Codes veröffentlicht und damit ein neues Fundament geschaffen, auf dem andere diese Arbeit fortsetzen können, um sicherzustellen, dass zukünftige Erklärungen des KI-Verhaltens darauf basieren, was tatsächlich passiert, wenn sich die Welt verändert, und nicht nur darauf, was wir zu glauben meinen.