What does a Bayes-filtered transformer believe? A predictive Monte Carlo approach

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht herauszufinden, was ein mysteriöser, superintelligenter Roboter denkt. Sie können nicht in sein Gehirn schauen oder sein Tagebuch lesen; Sie können ihn nur dabei beobachten, wie er ein Spiel namens „Rate das nächste Wort“ spielt. Jedes Mal, wenn Sie dem Roboter einen Satz geben, sagt er das nächste Wort mit unheimlicher Genauigkeit voraus. Aber hier liegt das Rätsel: Hat der Roboter einfach eine riesige Liste von Antworten auswendig gelernt, die er während des Trainings gesehen hat, oder lernt er tatsächlich die verborgenen Regeln des Universums, um kluge Vorhersagen über neue Situationen zu treffen? Diese Frage steht im Zentrum eines Feldes namens maschinelles Lernen, speziell bei der Untersuchung, wie KI-Modelle aus Kontext lernen. Um dies zu verstehen, müssen wir etwas über „Priors“ (die erste Vermutung des Roboters, bevor er Hinweise sieht) und „Posteriors“ (wie sich diese Vermutung nach dem Sehen der Beweise ändert) wissen. Wissenschaftler fragen sich schon lange, ob diese Roboter tatsächlich die Mathematik der Bayes-Schlussfolgerung betreiben – eine schicke Art, Überzeugungen basierend auf neuen Daten zu aktualisieren – oder ob sie nur das Aussehen dieser Mathematik imitieren, ohne sie wirklich zu verstehen.

Dieses Paper führt einen cleveren neuen Trick ein, um hinter den Vorhang zu blicken. Die Forscher, die mit „Bayes-gefilterten Transformern“ (einem Typ von KI, der auf Sequenzen trainiert wurde, die durch verborgene Regeln generiert wurden), entwickelten eine Methode namens Predictive Monte Carlo (PMC). Stellen Sie sich die KI wie einen Koch vor, der Millionen von Suppen probiert hat. Wenn Sie den Koch bitten, das Rezept zu beschreiben, sagt er vielleicht nur: „Es schmeckt wie Hühnchen.“ Aber wenn Sie ihn bitten, eine neue Charge Suppe basierend auf einer bestimmten Zutat zu kochen, die Sie ihm geben, und dann diese neue Charge probieren, um herauszufinden, was er wirklich über das Rezept denkt, erhalten Sie ein viel klareres Bild. Die Autoren nutzen diese „Koch-Methode“, um tausende von fiktiven zukünftigen Sequenzen aus der KI zu generieren. Durch die Analyse dieser fiktiven Zukünfte können sie die verborgenen „Überzeugungen“ der KI über die Welt rekonstruieren.

Die Studie testete dies an drei verschiedenen Arten von Rätseln: einem Spiel des Zeichnen von farbigen Bällen aus einer Urne, einer linearen Regressionsaufgabe (das Finden einer Linie durch verstreute Punkte) und einem Spiel des Bewegens zwischen Zuständen wie bei einem Brettspiel. In jedem Fall trainierten sie die KI auf einer Mischung aus verschiedenen „Aufgaben“ (verschiedenen Rezepten) und nutzten dann PMC, um zu sehen, was die KI tatsächlich glaubt. Sie fanden heraus, dass sich die internen Überzeugungen der KI auf faszinierende Weise verändern. Wenn die KI nur auf wenigen Arten von Aufgaben trainiert wird, agiert sie wie ein Auswendiglernender und hält starr an den spezifischen Beispielen fest, die sie gesehen hat. Aber wenn die Vielfalt der Trainingsaufgaben wächst, wandelt sich die KI zu einem „Generalisierer“, der die breiteren Regeln lernt, die für alles gelten. Interessanterweise zeigt das Paper, dass dieser Übergang nicht glatt verläuft; an bestimmten Punkten agiert die KI kurzzeitig wie ein genialer Generalisierer, bevor sie wieder in einen Auswendiglernermodus zurückfällt. Entscheidend ist, dass die Autoren zeigen, dass es nicht ausreicht, nur auf die endgültigen Vorhersagen der KI (den Teil „Rate das nächste Wort“) zu schauen, um die wahre Natur der KI zu erkennen, da zwei verschiedene interne Überzeugungssysteme exakt dieselben Vorhersagen erzeugen können. Erst wenn man PMC verwendet, um in den „latenten Raum“ zu schauen, in dem das eigentliche Denken stattfindet, wird die wahre Natur sichtbar.

Das neue Werkzeug des Detektivs

Wie funktioniert dieses neue Werkzeug, PMC, eigentlich? Stellen Sie sich die KI als eine Wahrsagerin vor, die auf einem bestimmten Satz von Regeln trainiert wurde. Sie geben der Wahrsagerin einen Prompt, wie zum Beispiel: „Der Himmel ist blau, weil...“ und sie beginnt, die nächsten Wörter vorherzusagen. Normalerweise nehmen Sie einfach ihre erste Vorhersage und machen weiter. Aber mit PMC hören Sie dort nicht auf. Sie bitten die Wahrsagerin, weiterzumachen, eine ganze lange Geschichte basierend auf diesem Anfang zu generieren. Dies tun Sie hunderte Male, wodurch hunderte von verschiedenen möglichen Geschichten entstehen.

Sobald Sie diese langen, fiktiven Geschichten haben, suchen Sie nach den Mustern innerhalb dieser Geschichten. Wenn die KI in einer Welt trainiert wurde, in der auf „Himmel“ immer „blau“ folgt, werden die Geschichten dies widerspiegeln. Aber noch wichtiger: Indem Sie die gesamte Struktur dieser generierten Geschichten analysieren, können Sie rückwärts konstruieren, was die KI über die „Regeln des Spiels“ denkt. Es ist so, als ob Sie einem Magier dabei zusehen würden, wie er ein Kaninchen aus einem Hut zieht, und anstatt nur das Kaninchen zu sehen, würden Sie tausend verschiedene Kaninchen aus tausend verschiedenen Hüten ziehen, um genau zu verstehen, wie der Hut manipuliert ist. Dies ermöglicht es den Forschern, den „Prior“ der KI (was sie glaubte, bevor Sie ihr einen Prompt gaben) und den „Posterior“ (was sie glaubt, nachdem sie Ihren Prompt gesehen hat) abzubilden.

Der große Wandel: Auswendiglernender vs. Generalisierer

Die Forscher nutzten diese Methode, um eine große Frage der KI zu testen: Lernt das Modell, spezifische Beispiele auswendig zu lernen, oder lernt es, Regeln zu generalisieren? Sie gestalteten Experimente mit drei verschiedenen „Familien“ von Aufgaben.

Zuerst betrachteten sie Bälle-und-Urnen. Stellen Sie sich eine Urne vor, die mit roten und blauen Bällen gefüllt ist. Die Aufgabe der KI ist es, den nächsten Ball vorherzusagen. Die „Aufgabe“ ist die spezifische Mischung der roten und blugen Bälle in der Urne. Wenn die KI auf nur wenigen spezifischen Urnen trainiert wird, wird sie ein Auswendiglernender. Sie lernt: „Oh, diese spezifische Urne hat 80 % rote Bälle, also werde ich Rot raten.“ Aber wenn die KI auf einer riesigen Vielfalt von Urnen mit unterschiedlichen Mischungen trainiert wird, wird sie ein Generalisierer. Sie lernt die Regel: „Die Mischung der Bälle ist zufällig, also sollte ich auf die Historie schauen, um das Nächste vorherzusagen.“

Das Paper fand einen „Schwellenwert“ für diesen Wandel. Wenn die Anzahl der verschiedenen Aufgaben (verschiedene Urnenmischungen), mit denen die KI trainiert wird, klein ist, agiert sie wie ein Auswendiglernender. Aber wenn die Anzahl der Aufgaben wächst, wechselt die KI plötzlich zu einem Verhalten als Generalisierer. Dies bestätigt ein Phänomen, das als Task-Diversity Threshold (Aufgaben-Diversitäts-Schwellenwert) bezeichnet wird.

Aber hier wird es noch interessanter. Die Forscher untersuchten auch die Transiente Generalisierung. Dies ist vergleichbar mit der Beobachtung eines Schülers, der ein neues Fach lernt. Zuerst versucht er vielleicht, das große Ganze zu verstehen (Generalisierung), aber dann wird er verwirrt und beginnt, spezifische Fakten auswendig zu lernen, um die Prüfung zu bestehen. Das Paper zeigte, dass die KI während des Trainingsprozesses bei einem mittleren Niveau der Aufgabenvielfalt tatsächlich damit beginnt, wie ein Generalisierer zu agieren, dann aber, während das Training fortgesetzt wird, wieder in Richtung eines Auswendiglernenden driftet. Es ist eine vorübergehende Phase der Brillanz, bevor sie sich in eine starrere Gewohnheit einpendelt.

Warum das Betrachten der Antwort nicht ausreicht

Eine der wichtigsten Erkenntnisse dieses Papers ist, dass man nicht allein durch das Betrachten der Antworten sagen kann, was die KI tut. Die Autoren verwenden eine großartige Analogie: Stellen Sie sich zwei verschiedene Stadtpläne vor. Der eine Plan ist eine detaillierte, genaue Zeichnung der Straßen. Der andere ist eine Skizze, die nur die Hauptverkehrsstraßen zeigt. Wenn Sie beide Karten nach dem Weg zu einem bestimmten Café fragen, geben sie Ihnen vielleicht exakt dieselbe Wegbeschreibung. Wenn Sie nur die Wegbeschreibung (die Vorhersagen) betrachten, können Sie nicht unterscheiden, welche Karte die echte ist.

In der Welt der KI können unterschiedliche interne „Überzeugungen“ (Posteriori) exakt dieselben Vorhersagen erzeugen. Das Paper argumentiert, dass frühere Studien, die lediglich die Vorhersagen der KI mit einem „Goldstandard“ verglichen haben, fragil waren, da sie nicht zwischen einem Modell unterscheiden konnten, das die Regeln wirklich verstanden hat, und einem, das zufällig nur dasselbe erraten hat. Durch die Verwendung von PMC, um in den „latenten Raum“ (das verborgene Überzeugungssystem) zu schauen, konnten die Forscher sehen, dass sich die interne Karte der KI tatsächlich von der Skizze eines Auswendiglernenden zu der detaillierten Karte eines Generalisierers änderte und dann wieder zurückkehrte.

Die Grenzen der Kristallkugel

Die Autoren weisen vorsichtig darauf hin, dass diese Methode kein Zauberstab ist, der alles löst. Die Gültigkeit von PMC hängt davon ab, dass bestimmte mathematische Bedingungen erfüllt sind, deren Beweis für reale, massive KI-Modelle schwierig ist. In ihren Experimenten verwendeten sie synthetische Aufgaben (wie die Bälle-und-Urnen und einfache Matheprobleme), bei denen sie die Grundwahrheit kannten. Sie fanden heraus, dass PMC dort hervorragend funktionierte und die verborgenen Überzeugungen der KI erfolgreich rekonstruierte.

Sie geben jedoch zu, dass wir für die riesigen KI-Modelle, die in der realen Welt verwendet werden (wie jene, die Aufsätze schreiben oder mit Ihnen chatten), noch nicht wissen, ob die Mathematik perfekt standhält. Es ist möglich, dass die interne Logik der KI so komplex ist, dass unsere „Wahrsager“-Methode einige Nuancen übersehen könnte. Doch selbst mit diesen Einschränkungen bietet das Paper einen kraftvollen neuen Weg, um die KI zu untersuchen. Es legt nahe, dass wir, indem wir die eigenen „Was-wäre-wenn“-Szenarien der KI generieren und analysieren, endlich damit beginnen können zu verstehen, was diese Modelle tatsächlich denken, und nicht nur, was sie sagen.

Am Ende sagt dieses Paper nicht nur, wie KI lernt; es gibt uns eine neue Linse, um den Lernprozess selbst zu betrachten. Es zeigt, dass KI nicht nur eine statische Datenbank von Fakten ist, sondern ein dynamisches System, das zwischen Auswendiglernen und Verstehen schwankt, und dass wir diese Verschiebungen verfolgen können, wenn wir wissen, wie wir die richtigen Fragen stellen.