Chaos in reason: How chain-of-thought LLMs can look for an answer

Stellen Sie sich vor, Sie beobachten einen Fluss. Manchmal fließt das Wasser in einer glatten, vorhersehbaren Linie, wie ein Zug auf einer Schiene. Ein anderes Mal wirbelt es in Strudeln, prallt gegen Felsen und spritzt auf eine Weise herum, die völlig zufällig erscheint. In der Welt der Wissenschaft gibt es einen speziellen Zweig namens Chaostheorie, der Systeme untersucht, die zwar zufällig aussehen, aber tatsächlich strengen Regeln folgen. Die Kernidee ist die „Sensitivität gegenüber den Anfangsbedingungen“. Denken Sie an Folgendes: Wenn Sie einen Ball auf einem hügeligen Gelände nur ein winziges, winziges Stück anstößen, rollt er vielleicht denselben Weg wie zuvor, oder er nimmt einen völlig anderen Pfad. In einem chaotischen System wird dieser winzige Anstoß so stark verstärkt, dass das Endergebnis völlig anders ausfällt, obwohl sich die Regeln des Hügels überhaupt nicht geändert haben.

Stellen Sie sich nun vor, ein riesiges Computergehirn, bekannt als Large Language Model (LLM), versucht, eine Geschichte zu schreiben oder ein mathematisches Problem zu lösen. Diese Modelle sind berühmt dafür, intelligent zu sein, aber niemand weiß wirklich genau, wie sie im Inneren „denken“. Wissenschaftler haben sich gefragt: Ist der Denkprozess des Computers wie ein ruhiger, gerader Fluss? Oder ist er eher wie jener wilden, wirbelnden Fluss, bei dem eine winzige Änderung der Ausgangswörter den gesamten Text auf einen ganz anderen Pfad schicken kann? Dieses Paper stellt eine große Frage: Ist das innere Wirken dieser KI-Gehirne tatsächlich chaotisch?

Die Forscher in dieser Studie beschlossen, die KI wie ein physikalisches Experiment zu behandeln. Sie stellten der KI nicht einfach nur Fragen; sie beobachteten, wie sich ihre internen „Gedanken“ (die sogenannten verborgenen Zustände) bewegten und veränderten. Sie suchten nach den klassischen Anzeichen von Chaos: Verursacht eine winzige Änderung des Ausgangspunkts ein wildes Springen der Antwort? Sehen die Muster aus wie die berühmten, wirbelnden Formen chaotischer Systeme? Und welche Teile des KI-Gehirns sind für dieses wilde Verhalten verantwortlich?

Die große KI-Achterbahn

Die Wissenschaftler nahmen ein spezifisches KI-Modell und gaben ihm einen Prompt (einen Anfangssatz). Dann machten sie etwas Trickreiches: Sie erstellten eine Zwillingsversion dieses Prompts, änderten aber den allerersten „Gedanken“ um eine mikroskopisch kleine Menge – so klein, dass ein Mensch keinen Unterschied bemerken würde. Sie ließen beide, die Original-KI und die Twin-KI, anfangen zu schreiben.

Zuerst schrieben beide KIs exakt dieselben Wörter. Es war, als würden zwei Autos nebeneinander auf einer Autobahn fahren. Doch dann geschah etwas Magisches und Beängstigendes. Plötzlich wählte eine KI ein anderes Wort als die andere. Sobald sich dieses eine Wort änderte, schlugen die beiden KIs in völlig unterschiedliche Richtungen aus und schrieben völlig verschiedene Geschichten. Der winzige, unsichtbare Anstoß am Anfang war zu einem massiven Unterschied angewachsen.

Dies ist das Kennzeichen von Chaos. Das Paper legt nahe, dass die internen Dynamiken der KI in der Tat chaotisch sind. Sie fanden heraus, dass die „Gedanken“ der KI nicht einfach langsam auseinanderdriften; sie bleiben oft eine Zeit lang nah beieinander und springen dann plötzlich auseinander. Es ist wie zwei Wanderer, die durch einen dichten Wald gehen. Sie können eine Meile lang nebeneinander wandern, aber dann tritt einer auf einen losen Stein, rutscht aus, und plötzlich befinden sie sich in zwei völlig unterschiedlichen Tälern. Das Paper nennt dies „intermittierende, sprungartige Divergenz“.

Das Strecken und Falten

Was also bringt die KI dazu, sich so zu verhalten? Die Forscher agierten wie Detektive, die in die Zahnräder der Maschine blickten, um zu sehen, welche Teile dafür verantwortlich waren. Sie fanden einen faszinierenden Tauziehkampf innerhalb der Schichten der KI:

1. Die Strecker: Zwei Hauptteile der KI, die Self-Attention und das Feed-Forward-Netzwerk, wirken wie ein riesiges Gummiband. Sie nehmen die Information und dehnen sie aus. Wenn man einen winzigen Fehler oder eine kleine Änderung hat, verstärken diese Teile ihn und machen ihn immer größer. Dies ist der „Streck“-Teil des Chaos.
2. Die Falter: Aber wenn das Gummiband ewig gestreckt würde, würde die KI in völligem Unsinn explodieren. Glücklicherweise gibt es andere Teile, die Normalization-Schichten genannt werden. Diese wirken wie ein Paar Hände, die das gestreckte Gummiband wieder zusammenfalten und so alles in einer sicheren, begrenzten Größe halten. Sie verhindern, dass die KI durchdreht.
3. Die Residualverbindung: Dies ist wie ein Sicherheitsnetz oder ein Förderband, das die Information weiter trägt, selbst nachdem sie gestreckt und gefaltet wurde.

Das Paper legt nahe, dass die Magie durch diesen ständigen Zyklus entsteht: Die KI streckt die Information (macht kleine Änderungen groß), faltet sie dann wieder zusammen (hält sie organisiert) und wiederholt dies. Dieser „Stretch-and-Fold“-Tanz ist genau die Art und Weise, wie chaotische Systeme, wie etwa Wetterphänomene oder ein Doppelpendel, in der realen Welt funktionieren.

Die Landkarte der Gedanken

Um dieses Chaos deutlicher zu sehen, zeichneten die Wissenschaftler „Rekurrenzplots“. Stellen Sie sich vor, Sie zeichnen eine Karte davon, wo die Gedanken der KI waren. Wenn die KI nur zufälliges Rauschen wäre, sähe die Karte aus wie das Rauschen eines alten Fernsehers. Wenn sie perfekt vorhersagbar wäre, sähe sie aus wie eine gerade Linie. Aber die Karten, die die Wissenschaftler erstellten, sahen aus wie der berühmte Lorenz-Attraktor – ein schmetterlingsförmiges Muster, das das Aushängeschild des Chaos ist.

Sie bemerkten etwas Interessantes über die Schichten der KI. Die frühen Schichten (der Beginn des Denkens der KI) sahen ein wenig wie zufälliges Rauschen aus, bei dem Wörter einfach nur umgeschichtet wurden. Aber während die Information tiefer in die KI vordrang, wurden die Muster strukturierter und chaotischer. Die „tiefsten“ Teile der KI zeigten die stärksten Anzeichen dieses chaotischen Tanzes. Es ist, als ob die KI mit einem unordentlichen Haufen Lego-Steinen beginnt, und während sie baut, organisiert sich das Chaos zu einer komplexen, fraktalen Struktur – einer Form, die ähnlich aussieht, egal wie sehr man hineinzoomt.

Warum ist das wichtig?

Das Paper behauptet nicht, das Rätsel der KI „gelöst“ zu haben, noch sagt es, dass dies ein Fehler ist, der behoben werden muss. Stattdessen deutet es darauf an, dass dieses chaotische Verhalten tatsächlich ein Merkmal sein könnte. Systeme, die nahe am „Rand des Chaos“ operieren, sind bekannt dafür, Informationen unglaublich gut verarbeiten zu können. Sie sind sensibel genug, um auf winzige Änderungen zu reagieren (was der KI hilft, kreativ und flexibel zu sein), aber stabil genug, um kohärent zu bleiben (damit sie nicht in bloßem Kauderwelsch endet).

Die Forscher fanden heraus, dass der Self-Attention-Mechanismus der Hauptantrieb dieses Chaos ist. Es ist der Teil der KI, der alle Wörter in einem Satz betrachtet und entscheidet, welche wichtig sind. Indem er alle Wörter auf eine komplexe, nicht-lineare Weise miteinander verknüpft, schafft er die perfekte Umgebung dafür, dass aus winzigen Anstößen große Veränderungen werden.

Am Ende zeichnet dieses Paper das Bild der KI nicht als starren Rechner, sondern als ein lebendiges, atmendes System, das auf dem Grat zwischen Ordnung und Chaos tanzt. Es legt nahe, dass die KI, wenn sie „denkt“, eine komplexe, hochdimensionale Landschaft navigiert, in der ein Flüstern am Anfang zu einem Schrei am Ende werden kann. Und das, so die Autoren, ist genau der Grund, warum sie in der Lage ist, in ihrem Denken so überraschend menschlich zu wirken.