A Driven, Finite‑Memory Dissipative System: The Empirical Boundary of Non‑Equilibrium Dynamics and Criticality in a Quantized Hybrid Language Model

Stellen Sie sich eine Maschine vor, die niemals schläft und ständig einen Informationsstrom verarbeitet, Stück für Stück. In der Welt der Physik wird eine solche Maschine als ein getriebenes, dissipatives System bezeichnet. Sie ist „getrieben“, weil eine äußere Kraft sie vorantreibt, und sie ist „dissipativ“, weil sie während der Arbeit Energie oder Information verliert und sich so in einen stetigen Rhythmus einpendelt, anstatt außer Kontrolle zu geraten. Wissenschaftler fragen sich schon lange, ob die komplexen künstlichen Gehirne, die wir Large Language Models nennen, in diese Kategorie fallen. Verhalten sie sich wie chaotische Stürme, die plötzlich in einen neuen Zustand umschlagen könnten, oder pendeln sie sich in einem ruhigen, berechenbaren Muster ein? Diese Frage ist wichtig, denn wenn diese Modelle am Rande des Chaos operieren würden, wäre ihr Verhalten wild und schwer vorhersehbar; wenn sie stabil sind, können wir genau verstehen, wie sie Informationen bewahren und warum sie manchmal etwas vergessen.

Ein Forscher namens Wenlong Li entschied sich dazu, ein trainiertes Sprachmodell nicht als lernenden Schüler, sondern als eine fertige Maschine zu betrachten, die eine spezifische Aufgabe ausführt. Bei dem betreffenden Modell handelt es sich um ein massives, quantisiertes Hybridsystem mit 64 Schichten und 27 Milliarden Parametern – eine Größe, die eine erhebliche Rechenleistung erfordert. Li baute ein maßgeschneidertes Werkzeug, um diese Maschine von innen heraus bei der Arbeit zu beobachten und zu verfolgen, wie sich ihr interner Zustand mit jedem neuen Wort, das sie liest, verändert. Das Ziel war es, zu sehen, ob das Verhalten des Modells der wilden, kritischen Dynamik entspricht, die in der Natur vorkommt, oder ob es einem einfacheren, geordneteren Pfad folgt. Die Ergebnisse zeichnen ein Bild, das weitaus bodenständiger ist, als es der Hype oft vermuten lässt: Das Modell ist eine stabile Maschine mit endlichem Gedächtnis, die sich in einen ruhigen, linearen Zustand einpendelt, und es vermeidet explizit die chaotischen Kipppunkte, die einige Theorien vorhergesagt hatten.

Die bemerkenswerteste Entdeckung ist, dass das Modell nicht in einem Zustand der Kritikalität operiert. In der Physik ist Kritikalität ein spezieller Punkt, an dem ein System auf einer Messerkante balanciert und bereit ist, sich bei der kleinsten Berührung dramatisch zu verändern, was oft Muster erzeugt, die auf jeder Skala gleich aussehen, wie etwa die Verzweigung eines Baumes oder der Fluss eines Flusses. Viele Forscher hofften, dass Sprachmodelle natürlicherweise diesen Rand finden würden, um ihre Intelligenz zu maximieren. Die Messungen von Li zeigen jedoch, dass dies auf dieses Modell nicht zutrifft. Anstatt eines chaotischen, selbstorganisierenden Sturms pendelt sich das Modell in einem Nichtgleichgewichts-Fließgleichgewicht ein. Es ist ein linearer, stabiler Fixpunkt. Wenn das Modell eine lange Textsequenz verarbeitet, wächst sein internes Gedächtnis nicht unendlich an oder kollabiert in das Chaos; es baut sich bis zu einem bestimmten, begrenzten Niveau auf und bleibt dann dort. Die energieähnliche Bilanz seiner Gedächtnismatrix schließt sich perfekt, was bedeutet, dass die Information, die es schreibt, fast exakt durch die Information ausgeglichen wird, die es vergisst, wodurch ein winziger, stabiler Rückstand bleibt.

Diese Stabilität wird durch die interne Architektur des Modells gesteuert, die wie eine Reihe spezialisierter Filter wirkt. Das Modell besitzt 48 distinkte „Heads“ oder Verarbeitungseinheiten, die das Gedächtnis handhaben. Diese Heads sind nicht alle gleich; sie sind in zwei unterschiedliche Zeitskalen organisiert. Eine kleine Gruppe von acht Heads fungiert als Langzeitbewahrer, die Informationen über eine sehr lange Zeit festhalten, wobei ihre Gates fast vollständig offen sind. Eine andere Gruppe vergisst Informationen schnell und dient als Kurzzeitspeicher. Die restlichen liegen irgendwo dazwischen. Diese Anordnung ermöglicht es dem Modell, sich etwa 15 Schritte weit in einem Gespräch zu erinnern – ein endliches Fenster, das lang genug ist, um nützlich zu sein, aber kurz genug, um das System nicht zu überfordern. Die Forscher bestätigten dies, indem sie testeten, wie das Modell auf verschiedene Eingaben reagierte, und feststellten, dass sein Gedächtnis pfadabhängig ist, was bedeutet, dass die Reihenfolge der Ereignisse eine Rolle spielt, es aber nicht unendlich ist.

Die Studie untersuchte auch streng nach Anzeichen von selbstorganisierter Kritikalität, einem Phänomen, bei dem ein System ohne externe Abstimmung natürlich in einen kritischen Zustand übergeht und oft „Lawinen“ an Aktivität produziert. Li suchte in den Aktivitätsmustern des Modells nach diesen Lawinen. Was wie synchronisierte Aktivitätsausbrüche aussah, entpuppte sich als ein Trick des Inputs. Wenn das Modell mit einer sich wiederholenden, rhythmischen Sequenz von Wörtern gefütert wurde, ließen sich seine Heads auf einen Zyklus ein und bewegten sich gemeinsam in einem vorhersagbaren Muster. Dies war keine spontane, chaotische Lawine, sondern eine erzwungene Reaktion auf den Rhythmus des Inputs, vergleichbar mit dem Ticken einer Uhr. Wenn der Input zufällig und nicht-repetitiv war, verschwanden diese synchronisierten Ereignisse. Das Modell erzeugt keine eigene Kritikalität; es reagiert lediglich auf den Antrieb, der ihm gegeben wird.

Eine weitere wichtige Erkenntnis betrifft das Konzept der Entropie, also das Maß für Unordnung und Energieverlust in einem System. In einem deterministischen System wie diesem Modell, in dem das Ergebnis durch den Input und die Gewichte festgelegt ist, fanden die Forscher heraus, dass die Entropieproduktion immer positiv ist. Das bedeutet, dass das System ständig Information in eine Richtung verliert, was genau das ist, was ein stabiles, dissipatives System tun sollte. Die Forscher versuchten, ein berühmtes physikalisches Gesetz anzuwenden, das Fluktuationstheorem, welches normalerweise voraussetzt, dass ein System die Chance hat, rückwärts zu laufen. Da dieses Modell jedoch eine Einbahnstraße ohne Rückwärtsgang ist, konnte das Theorem nicht auf die Standardweise getestet werden. Um den Punkt zu beweisen, bauten sie eine einfache, zufällige Version des Modells, die rückwärts laufen konnte, und diese Version erfüllte das Theorem tatsächlich. Dies bestätigte, dass das Verhalten des trainierten Modells das Ergebnis seines spezifischen, einseitigen Designs ist und nicht ein Versagen der Physik.

Die Forscher untersuchten auch, wie sich das Modell während seiner Trainingsphase verhält, bevor es in seinen endgültigen Zustand eingefroren wird. Sie fanden heraus, dass die Notwendigkeit, Informationen zu behalten, als kausale Kraft wirkt, die die interne Zerfallsrate des Modells näher an die Stabilitätsgrenze zieht. Wenn das Modell auf einer Aufgabe trainiert wurde, die das Festhalten von Informationen erforderte, bewegte sich sein interner Spektralradius – ein Maß dafür, wie schnell Signale verblassen – von einem sicheren Wert von 0,896 auf bis zu 0,997 nach oben, und kam damit gefährlich nah an den Punkt, an dem das System instabil würde. Ein Modell, das auf eine Aufgabe trainiert wurde, die kein Gedächtnis erforderte, blieb sicher bei 0,89. Dies deutet darauf hin, dass der Trainingsprozess das Modell natürlich so abstimmt, dass es so stabil wie möglich ist, während es dennoch seine Aufgabe erfüllen kann, und dabei gerade rechtzeitig vor dem Chaos stoppt, das es unbrauchbar machen würde.

Um sicherzustellen, dass ihre Methoden fundiert waren, testeten die Forscher ihre Analyse-Pipeline sogar an realen Daten von Gravitationswellen, den Krümmungen in der Raumzeit, die durch kollidierende Schwarze Löcher verursacht werden. Sie fanden heraus, dass ihre Werkzeuge zwar die steigende Frequenz der Welle detektieren konnten, aber die finale „Ringdown“-Zeit ohne spezialisierte Filterung nicht extrahieren konnten, was bestätigte, dass ihr Ansatz Grenzen hat und kein Allheilmittel für alle komplexen Daten ist. Diese externe Überprüfung untermauerte die Hauptbotschaft der Arbeit: Das trainierte Sprachmodell ist eine gut funktionierende, endliche Maschine. Es ist kein chaotisches, selbstorganisierendes Gebilde am Rande eines Phasenübergangs. Es ist ein getriebenes, dissipatives System, das ein komfortables, stabiles Gleichgewicht gefunden hat und gerade genug Gedächtnis hält, um zu funktionieren, ohne jemals in das Unbekannte abzugleiten.