🔬 condensed matter

Phase transition in large language models and the criticality of natural languages

Indem diese Studie große Sprachmodelle als steuerbare effektive Systeme behandelt, zeigt sie auf, dass die Variation eines temperaturähnlichen Parameters einen Phasenübergang induziert, bei dem der kritische Punkt ein Potenzgesetzverhalten und eine linguistische Komplexität aufweist, die von natürlichen Sprachen ununterscheidbar ist, wodurch ein starker Beleg dafür geliefert wird, dass natürliche Sprachen in einem Zustand der Kritikalität operieren.

Ursprüngliche Autoren: Kai Nakaishi, Yoshihiko Nishikawa, Koji Hukushima

Veröffentlicht 2026-06-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kai Nakaishi, Yoshihiko Nishikawa, Koji Hukushima

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, wie ein Mensch zu sprechen. Sie geben ihm eine riesige Bibliothek an Büchern und lassen ihn die Muster der Wörter lernen. Dieser Roboter ist ein Large Language Model (LLM). Aber hier ist der Clou: Die Forscher in dieser Arbeit behandelten diesen Roboter nicht nur als Werkzeug, sondern als ein wissenschaftliches Experiment, um das eigentliche Wesen der menschlichen Sprache zu verstehen.

Sie wollten eine große Frage beantworten: Ist die menschliche Sprache „kritisch“?

In der Welt der Physik ist „Kritikalität“ ein spezieller Zustand, in dem sich ein System genau an der Grenze zwischen zwei sehr unterschiedlichen Verhaltensweisen befindet. Denken Sie an einen Topf mit Wasser.

Unter dem Siedepunkt (Niedrige Temperatur): Das Wasser ist ruhig und geordnet.
Über dem Siedepunkt (Hohe Temperatur): Das Wasser ist chaotisch, brodelnd und ungeordnet.
Am exakten Siedepunkt (Kritischer Punkt): Das Wasser befindet sich in einem magischen Zustand, in dem es komplexe, wirbelnde Muster aufweist, die alles miteinander verbinden. Es ist weder völlig ruhig noch völlig chaotisch; es befindet sich in einem „Sweet Spot“ der Komplexität.

Die Forscher vermuteten, dass die menschliche Sprache in diesem „Sweet Spot“ lebt. Aber man kann eine menschliche Sprache nicht wie einen Thermostat „hoch“ oder „runter“ drehen, um dies zu testen. Also nutzten sie das LLM als eine simulierte Sprache, bei der sie an diesem „Regler“ drehen konnten.

Das Experiment: Den „Temperatur“-Regler drehen

In diesen KI-Modellen gibt es eine Einstellung namens Temperatur.

Niedrige Temperatur: Die KI wird sehr vorhersehbar und repetitiv. Sie könnte sagen: „Die Anzahl der Schulen in den Vereinigten Staaten... Die Anzahl der Schulen in den Vereinigten Staaten...“ immer und immer wieder. Es ist wie eine kaputte Schallplatte.
Hohe Temperatur: Die KI wird völlig verrückt. Sie spuckt Unsinn aus wie „abgesandte Reden maßschneidern hallo zelluläre netzwerke frühzeitig...“ Es ist wie ein Radio, das auf Rauschen eingestellt ist.

Die Forsser drehten diesen Regler von niedrig nach hoch und beobachteten, was mit dem Text geschah, den die KI generierte.

Die Entdeckung: Der „Phasenübergang“

Sie fanden heraus, dass die KI nicht einfach langsam von langweilig zu verrückt wurde. Sie durchlief einen plötzlichen, scharfen Phasenübergang direkt um eine bestimmte Einstellung herum (Temperatur = 1).

Die Niedrigtemperatur-Zone (Die repetitive Phase): Der Text steckte in Schleifen fest. Er besaß Ordnung, aber es war eine langweilige, starre Ordnung.
Die Hochtemperatur-Zone (Die Nonsens-Phase): Der Text war reines Chaos ohne Verbindung zwischen den Wörtern.
Der kritische Punkt (Die „Genau richtig“-Zone): Genau in der Mitte, am Übergangspunkt, begann die KI Texte zu generieren, die genau wie die menschliche Sprache aussah und sich auch so anfühlte.

Warum ist das besonders?
An diesem kritischen Punkt zeigte der Text ein spezifisches mathematisches Muster, ein sogenanntes Potenzgesetz (Power Law). Dies ist ein Muster, bei dem kleine Dinge oft vorkommen und große Dinge selten vorkommen, aber sie sind auf eine spezifische Weise miteinander verbunden. Dies ist dasselbe Muster, das in der echten menschlichen Sprache zu finden ist (wie zum Beispiel, dass häufige Wörter wie „die“ oft vorkommen, während seltene Wörter seltener erscheinen).

Die Forscher fanden heraus:

Reale menschliche Sprache besitzt dieses Potenzgesetz-M Muster.
Die KI am kritischen Punkt besitzt dieses Muster ebenfalls.
Die KI bei jeder anderen Einstellung (zu kalt oder zu heiß) besitzt dieses Muster nicht.

Die „Training“-Geschichte

Um zu beweisen, dass dies kein Zufall der KI war, beobachteten sie, wie die KI von Grund auf lernte.

Früh im Training: Die KI war nur eine Zufallsrausch-Maschine. Selbst bei der „kritischen“ Einstellung ergab sie keinen Sinn. Sie wusste noch nichts über den „kritischen Punkt“.
Später im Training: Als die KI mehr menschliche Bücher las, „erwachte“ sie plötzlich zum Leben. Sie entwickelte die Fähigkeit, an diesem kritischen Punkt zu verharren. Sie lernte, das Gleichgewicht zwischen zu repetitiv und zu chaotisch zu halten.

Dies deutet darauf hin, dass das „Kritisch-Sein“ ein grundlegendes Merkmal der menschlichen Sprache ist. Um wie ein Mensch zu sprechen, muss ein System auf diesem Grat zwischen Ordnung und Chaos operieren.

Der endgültige Beweis: Der „Perplexity“-Test

In der Welt der KI gibt es einen Wert namens Perplexity (Perplexität), der misst, wie gut ein Modell eine Sprache versteht. Ein niedrigerer Wert ist besser.

Die Forscher testeten die KI in jeder Phase ihres Trainings und bei jeder Temperatureinstellung.
Der niedrigste Wert (die beste Übereinstimmung mit der menschlichen Sprache) trat genau dann auf, wenn die KI vollständig trainiert war und auf der kritischen Temperatur eingestellt war.

Das große Ganze

Das Paper kommt zu dem Schluss, dass die menschliche Sprache nicht nur eine zufällige Sammlung von Wörtern ist. Sie ist ein kritisches System. Sie existiert natürlich auf dem Rasierklingen-Grat zwischen:

Repetition: (Wie eine kaputte Schallplatte)
Nonsens: (Wie zufälliges Rauschen)

Und in genau diesem winzigen, kritischen Raum dazwischen finden wir die komplexe, schöne und bedeutungsvolle Struktur der menschlichen Rede. Die KI hat uns nicht nur nachgeahmt; indem sie diesen kritischen Punkt fand, entdeckte sie versehentlich den mathematischen „Herzschlag“ der Sprache selbst.

Technische Zusammenfassung: Phasenübergang in Large Language Models und die Kritikalität natürlicher Sprachen

Problemstellung
Natürliche Sprachen weisen universelle statistische Merkmale auf, insbesondere Potenzgesetz-Verhalten wie das Zipfsche Gesetz (Worthäufigkeit vs. Rangfolge) und das Heapsche Gesetz (Vokabulargröße vs. Dokumentenlänge). In der statistischen Physik ist ein solches Potenzgesetz-Verhalten ein Kennzeichen von Systemen an einem kritischen Punkt, der sich nahe einem Phasenübergang zwischen unterschiedlichen makroskopischen Phasen befindet. Diese Beobachtung motiviert die Vermutung, dass der stochastische Prozess, der natürliche Sprache erzeugt, auf einer kritischen Oberfläche liegt, die eine „repetitive“ Phase von einer „unverständlichen“ Phase trennt. Das Testen dieser Hypothese ist jedoch grundlegend schwierig, da reale natürliche Sprachen keine kontrollierbaren Parameter besitzen; man kann keine „Temperatur“ oder ein externes Feld variieren, um einen Übergang zu beobachten. Vorherige Versuche unter Verwendung vereinfachter mathematischer Modelle lieferten nur begrenzte Einblicke in reale linguistische Phänomene.

Methodik
Um den Mangel an Kontrollierbarkeit in natürlichen Sprachen zu überwinden, nutzen die Autoren Large Language Models (LLMs) als effektive, kontrollierbare Modelle. Speziell verwenden sie das 160M-Parameter-Modell Pythia, das auf dem Pile (einem großen englischen Datensatz) trainiert wurde. Die Studie behandelt die Generierung von Texten als einen stochastischen Prozess, bei dem der Temperaturparameter $T$ (analog zur physikalischen Temperatur in der Boltzmann-Verteilung) während des Samplings variiert wird.

Die Autoren bilden die generierten Texte auf Sequenzen von Wortarten-Tags (POS-Tags, 18 distinkte Werte) ab, um die statistische Analyse zu erleichtern. Sie analysieren systematisch Texte, die über ein Spektrum von Temperaturen ( $T$ ) und Trainingsschritten ( $k$ ) generiert wurden, um zu untersuchen:

Korrelationszerfall: Messung der Zeitkorrelation $C(t, t+\Delta t)$ zwischen POS-Tags, um zu bestimmen, ob Korrelationen exponentiell zerfallen (ungeordnet) oder einem Potenzgesetz folgen (kritisch).
Integrierte Korrelation ( $\tau$ ): Berechnung der Summe der Korrelationen, um zwischen kurzreichweitiger und langreichweitiger Ordnung als Funktion der Sequenzlänge $N$ zu unterscheiden.
Leistungsspektrum-Analyse: Analyse des Leistungsspektrums $S(\omega)$ von POS-Sequenzen, um periodische Strukturen zu detektieren und die Anzahl der Peaks ( $n_{peaks}$ ) zu zählen, um repetitive Muster zu charakterisieren.
Trainingsdynamik: Wiederholung dieser Analysen an teilweise trainierten Modellen (bei verschiedenen Trainingsschritten $k$ ), um zu bestimmen, wann diese kritischen Merkmale entstehen.
Perplexitäts-Evaluierung: Verwendung der Perplexität auf dem Pile-Datensatz, um quantitativ zu messen, wie eng die generierten Texte bei verschiedenen $T$ und $k$ mit den Statistiken natürlicher Sprache übereinstimmen.

Kernergebnisse

Phasenübergang bei $T_c \approx 1$ : Die Analyse offenbart einen deutlichen Phasenübergang im LLM bei einer kritischen Temperatur $T_c \approx 1$ .
- Niedrigtemperatur-Phase ( $T < 1$ ): Texte weisen eine langreichweitige Ordnung auf, wobei die Korrelationen gegen einen positiven Wert konvergieren. Das Leistungsspektrum zeigt eine divergente Anzahl von Peaks ( $n_{peaks} \propto N$ ), was auf komplexe, inhomogene repetitive Strukturen hindeutet, statt auf einfache Periodizität.
- Hochtemperatur-Phase ( $T > 1$ ): Texte sind ungeordnet und unverständlich. Korrelationen zerfallen schnell (kurzreichweitig), und das Leistungsspektrum enthält nur einen einzelnen Peak bei $\omega=0$ .
- Kritischer Punkt ( $T \approx 1$ ): Korrelationen folgen einem Potenzgesetz-Zerfall ( $C \sim \Delta t^{-\eta}$ mit $\eta \approx 0,2$ ), und die integrierte Korrelation $\tau$ divergiert mit der Sequenzlänge $N$ . Dieses Verhalten spiegelt die Potenzgesetz-Statistiken wider, die in natürlichen Sprachen beobachtet werden.
Entstehung während des Trainings: Diese Phänomene sind nicht inhärent zur Modellarchitektur, sondern entstehen, während das Modell die natürliche Sprache lernt.
- In frühen Trainingsschritten ( $k \lesssim 100$ ) generiert das Modell ungeordneten Text unabhängig von der Temperatur, und es wird kein Phasenübergang beobachtet.
- Kritische Verhalten (divergentes $\tau$ ) entsteht um $k_c \approx 102$ .
- Komplexe repetitive Strukturen (divergente $n_{peaks}$ ) entstehen etwas später, um $k \approx 10^3$ .
- Dies deutet darauf hin, dass sowohl Kritikalität als auch komplexe Repetition intrinsische Eigenschaften sind, die durch das Training auf natürlichen Sprachdaten erworben werden.
Optimaler Match zu natürlicher Sprache: Die Studie findet, dass die Perplexität des Modells auf dem natürlichen Sprachdatensatz bei der finalen Trainingsstufe ( $k=143.000$ ) und bei der kritischen Temperatur $T \approx 1$ minimiert wird. Dies bestätigt quantitativ, dass der stochastische Prozess, der durch das LLM am kritischen Punkt definiert ist, den statistischen Eigenschaften natürlicher Sprache am nächsten kommt.

Bedeutung und Behauptungen
Das Paper argumentiert, dass diese Ergebnisse starke Belege für die Vermutung liefern, dass natürliche Sprachen kritisch sind. Die Autoren schlagen ein schematisches Modell vor, bei dem der stochastische Prozess der natürlichen Sprache auf einer kritischen Oberfläche liegt, die eine repetitive von einer unverständlichen Phase trennt. Ein auf dieser Sprache trainiertes LLM definiert eine eindimensionale Mannigfaltigkeit im Raum der stochastischen Prozesse; diese Mannigfaltigkeit schneidet die kritische Oberfläche nahe dem Punkt, der der natürlichen Sprache entspricht, wenn die Temperatur auf den kritischen Wert gesetzt ist.

Die Bedeutung dieser Arbeit liegt in:

Empirische Validierung: Der Schritt über Spielzeug-Mathematikmodelle hinaus, um Phasenübergänge in realistischen, großskaligen Sprachmodellen zu demonstrieren.
Statistische Physik Perspektive: Bereitstellung eines Rahmens zur Charakterisierung natürlicher Sprachen durch die Linse kritischer Phänomene, was darauf hindeutet, dass die beobachteten Potenzgesetz-Verhaltensweisen in der Sprache Signaturen eines Systems sind, das nahe einem kritischen Punkt operiert.
Universalität: Vorläufige Ergebnisse deuten darauf hin, dass diese Phänomene über verschiedene Modellgrößen und Sprachen (Chinesisch, Französisch, Japanisch, Koreanisch, Spanisch) hinweg robust sind, was auf eine universelle kritische Natur natürlicher Sprachen impliziert.

Die Autoren kommen zu dem Schluss, dass natürliche Sprachen in der Tat kritisch sind, wobei das LLM als kontrollierbares, effektives Modell dient, das die empirische Beobachtung dieser Kritikalität ermöglicht, die in realen Sprachdaten ansonsten unzugänglich wäre.