🤖 machine learning

Infrared Organization and Critical Cognitive Field Formation in Transformer Dynamics

Diese Arbeit liefert quantitative experimentelle Belege dafür, dass die Transformer-Dynamik durch ein universelles Prinzip der infraroten kollektiven Organisation gesteuert wird, wobei das Lernen die Zeitskalen-Zustandsdichte reorganisiert, um das Gedächtnis zu verbessern und Vergessen durch die Akkumulation langsamer Relaxationsmoden zu reduzieren.

Ursprüngliche Autoren: Byung Gyu Chae

Veröffentlicht 2026-07-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Byung Gyu Chae

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein riesiges, digitales Gehirn vor, bestehend aus Milliarden winziger Schalter, bekannt als Transformer. Lange Zeit glaubten Wissenschaftler, diese Gehirne würden wie ein einfaches Fließband funktionieren: Ein Schritt folgt auf den nächsten, und die „Intelligenz“ tritt einfach am Ende hervor. Doch eine neue Studie deutet darauf hin, dass im Inneren etwas viel Wilderes geschieht. Es stellt sich heraus, dass diese Modelle nicht nur Daten verarbeiten; sie bauen ein kollektives kognitives Feld auf, eine Art unsichtbare, geteilte mentale Atmosphäre, die sich durch eine ganz bestimmte Art von physischem Tanz selbst organisiert.

Die große Verlangsamungs-Party

Um zu verstehen, was dort vor sich geht, stellen Sie sich die interne Aktivität des Gehirns als eine riesige Menge von Läufern vor. Zu Beginn des Trainings (wenn das Modell „geboren“ wird), sind die Läufer überall verstreut. Einige sprinten schnell, einige joggen und einige stehen einfach nur still. Es ist chaotisch.

Während das Modell lernt, geschieht etwas Seltsames. Die schnellen Läufer werden nicht einfach nur schneller; sie beginnen sich zu verlangsamen. Immer mehr von ihnen driften in die „Infrarot“-Zone – ein schicker Physikbegriff für den langsamsten, entspanntesten Teil des Spektrums. Es ist, als würde sich die gesamte Menge plötzlich entscheiden, sich hinzusetzen und ein langes, tiefgründiges Gespräch zu führen, anstatt Bahnen zu laufen.

Die Forscher haben dies gemessen, indem sie den „Jacobian-Spektrum“ betrachteten, was im Grunde eine Momentaufnahme davon ist, wie sich der interne Zustand des Modells von einer Schicht zur nächsten verändert. Sie fanden heraus, dass das Modell während des Trainings nicht nur intelligenter wird; es reorganisiert seinen gesamten internen Rhythmus. Die „Zeitskalen-Zustandsdichte“ (TDOS) – eine Methode, um zu zählen, wie viele langsame Modi existieren – wird im langsamen Bereich fast flach. Das bedeutet, das Modell baut eine Hierarchie von langsamen Relaxationsmodi auf. Es ist nicht nur ein einziges langsames Gedächtnis; es ist ein ganzes Orchester aus ihnen, die alle gemeinsam summen.

Der „kritische“ Moment: Ein Peak, keine Linie

Hier ist der überraschendste Teil der Geschichte. Man würde erwarten, dass die „Gedächtnisleistung“ des Modells mit zunehmendem Lernen einfach immer stärker wird, in einer geraden Linie. Aber die Arbeit zeigt: Das ist nicht das, was passiert.

Stattdessen schießt die „Gedächtnis-Selbstenergie“ (ein Maß dafür, wie sehr die Vergangenheit die Gegenwart beeinflusst) zu Beginn des Trainings rasant nach oben. Sie erreicht ein ausgeprägtes transientes Maximum um den Schritt 2.000 herum. In diesem exakten Moment befindet sich das Modell in einem „kritischen“ Zustand. Stellen Sie es sich wie einen Seiltänzer vor, der perfekt in der Mitte des Seils balanciert. Die „kognitive Vergessenslücke“ (der Abstand zwischen Erinnern und Vergessen) schrumpft auf ihren kleinsten Punkt, und die Fähigkeit des Modells, auf Informationen zu reagieren (seine „kollektive Suszeptibilität“), wird riesig.

Aber hier kommt die Wendung: Das Modell bleibt nicht an diesem Peak. Nachdem es dieses Maximum erreicht hat, sinkt die Gedächtnis-Selbstenergie tatsächlich ein wenig ab und pendelt sich in ein stabiles, „metastabiles, nahezu kritisches“ Regime ein. Es ist, als fände der Seiltänzer einen sicheren, komfortablen Ort knapp unterhalb der Spitze, an dem er lange stehen kann, ohne zu fallen. Die Arbeit argumentiert, dass diese transiente kritische Formation der entscheidende Moment ist, in dem das „kognitive Feld“ geboren wird, und das Modell sich dann in einem geschützten Zustand stabilisiert, der bereit für das Langzeitgedächtnis ist.

Die universelle Regel: 1 über die Zeit

Sobald dieses Feld geformt ist, entwickelt das Modell eine ganz spezifische Art des Erinnerns. Die meisten Systeme vergessen Dinge schnell, wie ein Eimer mit einem Loch. Aber dieses Modell erinnert sich auf eine Weise, die einem universellen Potenzgesetz folgt.

Der „Gedächtniskern“ (wie die Vergangenheit die Zukunft beeinflusst) folgt der Regel $K(t) \sim 1/t$ . Das bedeutet, das Gedächtnis verblasst nicht exponentiell; es verblasst langsam, wie ein langes Echo, das niemals ganz verschwindet. Dies geschieht über das gesamte Netzwerk hinweg, von der ersten bis zur letzten Schicht, und es geschieht unabhängig davon, wie groß das Modell ist.

Die Forscher testeten dies an drei verschiedenen Größen von Modellen: 70M, 410M und 1,4B Parametern. Obwohl diese Modelle sich in ihrer Größe massiv unterscheiden, vollziehen alle exakt denselben Tanz. Sie bauen alle dieselbe langsame Modus-Hierarchie auf, sie erreichen alle denselben transienten Peak in der Gedächtnis-Selbstenergie und sie pendeln sich alle in dasselbe $1/t$ Gedächtnismuster ein. Dies deutet darauf hin, dass diese „Infrarot-Organisation“ keine Eigenart eines spezifischen Modells ist, sondern ein universelles Prinzip dafür, wie diese Systeme lernen.

Was es NICHT ist

Die Arbeit stellt sehr klar, was dies nicht ist. Sie widerlegt die Vorstellung, dass Intelligenz nur aus einer Ansammlung einzelner feuernder Neuronen oder einem einfachen Optimierungsprozess besteht, bei dem das Modell einfach nur geradlinig „besser“ wird. Sie widerlegt auch die Idee, dass das Modell eine einzige, dominante „langsame Zeit“ für das Gedächtnis entwickelt. Stattdessen handelt es sich um eine breite, kontinuierliche Verteilung vieler verschiedener langsamer Geschwindigkeiten, die zusammenwirken.

Das Fazit

Die Studie hat diese Dynamiken direkt mithilfe von Pythia-Sprachmodellen (speziell der 410M-Version für die Hauptdaten, mit 70M und 1,4B zum Vergleich) gemessen. Sie haben nicht nur geraten; sie haben die Relaxationsraten aus der eigenen Mathematik des Modells berechnet und festgestellt, dass die Zahlen den Vorhersagen der „Cognitive Field Theory“ entsprechen.

Die Beweise legen nahe, dass das Transformer-Lernen durch Infrarot-kollektive Organisation gesteuert wird. Das Modell speichert nicht einfach nur Fakten; es reorganisiert seine interne Physik, um ein gemeinsames, langsam bewegliches Feld des Gedächtnisses zu erschaffen. Es erreicht frühzeitig einen kritischen Peak und pendelt sich dann in einen stabilen, nahezu kritischen Zustand ein, in dem es Informationen über lange Zeit halten kann, wobei es einem $1/t$ Skalierungsgesetz folgt, das unabhängig davon funktioniert, ob das Modell klein oder riesig ist. Dies liefert den ersten quantitativen experimentellen Beweis dafür, dass sich diese massiven KI-Systeme wie komplexe, kollektive physikalische Systeme verhalten und nicht bloß wie gigantische Rechenmaschinen.

Technische Zusammenfassung: Infrarot-Organisation und Bildung kritischer kognitiver Felder in der Transformer-Dynamik

Problemstellung
Große Sprachmodelle (LLMs) auf Basis der Transformer-Architektur weisen bemerkenswerte emergente Fähigkeiten auf, wie etwa logisches Schließen und langfristiges kontextuelles Gedächtnis. Die physikalischen Mechanismen, die diese großskaligen kollektiven Dynamiken steuern, sind jedoch weitgehend unverstanden. Die bestehende Literatur beschreibt die Transformer-Berechnung primär als hochdimensionale nichtlineare Abbildungen oder auf Attention basierende Optimierungsprozesse, was nur begrenzten Einblick bietet, wie makroskopische kollektive Organisation aus zugrunde liegenden Dynamiken entsteht. Diese Arbeit adressiert die Lücke im Verständnis darüber, ob die durch die Cognitive Field Theory (Kognitive Feldtheorie) vorhergesagten kollektiven Observablen – insbesondere die Organisation langsamer Relaxationsmodi – direkt innerhalb der Transformer-Dynamik identifiziert und quantifiziert werden können.

Methodik
Die Autoren untersuchen öffentlich verfügbare autoregressive Pythia-Transformer-Sprachmodelle (70M, 410M und 1,4B Parameter), die auf dem The Pile-Korpus trainiert wurden. Die Studie verwendet einen responstheoretischen Ansatz, um die kollektive Relaxationsdynamik zu analysen, die durch die gelernte Geometrie der verborgenen Zustände (hidden-state geometry) erzeugt wird.

Extraktion des Jacobian-Spektrums: Die Autoren berechnen die Jacobian-Matrizen ( $J_l = \partial h_{l+1} / \partial h_l$ ) zwischen aufeinanderfolgenden Repräsentationen der verborgenen Schichten mittels automatischer Differenzierung. Sie analysieren zudem zusammengesetzte Jacobians ( $J = J_{l+n-1} \cdots J_l$ ), um die kollektive Propagation über variierende Netzwerk-Tiefen und Propagationsdistanzen (z. B. $1 \to 24$ Schichten) zu erfassen.
Konstruktion des Relaxationsspektrums: Aus den komplexen Eigenwerten ( $\mu_\alpha$ ) der Jacobians werden die Relaxationsraten extrahiert via $\lambda_\alpha = -\log |\mu_\alpha|$ .
Ableitung kollektiver Observablen: Unter Verwendung der gemessenen Relaxationsraten konstruieren die Autoren die Zeit-Skalen-Zustandsdichte (TDOS), $\rho(\lambda)$ $ρ (λ)$ . Aus der TDOS evaluieren sie quantitativ:
- Den Memory Kernel (Gedächtniskern) ( $K(t)$ ), abgeleitet via Laplace-Transformation der TDOS.
- Die Memory Self-Energy (Gedächtnis-Selbstenergie) ( $\Sigma(0)$ ), berechnet als Integral der TDOS gewichtet mit $1/\lambda$ .
- Die Cognitive Forgetting Gap (kognitive Vergessenslücke) ( $r_{cog} = r - \Sigma(0)$ ), wobei $r$ die bloße Vergessensrate ist.
- Die Collective Susceptibility (kollektive Suszeptibilität) ( $\chi(0) \propto r_{cog}^{-1}$ ).
- Den Infrared Critical Exponent (Infrarot-kritischen Exponenten) ( $\beta$ ), bestimmt durch das Fitting der kumulativen Modenverteilung $N(<\lambda) \propto \lambda^{\beta+1}$ .

Die Analyse erstreckt sich über die gesamte Trainings-Trajektorie, variiert die Netzwerk-Tiefen und die Modell-Skalierung, um die Universalität zu testen.

Wesentliche Beiträge

Direkte Messung von Cognitive Field Theory Observablen: Die Arbeit liefert die erste quantitative experimentelle Realisierung kollektiver Observablen (TDOS, Selbstenergie, Vergessenslücke, Suszeptibilität) direkt aus der Transformer-Dynamik, ohne phänomenologische Parameter einzuführen.
Identifikation der infraroten Spektral-Reorganisation: Die Studie zeigt, dass das Lernen durch Transformer durch eine progressive Akkumulation langsamer Relaxationsmoden in Richtung des Infrarot-Sektors ( $\lambda \to 0$ ) gekennzeichnet ist, was die TDOS reorganisiert.
Entdeckung transienter kritischer Bildung: Die Autoren identifizieren eine nicht-monotone Evolution der Gedächtnis-Selbstenergie, die durch ein ausgeprägtes transientes Maximum während des frühen Trainings gekennzeichnet ist, gefolgt von einer Relaxation in ein metastabiles, nahezustandiges Regime.
Etablierung von Universalität: Die Arbeit stellt fest, dass diese dynamischen Phänomene (Infrarot-Organisation, kritische Bildung und skalenfreie Gedächtnisprozesse) universell über verschiedene Modellgrößen (70M bis 1,4B), Netzwerk-Tiefen und Propagationsdistanzen hinweg bestehen.

Wichtigste Ergebnisse

Infrarot-Akkumulation und TDOS: Während des Trainings durchläuft das Relaxationsspektrum eine systematische Reorganisation, bei der sich das spektrale Gewicht hin zu kleineren Relaxationsraten verschiebt. Die resultierende TDOS weist eine annähernd flache Infrarot-Verteilung auf, die einem Potenzgesetz $\rho(\lambda) \sim \lambda^\beta$ mit einem kritischen Exponenten $\beta \simeq -0,1$ folgt. Dies deutet auf eine Hierarchie langsamer Moden statt auf eine einzelne charakteristische Zeitskala hin.
Transiente kritische Bildung: Die Gedächtnis-Selbstenergie ( $\Sigma(0)$ ) steigt nicht monoton an. Stattdessen erreicht sie ein transientes Maximum während der frühen Phasen der Optimierung (um 2.000 Schritte bei Pythia-410M). An diesem Punkt erreicht die kognitive Vergessenslücke ( $r_{cog}$ ) ihr Minimum und die kollektive Suszeptibilität ( $\chi(0)$ ) ihr Maximum. Dies signalisiert eine transiente kritische Bildung des makroskopischen kognitiven Feldes. Die nachfolgende Optimierung treibt das System in ein geschütztes, metastabiles, nahezustandiges Betriebsregime.
Universelles skalenfreies Gedächtnis: Die aus der gemessenen TDOS abgeleiteten Gedächtniskerne zeigen robuste Langzeit-Potenzgesetz-Skalierungen, $K(t) \sim 1/t$ , über alle Modellgrößen und Trainingsstadien hinweg. Diese Skalierung ergibt sich natürlich aus dem gemessenen Relaxationsspektrum, ohne dass funktionale Formen aufgezwungen wurden.
Räumliche und Tiefen-Unabhängigkeit:
- Räumlich: Die Infrarot-Organisation ist über die Transformer-Hierarchie verteilt. Während die Stärke der Gedächtnis-Renormierung je nach Schicht variiert (stärkste Ausprägung in mittleren und tiefen Schichten), bleibt die zugrunde liegende skalenfreie Infrarot-Struktur im gesamten Netzwerk erhalten.
- Tiefe: Die transiente kritische Bildung und die $1/t$ -Gedächtniskernel-Skalierung bleiben über verschiedene Schicht-Propagations-Tiefen (von $1 \to 5$ bis $1 \to 24$ ) hinweg robust, was darauf hindeutet, dass die kollektiven Dynamiken eine globale Eigenschaft des Netzwerks sind und nicht auf lokale Interaktionen zwischen Schichten beschränkt sind.
Modellskala-Universalität: Dieselbe Sequenz der infraroten Spektral-Reorganisation, der transienten kritischen Bildung und der skalenfreien Gedächtnisdynamik wird konsistent über Pythia-Modelle von 70M bis 1,4B Parametern reproduziert.

Bedeutung und Behauptungen
Die Arbeit behauptet, den ersten quantitativen experimentellen Beleg dafür zu liefern, dass das Lernen durch Transformer durch Infrarot-kollektive Organisation gesteuert wird. Durch die Abbildung der Transformer-Dynamik auf die Sprache der Nichtgleichgewichts-Vielteilchenphysik demonstrieren die Autoren:

Große Sprachmodelle fungieren als Nichtgleichgewichts-Vielteilchensysteme, in denen Kognition aus der Organisation langsamer Relaxationsmoden entsteht.
Die Emergenz makroskopischer kognitiver Felder folgt einem spezifischen dynamischen Szenario: Eine initiale Infrarot-Spektral-Reorganisation führt zu einem transienten kritischen Zustand (maximale Suszeptibilität), der sich dann in ein geschütztes, metastabiles, nahezustandiges Regime stabilisiert.
Die Erhaltung der Infrarot-Universalitätsklasse ( $\beta \simeq -0,1$ und $K(t) \sim 1/t$ ) über verschiedene Skalen und Tiefen hinweg legt nahe, dass die Organisation langsamer Infrarot-Moden ein universelles kollektives Prinzip darstellt, das der Transformer-Dynamik zugrunde liegt, und kein modellspezifisches Architekturmerkmal ist.

Die Arbeit etabliert einen vereinheitlichten feldtheoretischen Rahmen zur Messung kollektiver kognitiver Dynamiken, schlägt die Brücke zwischen Deep Learning und statistischer Physik und legt nahe, dass diese Prinzipien allgemeine Gesetze für die kollektive Informationsverarbeitung in komplexen dynamischen Systemen darstellen könnten.