🤖 machine learning

The Stability of Singular Distribution: A Spectral Perspective on the Two-Phase Dynamics of Language Model Pre-training

Dieser Artikel identifiziert die Stabilität der singulären Verteilung (SoSD) als ein fundamentales spektrales Phänomen beim Pre-Training von Sprachmodellen und zeigt auf, dass die frühe Stabilisierung des normalisierten Spektrums der singulären Werte den Übergang zur Phase des langsamen Verlustabfalls steuert und einen theoretischen Rahmen für das Verständnis und die Optimierung der Trainingsdynamik über diverse Architekturen und Strategien hinweg bietet.

Ursprüngliche Autoren: Hongtao Zhang, Wenjie Zhou, Chenxi Jia, Wei Chen, Xueqi Cheng

Veröffentlicht 2026-05-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Hongtao Zhang, Wenjie Zhou, Chenxi Jia, Wei Chen, Xueqi Cheng

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie trainieren ein riesiges, digitales Gehirn (ein Large Language Model), damit es menschliche Sprache spricht. Sie könnten erwarten, dass dieses Gehirn in einem stetigen, vorhersehbaren Tempo lernt. Forscher haben jedoch ein seltsames Muster festgestellt: Das Gehirn lernt am Anfang unglaublich schnell und scheint dann für lange Zeit nur noch schleppend voranzukommen, wobei es nur winzige Verbesserungen erzielt.

Dieser Artikel, „The Stability of Singular Distribution", versucht herauszufinden, warum dies geschieht. Die Autoren schlagen eine neue Betrachtungsweise der inneren Mechanik des Gehirns vor, die auf einem Konzept basiert, das sie SoSD (Stability of Singular Distribution) nennen.

Hier ist die Aufschlüsselung mit einfachen Analogien:

1. Die zweiphasige Reise: Der Sprint und das Schleichen

Stellen Sie sich das Training eines Sprachmodells wie einen Marathon vor.

Phase 1 (Der Sprint): Zu Beginn lernt das Modell riesige, offensichtliche Dinge sehr schnell. Der „Verlust" (ein Maß dafür, wie falsch das Modell liegt) fällt wie ein Stein.
Phase 2 (Das Schleichen): Nach einer Weile stößt das Modell an eine Wand. Es läuft weiter, bewegt sich aber nur um wenige Zentimeter vorwärts. Der Verlust sinkt nur sehr langsam.

Die große Frage, die der Artikel stellt, lautet: Was bewirkt den Wechsel vom Sprint zum Schleichen?

2. Der geheime Bestandteil: Die „Form" des Gehirns

Innerhalb des Modells befinden sich massive Gitter aus Zahlen, sogenannte Gewichtsmatrizen. Dies sind die „Gewichte", die bestimmen, wie das Modell denkt.

Normalerweise gehen wir davon aus, dass das Modell lernt, weil sich diese Zahlen ständig ändern.
Die Autoren entdeckten etwas Überraschendes: Die Gesamtform dieser Zahlen (genauer gesagt ihre „Verteilung der Singulärwerte") hört sehr früh auf, sich zu verändern.

Die Analogie: Stellen Sie sich eine Tonfigur vor, die geformt wird.

Die Gewichte: Dies sind die einzelnen Tonkörner. Sie verschieben und bewegen sich noch lange Zeit.
Die Singuläre Verteilung: Dies ist die Gesamtsilhouette oder die allgemeine Form der Statue.
Die Entdeckung: Die Autoren stellten fest, dass sich die Silhouette stabilisiert (ihre Form nicht mehr ändert) sehr schnell, obwohl sich die einzelnen Tonkörner im Inneren weiterhin verschieben.

Sie nennen dieses Phänomen SoSD (Stability of Singular Distribution).

3. Die Synchronisation: Wenn die Form stoppt, stoppt auch die Geschwindigkeit

Das wichtigste Ergebnis ist, dass der Moment, in dem die „Silhouette" aufhört, sich zu verändern (SoSD), die Lerngeschwindigkeit des Modells sofort vom „Sprint" in das „Schleichen" wechselt.

Vor SoSD: Die Form wird noch umorganisiert. Dies ermöglicht dem Modell große, rasche Verbesserungen.
Nach SoSD: Die Form hat sich in einem stabilen Muster niedergelassen. Obwohl das Modell weiter trainiert, kann es keine großen strukturellen Änderungen mehr vornehmen. Es verfeinert nun nur noch die Details innerhalb einer festen Form. Deshalb verlangsamt sich der Fortschritt so stark.

4. Warum passiert das? (Die Physik des Lernens)

Der Artikel verwendet Mathematik, um zu beweisen, dass dies unvermeidlich ist.

Während das Modell trainiert, wächst die „Größe" (oder Norm) seiner internen Zahlen natürlich an.
Denken Sie daran wie an ein Getriebe. Wenn die Zahnräder klein sind (frühes Training), bewegt ein kleiner Schub (Lernschritt) das Auto eine lange Strecke.
Wenn die Zahnräder riesig werden (späteres Training), bewegt derselbe kleine Schub das Auto kaum noch.
Da die „Zahnräder" (die Gewichtsnormen) weiter wachsen, wird die Fähigkeit des Modells, seine „Form" (Singuläre Verteilung) zu ändern, mathematisch eingeschränkt. Sobald es eine bestimmte Größe erreicht, verriegelt die Form, und das schnelle Lernen endet.

5. Wie man das System hackt (Lernstrategien)

Die Autoren erklären, dass gängige Trainings-Tricks tatsächlich funktionieren, indem sie dieses „Getriebe" oder die „Formstabilität" manipulieren.

Lernratenpläne (Verlangsamen):
- Was es ist: Die schrittweise Verringerung der Stärke des „Schubs" während des Trainings.
- Die Sicht des Artikels: Indem Sie den Schub kleiner machen, zwingen Sie die „Form", sich langsamer zu verändern. Dies verhindert, dass das Modell zu früh in eine schlechte Form verriegelt, und ermöglicht es ihm, länger effektiv zu lernen. Es ist wie das Herunterschalten in einen niedrigeren Gang, um einen Berg weiter zu erklimmen.
Gewichtsdecay (Schlank halten):
- Was es ist: Eine Strafe, die verhindert, dass die internen Zahlen zu riesig werden.
- Die Sicht des Artikels: Wenn die Zahlen nicht zu groß werden, werden die „Zahnräder" nicht zu schwer. Dies hält die Fähigkeit des Modells, seine Form zu verändern, länger am Leben und ermöglicht es ihm, auch in der langsamen Phase weiter zu verbessern.
Verschiedene Optimierer (Muon vs. Adam):
- Der Artikel testete einen neuen Optimierer namens Muon. Er stellte fest, dass Muon die „Form" effizienter verändert als der Standard-Optimierer Adam, wodurch das Modell schneller lernt und eine geringere Fehlerrate erreicht, obwohl das Phänomen der „Formstabilität" weiterhin auftritt.

Zusammenfassung

Der Artikel argumentiert, dass das Muster „schnell-dann-langsam" beim KI-Training kein Fehler ist, sondern ein grundlegendes Merkmal der Evolution dieser Modelle.

Schnelle Phase: Das Modell organisiert seine interne Struktur aktiv um.
Langsame Phase: Die interne Struktur hat sich stabilisiert (SoSD), und das Modell poliert nun nur noch die Details.

Das Verständnis dieser „Stabilität der Singulären Verteilung" gibt Wissenschaftlern eine neue Linse, um zu sehen, warum das Training sich verlangsamt und wie man die Einstellungen (wie Lernraten) anpassen kann, damit das Modell länger effizient lernt.

Technische Zusammenfassung: Die Stabilität der Singulären Verteilung (SoSD)

Problemstellung

Das Pre-Training von Large Language Models (LLMs) zeigt konsistent eine charakteristische zweiphasige Trajektorie „schnell-dann-langsam": ein initialer Regime mit steilem Verlustabfall, gefolgt von einer längeren Phase mit asymptotischer, heavy-tailed Verbesserung. Obwohl dieses empirische Muster in wichtigen technischen Berichten gut dokumentiert ist, bleiben die zugrundeliegenden theoretischen Mechanismen, die den Übergang von der Phase des schnellen Lernens zur Phase der langsamen Sättigung bestimmen, grundlegend unerforscht. Bestehende Analysen stützen sich häufig auf eingeschränkte Aufgabenformulierungen (z. B. In-Context-Lernen oder lineare Regression) oder konzentrieren sich auf spezifische strukturelle Phänomene wie den Kollaps des Rangs, ohne eine vereinheitlichte spektrale Perspektive auf die makroskopische zeitliche Entwicklung der Verlustlandschaft in allgemeinen Pre-Training-Szenarien zu bieten.

Methodik

Die Autoren untersuchen die Optimierungsdynamik von LLMs, indem sie den analytischen Fokus von der Konvergenz der Parametermatrizen auf die zeitliche Entwicklung ihrer spektralen Eigenschaften verlagern.

Empirischer Ansatz

Die Studie führt Pre-Training-Experimente an zwei Decoder-only-Modellfamilien durch:

GPT-2 (Small und Medium), trainiert auf dem FineWeb-Datensatz.
LLaMA (0,5B und 2B), trainiert auf dem C4-Datensatz.

Die Autoren überwachen die Kosinus-Ähnlichkeit zwischen aktuellen Zuständen und den finalen trainierten Zuständen sowohl für Parametermatrizen ( $W$ ) als auch für ihre Singulärwertmatrizen ( $\Sigma$ ). Sie definieren die Singuläre Verteilung (SD) als den spuren-normalisierten Spektrum ( $\hat{\Sigma}_t = \Sigma_t / \text{tr}(\Sigma_t)$ ) und messen die Variation der Singulären Verteilung (SD Variation) als die Frobenius-Norm der Aktualisierung dieses normalisierten Spektrums ( $\Delta \Sigma_t = \|\hat{\Sigma}_{t+1} - \hat{\Sigma}_t\|_F$ ).

Theoretischer Rahmen

Um die beobachteten Phänomene zu erklären, analysieren die Autoren einen vereinfachten Transformer mit einer einzigen Schicht und einem einzigen Kopf unter vollem Batch-Gradientenabstieg mit kleiner Initialisierung. Sie etablieren einen theoretischen Rahmen, der auf folgenden Annahmen basiert:

Streng wachsende Normen: Die Gewichtsnormen wachsen während des Trainings monoton (in Abwesenheit von Weight Decay).
Nicht-Degeneriertheit und Gradientenbeschränktheit: Die Parameter bleiben vollrangig mit beschränkten Konditionszahlen, und die Gradienten sind nicht verschwindend, aber beschränkt.
Glätte und Randbedingungen: Annahmen bezüglich der lokalen Glätte der Verlustlandschaft und positiver Ränder in den Attention- und Logit-Verteilungen während des späten Trainingsregimes.

Hauptbeiträge

1. Identifikation der Stabilität der Singulären Verteilung (SoSD)

Das Papier identifiziert ein Phänomen, das als Stabilität der Singulären Verteilung (SoSD) bezeichnet wird. Empirische Ergebnisse zeigen, dass das spuren-normalisierte Singulärwertspektrum ( $\hat{\Sigma}$ ) signifikant früher stabilisiert als die Parametermatrizen ( $W$ ) selbst.

Spektrale Entkopplung: Während die Gewichtseinträge weit von ihrer finalen Konfiguration entfernt bleiben, sättigt die relative Form des Singulärwertspektrums nahe 1.
Synchronisation: Der Beginn der SoSD (wo die SD Variation auf ein metastabiles Minimum fällt) stimmt exakt mit dem Übergang des Validierungsverlusts von der Phase des schnellen Abfalls zur Phase des langsamen Abfalls (asymptotisch) überein. Diese Synchronisation wird über verschiedene Architekturen (GPT-2, LLaMA), Module (Attention, MLP) und Optimierungseinstellungen hinweg beobachtet.

2. Theoretische Analyse von SoSD und Zweiphasen-Dynamik

Die Autoren beweisen, dass das Auftreten von SoSD unter Standardtrainingsbedingungen unvermeidlich ist und dass es die Rate der Verlustreduktion mechanistisch begrenzt.

Satz 4.5 (Entstehung von SoSD): Unter der Annahme monoton wachsender Gewichtsnormen skaliert die Stabilitätsgrenze für die Singuläre Verteilung als $\varepsilon \propto \eta / \|W\|$ . Mit fortschreitendem Training und wachsendem $\|W\|$ schrumpft die zulässige Variation der Singulären Verteilung und zwingt das System in einen stabilen Zustand.
Satz 4.9 (Zweiphasen-Dynamik):
- Phase I (Schneller Abfall): Vor der SoSD-Schwelle ( $t < T^*$ ) erlauben moderate Parameter-Normen signifikante spektrale Verschiebungen, was einen Verlustabfall konstanter Ordnung ermöglicht ( $\Delta L(t) = O(1)$ ).
- Phase II (Langsamer Abfall): Nach der SoSD-Schwelle ( $t > T^*$ ) stabilisiert sich die Singuläre Verteilung. Der Verlustabfall wird kinetisch eingeschränkt und ist theoretisch durch die Größe der SD Variation begrenzt ( $\Delta L(t) \le O(\varepsilon^p)$ ). Die Stabilisierung von $\hat{\Sigma}$ wirkt als Engpass und zwingt den Verlust in ein asymptotisches Plateau.

3. Interpretation von Pre-Training-Strategien

Das Papier interpretiert Standardoptimierungsstrategien durch die Linse der Modulation der SoSD-Stabilitätsgrenze ( $\varepsilon \propto \eta / \|W\|$ ):

Lernraten-Schedules: Strategien wie Step-wise Decay, Warmup-Stable-Decay (WSD) und Cosine Decay funktionieren durch die Reduzierung der Lernrate $\eta$ . Dies strafft die Stabilitätsgrenze, zwingt das System aus seinem aktuellen Quasi-Gleichgewicht heraus und ermöglicht eine weitere Verlustminimierung durch die Auflösung feinerer Merkmale.
Weight Decay: Durch die Unterdrückung des Wachstums der Gewichtsnorm $\|W\|$ lockert Weight Decay die Stabilitätsbeschränkung (erhöht $\varepsilon$ ). Dies erlaubt größere Aktualisierungen der Singulären Verteilung, hebt effektiv die theoretische Obergrenze für die Verlustreduktion und verhindert eine vorzeitige Sättigung.
Optimierer (Muon vs. Adam): Das SoSD-Phänomen persistiert auch mit dem Muon-Optimierer, was es als grundlegendes Merkmal des Transformer-Pre-Trainings bestätigt. Muon hält jedoch eine signifikant geringere Größe der SD Variation im Vergleich zu Adam aufrecht, was darauf hindeutet, dass es das spektrale Landschaft effizienter navigiert.

Ergebnisse

Empirische Validierung: Experimente an GPT-2- und LLaMA-Modellen bestätigen, dass Singuläre Verteilungen früh stabilisieren (oft innerhalb der ersten 10–20 % der Trainingsschritte), während sich die Parameter weiterentwickeln. Diese Stabilisierung fällt mit dem Eintritt des Validierungsverlusts in einen heavy-tailed, langsamen Abfall-Regime zusammen.
Korrelation: Eine enge Synchronisation wird zwischen dem Abfall der SD Variation und dem Übergang zur Phase des langsamen Abfalls der Verlustkurve beobachtet.
Wirksamkeit von Strategien:
- Die Reduzierung der Lernrate induziert einen steilen Abfall der SD Variation, synchronisiert mit einem erneuten Verlustabfall.
- Weight-Deacy-Modelle erreichen niedrigere finale Verluste als nicht-regularisierte Baselines, korrelierend mit einer höheren aufrechterhaltenen SD Variation (aufgrund gelockerter Beschränkungen für $\|W\|$ ).
- Der Muon-Optimierer erreicht niedrigere Verluste und schnellere Konvergenz bei gleichzeitiger Aufrechterhaltung geringerer SD-Variationsmagnituden als Adam.

Bedeutung und Behauptungen

Das Papier beansprucht ein neues mechanistisches Verständnis von Transformer-Optimierungstrajectorien zu bieten, indem es mikroskopische spektrale Verhaltensweisen mit makroskopischen Trainingsdynamiken verknüpft.

Vereinheitlichte Perspektive: Es bietet eine spektrale Linse, um das allgegenwärtige „schnell-dann-langsam"-Konvergenzmuster zu erklären, und geht davon aus, dass der Übergang nicht lediglich ein Artefakt spezifischer Schichten ist, sondern eine globale kinetische Beschränkung, die durch die Sättigung der Singulären Verteilung charakterisiert ist.
Theoretische Fundierung: Die Arbeit etabliert einen theoretischen Rahmen, der beweist, dass das Wachstum der Gewichtsnormen unvermeidlich eine frühe SoSD-Schwelle herbeiführt, nach der die Rate der Verlustabnahme strikt durch die Variation der Singulären Verteilung begrenzt ist.
Praktische Einsicht: Indem es Lernraten-Schedules und Weight Decay als Mechanismen zur Modulation der SoSD-Skala rahmt, bietet das Papier eine Begründung dafür, warum diese Strategien ein effizientes Pre-Training ermöglichen, und legt nahe, dass die Überwindung der spektralen Barriere der Schlüssel zum Erreichen niedrigerer Trainingsverluste ist.

Die Autoren nehmen eine bescheidene Haltung ein und stellen fest, dass SoSD zwar als Charakterisierung der Singulärwertdynamik und als Indikator für das Regime des langsamen Abfalls dient, ein niedrigerer SoSD-Wert jedoch nicht inhärent eine bessere Leistung impliziert (wie durch die Weight-Deacy-Experimente belegt wird, bei denen ein höherer SoSD mit niedrigerem Verlust koexistiert). Der Hauptbeitrag ist die Identifikation der Synchronisation zwischen spektraler Stabilität und Optimierungssättigung.