💬 NLP

Smooth Scaling Laws Hide Stepwise Token Learning

Diese Arbeit zeigt auf, dass die glatten Skalierungsgesetze des Verlusts von Sprachmodellen tatsächlich durch ein Spektrum lokalisierter Token-Ebene-Lernereignisse getrieben werden, eine Erkenntnis, die nicht nur das aggregierte Potenzgesetzverhalten erklärt, sondern auch eine Verbesserung der Trainingseffizienz um 11 % ermöglicht, indem die Datenverteilung basierend auf der Lernbarkeit von Token umgestaltet wird.

Ursprüngliche Autoren: Pingjie Wang, Zechen Hu, Peiru Yang, Fu Guo, Debing Zhang

Veröffentlicht 2026-06-30

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Pingjie Wang, Zechen Hu, Peiru Yang, Fu Guo, Debing Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem riesigen, superintelligenten Roboter beizubringen, eine menschliche Sprache zu sprechen. Sie füttern ihn mit Billionen von Wörtern. Während der Roboter größer wird und Sie ihm mehr Daten zufüttern, sinken seine Fehler (genannt „Loss“) in einer sehr vorhersehbaren, glatten Kurve. Wissenschaftler wissen das schon seit einer Weile, aber sie wussten nicht wirklich, warum die Kurve so aussah.

Dieses Paper argumentiert, dass die glatte Kurve eigentlich ein „Zaubertrick“ ist, der durch Millionen von winzigen, individuellen Lernmomenten entsteht, die zu unterschiedlichen Zeiten stattfinden.

Hier ist die Aufschlüsselung unter Verwendung einfacher Analogien:

1. Das große Ganze: Die glatte Rutsche vs. die Treppe

Normalerweise sieht es, wenn wir den Fortschritt des Roboters betrachten, wie eine glatte Rutsche aus, die nach unten führt. Das Paper sagt, dies ist eine Illusion. Wenn man hineinzoomt, sieht man keine glatte Rutsche; man sieht eine Treppe.

Die alte Idee: Wir dachten, der Roboter lernt alles ein kleines bisschen gleichzeitig, indem er überall gleichzeitig langsam besser wird.
Die neue Entdeckung: Der Robot lernt tatsächlich in plötzlichen Sprüngen. Er starrt lange auf ein bestimmtes Wort (oder ein „Token“), ohne besser darin zu werden. Dann macht es plötzlich „Klick“, und er lernt dieses Wort perfekt. Danach bleibt er auch gut darin.

2. Die „Sigmoid“-Funktion (Der Lernsprung)

Die Autoren fanden heraus, dass jedes einzelne Wort, das der Roboter lernt, demselben Muster folgt, das sie eine „Sigmoid“-Kurve nennen.

Phase 1 (Das Plateau): Der Roboter ist verwirrt. Er rät jedes Mal falsch.
Phase 2 (Der Abfall): Plötzlich hat der Roboter es begriffen. Seine Fehlerrate stürzt schnell ab.
Phase 3 (Das Plateau): Der Roboter weiß es nun. Er bleibt korrekt.

Denken Sie an das Lernen des Fahrradfahrens. Sie wackeln und fallen lange Zeit (Plateau 1). Dann, eines Tages, finden Sie plötzlich das Gleichgewicht und fahren reibungslos (Der Abfall). Danach fahren Sie einfach weiter (Plateau 2).

3. Die Geheimzutat: Das „Lernzeit-Spektrum“

Wenn also jedes Wort in einem plötzlichen Sprung lernt, warum sieht die Gesamtgrafik dann wie eine glatte Rutsche aus?

Die Antwort ist das Timing.

Manche Wörter sind einfach (wie „der“, „die“ oder „das“). Der Roboter lernt diese sehr früh.
Manche Wörter sind schwer (wie komplexe mathematische Begriffe oder seltene Redewendungen). Der Roboter lernt diese viel später.
Die meisten Wörter liegen irgendwo dazwischen.

Das Paper nennt dies das „Learning-Time Spectrum“ (Lernzeit-Spektrum). Es ist wie eine Menge von Menschen, die einen Raum betreten. Wenn alle zur exakt gleichen Sekunde eintreten würden, wäre der Raum sofort voll. Aber wenn die Menschen nacheinander über einen langen Zeitraum hinweg eintrudeln, füllt sich der Raum gleichmäßig.

Die glatte „Scaling Law“-Kurve, die wir in der KI-Forschung sehen, entsteht nicht, weil der Roboter glatt lernt; sie entsteht, weil verschiedene Wörter zu unterschiedlichen Zeiten gelernt werden. Die „Glätte“ ist nur der Durchschnitt von Millionen einzelner „Klicks“, die nacheinander stattfinden.

4. Die drei Achsen (Zeit, Daten und Größe)

Die Autoren haben diese Idee auf drei verschiedene Arten getestet, und sie hat in allen Fällen funktioniert:

Trainingsschritte (Zeit): Während der Roboter länger trainiert, lernt er schwierigere Wörter.
Datenmenge: Wenn Sie dem Roboter mehr Bücher zum Lesen geben, stößt er auf schwierigere Wörter, die er zuvor noch nicht gesehen hat.
Modellgröße: Wenn Sie das Gehirn des Roboters größer machen, wird er in der Lage, komplexere Konzepte zu verstehen.

In allen drei Fällen ist die „glatte“ Verbesserung nur das Ergebnis eines Prozesses, bei dem der Roboter Wörter in einer bestimmten Reihenfolge angeht – von den einfachsten zu den schwierigsten.

5. Die Superkraft: Den Zeitplan umschreiben

Hier ist der spannendste Teil. Weil die Autoren wussten, wann der Roboter bestimmte Wörter lernt, haben sie dieses Wissen genutzt, um die Sache zu beschleunigen.

Das Experiment: Sie betrachteten einen spezifischen Zeitraum des Trainings (sagen wir, die Schritte 2.000 bis 3.800). Sie identifizierten, welche Wörter in genau diesem Zeitfenster „bereit waren, gelernt zu werden“.
Der Kniff: Sie änderten die Diät des Roboters. Anstatt ihm zufällige Wörter zu füttern, gaben sie ihm mehr von den Wörtern, die genau in diesem Moment bereit waren, gelernt zu werden, und weniger von denen, die zu schwer oder zu einfach waren.
Das Ergebnis: Der Roboter lernte schneller. Er reduzierte seine Fehler um 11 % mehr, als er es mit dem normalen Zeitplan getan hätte.

Zusammenfassung

Das Paper behauptet, dass die „Magie“ der KI-Skalierungsgesetze kein mysteriöses mathematisches Gesetz ist. Es ist schlichtweg ein Spiegelbild dessen, wann die KI verschiedene Dinge lernt.

Das Problem: Wir dachten, die KI lernt glatt.
Die Wahrheit: Sie lernt in plötzlichen Schüben, aber verschiedene Wörter haben ihre Durchbrüche zu unterschiedlichen Zeiten.
Der Nutzen: Wenn wir wissen, wann ein Wort bereit ist, gelernt zu werden, können wir der KI die richtigen Wörter zur richtigen Zeit füttern, um sie schneller lernen zu lassen.

Es ist so, als würde man erkennen, dass ein Schüler Mathematik nicht lernt, indem er alles langsam studiert, sondern indem er ein Konzept meistert, dann das nächste, dann das nächste. Wenn man genau weiß, welches Konzept er heute bereit ist zu lernen, kann man ihn viel effizienter unterrichten.

Technisches Resümee: Glatte Skalierungsgesetze verbergen schrittweise Token-Lernprozesse

Problemstellung

Sprachmodelle weisen bemerkenswert regelmäßige Skalierungsgesetze auf, bei denen der aggregierte Validierungsverlust einem vorhersagbaren Potenzgesetz-Abfall folgt, während Modellgröße ( $M$ ), Datenmenge ( $D$ ) und Trainingsschritte ( $T$ ) zunehmen. Während diese empirische Regelmäßigkeit die Rechenressourcenallokation und Trainingsstrategien leitet, bleibt der grundlegende Mechanismus, der diese Potenzgesetzform antreibt, unklar. Bestehende Erklärungen führen dieses Verhalten auf das schwerfällige Spektrum der Musterkomplexität zurück, das in natürlichen Sprachdaten inhärent ist. Diese Theorien wurden jedoch bisher nicht direkt auf der Granularität einzelner Token in groß angelegten Trainingsläufen mit realen Daten und modernen Architekturen validiert. Die zentrale Frage lautet: Warum folgt der aggregierte Verlust eines Sprachmodells einem Potenzgesetz?

Methodik

Die Autoren schlagen ein Framework auf Token-Ebene vor, um aggregierte Skalierungsgesetze in lokalisierte Lernereignisse einzelner kontextualisierter Token zu zerlegen. Die Methodik umfasst drei Kernkomponenten:

Zerlegung auf Token-Ebene:
Der aggregierte Validierungsverlust $L(a)$ (wobei $a$ für $T$ , $D$ oder $M$ steht) wird in die Summe der individuellen Token-Verluste $\ell_i(a)$ zerlegt. Die Autoren analysieren die Verlustableitung $L'(a)$ , welche die Lernrate darstellt, als Superposition von Token-basierten Verlustableitungen.
Sigmoidale Parametrisierung von Lernereignissen:
Da die Verluste einzelner Token nicht gleichmäßig abnehmen, sondern ein Plateau, einen scharfen Übergang und ein abschließendes Plateau aufweisen, modellieren die Autoren die Verlust-Trajektorie jedes Tokens mittels einer Sigmoidfunktion:
$\ell_i(a) \approx \ell_{post}^i + \Delta_i [1 - \sigma(\lambda_i(a - \tau_i))]$
Hierbei repräsentiert $\tau_i$ die Lernzeit (das Zentrum des Abfalls), $\lambda_i$ steuert die Schärfe und $\Delta_i$ ist die gesamte Verlustreduktion. Die Ableitung dieser Funktion ergibt einen „Lernpuls“ (eine $\text{sech}^2$ -Funktion), der um $\tau_i$ zentriert ist.
Entkopplung von Form und Zeit:
Die Autoren hypothetisieren, dass die makroskopische Verlustableitung das Ergebnis zweier Faktoren ist:
- Gemeinsame Pulsform ( $g$ ): Die lokale Form des Lernereignisses, die über die Tokens hinweg annähernd konsistent ist, wenn sie nach ihrer Lernzeit ( $\tau_i$ ) ausgerichtet werden.
- Lernzeit-Spektrum ( $p$ ): Die Verteilung der Lernzeiten $\tau_i$ über die Token-Population.
Die aggregierte Verlustableitung wird näherungsweise als Faltung des gemeinsamen Pulses mit dem Lernzeit-Spektrum beschrieben: $L'(a) \approx (p * g)(a)$ .

Experimenteller Aufbau

Das Framework wurde über 110 Pre-Training-Läufe auf großen, diversen realen Sprachkorpora mit modernen LLM-Architekturen (einschließlich MoE-Modellen) validiert. Die Experimente umfassten:

Modellskala: 290M bis 6B Parameter (bis zu 6B).
Datenskala: 1B bis 300B Trainings-Token.
Rechenleistung: Ungefähr 1.178 A100 GPU-Tage.
Achsen: Die Analyse wurde entlang der Achsen Trainingsschritte ( $T$ ), Datenskala ( $D$ ) und Modellskala ( $M$ ) durchgeführt.

Kernergebnisse

1. Token-Lernen ist schrittweise und lokalisiert

Die Verluste einzelner Token verharren auf einem hohen Plateau, bis eine spezifische Lernzeit eintritt, durchlaufen einen schnellen, lokalisierten Abstieg und pendeln sich auf einem niedrigen Plateau ein. Dieses Verhalten wird durch Sigmoid-Fits präzise erfasst, was die Hypothese widerlegt, dass Token-Verluste gleichmäßig sinken oder individuell Potenzgesetzen folgen.

2. Gemeinsamer Lernpuls

Wenn die Ableitungen der Token-Verluste nach ihren Lernzeiten ( $\tau_i$ ) ausgerichtet werden, kollabieren ihre Formen zu einem hochgradig ähnlichen „Lernpuls“. Dies deutet darauf hin, dass der Mechanismus des Lernens über die Tokens hinweg konsistent ist; die primäre Variation liegt darin, wann das Lernen stattfindet, nicht darin, wie es erfolgt.

3. Das Lernzeit-Spektrum bestimmt die Skalierungsgesetze

Die Verteilung der Lernzeiten ( $p(\tau)$ ) ist stark schwerfällig (heavy-tailed) und folgt annähernd einer Potenzgesetzverteilung. Die Autoren zeigen auf:

Die empirische Verlustableitung entlang der $T$ -, $D$ - und $M$ -Achsen kann quantitativ durch die Faltung des gemeinsamen Lernpulses mit dem gemessenen Lernzeit-Spektrum rekonstruiert werden.
Die Potenzgesetzform des globalen Verlusts wird primär durch die Verteilung der Token-Lernzeiten (das Spektrum) bestimmt und nicht durch die spezifische Form der einzelnen Token-Trajektorien.

4. Handlungsfähigkeit des Signals

Das Lernzeit-Signal ist nicht nur deskriptiv, sondern auch handlungsfähig. Durch die Schätzung der Lernzeiten für eine Gruppe von Tokens veränderten die Autoren die Trainingsverteilung, indem sie Proben mit Tokens, die innerhalb eines Zielintervalls lernen, höher gewichteten und solche, die dies nicht tun, geringer gewichteten.

Ergebnis: Diese Intervention veränderte die Optimierungstrajektorie und erzielte eine Beschleunigung der Reduktion des Validierungsverlusts um 11 % im Vergleich zur ursprünglichen Verteilung.

Bedeutung und Ansprüche

Das Paper beansprucht, den ersten direkten empirischen Beleg auf der Granularität einzelner Token zu liefern, dass Skalierungsgesetze primär durch die Verteilung der Token-Lernzeiten gesteuert werden.

Theoretischer Beitrag: Es bietet eine mechanistische Erklärung für das Potenzgesetz-Scaling des Sprachmodell-Verlusts, indem es die makroskopische Kurve mit der mikroskopischen statistischen Verteilung dessen verknüpft, wann Token gelernt werden. Dies validiert die Intuition, dass das „Spektrum der Musterkomplexität“ die Skalierung treibt, rahmt dies jedoch als Verteilung von Lernzeiten um und nicht bloß als statische Eigenschaft der Daten.
Praktischer Beitrag: Es demonstriert, dass Lernzeit-Signale zur Steuerung des Skalierungsverhaltens genutzt werden können. Durch die Neugestaltung der Datenverteilung basierend darauf, wann Tokens lernbar werden, kann die Trainingseffizienz gesteigert werden.
Umfang: Die Ergebnisse basieren auf industriellem Scale-Training mit realen Daten, wodurch sie über theoretische Spielmodelle oder synthetische Daten hinausgehen und diese Dynamiken in modernen LLM-Pre-Training-Pipelines validieren.

Die Autoren kommen zu dem Schluss, dass dieses Framework die Lern-Dynamik auf Token-Ebene mit dem makroskopischen Skalierungsverhalten verbindet und somit einen Weg zur datenzentrierten Steuerung des groß angelegten Modelltrainings eröffnet.