📊 statistics

Deriving Neural Scaling Laws from the statistics of natural language

Diese Arbeit präsentiert die erste Theorie, die datenlimitierte Skalierungsexponenten für große Sprachmodelle quantitativ aus ersten Prinzipien vorhersagt, indem sie eine parameterfreie Formel ableitet, die ausschließlich auf dem Abfall paarweiser Token-Korrelationen und dem Abfall der Next-Token-bedingten Entropie in natürlicher Sprache basiert.

Ursprüngliche Autoren: Francesco Cagnetta, Allan Raventós, Surya Ganguli, Matthieu Wyart

Veröffentlicht 2026-07-07✓ Author reviewed ⓘ

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Francesco Cagnetta, Allan Raventós, Surya Ganguli, Matthieu Wyart

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter eine neue Sprache beizubringen. Sie haben eine riesige Bibliothek von Büchern (die Daten), aber Sie wissen nicht, wie viele Bücher der Roboter lesen muss, um fließend zu werden, oder wie sich seine Leistung verbessert, wenn Sie die Bibliothek um mehr Bücher erweitern.

Lange Zeit haben Wissenschaftler ein Muster beobachtet: Wenn man dem Roboter mehr Daten gibt, gehen seine Fehler auf eine vorhersehbare Weise zurück, wie auf einer Rutsche. Dies wird als „Scaling Law“ (Skalierungsgesetz) bezeichnet. Aber bis jetzt konnte niemand erklären, warum das passiert oder die genaue Form dieser Rutsche allein durch den Blick auf die Sprache selbst vorhersagen.

Diese Arbeit liefert die erste Theorie, die genau das tut. Sie behauptet, dass die „Geschwindigkeit“, mit der ein Sprachmodell lernt, durch zwei einfache, verborgene Statistiken der Sprache selbst bestimmt wird, und nicht durch die spezifische Computerarchitektur oder das investierte Geld beim Training.

Hier ist die Aufschlüsselung unter Verwendung einfacher Analogien:

1. Die zwei verborgenen Regeln der Sprache

Die Autoren argumentieren, dass jede Sprache zwei „Persönlichkeitsmerkmale“ hat, die bestimmen, wie schwer sie zu lernen ist:

Die „Gedächtnisspanne“-Regel (Korrelationen): Wie weit zurück in einem Satz hängen Wörter voneinander ab?
- Analogie: Stellen Sie sich ein Spiel wie „Stille Post“ vor. In einigen Sprachen kann es sein, dass, wenn man am Anfang einer Schlange ein Wort flüstert, dies das Wort ganz am Ende der Schlange verändert. In anderen Sprachen verblasst die Verbindung schnell. Die Arbeit misst, wie schnell diese Verbindung verblasst, wenn der Abstand zwischen den Wörtern größer wird.
Die „Überraschungs“-Regel (Entropie): Wie vorhersehbar ist das nächste Wort?
- Analogie: Wenn Sie einen Satz lesen und „Die Katze saß auf dem...“ sehen, sind Sie nicht sehr überrascht über das nächste Wort (wahrscheinlich „Matte“). Aber wenn Sie „Die Katze saß auf dem...“ sehen und die Sprache sehr komplex ist, könnte das nächste Wort alles Mögliche sein. Die Arbeit misst, wie viel „Überraschung“ (oder Unsicherheit) bestehen bleibt, während man längere und längere Sätze liest.

2. Der Lernmechanismus: Das „Freischalten“ der Vergangenheit

Die Arbeit legt nahe, dass das Lernen einer Sprache nicht nur daraus besteht, mehr Wörter auswendig zu lernen; es geht darum, längere Erinnerungen freizuschalten.

Die Analogie: Betrachten Sie die Trainingsdaten (die Anzahl der Bücher) als einen Schlüssel.
- Mit einem kleinen Stapel Bücher (wenige Datenpunkte) kann der Roboter nur die letzten paar Wörter eines Satzes „hören“. Es ist, als würde man versuchen, eine Geschichte zu verstehen, während man nur die letzten 5 Wörter hört.
- Wenn Sie mehr Bücher hinzufügen (mehr Daten), gewinnt der Roboter die Fähigkeit, weiter in die Vergangenheit zurückzuhören. Er kann nun das Wort „Katze“ mit dem Wort „saß“ verbinden, selbst wenn 10 Wörter dazwischen liegen.
- Die Theorie besagt, dass der Roboter lernt, indem er seinen Hörbereich erweitert. Er wird nicht unbedingt „schlauer“ im Verarbeiten der Wörter, die er bereits hört; er erweitert lediglich die Fähigkeit, mehr von der Vergangenheit zu hören.

3. Die magische Formel

Die Autoren haben eine einfache Formel hergeleitet, die vorhersagt, wie schnell die Fehler des Roboters sinken, wenn man ihm mehr Daten gibt.

Die Formel: Geschwindigkeit des Lernens = (Wie schnell die „Überraschung“ sinkt) geteilt durch (2 × Wie schnell die „Verbindungen“ sinken).
Warum das wichtig ist: Sie müssen den Roboter nicht trainieren, um dies herauszufinden. Sie müssen nur die zwei „Persönlichkeitsmerkmale“ der Sprache (die Gedächtnisspanne und die Überraschungsregel) mithilfe mathematischer Verfahren an dem Text selbst messen. Sobald Sie diese zwei Zahlen haben, sagt Ihnen die Formel genau, wie die Leistung Ihres Roboters skalieren wird.

4. Das „Kollaps“-Experiment

Um dies zu beweisen, führten die Forscher einen klugen Trick durch. Sie nahmen verschiedene Arten von Sprachmodellen (wie GPT-2 und LLaMA) und trainierten sie auf zwei sehr unterschiedlichen Datensätzen:

TinyStories: Einfache, erfundene Geschichten für Kinder.
WikiText: Komplexe, reale Enzyklopädieartikel.

Sie maßen die beiden sprachlichen Merkmale für jeden Datensatz. Dann zeichneten sie die Lernkurven auf.

Das Ergebnis: Als sie die Graphen unter Verwendung ihrer Formel anpassten (indem sie die Achsen basierend auf den Merkmalen der Sprache skalierten), kollabierten alle verschiedenen Kurven für verschiedene Modelle und verschiedene Datensatzgrößen zu einer einzigen, perfekten Linie.

Es ist, als hätten sie einen unordentlichen Haufen verschiedenfarbiger Fäden genommen und durch die Verwendung des richtigen Lineals gezeigt, dass sie eigentlich alle derselbe einzelne Faden sind, der nur unterschiedlich lang gestreckt wurde.

Zusammenfassung

Die Arbeit behauptet, dass die „Magie“, wie eine KI Sprache lernt, gar keine Magie ist. Sie ist ein direktes Spiegelbild der statistischen Struktur der Sprache selbst.

Wenn eine Sprache über weitreichende Verbindungen verfügt (Wörter, die weit zurück in der Vergangenheit voneinander abhängen), benötigt das Modell viel Daten, um sie zu lernen.
Wenn eine Sprache sehr vorhersehbar ist, lernt das Modell schnell.

Die Autoren haben einen „Dekodier-Ring“ bereitgestellt, der es uns ermöglicht, einer Sprache zu sehen, ihre zwei grundlegenden statistischen Eigenschaften zu messen und mathematisch genau vorherzusagen, wie viel Daten eine KI benötigt, um sie zu meistern – und das, ohne zuvor teure Trainingsexperimente durchführen zu müssen.

Technisches Resümee: Ableitung neuronaler Skalierungsgesetze aus der Statistik natürlicher Sprache

Problemstellung
Obwohl empirische neuronale Skalierungsgesetze die Entwicklung von Large Language Models (LLMs) maßgeblich geleitet haben, fehlte ein quantitativer theoretischer Rahmen, der in der Lage ist, die Exponenten dieser Gesetze für moderne LLMs, die auf Datensätzen natürlicher Sprache trainiert wurden, vorherzusagen. Bestehende Theorien, die primär auf Kernel-Methoden mit festen Feature-Maps basieren, können die Fähigkeit moderner Transformer zum Lernen von Features nicht erklären. Zudem konnten bisherige Ansätze, die auf synthetischen Datenmodellen oder Spielgrammatiken beruhen, den direkten Zusammenhang zwischen der intrinsischen Statistik natürlicher Sprache und den Exponenten der Loss-Lernkurven bei Token-Skalen, die für aktuelle LLMs relevant sind, nicht erfolgreich herstellen. Die zentrale Frage bleibt: Welche statistischen Eigenschaften der Sprache steuern den Potenzgesetz-Exponenten, der den Test-Loss in Bezug zur Menge der Trainingsdaten setzt?

Methodik
Die Autoren schlagen einen allgemeinen theoretischen Rahmen für das datenlimitierte Regime vor, in dem die Modellkapazität und die Rechenleistung nicht die primären Einschränkungen darstellen, sondern die Menge der Trainingsdaten ( $P$ ). Die Theorie zerlegt den autoregressiven Loss in zwei Lernmechanismen: (1) die Erweiterung des effektiven Vorhersagezeit-Horizonts und (2) die Verbesserung der Vorhersagegenauigkeit innerhalb dieses Horizonts.

Die Ableitung stützt sich auf zwei zentrale statistische Eigenschaften des Sprachdatensatzes:

Abfall der bedingten Entropie des nächsten Tokens ( $H_n$ ): Die bedingte Entropie des nächsten Tokens gegeben $n$ vorherige Tokens fällt als Potenzgesetz mit der Kontextlänge $n$ ab: $H_n - H_\infty \propto n^{-\gamma}$ .
Abfall der Token-Token-Korrelationen: Die Stärke der Korrelationen zwischen Tokens, die durch einen zeitlichen Lag $n$ getrennt sind, fällt als Potenzgesetz ab: $\|C(n)\|_{op} \propto n^{-\beta}$ .

Die Theorie postuliert, dass ein Modell für eine gegebene Datensatzgröße $P$ nur Tokens bis zu einem datenabhängigen Vorhersage-Zeit-Horizont $n^*(P)$ vorteilhaft nutzen kann. Dieser Horizont wird durch das Signal-Rausch-Verhältnis der Token-Token-Korrelationen bestimmt; spezifisch ist $n^*(P)$ der maximale Lag, bei dem das Korrelationssignal das Sampling-Rauschen ( $O(P^{-1/2})$ ) übersteigt. Dies ergibt die Beziehung $n^*(P) \propto P^{1/(2\beta)}$ .

Unter der Annahme, dass das Modell lernt, Informationen innerhalb des Horizonts $n < n^*(P)$ ausreichend schnell zu nutzen (die „Fast-Learning“-Annahme), ist die dominierende Quelle des überschüssigen Loss der endliche Horizont selbst. Folglich wird der datenlimitierte Skalierungsexponent $\alpha_D$ für den autoregressiven Loss wie folgt abgeleitet:
$\alpha_D = \frac{\gamma}{2\beta}$

Das Framework sagt zudem einen Skalierungs-Kollaps (Scaling Collapse) für einzelne $n$ -Gramm-Loss-Kurven $L_n(P)$ voraus. Wenn die Kurven durch die bedingte Entropie des Datensatzes ( $n^\gamma$ ) und den Datenschwellenwert ( $P/n^{2\beta}$ ) umskaliert werden, sollten alle $n$ -Gramm-Lernkurven auf eine einzige Master-Kurve kollabieren.

Experimentelle Verifizierung
Die Autoren testeten diese Theorie an zwei qualitativ unterschiedlichen Datensätzen: TinyStories (synthetische Kurzgeschichten) und WikiText-103 (Wikipedia-Artikel).

Schätzung der Statistiken:
- $\gamma$ (Entropie-Exponent): Geschätzt durch das Training verschiedener Architekturen (GPT-2 APE, GPT-2 RoPE, LLaMA, Mamba) auf zunehmenden Datensatzgrößen und das Anpassen des Potenzgesetz-Abfalls des $n$ $n$ -Gramm-Loss $L_n$ $L_{n}$ für kleine $n$ $n$ .
  - TinyStories: $\gamma \approx 0,325$
  - WikiText: $\gamma \approx 0,265$
- $\beta$ (Korrelations-Exponent): Geschätzt durch die Messung der Operatornorm der Token-Token-Kovarianzmatrix $C(n)$ $C (n)$ und das Anpassen des Abfalls.
  - TinyStories: $\beta \approx 0,88$
  - WikiText: $\beta \approx 0,94$
Validierung der Skalierungsgesetze:
- Skalierungs-Kollaps: Die Autoren plotteten $n$ -Gramm-Losses $L_n$ gegen die umskalierten Variablen $P/n^{2\beta}$ und $L_n \times n^\gamma$ . In beiden Datensätzen kollabierten die Kurven für verschiedene $n$ auf eine einzige Master-Kurve, was die vorgeschlagene Skalierungs-Ansatz validiert.
- Exponent-Vorhersage: Unter Verwendung der gemessenen $\gamma$ $γ$ und $\beta$ $β$ wurde der vorhergesagte Skalierungsexponent $\alpha_D = \gamma/(2\beta)$ $α_{D} = γ / (2 β)$ mit der empirischen Steigung des autoregressiven Loss $L(P)$ $L (P)$ vs. $P$ $P$ verglichen.
  - TinyStories-Vorhersage: $\alpha_D \approx 0,185$ . Die empirischen Ergebnisse stimmten eng mit dieser Steigung überein.
  - WikiText-Vorhersage: $\alpha_D \approx 0,141$ . Die empirischen Ergebnisse stimmten eng mit dieser Steigung überein.

Die Übereinstimmung hielt über verschiedene Modellarchitekturen hinweg (Transformer mit absoluten und rotierenden Positional Embeddings, LLaMA-Stil und Mamba) sowie über variierende Kontextlängen hinweg stand, sofern die Kontextlänge den datenabhängigen Horizont nicht abschnitt.

Zentrale Beiträge

Erster parameterfreier theoretischer Ansatz: Die Arbeit liefert die erste Theorie, die datenlimitierte neuronale Skalierungsexponenten für natürliche Sprache ohne freie Parameter oder synthetische Datenmodelle quantitativ vorhersagt.
Identifizierung von Determinanten: Sie isoliert zwei intrinsische statistische Eigenschaften der Sprache (Entropie-Abfall $\gamma$ und Korrelations-Abfall $\beta$ ) als die alleinigen Determinanten des Skalierungsexponenten im datenlimitierten Regime.
Skalierungs-Kollaps: Sie zeigt, dass diverse $n$ -Gramm-Lernkurven auf eine einzige Master-Kurve kollabieren, wenn sie durch diese statistischen Eigenschaften umskaliert werden, was einen rigorosen Nachweis des Lernmechanismus bietet.
Universalitätsklasse: Die Arbeit legt nahe, dass tiefe Architekturen, die in der Lage sind, hierarchische Strukturen zu lernen (wie Transformer), zu einer Universalitätsklasse gehören, in der der Loss durch die Endlichkeit des datenabhängigen Vorhersage-Horizonts dominiert wird und nicht durch suboptimales Lernen innerhalb dieses Horizonts.

Bedeutung und Behauptungen
Die Autoren behaupten, dass diese Arbeit eine direkte Verbindung zwischen der Form neuronaler Skalierungsgesetze und der statistischen Struktur der Sprache selbst herstellt. Indem sie zeigen, dass der Skalierungsexponent eine Funktion messbarer Sprachstatistiken ( $\alpha_D = \gamma/2\beta$ ) ist, bewegt sich die Arbeit über die rein empirische Beobachtung hinaus hin zu einem fundierten Verständnis dafür, wie LLMs Sprachkompetenz aus Daten erwerben.

Die Arbeit weist auf Limitationen hin: Die Theorie wird innerhalb endlicher Bereiche von Datensatzgrößen und Kontextlängen getestet (bis zu einigen Zehnern von Tokens für den effektiven Horizont in ihren Experimenten). Es wird eingeräumt, dass flache Netzwerke oder Kernel-Methoden aufgrund des Fluchs der Dimensionalität wahrscheinlich außerhalb dieser Universalitätsklasse liegen und dass die „Fast-Learning“-Annahme innerhalb des Horizonts nicht für alle Architekturen gelten muss. Für die getesteten tiefen Netzwerke bietet die Theorie jedoch eine präzise Erklärung aus ersten Prinzipien für das beobachtete Skalierungsverhalten.

1. Die zwei verborgenen Regeln der Sprache

2. Der Lernmechanismus: Das „Freischalten“ der Vergangenheit

3. Die magische Formel

4. Das „Kollaps“-Experiment

Zusammenfassung

Mehr davon