🤖 machine learning

Neural Scaling Universality: If Exponents Are Fixed, Time to Understand Coefficients

Dieses Positionspapier argumentiert, dass während die Exponenten der neuronalen Skalierungsgesetze durch universelle Mechanismen wie die Softmax-Nichtlinearität und die Repräsentationssuperposition festgelegt sind, die Koeffizienten – welche die praktische Leistung und optimale Modellkonfigurationen bestimmen – empfindlich auf spezifische Daten und architektonische Details reagieren, wodurch deren Verständnis zum Schlüssel für kurzfristige Verbesserungen der KI wird.

Ursprüngliche Autoren: Yizhou Liu, Jeff Gore

Veröffentlicht 2026-06-25

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yizhou Liu, Jeff Gore

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Das „Rezept“ vs. die „Zutaten“

Stellen Sie sich vor, Sie versuchen, das perfekte Brot zu backen (ein Large Language Model). Lange Zeit haben Wissenschaftler ein Muster beobachtet: Wenn man die Menge an Mehl, Wasser oder die Backzeit verdoppelt, wird das Brot auf eine vorhersehbare Weise besser. Dies nennt man ein „Skalierungsgesetz“ (Scaling Law).

Dieses Paper argumentiert, dass die Regeln, wie das Brot besser wird (die Mathematik hinter dem Rezept), tatsächlich fest und unveränderlich sind, wie die Gesetze der Physik. Die Qualität der Zutaten (die Daten und spezifischen Designentscheidungen) verändert jedoch, wie gut das Brot schmeckt, selbst wenn die Regeln gleich bleiben.

Die Autoren nennen dies „Neural Scaling Universality“. Es bedeutet, dass egal, wie man das Modell anpasst, die „Geschwindigkeit“, mit der es lernt, drei festen Regeln folgt. Das Einzige, was sich ändert, ist der „Startpunkt“ oder die „Effizienz“ des Prozesses.

Die drei festen Regeln (Die Exponenten)

Das Paper besagt, dass die Fehler (Irrtümer), die ein Modell macht, nach dem Training nach drei spezifischen Mustern sinken. Betrachten Sie dies als drei verschiedene „Geschwindigkeitsbegrenzungen“ für das Lernen:

1. Das „Softmax“-Geschwindigkeitslimit (Zeit)

Die Analogie: Stellen Sie sich vor, Sie versuchen, eine Nadel im Heuhaufen zu finden, aber der Heuhaufen besteht aus Magneten, die stärker werden, je näher Sie kommen. Zuerst bewegen Sie sich langsam. Aber je näher Sie der Nadel kommen, desto schneller ziehen die Magnete Sie an.
Die Wissenschaft: Das Paper sagt, dass das Modell aufgrund einer spezifischen mathematischen Funktion namens „Softmax“ (die zur Vorhersage verwendet wird) auf eine bestimmte Weise lernt. Die Fehler sinken mit einer festen Rate in Bezug auf die Zeit (speziell die Kubikwurzel der Zeit). Dies geschieht, weil die Mathematik sehr „nicht-linear“ (kurvig) wird, wenn das Modell sicher wird.
Das Fazit: Sie können dieses Geschwindigkeitslimit nicht ändern. Es ist in der Mathematik eingebaut, wie das Modell denkt.

2. Das „Überfülltes Zimmer“-Limit (Breite)

Die Analogie: Stellen Sie sich einen kleinen Raum (das Gedächtnis des Modells) vor, in den Sie eine Million verschiedene Menschen (Konzepte/Wörter) unterbringen wollen. Wenn der Raum zu klein ist, müssen die Leute übereinanderstehen oder sich den Platz teilen. Dies verursacht „geometrische Interferenz“ – Menschen stoßen gegeneinander, was es schwierig macht, klar zu hören.
Die Wissenschaft: Dies wird „Superposition“ genannt. Das Modell versucht, mehr Merkmale in weniger Dimensionen zu packen. Die Fehler sinken, wenn man den Raum breiter macht (die Breite des Modells erhöht), aber die Verbesserung folgt einer strengen Regel: Verdoppeln Sie die Breite, halbiert sich der Fehler.
Das Fazit: Das Limit hier ist, wie viel Information Sie in das „Gehirn“ des Modells pressen können, ohne dass es chaotisch wird.

3. Das „Teamwork“-Limit (Tiefe)

Die Analogie: Stellen Sie sich ein Staffellauf-Rennen mit vielen Läufern (Layern im Modell) vor. Wenn jeder Läufer einen winzigen Fehler macht, kann das Team trotzdem gewinnen, wenn es seine Fehler ausgleicht. Aber wenn alle Läufer genau das Gleiche tun, helfen sie einander nicht viel.
Die Wissenschaft: Das Paper legt nahe, dass Transformer-Layer wie ein Team arbeiten, das seine Fehler ausgleicht. Je mehr Layer man hinzufügt, desto besser wird das Team bei der Korrektur von Fehlern, aber auch hier folgt es einer festen Regel: Verdoppeln Sie die Layer, halbiert sich der Fehler.
Das Fazit: Das Hinzufügen von mehr Layern hilft, aber der Nutzen folgt einem vorhersehbaren, festen Muster.

Das eigentliche Problem: Die Koeffizienten (Die „Zutaten“)

Wenn die Regeln (Exponenten) feststehen, warum erbringen dann einige Modelle bessere Leistungen als andere? Die Antwort liegt in den Koeffizienten.

Die Analogie: Betrachten Sie die festen Regeln als die Gesetze der Physik beim Backen. Man kann nicht ändern, dass Hitze den Teig gart. Aber der Koeffizient ist die Qualität Ihres Mehls, die Temperatur Ihres Ofens und das Geschick Ihres Bäckers.
Was das Paper sagt: Die „Koeffizienten“ sind die Zahlen in der Mathematik, die Ihnen sagen, wie viel Fehler noch übrig sind. Diese Zahlen hängen vollständig ab von:
- Den Daten: Wie divers und hochwertig der Text ist.
- Der Architektur: Den spezifischen Designentscheidungen (wie das Modell mit Attention oder Normalisierung umgeht).
Warum es wichtig ist: Da die „Geschwindigkeitsbegrenzungen“ (Exponenten) fest sind, ist der einzige Weg, jetzt sofort ein besseres Modell zu bauen, die Verbesserung dieser Koeffizienten. Wenn Sie Ihr Design oder Ihre Daten so anpassen können, dass Sie den Koeffizienten senken, erhalten Sie ein besseres Modell, ohne die Gesetze der Physik zu brechen.

Praktische Ergebnisse: Den „Sweet Spot“ finden

Das Paper nutzt diese Regeln, um die perfekte Form eines Modells zu bestimmen.

Die Form: Wie breit sollte das Modell im Vergleich zu seiner Tiefe sein?
- Das Paper berechnet, dass es ein „Goldlöckchen-Verhältnis“ gibt. Wenn Sie ein festes Budget an Rechenleistung haben, sollten Sie das Modell nicht einfach nur in eine Richtung riesig machen. Sie benötigen ein spezifisches Gleichgewicht (etwa 6-mal breiter als tief, laut ihren Daten zu Chinchilla-Modellen).
- Gute Nachrichten: Das Paper sagt, dass die „Landschaft“ hier flach ist. Das bedeutet, Sie müssen nicht perfekt sein. Nahe am richtigen Verhältnis zu sein, ist fast so gut wie exakt zu sein.
Daten vs. Schritte:
- Viele Menschen sorgen sich, dass uns „die Daten ausgehen“. Dieses Paper argumentt, dass das Pre-Training eigentlich schrittlimitiert ist, nicht datenlimitiert.
- Die Analogie: Es ist nicht so, dass Ihnen die Bücher zum Lesen ausgegangen sind; es ist eher so, dass Sie aufgehört haben zu lesen, bevor Sie den Satz zu Ende gelesen haben. Sie können bessere Ergebnisse erzielen, indem Sie mehr „Schritte“ (Optimierungsschritte) mit den vorhandenen Daten machen, anstatt nur mehr einzigartige Daten zu horten.
Die Rechen-Frontier (Compute Frontier):
- Das Paper bestätigt, dass, wenn Sie die Modellgröße und die Datengröße perfekt ausbalancieren, der Fehler mit einer Rate von einem Sechstel der gesamten genutzten Rechenleistung sinkt. Dies ist die „rechenoptimale Frontier“.

Zusammenfassung

Die Regeln sind fest: Die Art und Weise, wie KI-Modelle lernen, folgt drei unveränderlichen mathematischen Mustern (Zeit, Breite, Tiefe), die durch die Natur der Mathematik (Softmax) und die Funktionsweise der Layer bedingt sind.
Die Variablen sind flexibel: Die Qualität des Lernens (die Koeffizienten) hängt von Ihren Daten und Designentscheidungen ab.
Das Ziel: Um bessere KI zu bauen, sollten wir nicht nur nach neuen „Gesetzen der Physik“ suchen. Stattdessen sollten wir uns darauf konzentrieren, unsere „Zutaten“ (Daten und Architektur) zu optimieren, um die Fehler-Koeffizienten zu senken und das perfekte Gleichgewicht zwischen Modellgröße und Daten zu finden, um das Beste aus unserem Einsatz herauszuholen.

Das Paper kommt zu dem Schluss, dass wir uns derzeit in einer spezifischen „Universality Class“ (einer spezifischen Gruppe von Regeln) befinden. Um in Zukunft noch bessere KI zu entwickeln, müssen wir vielleicht einen Weg finden, aus diesen aktuellen Regeln auszubrechen, aber für den Moment ist die Beherrschung der Koeffizienten der Schlüssel zur unmittelbaren Verbesserung.

Technisches Resümee: Neuronale Skalierungsuniversalität

Problemstellung

Neuronale Skalierungsgesetze beschreiben den Abfall des Pre-training-Loss als Potenzgesetze in Bezug auf Trainingszeit, Modellgröße und Rechenaufwand. Während diese Gesetze maßgeblich zum Erfolg von Large Language Models (LLMs) beigetragen haben, bleibt ihr mechanistischer Ursprung weitgehend empirisch. Die vorherrschende Ansicht schreibt diese Potenzgesetze den Potenzverteilungen inhärenter Trainingsdaten zu (z. B. Merkmalsfrequenzen), was darauf hindeutet, dass die Exponenten des Loss sensitiv auf spezifische Datenstrukturen reagieren. Dies lässt Fragen hinsichtlich der Generalisierbarkeit von Skalierungsgesetzen bei größeren Skalen und des Potenzials für weitere Beschleunigungen offen. Die Arbeit adressiert die Notwendigkeit zu bestimmen, ob Skalierungsexponenten durch generische architektonische Mechanismen fixiert sind oder von Datendetails abhängen, und ob die Koeffizienten dieser Gesetze den Schlüssel zu kurzfristigen Leistungssteigerungen darstellen.

Methodik

Die Arbeit synthetisiert und erweitert eine Trilogie rezenter Arbeiten [15–17], um die Hypothese der Neuronalen Skalierungsuniversalität vorzuschlagen. Die Methodik umfasst:

Theoretische Dekomposition: Die Autoren dekomponieren den Pre-training-Loss ( $L$ ) in drei distinkte asymptotische Terme basierend auf generischen Mechanismen:
- Zeit-Skalierung (Time Scaling): Getrieben durch die starke Nichtlinearität der Softmax-Funktion beim Lernen von peakartigen (Low-Entropy) Verteilungen, was zu einem Loss-Abfall von $L \sim \tau^{-1/3}$ führt, wobei $\tau$ die dynamische Zeit ist.
- Breiten-Skalierung (Width Scaling): Getrieben durch „Superposition“, bei der Modelle mehr Merkmale kodieren als verfügbare Dimensionen, was zu geometrischen Interferenzen führt. Dies resultiert in einem Residual-Loss von $L \sim m^{-1}$ , wobei $m$ die Embedding-Dimension (Breite) ist.
- Tiefen-Skalierung (Depth Scaling): Getrieben durch das Ensemble-Averaging von Fehlern über Transformer-Layer hinweg, welche die Hidden States inkrementell statt hierarchisch aktualisieren. Dies ergibt $L \sim \ell^{-1}$ , wobei $\ell$ die Tiefe ist.
Vereinheitlichte Loss-Formel: Diese Mechanismen werden in einer additiven asymptotischen Loss-Formel kombert:
$L = \frac{c_\tau}{\tau^{1/3}} + \frac{c_m}{m} + \frac{c_\ell}{\ell} + L_0$
wobei $c_\tau, c_m, c_\ell$ Koeffizienten sind, die Daten- und Architekturspezifika absorbieren, und $L_0$ der irreduzible Loss ist.
Empirische Validierung: Die Autoren passen diese fest-exponentielle Formel an empirische Daten aus mehreren Modellfamilien an, einschließlich Pythia, Chinchilla, GPT-3 und Farseer.
- Sie behandeln Exponenten als fixiert (z. B. $1/3$ für Zeit, $1$ für Breite/Tiefe) und variieren lediglich die Koeffizienten.
- Sie analysieren die Beziehung zwischen Datensatzgröße ( $D$ ) und dynamischer Zeit ( $\tau$ ) und argumentieren, dass in Online-Trainingsregimen $D \propto \tau$ gilt, was den Transfer der Zeit-Skalierung auf die Datensatzgrößen-Skalierung ermöglicht.
- Sie leiten optimale Modellformen und compute-optimale Fronten ab, indem sie die Loss-Funktion in Bezug auf Modellparameter ( $N$ ) und Rechenaufwand ( $C$ ) minimieren.

Zentrale Beiträge

1. Die Hypothese der Neuronalen Skalierungsuniversalität

Die Arbeit postuliert, dass neuronale Skalierungsgesetze zu einer spezifischen „Universalitätsklasse“ gehören, die durch fixierte Exponenten definiert ist, welche durch generische Mechanismen (Softmax-Nichtlinearität, Superposition und Layer-Averaging) bestimmt werden. Innerhalb dieser Klasse verändern Variationen in der Datenstruktur oder architektonische Details primär die Koeffizienten ( $c_\tau, c_m, c_\ell$ ) und nicht die Exponenten.

2. Mechanistische Ursprünge fixer Exponenten

Die Arbeit liefert spezifische mechanistische Erklärungen für die beobachteten Exponenten:

$1/3$ Zeit-Skalierung: Entsteht aus der nichtlinearen Dynamik von Softmax beim Erreichen von peakartigen Verteilungen, analog zur Low-Temperature-Expansion.
Inverse Breiten-Skalierung ($1$): Entsteht aus der geometrischen Interferenz superponierter Merkmale.
Inverse Tiefen-Skalierung ($1$): Entsteht aus dem Averaging von Fehlern über Layer mit ähnlichen funktionalen Updates.

3. Ableitung optimaler Architekturen und Fronten

Durch die Behandlung der Koeffizienten als primäre Variablen leitet die Arbeit ab:

Optimale Modellform: Das optimale Verhältnis von Breite zu Tiefe ( $m/\ell$ ) wird durch das Verhältnis der Koeffizienten $c_m / c_\ell$ bestimmt. Am Optimum folgen die Loss-Beiträge von Breite und Tiefe einem $2:1$ Verhältnis.
Modellgrößen-Skalierung: Am Optimum zerfällt der Loss als $N^{-1/3}$ (wobei $N$ die Parameteranzahl ist).
Compute-optimale Front: Durch die Minimierung des Loss bei festem Rechenaufwand ( $C \approx 6ND$ ) leitet die Arbeit ein optimales Token-zu-Parameter-Verhältnis ( $D/N$ ) und eine compute-optimale Loss-Skalierung von $C^{-1/6}$ ab.

4. Verschiebung von datenlimitiertem zu schrittlimitiertem Pre-training

Die Autoren argumentieren, dass Pre-training fundamental schrittlimitiert (constrained by optimization dynamics) und nicht datenlimitiert ist. Da die Datensatzgrößen-Skalierung eine sekundäre Konsequenz der Zeit-Skalierung ( $D \propto \tau$ ) ist, kann eine weitere Reduktion des Loss durch das Ausführen von mehr Optimierungsschritten (potenziell durch Wiederverwendung von Daten) erreicht werden, anstatt ausschließlich das Volumen einzigartiger Daten zu erhöhen, vorausgesetzt, Datenqualität und -diversität sind ausreichend.

Ergebnisse

Die Arbeit validiert die vorgeschlagene Universalitätsklasse durch extensive Anpassung empirischer Daten:

Pythia-Modelle: Der Loss-Abfall über Trainingszeit, Breite und Tiefe stimmt gut mit der fest-exponentiellen Formel ( $1/3, 1, 1$ ) überein.
Chinchilla-Modelle: Die Daten stützen die abgeleitete $1/3$ Datensatzgrößen-Skalierung und $1/3$ Modellgrößen-Skalierung. Das vorhergesagte optimale Aspektverhältnis der gefitteten Koeffizienten ( $m/\ell \approx 64$ ) stimmt eng mit den tatsächlichen Chinchilla-Modellformen überein. Die compute-optimalen Punkte folgen der vorhergesagten Skalierung $N \propto C^{1/2}$ und $L \propto C^{-1/6}$ .
Farseer-Modelle: Diese Familie, die strikt $m \propto \ell$ folgt, liegt präzise auf der vorhergesagten optimalen Linie. Trotz der Degeneriertheit bei der Identifizierung einzelner Breiten-/Tiefen-Koeffizienten stimmen die Modellgrößen- und Datensatzgrößen-Komponenten des Loss dennoch gut mit der $1/3$ Skalierung überein.
Koeffizienten-Variabilität: Die Analyse über verschiedene Modellfamilien (Pythia, GPT-3, Farseer, Chinchilla) zeigt, dass während die Exponenten fix bleiben, die Koeffizienten ( $c_\tau, c_m, c_\ell$ ) und die daraus abgeleiteten optimalen Verhältnisse variieren, was deren Sensitivität gegenüber Daten und architektonischen Entscheidungen bestätigt.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass das Verständnis der Koeffizienten der Schlüssel zu kurzfristigen Leistungsverbesserungen in LLMs ist, anstatt nach neuen Exponenten zu suchen.

Design-Vorschrift: Die Koeffizienten bieten eine fundierte Basis für das Architekturdesign (z. B. Bestimmung des optimalen $m/\ell$ -Verhältnisses) und die Compute-Allokation (Bestimmung des optimalen $D/N$ -Verhältnisses).
Universalität vs. Datenabhängigkeit: Die Arbeit stellt die gängige Meinung in Frage, dass Loss-Exponenten von Daten-Potenzgesetzen abhängen. Stattdessen argumentiert sie, dass Exponenten robust und durch High-Level-Eigenschaften (Softmax-Nutzung, Low-Entropy Targets) fixiert sind, während Datenstrukturen primär die Koeffizienten beeinflussen.
Verbesserungspfade: Durch die genaue Untersuchung der Koeffizienten können Forscher Wege zu besseren Universalitätsklassen oder Verbesserungen innerhalb der aktuellen Klasse identifizieren. Die Arbeit legt nahe, dass die Modifikation von Architekturen (Aktivierungsfunktionen, Attention-Mechanismen) oder der Datenzusammensetzung die Koeffizienten verschieben kann, wodurch der Loss-Floor und die Compute-Effizienz verbessert werden, ohne die fundamentalen Skalierungsexponenten zu ändern.

Die Autoren kommen zu dem Schluss, dass die Verifizierung der Hypothese fester Exponenten noch weitere Bestätigung benötigt, die Evidenz aus [15–17] und die aktuellen empirischen Fits die Hypothese jedoch plausibel machen. Folglich sollte sich der Fokus der Community auf die Charakterisierung und Optimierung der Koeffizienten verlagern, welche die aktuelle Universalitätsklasse definieren.