💬 NLP

Skaling: Chinchilla's Exponents Meet Kaplan's Coupling

Dieses Paper führt das Skaling Law ein, ein verallgemeinertes Scaling-Framework, das Modellkapazität und Daten durch einen einzigen Interaktionsexponenten koppelt, um die Genauigkeit der Verlustvorhersage signifikant zu verbessern und eine ressourceneffiziente Zuweisung des Rechenbudgets für das Training groß angelegter Sprachmodelle zu ermöglichen.

Ursprüngliche Autoren: Mathurin Videau, Badr Youbi-Idrissi, David Lopez-Paz, Kartik Ahuja

Veröffentlicht 2026-08-10

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mathurin Videau, Badr Youbi-Idrissi, David Lopez-Paz, Kartik Ahuja

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Der große Balanceakt: Wie KI lernt

Stellen Sie sich vor, Sie versuchen, einem riesigen, digitalen Gehirn beizubringen, jede Sprache der Welt zu sprechen. Um dies zu erreichen, benötigen Sie zwei Hauptzutaten: ein größeres Gehirn (mehr Neuronen oder „Parameter“) und mehr Lehrbücher (mehr Daten oder „Tokens“). Jahrelang haben Wissenschaftler eine Reihe von Regeln verwendet, die als „Scaling Laws“ (Skalierungsgesetze) bekannt sind, um vorherzusagen, wie gut dieses Gehirn abschneiden wird. Betrachten Sie diese Regeln wie ein Rezeptbuch, das Ihnen genau sagt, wie viel Sie von jeder Zutat benötigen, um einen perfekten Kuchen zu backen.

Das berühmteste Rezept, bekannt als das „Chinchilla-Gesetz“, legte nahe, dass die Gehirngröße und die Datenmenge wie zwei separate Freunde agieren, die in verschiedenen Räumen arbeiten. Es ging davon aus, dass sich die Verdoppelung der Gehirngröße in der Leistung gleich stark auswirkt, unabhängig davon, wie viele Daten vorhanden sind, und umgekehrt. Dies machte die Mathematik einfach und half Forschern dabei, ihre massiven Budgets zu planen. Doch genau wie bei einem echten Rezept könnte diese Annahme zu simpel sein. Was wäre, wenn das Gehirn und die Daten tatsächlich miteinander kommunizieren müssen? Was wäre, wenn ein größeres Gehirn anders lernt, wenn es mehr Bücher zum Lesen hat? Wenn wir diese Beziehung falsch verstehen, verschwenden wir unter Umständen Millionen von Dollar für das Training von Modellen, die entweder zu klein für ihre Daten oder zu groß für ihre Gehirne sind, was zu enttäuschenden Ergebnissen führt.

Das neue „Skaling“-Gesetz: Wenn Zutaten sich vermischen

In dieser Arbeit stellen die Forscher des FAIR-Labs von Meta ein neues, verbessertes Rezept vor, das Skaling law (ausgesprochen „ske-IH-ling“). Sie entdeckten, dass das alte „Chinchilla“-Rezept einen verborgenen Fehler hatte: Es behandelte Modellgröße und Daten so, als wären sie völlig unabhängig voneinander, und ignorierte dabei, dass sie sich tatsächlich gegenseitig beeinflussen.

Um dies zu visualisieren, stellen Sie sich vor, Sie versuchen vorherzusagen, wie schnell ein Auto fahren wird. Die alte Regel besagte: „Die Geschwindigkeit hängt von der Motorgröße UND der Menge an Kraftstoff ab, jeweils separat.“ Die neue Forschung zeigt jedoch, dass ein größerer Motor die Art und Weise, wie er Kraftstoff nutzt, tatsächlich verändert. Wenn Sie einen winzigen Motor haben, hilft mehr Kraftstoff nicht viel. Aber wenn Sie einen riesigen Motor haben, macht dieser zusätzliche Kraftstoff einen gewaltigen Unterschied. Die alte Mathematik übersah diesen „Kopplungseffekt“, was zu großen Fehlern bei der Vorhersage der Leistung an den Extrempunkten führte – etwa wenn man ein riesiges Modell mit sehr wenig Daten oder ein winziges Modell mit einem Berg an Daten hat.

Die Autoren fanden heraus, dass sie dieses Problem lösen konnten, indem sie lediglich eine einzige Zahl (einen „Kopplungsexponenten“) zur Gleichung hinzufügten. Diese neue Zahl fungiert wie ein „Mischregler“, der die Gehirngröße und das Datenvolumen miteinander verbindet. Anstatt ihre Effekte wie zwei separate Sandhaufen nebeneinander zu addieren, multipliziert das neue Gesetz sie auf eine Weise, die anerkennt, dass sie als Team arbeiten.

Was sie herausfanden: Intelligentere Vorhersagen mit weniger Aufwand

Die Forscher testeten dieses neue Gesetz mit zwei massiven Datensätzen, die sie Farseer und SK-Grid nannten. Diese Datensätze enthielten hunderte verschiedener Experimente, die von kleinen Modellen mit 100 Millionen Parametern bis hin zu gigantischen Modellen mit Milliarden reichten, trainiert auf allem von 1 Milliarde bis zu Hunderten von Milliarden Wörtern.

Hier ist, was sie entdeckten:

Das alte Gesetz war an den Rändern falsch: Als sie sich die Fehler ansah, war das alte Chinchilla-Gesetz in der Mitte der Datenordnung akzeptabel, versagte aber kläglich an den Rändern. Es über- oder unterschätzte die Leistung massiv, wenn die Modellgröße und die Datenmenge unausgewogen waren. Das neue Skaling-Gesetz hingegen blieb überall genau, wodurch es den Vorhersagefehler im Vergleich zur alten Methode um das 1,5- bis 3-fache reduzierte.
Eine „sparse“ (dünnbesetzte) Art des Trainings: Eine der faszinierendsten Entdeckungen ist, dass man nicht jede einzelne mögliche Kombination aus Gehirngröße und Daten trainieren muss, um die Regeln zu verstehen. Der alte Weg erforderte ein „vollständiges Gitter“ an Experimenten, was unglaublich teuer ist. Das neue Skaling-Gesetz funktioniert genauso gut, wenn man nur auf den „L-förmigen“ Kanten des Gitters trainiert – das heißt, man testet nur kleine Modelle mit vielen Daten und große Modelle mit sehr wenig Daten. Diese „sparse“ Strategie ermöglicht es Forschern, die Leistung massiver, teurer Modelle mit etwa 10-mal weniger Rechenleistung vorherzusagen als zuvor.
Bessere Ressourcenallokation: Da das neue Gesetz versteht, wie das Gehirn und die Daten interagieren, liefert es eine genauere Antwort auf die Frage: „Wie viele Daten sollte ich meinem Modell füttern?“ Das alte Gesetz schlug ein festes Verhältnis vor (wie etwa 20 Wörter pro Neuron), aber das neue Gesetz legt nahe, dass sich dieses Verhältnis je nach Skalierung tatsächlich ändern sollte. Für einige Datensätze verschiebt sich das optimale Verhältnis signifikant, wenn die Modelle größer werden, was bedeutet, dass der alte Rat Unternehmen dazu führen könnte, Geld zu verschwenden.

Warum das wichtig ist

Das Paper behauptet nicht, die gesamte KI gelöst zu haben, aber es deutet darauf an, dass die Art und Weise, wie wir derzeit unsere Trainingsbudgets planen, leicht daneben liegen könnte. Durch die Erkenntnis, dass Modellgröße und Daten ein gekoppeltes Team statt unabhängiger Arbeiter sind, bietet das Skaling-Gesetz einen robusteren und ressourceneffizienteren Rahmen. Es ermöglicht Forschern, bessere Vermutungen darüber anzustellen, wie ihre nächsten Generationen von Modellen abschneiden werden, ohne tausende teure Experimente durchführen zu müssen.

Kurz gesagt zeigen die Autoren, dass eine einfache Anpassung der Mathematik – das Hinzufügen eines einzigen „Misch-Parameters“ – die systematischen Fehler beseitigt, die das Feld geplagt haben. Das bedeutet, dass wir bessere Modelle schneller und kostengünstiger bauen können, indem wir verstehen, dass in der Welt der KI die Größe des Gehirns und die Menge des Lesestoffs untrennbar miteinander verknüpft sind.

Technisches Resümee: Skaling – Wenn Chinchillas Exponenten auf Kaplans Kopplung treffen

Problemstellung
Skalierungsgesetze sind grundlegend für die Vorhersage der Leistung von Large Language Models (LLMs) und die Optimierung von Rechenbudgets. Die Standardformulierung des Chinchilla-Gesetzes (Hoffmann et al., 2022) beruht jedoch auf einer strukturellen Annahme, dass die Modellgröße ( $N$ ) und das Trainingsdatenvolumen ( $D$ ) die Loss unabhängig voneinander beeinflussen. Mathematisch erzwingt diese additive Form ( $L = A/N^\alpha + B/D^\beta + E$ ) eine verschwindende gemischte Ableitung ( $\partial^2 L / \partial N \partial D = 0$ ).

Die Autoren zeigen, dass diese Unabhängigkeitsannahme zu systematischen Vorhersagefehlern führt. Während das Chinchilla-Gesetz im Inneren des Trainingsgitters gut funktioniert, weist es an den Rändern (Extrema von $N$ und $D$ ) einen „sattelförmigen“ Residuenfehler auf. Konkret unterschätzt es den Loss in einigen Randfällen systematisch und überschätzt ihn in anderen, wodurch es die Interaktion zwischen Modellkapazität und Datenvolumen nicht erfassen kann. Dieses Versagen ist entscheidend für die Ressourcenallokation, da es zu inakkuraten Extrapolationen für Frontier-Modelle führt, bei denen $N$ und $D$ oft im Ungleichgewicht stehen.

Methodik
Um dies zu adressieren, führen die Autoren das Skaling-Gesetz ein, eine verallgemeinerte funktionale Form, die Modellgröße und Daten durch einen einzigen Interaktionsexponenten ( $k$ ) koppelt. Die Formulierung ist definiert als:

$L(N, D) = \left( \frac{A}{N^\alpha} + \frac{B}{D^\beta} \right)^k + E$

Kopplungsmechanismus: Wenn $k=1$ , stellt das Gesetz die rein additive Chinchilla-Form wieder her. Wenn $k \neq 1$ , führt es die Kopplung wieder ein, die im früheren Kaplan-Modell (Kaplan et al., 2020) zu finden war, behält aber die interpretierbaren unabhängigen inneren Exponenten ( $\alpha, \beta$ ) von Chinchilla bei.
Theoretische Begründung: Die Autoren analysieren die Verlustoberflächen-Ableitungen mittels Moving Least Squares (MLS)-Schätzern auf dem Farseer-Datensatz. Sie zeigen, dass die gemischte Ableitung $\partial^2 L / \partial N \partial D$ ungleich Null ist und einem Potenzgesetz folgt, was auf einen synergistischen Effekt hindeutet: Die gleichzeitige Skalierung von $N$ und $D$ reduziert den Loss stärker, als die Skalierung von nur einem der beiden Parameter allein. Die Skaling-Form reproduziert diesen nicht-null werdenden gemischten Ableitungsterm auf natürliche Weise.
Strategie des spärlichen Profilings (L-Form): Die Autoren schlagen eine effiziente Stichprobenstrategie vor, um diese Gesetze anzupassen. Anstatt eines dichten, quadratischen Gitters nutzen sie ein „L-förmiges“ Gitter, das das Training auf die Bereiche mit geringem Rechenaufwand beschränkt: das Durchlaufen des Datenvolumens ( $D$ ) für kleine Modelle und das Durchlaufen der Modellgröße ( $N$ ) für kleine Datenbudgets. Die theoretische Analyse legt nahe, dass das asymptotische Verhalten der Verlustfunktion ausreicht, um die Parameter für das gesamte Gitter über diese Randläufe hinweg zu bestimmen.

Wesentliche Beiträge

Skaling-Formulierung: Einführung eines einzelnen Kopplungsexponenten ( $k$ ), der die Rand-Biase additiver Gesetze korrigiert und gleichzeitig die Interpretierbarkeit sowie die geschlossene Form der rechenoptimalen Allokationsregel bewahrt.
Validierung des spärlichen Profilings: Nachweis, dass das Skaling-Gesetz eine hohe Vorhersagegenauigkeit beibehält, wenn es auf einem L-förmigen Gitter angepasst wird. Dabei benötigt es etwa 10-mal weniger Rechenleistung als ein vollständiges Grid-Sweep, erreicht aber bei Interpolation und einachsiger Extrapolation die Genauigkeit oder nähert sich den Chinchilla-Fits eines vollen Gitters an.
Empirische Validierung: Rigorose Kreuzvalidierung über zwei Datensätze (Farseer und ein benutzerdefinierter SK-Grid), die zeigt, dass Skaling den mittleren absoluten prozentualen Fehler (MAPE) im Vergleich zu Chinchilla um den Faktor 1,5–3 reduziert, insbesondere in Extrapolationsregimen.

Ergebnisse

Fehlerreduktion: Auf dem Farseer-Datensatz reduzierte Skaling den MAPE für die einachsige Extrapolation von 1,48 % (Chinchilla) auf 0,47 % und für die weite Extrapolation von 2,46 % auf 2,31 %. Auf dem SK-Grid waren die Verbesserungen noch ausgeprägter: Der Fehler bei der weiten Extrapolation sank auf dem vollen Gitter von 5,17 % auf 0,70 % und auf dem L-Shape-Gitter von 14,63 % auf 1,15 %.
Parameterstabilität: Der gefittete Kopplungsexponent $k$ liegt konsistent im Bereich von 0,31–0,45 (kleiner als 1), was die nicht-additive Interaktion bestätigt. Der irreduzible Verlustboden ( $E$ ) ist ebenfalls systematisch niedriger als bei Chinchilla-Fits und nähert sich auf den Farseer-Daten oft Null an, was darauf hindeutet, dass der Kopplungsterm eine Krümmung absorbiert, die zuvor dem Verlustboden zugeschrieben wurde.
Rechen-Extrapolation: In einem Test zur Vorhersage der teuersten Läufe aus günstigen Daten (Iso-Ratio-Slices) erreichte Skaling einen gepoolten MAPE von 0,60 % und übertraf damit das additive Chinchilla-Gesetz (2,34 %) sowie das komplexere neun-Parameter-Farseer-Gesetz (0,80 %).
Implikationen für die Allokation: Das durch Skaling abgeleitete optimale Token-zu-Parameter-Verhältnis ( $D^*/N^*$ ) unterscheidet sich signifikant von der Vorhersage von Chinchilla. Für den Farseer-Datensatz sagt Skaling ein Verhältnis voraus, das mit der Rechenskala abnimmt, während Chinchilla ein nahezu konstantes Verhältnis vorhersagt. Bei Frontier-Skalen führt dies zu einer 10-fachen Diskrepanz in der empfohlenen Allokation.

Bedeutung
Das Paper argumentiert, dass die Unabhängigkeitsannahme in Standard-Skalierungsgesetzen einen strukturellen Fehler darstellt, der genau dort systematische Fehler verursacht, wo sie am wichtigsten sind: in den unausgewogenen Extremen des Modelltrainings. Durch die Einführung eines minimalen Kopplungsparameters bietet das Skaling-Gesetz einen robusteren Rahmen für die Leistungsvorhersage.

Entscheidend ist, dass die Autoren behaupten, dass eine zuverlässige Skalierungsvorhersage keine massiven, dichten empirischen Sweeps mehr erfordert. Die Kombination aus der Skaling-Form und der L-Shape-Sampling-Strategie ermöglicht eine genaue Full-Grid-Extrapolation mit einem Bruchteil des Rechenbudgets. Dies bietet einen ressourceneffizienten Weg für die Allokation von Rechenbudgets beim Training von Modellen der nächsten Generation und ermöglicht es Forschern, fundierte Entscheidungen auf Basis von Experimenten im kleinen Maßstab zu treffen.

Der große Balanceakt: Wie KI lernt

Das neue „Skaling“-Gesetz: Wenn Zutaten sich vermischen

Was sie herausfanden: Intelligentere Vorhersagen mit weniger Aufwand

Warum das wichtig ist

Mehr davon