📊 statistics

On the Optimizer Dependence of Neural Scaling Laws

Dieser Artikel zeigt, dass der Skalierungsexponent in den neuronalen Skalierungsgesetzen keine feste Konstante ist, sondern systematisch vom Optimierer abhängt, wobei vorkonditionierte Verfahren im Vergleich zum Standard-Gradientenabstieg zu deutlich steileren Leistungsgewinnen führen, insbesondere unter spektralen Bedingungen, die für natürliche Sprache charakteristisch sind.

Ursprüngliche Autoren: Vansh Ramani, Shourya Vir Jain

Veröffentlicht 2026-05-29

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Vansh Ramani, Shourya Vir Jain

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Es geht nicht nur um die Größe, sondern darum, wie man lernt

Stellen Sie sich vor, Sie versuchen, eine riesige Menge an Informationen zu lernen (wie das Lesen jedes Buches in einer Bibliothek). In der Welt der Künstlichen Intelligenz (KI) gibt es eine Regel, die als Scaling Law (Skalierungsgesetz) bezeichnet wird. Diese Regel besagt: „Wenn Sie das KI-Gehirn größer machen (mehr Neuronen hinzufügen), wird es schlauer, aber das Ausmaß der Verbesserung folgt einer spezifischen, vorhersagbaren Kurve."

Lange Zeit glaubten Wissenschaftler, diese Kurve sei festgelegt. Sie waren der Meinung, dass man bei einer Verdopplung der KI-Größe einen bestimmten, unveränderlichen Verbesserungsschub erhält, egal welches Werkzeug man zum Lehren verwendet.

Dieses Paper sagt: „Tatsächlich verändert das Werkzeug, mit dem Sie die KI unterrichten, die Kurve."

Das „Werkzeug" heißt Optimizer (Optimierer). Stellen Sie sich den Optimierer als den Lehrer oder die Lernmethode vor. Das Paper argumentiert, dass einige Lehrer so viel besser darin sind, den Lernprozess zu organisieren, dass sie die KI nicht nur schneller lernen lassen; sie verändern tatsächlich die fundamentale Mathematik dahinter, wie viel die KI verbessert, je größer sie wird.

Die Analogie: Die Bibliothek und der Bibliothekar

Um die Erkenntnisse des Papers zu verstehen, verwenden wir eine Analogie mit einer Bibliothek und einem Bibliothekar.

1. Die Bibliothek (Die Daten)

Stellen Sie sich die Daten vor, die die KI lernen muss, als eine Bibliothek.

Die „steile" Bibliothek: Die meisten Bücher handeln von einem beliebten Thema (wie „Wie man Brot backt"), und nur sehr wenige Bücher handeln von obskuren Themen (wie „Mossanbau im 18. Jahrhundert"). In der realen Welt ist dies wie Sprache: Ein paar Wörter werden ständig verwendet, und Millionen werden selten verwendet. Dies wird als steiles Spektrum bezeichnet.
Die „flache" Bibliothek: Jedes Thema hat genau die gleiche Anzahl an Büchern. Dies ist in der Natur selten, aber leicht vorstellbar.

2. Der Schüler (Das KI-Modell)

Die KI ist ein Schüler, der versucht, diese Bücher zu lesen, um eine Prüfung zu bestehen. Der Schüler hat eine begrenzte Menge an Zeit (Rechenleistung) und ein begrenztes Gedächtnis (Modellgröße).

3. Die Lehrer (Die Optimierer)

Hier wird das Paper interessant. Die Autoren testeten verschiedene „Lehrer" (Optimierer), um zu sehen, wie sie dem Schüler beim Lernen helfen.

Lehrer A (Standard Gradient Descent / GD): Dieser Lehrer ist wie ein Schüler, der die Bibliothek in Reihenfolge liest. Er liest zuerst die beliebten „Brot"-Bücher, weil sie leicht zu finden sind. Bis er zu den „Mossanbau"-Büchern kommt, ist die Zeit abgelaufen.
- Ergebnis: Er wird gut im Brotbacken, aber schrecklich im Mossanbau. Wenn die Bibliothek größer wird, bleibt er bei den beliebten Dingen stecken und ignoriert den Rest. Seine Verbesserungskurve flacht schnell ab.
Lehrer B (Preconditioned Optimizer wie Muon/Full NG): Dieser Lehrer ist ein genialer Organisator. Er erkennt, dass die „Moss"-Bücher, obwohl sie selten sind, dennoch wichtig sind. Er verwendet eine spezielle Karte (einen Preconditioner), um die „Moss"-Bücher genauso leicht erreichbar zu machen wie die „Brot"-Bücher. Er zwingt den Schüler, alles gleichmäßig zu lernen.
- Ergebnis: Der Schüler lernt ein wenig von allem. Da er keine Zeit nur mit den beliebten Dingen verschwendet, wird er mit wachsender Bibliothek viel schlauer.

Die zentrale Entdeckung: Der „magische Multiplikator"

Das Paper führte Computerexperimente durch (unter Verwendung eines vereinfachten mathematischen Modells namens „random-feature regression"), um genau zu messen, wie viel schlauer die Schüler wurden.

Sie stellten fest, dass, wenn die Bibliothek ein steiles Spektrum hat (wie die menschliche Sprache, bei der einige Dinge sehr häufig und viele selten sind):

Lehrer A (Standard) stößt an eine Wand. Der Schüler hört nach einer bestimmten Größe weitgehend auf, sich zu verbessern.
Lehrer B (Fortgeschritten) klettert weiter. Der Schüler wird mit jedem Schritt nach oben in der Größe deutlich schlauer.

Die „magische" Zahl:
Das Paper maß eine Zahl namens $\alpha$ (Alpha). Diese Zahl repräsentiert die „Verbesserungsrate".

Für den Standard-Lehrer war $\alpha$ niedrig (etwa 0,12).
Für den fortgeschrittenen Lehrer war $\alpha$ viel höher (etwa 0,31).

Warum ist das wichtig?
Da diese Zahlen Exponenten sind, erzeugt ein kleiner Unterschied im Laufe der Zeit eine riesige Lücke.

Wenn Sie die Größe der KI mit dem Standard-Lehrer verdoppeln, erhalten Sie einen kleinen Schub.
Wenn Sie die Größe mit dem fortgeschrittenen Lehrer verdoppeln, erhalten Sie einen 2,6-mal größeren Schub.
Wenn Sie die Größe weiter verdoppeln, holt der fortgeschrittene Lehrer immer weiter auf. Es ist wie Zinseszins: Der Vorteil wächst mit jedem Schritt.

Der Haken: Es hängt von der Bibliothek ab

Das Paper stellte auch eine entscheidende Bedingung fest: Dieser Vorteil tritt nur auf, wenn die Bibliothek „steil" ist.

Wenn die Bibliothek steil ist (wie echte Sprache): Der fortgeschrittene Lehrer ist ein Game-Changer. Er behebt das Ungleichgewicht und ermöglicht der KI ein effizientes Lernen.
Wenn die Bibliothek flach ist (alles ist gleich): Der Standard-Lehrer leistet bereits gute Arbeit, da es kein Ungleichgewicht zu beheben gibt. Der fortgeschrittene Lehrer bietet hier nicht viel zusätzliche Hilfe.

Was ist mit echter KI? (Die „offene Frage")

Die Autoren betonen sorgfältig, dass ihre Ergebnisse aus einem vereinfachten mathematischen Modell stammen, nicht aus einer echten, riesigen KI wie den heutigen von Google oder OpenAI eingesetzten Modellen.

Sie erkennen einen Konflikt in der realen Welt an:

Einige neuere Studien besagen, dass fortgeschrittene Lehrer (wie Muon) in kleinen Maßstäben großartig sind, aber ihr Vorteil verschwindet, sobald die KI riesig wird.
Dieses Paper legt nahe, dass in ihrem vereinfachten Modell der Vorteil weiterhin wachsen sollte.

Die Schlussfolgerung:
Das Paper schlägt vor, dass der in der realen Welt beobachtete „schwindende Vorteil" möglicherweise daher rührt, dass echte KI Merkmale selbstständig lernt (und damit die Bibliotheksstruktur verändert), während ihr Modell davon ausgeht, dass die Bibliothek gleich bleibt.

Zusammenfassung für die breite Öffentlichkeit

Der Mythos: „Größere KI wird immer mit einer festen Rate schlauer."
Die Realität: Die Rate, mit der KI schlauer wird, hängt stark vom mathematischen Werkzeug (Optimizer) ab, das zum Trainieren verwendet wird.
Die Entdeckung: Fortgeschrittene Werkzeuge können wie ein „Spektrum-Equalizer" wirken. Sie verhindern, dass die KI seltene, aber wichtige Informationen ignoriert, und ermöglichen ihr, mit dem Wachstum viel effizienter zu lernen.
Die Bedingung: Diese Superkraft funktioniert am besten, wenn die Daten „unausgewogen" sind (wie die menschliche Sprache). Wenn die Daten perfekt ausgewogen sind, helfen die ausgefallenen Werkzeuge nicht viel.
Die Zukunft: Wir müssen dies an echten, riesigen KI-Modellen testen, um zu sehen, ob der „magische Multiplikator" standhält oder ob er verschwindet, sobald die Modelle massiv werden.

Kurz gesagt: Die Wahl des richtigen Lehrers lässt den Schüler nicht nur schneller lernen; sie verändert die Obergrenze dafür, wie schlau der Schüler werden kann.

Technische Zusammenfassung: Zur Abhängigkeit der neuronalen Skalierungsgesetze vom Optimierer

Problemstellung
Neuronale Skalierungsgesetze besagen, dass der Testverlust $L$ als Potenzgesetz mit der Modellgröße $N$ abnimmt ( $L(N) \propto N^{-\alpha}$ ), wobei der Exponent $\alpha$ traditionell als feste Konstante behandelt wird, die durch Architektur und Datenverteilung bestimmt ist. Diese Annahme bildet die Grundlage für Strategien zur Zuweisung von Rechenleistung bei Frontier-Modellen. Neuere empirische Ergebnisse bezüglich Optimierern zweiter Ordnung (z. B. Muon, SOAP, Shampoo) liefern jedoch widersprüchliche Belege: Einige deuten auf signifikante Rechengeschwindigkeitsvorteile gegenüber AdamW hin, während andere darauf hindeuten, dass diese Gewinne mit zunehmender Modellgröße nachlassen. Dieser Beitrag untersucht eine fundamentale Frage: Verbessern fortschrittliche Optimierer lediglich den konstanten Faktor des Skalierungsgesetzes, oder verändern sie den Skalierungsexponenten $\alpha$ selbst grundlegend? Falls sich $\alpha$ verschiebt, sind die Implikationen für Skalierungsprognosen tiefgreifend, da Exponentenänderungen sich mit jeder Verdopplung der Modellgröße potenzieren, wohingegen Verbesserungen des konstanten Faktors dies nicht tun.

Methodik
Die Autoren untersuchen diese Frage im Rahmen des Random-Feature-Regression-Frameworks (Maloney et al., 2022; Bordelon et al., 2024). Dieses theoretische Setting isoliert die Wechselwirkung zwischen der spektralen Struktur der Daten, der Prädiktion durch den Optimierer und der Modellkapazität, indem die Gewichte der Merkmale festgelegt und nur die linearen Gewichte der obersten Schicht trainiert werden.

Experimenteller Aufbau: Die Studie simuliert Regressionsaufgaben mit Eingaben, die aus einer Gaußschen Verteilung mit Potenzgesetz-Eigenwerten $\lambda_i \propto i^{-(1+s)}$ gezogen werden, wobei $s$ der Spektral-Exponent ist. Natürliche Sprachdaten sind durch $s \approx 0,8\text{--}1,2$ charakterisiert.
Optimierer-Varianten: Fünf Optimierer werden als Gradienten-Präkonditionierer implementiert:
1. GD: Basislinie (Identitäts-Präkonditionierer).
2. Diagonal: Stellvertreter für AdamW ( $P = \text{diag}(F^\top F)^{-1/2}$ ).
3. Full NG: Stellvertreter für Shampoo/K-FAC ( $P = (F^\top F)^{-1}$ ).
4. Sign-GD: Eine negative Kontrolle unter Verwendung von Vorzeichen-Updates.
5. Matrix-Sign: Stellvertreter für Muon ( $P = (F^\top F)^{-1/2}$ ), der Singulärwerte ausgleicht.
Protokoll: Die Experimente durchlaufen sechs spektrale Bedingungen ( $s \in [0,25, 2,0]$ ) und acht Modellgrößen ( $N \in [25, 5000]$ ). Skalierungsexponenten $\alpha$ werden mittels Ordinary Least Squares (OLS) auf Log-Log-Diagrammen von Verlust gegen Modellgröße für $N \ge 200$ angepasst.

Hauptbeiträge

Systematische Messung: Der Beitrag liefert die erste systematische Messung von $\alpha$ als gemeinsame Funktion des Optimiertertyps und des spektralen Abklingens der Daten über fünf Präkonditionierer-Varianten hinweg.
Mechanistische Erklärung: Er bietet eine spektrale Heuristik (Proposition 1), die erklärt, dass präkonditionierte Optimierer die Lernraten pro Modus ausgleichen. Während Gradientenabstieg (GD) bei hochvarianzen Modi „übermäßig ausgibt" und bei niedrigvarianzen Modi „zu wenig ausgibt", retten Präkonditionierer unterversorgte Modi und erhöhen die bei gegebenem $N$ genutzte effektive Kapazität.
Spektrale Diagnose: Die Autoren schlagen eine Diagnoseregel vor: Der Nutzen der Präkonditionierung hängt von der spektralen Steilheit $s$ ab. Der Vorteil ist für flache Spektren ( $s < 0,3$ ) vernachlässigbar, wächst jedoch signifikant mit zunehmendem $s$ .
Falsifizierbare Vorhersage: Der Beitrag sagt voraus, dass das Training auf künstlich flach-spektralen Daten (z. B. durch Whitening) dazu führen sollte, dass der Vorteil fortschrittlicher Optimierer wie Muon schrumpft oder verschwindet.

Ergebnisse

Abhängigkeit von $\alpha$ vom Optimierer: Präkonditionierte Optimierer liefern konsistent steilere Skalierung (größeres $\alpha$ ) als GD. Die Reihenfolge ist im Allgemeinen $\alpha_{\text{Full NG}} \approx \alpha_{\text{Matrix-Sign}} > \alpha_{\text{Diagonal}} > \alpha_{\text{Sign-GD}} \approx \alpha_{\text{GD}}$ .
Abhängigkeit vom Spektrum: Die Lücke $\Delta \alpha = \alpha_{\text{precond}} - \alpha_{\text{GD}}$ $Δ α = α_{precond} - α_{GD}$ nimmt mit dem Spektral-Exponenten $s$ $s$ zu.
- Bei $s \approx 1,0$ (charakteristisch für natürliche Sprache) erreicht Full Natural Gradient $\alpha \approx 0,31$ gegenüber $\alpha \approx 0,12$ für GD, was einem um den Faktor $2,6$ größeren angepassten Exponenten entspricht.
- Bei $s \approx 0,5$ verlaufen die Kurven nahezu parallel, und der Vorteil nimmt ab.
- Bei $s \approx 2,0$ kollabiert der Exponent von GD auf nahezu Null ( $\alpha \approx 0,01$ ), während präkonditionierte Optimierer graceful degradieren ( $\alpha \approx 0,20$ ).
Rechen-Multiplikatoren: Bei der Übersetzung der $\alpha$ -Verschiebung in einen effektiven Rechen-Multiplikator sagt das Random-Feature-Modell einen erheblichen parameteräquivalenten Vorteil für starke Präkonditionierer bei $s \approx 1,0$ voraus. Dies stimmt in Richtung mit jüngsten empirischen Berichten über Rechengeschwindigkeitsvorteile von $\sim 1,4\times$ für Muon gegenüber AdamW bei moderaten Skalen überein (Chen et al., 2025).

Bedeutung und Behauptungen
Der Beitrag argumentiert, dass Skalierungsgesetz-Prognosen die Wahl des Optimierers berücksichtigen müssen. Falls präkonditionierte Optimierer den Exponenten $\alpha$ verändern, könnten unter AdamW kalibrierte Prognosen die Skalierungserträge für Modelle, die mit fortschrittlichen Optimierern trainiert wurden, erheblich unterschätzen.

Die Autoren nehmen jedoch eine bescheidene Haltung bezüglich der Übertragbarkeit dieser Erkenntnisse auf große LLMs ein:

Einschränkungen: Das Random-Feature-Modell operiert in einem „faulen" (lazy) Regime (feste Merkmale) und lässt Tiefe, Aufmerksamkeit und Tokenisierung außer Acht.
Skalen-Abklingen: Der Beitrag erkennt widersprüchliche Belege (Wen et al., 2025) an, die darauf hindeuten, dass der Vorteil von Muon/SOAP bei sehr großen Skalen (z. B. 1,2 Mrd. Parameter) nachlassen kann. Die Autoren schlagen vor, dass diese Abschwächung auf endliche- $N$ -Effekte, das natürliche Milderung spektraler Ungleichgewichte durch Merkmalslernen oder Änderungen im effektiven Datenspektrum bei großen Skalen zurückzuführen sein könnte.
Fazit: Der Hauptbeitrag besteht darin, festzustellen, dass der Skalierungsexponent keine feste Konstante des Architektur-Daten-Paares ist, sondern systematisch von der Wechselwirkung des Optimierers mit dem Datenspektrum abhängt. Der Beitrag fordert eine Validierung an realen Modellen, um zu bestimmen, ob diese Exponentenverschiebung im „reichen" Regime des Merkmalslernens bestehen bleibt oder abschwächt.