🤖 machine learning

When to use what Schatten- $p$ norm in deep learning?

Diese Arbeit löst widersprüchliche Beobachtungen bezüglich Schatten- $p$ -Norm-Optimierern auf, indem sie zeigt, dass während Schatten- $\infty$ -Methoden wie Muon in hochdimensionalen Settings exzellieren, kleinere Schatten- $p$ -Geometrien in niedrigdimensionalen Regimen wie dem Chinchilla-Scaling tatsächlich optimal sind, ein Befund, der durch neue rauschresistente Beschleunigungsergebnisse für $p>2$ gestützt wird, welche zudem Muons fehlende Warmup-Anforderung und seine Präferenz für große Batches erklären.

Ursprüngliche Autoren: Thomas Pethick

Veröffentlicht 2026-06-16

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Thomas Pethick

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Frage: Welches „Lineal“ sollten wir benutzen?

Stellen Sie sich vor, Sie versuchen, den tiefsten Punkt in einem riesigen, nebligen Tal zu finden (das ist das KI-Modell, das zu lernen versucht). Um dies zu tun, benötigen Sie ein „Lineal“, um zu messen, wie steil der Boden ist, und um zu entscheiden, in welche Richtung Sie einen Schritt setzen sollen.

In der Welt des Deep Learning gibt es verschiedene Arten von Linealen, die man Schatten-p-Normen nennt.

Schatten-2 (Euklidisch): Dies ist das Standard-Lineal, das gerade Linien misst, welches wir normalerweise verwenden (wie der Optimizer namens Adam).
Schatten-∞ (Das „Muon“-Lineal): Dies ist ein spezielles, starres Lineal, das sich nur um die einzelne, steilste Klippe in der Landschaft kümmert. Vor kurzem wurde eine Methode namens Muon (die dieses Lineal verwendet) sehr populär, weil sie in einigen Tests unglaublich schnell zu sein schien.
Schatten-p (Die „Goldlöckchen“-Lineale): Dies sind Lineale dazwischen, die die Steigung auf eine Weise messen, die weder zu weich noch zu starr ist.

Die Verwirrung:
Die Leute stritten darüber, welches Lineal am besten sei.

Einige sagten: „Muon (Schatten-∞) ist fantastisch! Es ist das Schnellste!“
Andere sagten: „Nein, Muon wird überbewertet. Standardmethoden funktionieren besser, wenn wir mit riesigen Mengen an Daten trainieren.“

Die Antwort der Arbeit:
Der Autor, Thomas Pethick, sagt: „Ihr habt beide recht, aber ihr schaut auf unterschiedliche Größen des Tals.“

Das beste Lineal hängt völlig von der Größe des Problems im Verhältnis zur Menge der Daten ab, die Sie haben.

Die zwei Regime: Kleine Pools vs. Große Ozeane

Die Arbeit unterteilt die Welt in zwei Hauptszenarien:

1. Das „niedrigdimensionale“ Regime (Der kleine Pool)

Was es ist: Dies geschieht, wenn Sie ein relativ kleines Modell oder einen kurzen Trainingslauf haben (wie die „Speedruns“ bei kleinen Spielen, die in der Arbeit erwähnt werden). Die Anzahl der Schritte, die Sie machen (Daten), ist viel größer als die Komplexität des Modells.
Die Analogie: Stellen Sie sich vor, Sie gehen durch einen kleinen, gut beleuchteten Garten. Sie können den ganzen Pfad sehen.
Das beste Lineal: In diesem Szenario ist das Schatten-∞-Lineal (Muon) tatsächlich nicht das Beste. Überraschenderweise ist ein kleineres p-Lineal (näher am Standard-Euklidischen Lineal) schneller.
Warum? Weil Sie in einem kleinen Garten nicht hyperfokussiert auf eine einzige steile Klippe sein müssen. Sie brauchen einen glatteren, ausgewogeneren Ansatz, um schnell zu beschleunigen. Die Arbeit beweist, dass die Verwendung eines „weicheren“ Lineals hier einen Geschwindigkeitsschub gibt.

2. Das „hochdimensionale“ Regime (Der große Ozean)

Was es ist: Dies sind die massiven Trainingsläufe, die für riesige KI-Modelle (wie LLMs) verwendet werden, bei denen das Modell unglaublich komplex und die Daten gewaltig sind.
Die Analogie: Stellen Sie sich vor, Sie navigieren durch einen riesigen, dunklen Ozean mit tausenden von Inseln. Sie können die ganze Karte nicht sehen.
Das beste Lineal: Hier glänzt das Schatten-∞-Lineal (Muon). Es ist darauf ausgelegt, die spezifische „Rauheit“ dieser massiven, komplexen Landschaften zu bewältigen.
Der Haken: Um Muon in diesem großen Ozean zum Laufen zu bringen, benötigen Sie eine riesige Batch-Größe (man muss gleichzeitig einen sehr breiten Schnitt des Ozeans betrachten). Wenn Sie versuchen, Muon mit einer kleinen Batch-Größe in diesem Regime zu verwenden, scheitert es.

Das „Batch-Größen“-Geheimnis

Einer der wichtigsten Erkenntnisse der Arbeit betrifft die Batch-Größe (wie viele Beispiele die KI betrachtet, bevor sie einen Schritt macht).

Die Regel: Die Arbeit leitet eine mathematische Regel ab, die zeigt, dass sich die ideale Batch-Größe ändern muss, wenn Sie Ihr Lineal ändern (von $p=2$ zu $p=\infty$ ).
Die Metapher: Denken Sie an das Lineal als ein Boot.
- Ein kleines Boot (Standard-Lineal) kann mit einer kleinen Besatzung (kleine Batch-Größe) navigieren.
- Ein massives Kreuzfahrtschiff (Muon/Schatten-∞) braucht eine riesige Besatzung (massive Batch-Größe), um stabil zu bleiben und schnell zu fahren. Wenn Sie versuchen, ein Kreuzfahrtschiff mit nur zwei Personen zu steuern, wird es sich nur im Kreis drehen.
Die Einsicht: Dies erklärt, warum Muon bei „Speedruns“ (wo Menschen massive Batches auf kleinen Modellen verwenden) großartig funktioniert, aber in einigen groß angelegten Benchmarks (wo die Batch-Größe für die spezifische Geometrie vielleicht nicht genug hoch skaliert wurde) Schwierigkeiten hat.

Warum brauchen wir „Warmups“?

Sie haben vielleicht gehört, dass einige KI-Trainer ein „Warmup“ benötigen (langsam anfangen und dann schneller werden).

Das Ergebnis der Arbeit: Das Schatten-∞-Lineal (Muon) ist so robust, dass es kein Warmup benötigt. Es kann sofort mit voller Geschwindigkeit starten.
Der Kontrast: Wenn Sie ein kleineres $p$ -Lineal im niedrigdimensionalen Regime verwenden, profitieren Sie doch von einer Warmup-Phase, um die Beschleunigung in Gang zu bringen.

Die „Chinchilla“-Verbindung

Die Arbeit verbindet dies mit einer berühmten Regel in der KI namens Chinchilla-Skalierung, die besagt: „Wenn Sie mehr Daten bekommen, sollten Sie Ihr Modell größer machen.“

Die Wendung: Die Arbeit argumenttiert, dass wir uns selbst mit Chinchilla-Skalierung oft noch im „niedrigdimensionalen Regime“ (dem kleinen Garten) befinden.
Das Ergebnis: Da wir uns oft in diesem „kleinen Garten“-Regime befinden, könnte die Verwendung des Standard-Muon (Schatten-∞) tatsächlich weniger effizient sein als die Verwendung eines endlichen $p$ -Norm-Optimizers (wie HTMuon oder Soft-Muon). Dies erklärt, warum neuere Methoden, die „weichere“ Lineale verwenden, Muon in einigen groß angelegten Tests zu übertreffen beginnen.

Zusammenfassung: Wie man sein Lineal wählt

Die Arbeit schließt mit einem einfachen Leitfaden ab:

Wenn Sie sich in einem „niedrigdimensionalen“ Regime befinden (kleine Modelle oder wenn die Menge der Daten im Vergleich zur Modellgröße riesig ist):
- Verwenden Sie nicht automatisch das extreme Schatten-∞ (Muon).
- Erwägen Sie stattdessen die Verwendung einer endlichen Schatten- $p$ -Norm (ein „weicheres“ Lineal). Es beschleunigt schneller und geht besser mit Rauschen um.
- Hinweis: Sie möchten vielleicht sogar das Lineal während des Trainings wechseln! Beginnen Sie mit einem „harten“ Lineal und wechseln Sie später zu einem „weicheren“.
Wenn Sie sich in einem „hochdimensionalen“ Regime befinden (massive Komplexität):
- Ist das Schatten-∞ (Muon) wahrscheinlich die richtige Wahl, ABER Sie müssen eine sehr große Batch-Größe verwenden, damit es funktioniert.

Das Fazente Fazit: Es gibt keinen einzelnen „besten“ Optimizer. Das beste Werkzeug hängt von der Größe des Problems und der Menge der Daten ab, die Sie haben. Die Verwirrung in der Community entstand, weil Menschen die Werkzeuge in unterschiedlichen „Regimen“ getestet haben, ohne es zu merken.

Technisches Resümee: „Wann welche Schatten- $p$ -Norm im Deep Learning verwenden?“

Problemstellung

Schatten- $\infty$ -basierte Optimierer, wie etwa Muon, haben in spezifischen Deep-Learning-Settings, insbesondere bei kurzen Trainingsläufen oder großen Batch-Größen, eine vielversprechende empirische Leistung gezeigt. Es bestehen jedoch widersprüchliche Beobachtungen hinsichtlich ihres allgemeinen Nutzens. Während sie in bestimmten Regimen (z. B. CIFAR-10 Speedruns) exzellent abschneiden, übertreffen sie Standardmethoden wie Adam oder SGD nicht konsistent in groß angelegten Trainingsszenarien mit umfangreichen Token-Budgets. Darüber hinaus haben jüngste Varianten, die endliche Schatten- $p$ -Normen nutzen (z. B. HTMuon, Soft-Muon), kompetitive oder überlegene Ergebnisse gezeigt, was die Notwendigkeit der ausschließlichen Verwendung der Schatten- $\infty$ -Norm infrage stellt.

Die zentrale Frage, die adressiert wird, lautet: Welche Schatten- $p$ -Norm sollte ein Optimierer verwenden, und unter welchen Trainingsregimen ist diese optimal? Bestehende theoretische Rahmenwerke, speziell das SODA-Framework (Schedule-free Optimistic Dual Averaging), waren nicht in der Lage, $p$ -Norm-Geometrien für $p > 2$ unter stochastischem Rauschen zu analysieren, wodurch der Mechanismus hinter dem Erfolg von Muon und dessen Limitationen theoretisch ungeklärt blieb.

Methodik

Das Paper erweitert das SODA-Framework (Pethick et al., 2026), welches moderne Optimierer-Komponenten wie Optimistic Dual Averaging, Nesterov-Momentum und Weight Decay vereinheitlicht. Die Autoren verallgemeinern die Analyse von SODA auf $p$ -gleichmäßig konvexe Referenzfunktionen für $p \ge 2$ , was sowohl Vektor- $\ell_p$ - als auch Matrix-Schatten- $p$ -Geometrien abdeckt.

Zentrale methodische Komponenten sind:

Algorithmisches Template: Die Analyse nutzt eine Primal-Dual-Update-Regel, bei der die Dual-Abbildung durch den Gradienten der Fenchel-Konjugierten einer Referenzfunktion $h(x) = \frac{1}{p}\|x - z_0\|_p^p$ $h (x) = \frac{1}{p} ∥ x - z_{0} ∥_{p}^{p}$ definiert ist.
- Für $p=2$ wird die euklidische Geometrie wiederhergestellt.
- Für $p \to \infty$ wird das Linear Minimization Oracle (LMO) wiederhergestellt, das in Muon verwendet wird ( $UV^\top$ ).
- Für endliches $p > 2$ entspricht dies Methoden wie HTMuon und Soft-Muon.
Rauschannahmen: Die Analyse bezieht heavy-tailed Rauschen (schweres Rauschen) mit ein, indem sie annimmt, dass Gradienten eine $r$ -Moment-Bedingung erfüllen ( $r \in (1, 2]$ ). Dies ermöglicht die Ableitung von Konvergenzraten, die von der dualen Exponenten $q = p/(p-1)$ abhängen.
Regime-Analyse: Die Autoren leiten Oracle-Komplexitätsschranken unter zwei distinkten Regimen her:
- Deterministisch: Wo Rauschen vernachlässigbar ist.
- Stochastisch: Wo Rauschen vorhanden ist und Batch-Größen skaliert werden, um die Varianz zu kontrollieren.
Skalierungsgesetze: Die theoretischen Schranken werden auf moderne Deep-Learning-Skalierungsregeln (z. B. Chinchilla) angewendet, wobei das gesamte Token-Budget $N$ mit der effektiven Dimension $d$ der Modellmatrizen in Beziehung gesetzt wird.

Zentrale Beiträge

1. Rauschrobuste Beschleunigung für beliebiges $p$

Die Autoren beweisen, dass SODA beschleunigte Konvergenzraten für die Optimierung über $p$ -Norm-Geometrien erreicht und gleichzeitig robust gegenüber stochastischem Rauschen bleibt. Sie etablieren eine dimensionsfreie Rate:
$O\left( \frac{L_p R_p^2}{n^{1+2/p}} + \frac{\sigma_q R_p}{n^{1/p}} \right)$
Dieses Ergebnis offenbart eine fundamentale Verbindung zwischen der Wahl der Geometrie $p$ und der Schwere der Rausch-Tails (via des dualen Exponenten $q$ ). Dies wird als das erste rauschrobuste Beschleunigungsergebnis für beliebige $p$ -Norm-Geometrien präsentiert.

2. Batch-Size-Skalierungsregeln

Durch die Analyse der Oracle-Komplexität unter begrenzter Varianz ( $r=2$ ) leitet das Paper eine normabhängige Batch-Size-Skalierungsregel ab: Für ein festes totales Oracle-Budget $N$ skaliert die optimale Batch-Größe $B_p$ als:
$B_p \asymp N^{2(p-1)/(3p-2)}$

Für $p=2$ (Euklidisch), $B_2 \asymp N^{1/2}$ .
Für $p \to \infty$ (Schatten- $\infty$ ), $B_\infty \asymp N^{2/3}$ .
Dies erklärt, warum Schatten- $\infty$ -Methoden wie Muon empirisch größere Batches benötigen, um ihre Vorteile zu realisieren.

3. Regime-abhängige Optimalität

Das Paper löst den Konflikt bezüglich des Nutzens von Muon auf, indem es zeigt, dass die optimale Wahl von $p$ regime-abhängig ist, bestimmt durch die Beziehung zwischen der effektiven Dimension $d$ und dem Oracle-Budget $N$ :

Hochdimensionale Regime ( $N \lesssim d$ ): Die Anpassung der Geometrie an die Glattheit des Problems ist vorteilhaft. Wenn das Zielproblem in der Schatten- $\infty$ -Norm glatt ist, ist die Verwendung von $p \to \infty$ optimal.
Niedrigdimensionale Regime ( $N \gtrsim d$ ): Kleinere Werte von $p$ $p$ sind bevorzugt.
- In deterministischen Settings bietet $p=2$ (Euklidisch) eine stärkere Beschleunigung.
- In stochastischen Settings mit Heavy-Tailed-Rauschen ist die kleinste zulässige Geometrie $p = r/(r-1)$ optimal, da sie besser mit den Rauschannahmen korreliert.

4. Implikationen für Skalierungsgesetze

Die Autoren verbinden diese theoretischen Regime mit modernen Skalierungsgesetzen (z. B. Chinchilla). Unter typischen Skalierungsrezepten, bei denen die Modellgröße linear mit den Tokens skaliert ( $N$ ), wächst der effektive Rang der Gewichtmatrizen als $d \propto N^{1/3}$ . Folglich gilt $N \gg d$ , was das Standardtraining im großen Maßstab fest im niedrigdimensionalen Regime verortet.

Fazur: In diesem Regime ist ein kleineres $p$ (finite Schatten- $p$ ) theoretisch vorzuziehen gegenüber Schatten- $\infty$ . Dies liefert eine theoretische Erklärung dafür, warum der Vorteil von Muon bei zunehmender Skalierung abnimmt und warum Finite- $p$ -Optimierer (HTMuon, Soft-Muon) als starke Konkurrenten hervortreten.

Ergebnisse und Bedeutung

Das Paper behauptet, den scheinbaren Widerspruch in der empirischen Leistung von Schatten- $\infty$ -Optimierern aufgelöst zu haben. Die Bedeutung der Arbeit liegt in:

Theoretische Vereinheitlichung: Bereitstellung eines einheitlichen Frameworks (SODA), das das Verhalten von Muon, Soft-Muon und euklidischen Optimierern durch die Linse der $p$ -Norm-Geometrie erklärt.
Erklärung empirischer Phänomene:
- Warmup: Die Analyse erklärt, warum Schatten- $\infty$ -Methoden kein Schrittweiten-Warmup benötigen (die effektive Schrittweite sinkt als $k^{-1}$ ), während kleinere $p$ -Geometrien eine Warmup-ähnliche Phase aufweisen.
- Batch Size: Es quantifiziert die Notwendigkeit großer Batches für Schatten- $\infty$ -Methoden und liefert eine Skalierungsregel für beliebiges $p$ .
- Skalierung: Es bietet eine theoretische Basis für die Beobachtung, dass Schatten- $\infty$ -Methoden unter Chinchilla-ähnlichen Rezepten möglicherweise nicht so gut skalieren wie erwartet, was darauf hindeutet, dass die „niedrigdimensionale“ Natur des modernen LLM-Trainings ein endliches $p$ begünstigt.
Praktische Orientierung: Die Ergebnisse legen eine potenzielle Switching-Strategie nahe, bei der $p$ während des Trainings angepasst werden könnte (beginnend nahe $\infty$ und Wechsel zu einem endlichen $p$ , sobald das Budget $N$ die Dimension $d$ übersteigt), was mit jüngsten empirischen Schedules wie Soft-Muon übereinstimmt.

Die Autoren bewahren einen bescheidenen Ton und merken an, dass ihre Analyse auf Worst-Case-Normkonversionen beruht und schärfere, problemabhängige Beziehungen die Grenzen zwischen den Regimen verfeinern könnten. Sie überlassen die praktische Untersuchung des dynamischen $p$ -Switching der zukünftigen Forschung.