🤖 machine learning

When to use what Schatten- $p$ norm in deep learning?

Ce document résout les observations contradictoires concernant les optimiseurs de norme de Schatten- $p$ en démontrant que, tandis que les méthodes de Schatten- $\infty$ comme Muon excellent dans les contextages de haute dimension, les géométries de Schatten- $p$ plus petites sont en réalité optimales dans les régimes de faible dimension tels que le passage à l'échelle Chinchilla, une découverte appuyée par de nouveaux résultats d'accélération robustes au bruit pour $p>2$ qui expliquent également l'absence de besoin de chauffe de Muon et sa préférence pour les grands lots.

Auteurs originaux : Thomas Pethick

Publié 2026-06-16

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Thomas Pethick

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Grande Question : Quel « Réglet » Devons-Nous Utiliser ?

Imaginez que vous essayiez de trouver le point le plus bas d'une vaste vallée embrumée (c'est le modèle d'IA qui tente d'apprendre). Pour ce faire, vous avez besoin d'un « réglet » pour mesurer la pente du terrain et décider dans quelle direction faire un pas.

Dans le monde du deep learning, il existe différents types de réglets, appelés normes de Schatten-p.

Schatten-2 (Euclidienne) : C'est le réglet standard, la ligne droite que nous utilisons habituellement (comme l'optimiseur appelé Adam).
Schatten-∞ (Le réglet « Muon ») : C'est un réglet spécial et rigide qui ne s'intéresse qu'à la seule falaise la plus abrupte du paysage. Récemment, une méthode appelée Muon (utilisant ce réglet) est devenue très populaire car elle semblait fonctionner incroyablement vite dans certains tests.
Schatten-p (Les réglets « Goldilocks » ou « Juste Milieu ») : Ce sont des réglets intermédiaires, qui mesurent la pente d'une manière qui n'est ni trop molle, ni trop rigide.

La Confusion :
Les gens se disputaient pour savoir quel réglet était le meilleur.

Certains disaient : « Muon (Schatten-∞) est incroyable ! C'est le plus rapide ! »
D'autres disaient : « Non, Muon est surévalué. Les méthodes standard fonctionnent mieux quand nous entraînons sur de très grandes quantités de données. »

La Réponse de l'Article :
L'auteur, Thomas Pethick, dit : « Vous avez tous les deux raison, mais vous regardez des vallées de tailles différentes. »

Le meilleur réglet dépend entièrement de la taille du problème par rapport à la quantité de données dont vous disposez.

Les Deux Régimes : Petits Bassins vs Grands Océans

L'article divise le monde en deux scénarios principaux :

1. Le Régime « Faible Dimensionnel » (Le Petit Bassin)

Ce que c'est : Cela se produit lorsque vous avez un modèle relativement petit ou une session d'entraînement courte (comme les « speedruns » sur de petits jeux mentionnés dans l'article). Le nombre d'étapes que vous effectuez (données) est bien plus grand que la complexité du modèle.
L'Analogie : Imaginez que vous marchez dans un petit jardin bien éclairé. Vous pouvez voir tout le chemin.
Le Meilleur Réglet : Dans ce scénario, le réglet Schatten-∞ (Muon) n'est pas réellement le meilleur. Étonnamment, un réglet p plus petit (plus proche du réglet euclidien standard) est plus rapide.
Pourquoi ? Parce que dans un petit jardin, vous n'avez pas besoin d'être hyper-concentré sur la seule falaise la plus abrupte. Vous avez besoin d'une approche plus fluide et plus équilibrée pour accélérer rapidement. L'article prouve que l'utilisation d'un réglet plus « mou » ici vous donne un boost de vitesse.

2. Le Régime « Haute Dimensionnel » (Le Grand Océan)

Ce que c'est : Ce sont les sessions d'entraînement massives utilisées pour les énormes modèles d'IA (comme les LLM) où le modèle est incroyablement complexe et les données sont vastes.
L'Analogie : Imaginez que vous naviguez sur un immense océan sombre avec des milliers d'îles. Vous ne pouvez pas voir toute la carte.
Le Meilleur Réglet : Ici, le réglet Schatten-∞ (Muon) brille. Il est conçu pour gérer la « rugosité » spécifique de ces paysages massifs et complexes.
Le Piège : Pour faire fonctionner Muon dans ce grand océan, vous avez besoin d'une taille de lot (batch size) énorme (en regardant une tranche très large de l'océan à la fois). Si vous essayez d'utiliser Muon avec une petite taille de lot dans ce régime, il échoue.

Le Secret de la « Taille de Lot » (Batch Size)

L'une des découvertes clés de l'article concerne la Taille de Lot (le nombre d'exemples que l'IA regarde avant de faire un pas).

La Règle : L'article dérive une règle mathématique montrant que lorsque vous changez de réglet (de $p=2$ à $p=\infty$ ), la taille de lot idéale doit changer aussi.
La Métaphore : Pensez au réglet comme à un bateau.
- Un petit bateau (Réglet Standard) peut naviguer avec une petite équipe (petite taille de lot).
- Un immense paquebot (Muon/Schatten-∞) a besoin d'une équipe gigantesque (taille de lot massive) pour rester stable et avancer vite. Si vous essayez de faire naviguer un paquebot avec seulement deux personnes, il tournera simplement en rond.
L'Intuition : Cela explique pourquoi Muon fonctionne très bien pour les « speedruns » (où les gens utilisent des lots massifs sur de petits modèles) mais peine dans certains benchmarks à grande échelle (où la taille de lot n'est peut-être pas augmentée suffisamment pour la géométrie spécifique).

Pourquoi avons-nous besoin de « Warmups » (Périodes de chauffe) ?

Vous avez peut-être entendu que certains entraîneurs d'IA ont besoin d'un « warmup » (commencer doucement et accélérer).

La Découverte de l'Article : Le réglet Schatten-∞ (Muon) est si robuste qu'il n'a pas besoin de warmup. Il peut démarrer à pleine vitesse immédiatement.
Le Contraste : Si vous utilisez un réglet $p$ plus petit dans le régime de faible dimension, vous bénéficiez réellement d'une phase de warmup pour lancer l'accélération.

La Connexion « Chinchilla »

L'article relie cela à une règle célèbre de l'IA appelée mise à l'échelle Chinchilla, qui dit : « À mesure que vous obtenez plus de données, vous devriez agrandir votre modèle. »

Le Rebondissement : L'article soutient que même avec la mise à l'échelle Chinchilla, nous sommes souvent encore dans le « Régime Faible Dimensionnel » (le petit jardin).
Le Résultat : Parce que nous sommes souvent dans ce régime du « petit jardin », utiliser le Muon standard (Schatty-∞) pourrait en fait être moins efficace que d'utiliser un optimiseur à norme $p$ finie (comme HTMuon ou Soft-Muon). Cela explique pourquoi de nouvelles méthodes utilisant des réglets plus « mous » commencent à battre Muon dans certains tests à grande échelle.

Résumé : Comment Choisir Votre Réglet

L'article conclut par un guide simple :

Si vous êtes dans un régime « Faible Dimensionnel » (petits modèles, ou quand la quantité de données est énorme par rapport à la taille du modèle) :
- N'utilisez pas automatiquement l'extrême Schatten-∞ (Muon).
- Envisagez d'utiliser une norme Schatten- $p$ finie (un réglet plus « mou »). Cela accélère plus vite et gère mieux le bruit.
- Note : Vous pourriez même vouloir changer de réglet pendant l'entraînement ! Commencez avec un réglet « dur » et passez à un plus « mou » plus tard.
Si vous êtes dans un régime « Haute Dimensionnel » (complexité massive) :
- Le Schatten-∞ (Muon) est probablement le bon choix, MAIS vous devez utiliser une taille de lot très grande pour le faire fonctionner.

L'Essentiel : Il n'existe pas un seul « meilleur » optimiseur. Le meilleur outil dépend de la taille du problème et de la quantité de données dont vous disposez. La confusion dans la communauté existait parce que les gens testaient les outils dans différents « régimes » sans s'en rendre compte.

Résumé technique : « Quand utiliser quelle norme de Schatten- $p$ en apprentissage profond ? »

Énoncé du problème

Les optimiseurs basés sur la norme Schatten- $\infty$ , tels que Muon, ont démontré des performances empiriques prometteuses dans des contextes spécifiques d'apprentissage profond, particulièrement lors de sessions d'entraînement courtes ou avec de grands lots (batches). Cependant, des observations contradictoires existent concernant leur utilité générale. Bien qu'ils excellent dans certains régimes (par exemple, les "speedruns" sur CIFAR-10), ils ne surpassent pas systématiquement les méthodes standards comme Adam ou SGD dans les scénarios d'entraînement à grande échelle avec des budgets de tokens étendus. De plus, des variantes récentes utilisant des normes Schatten- $p$ finies (par exemple, HTMuon, Soft-Muon) ont montré des résultats compétitifs ou supérieurs, remettant en question la nécessité d'utiliser exclusivement la norme Schatten- $\infty$ .

La question centrale abordée est la suivante : Quelle norme Schatten- $p$ un optimiseur doit-il utiliser, et sous quels régimes d'entraînement est-elle optimale ? Les cadres théoriques existants, spécifiquement le cadre SODA (Schedule-free Optimistic Dual Averaging), manquaient de la capacité d'analyser les géométries de $p$ -normes pour $p > 2$ sous un bruit stochastique, laissant le mécanisme du succès de Muon et ses limites théoriquement inexpliqués.

Méthodologie

L'article étend le cadre SODA (Pethick et al., 2026), qui unifie les composants modernes d'optimisation tels que l'optimisme de la moyenne duale (optimistic dual averaging), le momentum de Nesterov et la décroissance du poids (weight decay). Les auteurs généralisent l'analyse de SODA à des fonctions de référence $p$ -uniformément convexes pour $p \ge 2$ , couvrant à la fois les géométries de vecteurs $\ell_p$ et de matrices Schatten- $p$ .

Les composantes méthodologiques clés incluent :

Modèle algorithmique : L'analyse utilise une règle de mise à jour primal-dual où la carte duale est définie par le gradient de la conjuguée de Fenchel d'une fonction de référence $h(x) = \frac{1}{p}\|x - z_0\|_p^p$ $h (x) = \frac{1}{p} ∥ x - z_{0} ∥_{p}^{p}$ .
- Pour $p=2$ , cela recupère la géométrie euclidienne.
- Pour $p \to \infty$ , cela recupère l'oracle de minimisation linéaire (LMO) utilisé par Muon ( $UV^\top$ ).
- Pour un $p$ fini $> 2$ , cela correspond à des méthodes comme HTMuon et Soft-Muon.
Hypothèses de bruit : L'analyse intègre des hypothèses de bruit à queue lourde (heavy-tailed noise), supposant spécifiquement que les gradients satisfont une condition de moment $r$ ( $r \in (1, 2]$ ). Cela permet de dériver des taux de convergence qui dépendent de l'exposant dual $q = p/(p-1)$ .
Analyse de régime : Les auteurs dérivent des bornes de complexité d'oracle sous deux régimes distincts :
- Déterministe : Où le bruit est négligeable.
- Stochastique : Où le bruit est présent, et où la taille des lots est ajustée pour gérer la variance.
Lois d'échelle (Scaling Laws) : Les bornes théoriques sont appliquées aux lois d'échelle modernes de l'apprentissage profond (par exemple, Chinchilla), reliant le budget total de tokens $N$ à la dimension effective $d$ des matrices du modèle.

Contributions clés

1. Accélération robuste au bruit pour un $p$ arbitraire

Les auteurs prouvent que SODA atteint des taux de convergence accélérés pour l'optimisation sur des géométries de $p$ -normes tout en restant robuste au bruit stochastique. Ils établissent un taux indépendant de la dimension :
$O\left( \frac{L_p R_p^2}{n^{1+2/p}} + \frac{\sigma_q R_p}{n^{1/p}} \right)$
Ce résultat révèle un lien fondamental entre le choix de la géométrie $p$ et la lourdeur des queues de distribution du bruit (via l'exposant dual $q$ ). C'est présenté comme le premier résultat d'accélération robuste au bruit pour des géométries de $p$ -normes arbitraires.

2. Règles de mise à l'échelle de la taille des lots (Batch Size)

En analysant la complexité d'oracle sous une variance bornée ( $r=2$ ), l'article dérive une règle de mise à l'échelle de la taille des lots dépendante de la norme : pour un budget total d'oracle $N$ fixé, la taille de lot optimale $B_p$ évolue comme :
$B_p \asymp N^{2(p-1)/(3p-2)}$

Pour $p=2$ (Euclidien), $B_2 \asymp N^{1/2}$ .
Pour $p \to \infty$ (Schatten- $\infty$ ), $B_\infty \asymp N^{2/3}$ .
Cela explique pourquoi les méthodes Schatten- $\infty$ comme Muon nécessitent empiriquement des tailles de lots plus grandes pour réaliser leurs bénéfices.

3. Optimalité dépendante du régime

L'article résout le conflit concernant l'utilité de Muon en montrant que le choix optimal de $p$ est dépendant du régime, déterminé par la relation entre la dimension effective $d$ et le budget d'oracle $N$ :

Régime de haute dimension ( $N \lesssim d$ ) : Faire correspondre la géométrie à la lissité du problème est favorable. Si l'objectif est lisse dans la norme Schatten- $\infty$ , utiliser $p \to \infty$ est optimal.
Régime de basse dimension ( $N \gtrsim d$ ) : Des valeurs de $p$ $p$ plus petites sont préférables.
- Dans les contextes déterministes, $p=2$ (Euclidien) offre une accélération plus forte.
- Dans les contextes stochastiques avec un bruit à queue lourde, la plus petite géométrie admissible $p = r/(r-1)$ est optimale en raison d'un meilleur alignement avec les hypothèses de bruit.

4. Implications pour les lois d'échelle (Scaling Laws)

Les auteurs connectent ces régimes théoriques aux lois d'échelle modernes (par exemple, Chinchilla). Sous les recettes de mise à l'échelle typiques où la taille du modèle augmente linéairement avec les tokens ( $N$ ), le rang effectif des matrices de poids croît comme $d \propto N^{1/3}$ . Par conséquent, $N \gg d$ , plaçant l'entraînement à grande échelle standard fermement dans le régime de basse dimension.

Conclusion : Dans ce régime, un $p$ plus petit (Schatten- $p$ fini) est théoriquement préférable à Schatten- $\infty$ . Cela fournit une explication théorique de la raison pour laquelle l'avantage de Muon diminue à mesure que l'échelle augmente et pourquoi les optimiseurs à $p$ fini (HTMuon, Soft-Muon) émergent comme de sérieux concurrents.

Résultats et importance

L'article prétend résoudre la contradiction apparente dans la performance empirique des optimiseurs Schatten- $\infty$ . La signification de ce travail réside dans :

Unification théorique : Fournir un cadre unique (SODA) qui explique le comportement de Muon, Soft-Muon et des optimiseurs euclidiens à travers le prisme de la géométrie des $p$ -normes.
Explication des phénomènes empiriques :
- Warmup : L'analyse explique pourquoi les méthodes Schatten- $\infty$ ne nécessitent pas de warmup du pas de tir (le pas effectif décroît comme $k^{-1}$ ), alors que les géométries de $p$ plus petits présentent une phase de type warmup.
- Taille de lot : Elle quantifie la nécessité de grands lots pour les méthodes Schatten- $\infty$ et fournit une règle de mise à l'échelle pour un $p$ arbitraire.
- Échelle : Elle offre une base théorique à l'observation selon laquelle les méthodes Schatten- $\infty$ pourraient ne pas passer à l'échelle aussi bien que prévu sous des recettes de type Chinchilla, suggérant que la nature "basse dimension" de l'entraînement des LLM modernes favorise un $p$ fini.
Conseils pratiques : Les résultats suggèrent une stratégie de commutation potentielle où $p$ pourrait être ajusté pendant l'entraînement (en commençant près de $\infty$ et en passant à un $p$ fini à mesure que le budget $N$ dépasse la dimension $d$ ), s'alignant sur les programmes empiriques récents comme Soft-Muon.

Les auteurs conservent un ton modeste, notant que leur analyse repose sur des conversions de normes dans le pire des cas et que des relations plus fines, dépendantes du problème, pourraient affiner les frontières entre les régimes. Ils laissent l'exploration pratique de la commutation dynamique de $p$ comme travail futur.