📊 statistics

On the Optimizer Dependence of Neural Scaling Laws

Cet article démontre que l'exposant d'échelle dans les lois d'échelle neuronales n'est pas une constante fixe mais dépend systématiquement de l'optimiseur, les méthodes préconditionnées produisant des gains de performance nettement plus prononcés que la descente de gradient standard, en particulier dans des conditions spectrales caractéristiques du langage naturel.

Auteurs originaux : Vansh Ramani, Shourya Vir Jain

Publié 2026-05-29

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Vansh Ramani, Shourya Vir Jain

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'Idée Principale : Ce n'est pas seulement une question de taille, c'est une question de Comment vous apprenez

Imaginez que vous essayez d'apprendre une quantité massive d'informations (comme lire tous les livres d'une bibliothèque). Dans le monde de l'Intelligence Artificielle (IA), nous avons une règle appelée une Loi d'Échelle. Cette règle dit : « Si vous rendez votre cerveau IA plus grand (en ajoutant plus de neurones), il devient plus intelligent, mais la mesure de cette amélioration suit une courbe spécifique et prévisible. »

Pendant longtemps, les scientifiques ont pensé que cette courbe était fixe. Ils croyaient que si vous doubliez la taille de l'IA, vous obtiendriez une quantité d'amélioration spécifique et immuable, peu importe l'outil utilisé pour l'enseigner.

Ce papier dit : « En fait, l'outil que vous utilisez pour enseigner à l'IA modifie la courbe. »

L'« outil » s'appelle un optimiseur. Pensez à l'optimiseur comme au professeur ou à la méthode d'étude. Le papier soutient que certains professeurs sont tellement meilleurs pour organiser le processus d'apprentissage qu'ils ne font pas seulement apprendre l'IA plus vite ; ils modifient en réalité les mathématiques fondamentales de la façon dont l'IA s'améliore à mesure qu'elle grandit.

L'Analogie : La Bibliothèque et le Bibliothécaire

Pour comprendre les découvertes du papier, utilisons une analogie avec une Bibliothèque et un Bibliothécaire.

1. La Bibliothèque (Les Données)

Imaginez que les données que l'IA doit apprendre sont une bibliothèque.

La Bibliothèque « Raide » : La plupart des livres portent sur un sujet populaire (comme « Comment faire du pain »), et très peu de livres traitent de sujets obscurs (comme « L'agriculture des mousses au XVIIIe siècle »). Dans le monde réel, c'est comme le langage : quelques mots sont utilisés constamment, et des millions sont utilisés rarement. On appelle cela un spectre raide.
La Bibliothèque « Plate » : Chaque sujet a exactement le même nombre de livres. C'est rare dans la nature mais facile à imaginer.

2. L'Étudiant (Le Modèle IA)

L'IA est un étudiant essayant de lire ces livres pour passer un examen. L'étudiant dispose d'une quantité limitée de temps (puissance de calcul) et d'une mémoire limitée (taille du modèle).

3. Les Professeurs (Les Optimiseurs)

C'est ici que le papier devient intéressant. Les auteurs ont testé différents « professeurs » (optimiseurs) pour voir comment ils aident l'étudiant à apprendre.

Professeur A (Descente de Gradient Standard / GD) : Ce professeur est comme un étudiant qui lit la bibliothèque dans l'ordre. Il lit d'abord les livres populaires sur le « pain » car ils sont faciles à trouver. Au moment où il arrive aux livres sur « l'agriculture des mousses », il manque de temps.
- Résultat : Il devient bon pour le pain, mais terrible pour les mousses. À mesure que la bibliothèque grandit, il reste bloqué sur les sujets populaires et ignore le reste. Sa courbe d'amélioration s'aplatit rapidement.
Professeur B (Optimiseurs Préconditionnés comme Muon/Full NG) : Ce professeur est un organisateur génial. Il réalise que même si les livres sur les « mousses » sont rares, ils sont toujours importants. Il utilise une carte spéciale (appelée un préconditionneur) pour rendre les livres sur les « mousses » aussi faciles à atteindre que les livres sur le « pain ». Il force l'étudiant à apprendre tout de manière égale.
- Résultat : L'étudiant apprend un peu de tout. Parce qu'il ne gaspille pas de temps uniquement sur les sujets populaires, il devient beaucoup plus intelligent à mesure que la bibliothèque grandit.

La Découverte Clé : Le « Multiplicateur Magique »

Le papier a mené des expériences informatiques (en utilisant un modèle mathématique simplifié appelé « régression à caractéristiques aléatoires ») pour mesurer exactement à quel point les étudiants devenaient plus intelligents.

Ils ont découvert que lorsque la bibliothèque a un spectre raide (comme le langage humain réel, où quelques choses sont très communes et beaucoup sont rares) :

Le Professeur A (Standard) atteint un mur. L'étudiant cesse de beaucoup s'améliorer après une certaine taille.
Le Professeur B (Avancé) continue de grimper. L'étudiant devient significativement plus intelligent à chaque augmentation de taille.

Le Nombre « Magique » :
Le papier a mesuré un nombre appelé $\alpha$ (alpha). Ce nombre représente le « taux d'amélioration ».

Pour le professeur standard, $\alpha$ était faible (environ 0,12).
Pour le professeur avancé, $\alpha$ était beaucoup plus élevé (environ 0,31).

Pourquoi cela compte-t-il ?
Parce que ces nombres sont des exposants, une petite différence crée un écart énorme au fil du temps.

Si vous doublez la taille de l'IA avec le professeur standard, vous obtenez un petit coup de pouce.
Si vous doublez la taille avec le professeur avancé, vous obtenez un coup de pouce 2,6 fois plus grand.
Si vous continuez à doubler la taille, le professeur avancé prend de plus en plus d'avance. C'est comme les intérêts composés : l'avantage grandit à chaque étape.

Le Problème : Cela Dépend de la Bibliothèque

Le papier a également trouvé une condition cruciale : Cet avantage ne se produit que si la bibliothèque est « raide ».

Si la bibliothèque est raide (comme le langage réel) : Le professeur avancé est un changement de donne. Il corrige le déséquilibre et permet à l'IA d'apprendre efficacement.
Si la bibliothèque est plate (tout est égal) : Le professeur standard fait déjà un bon travail car il n'y a pas de déséquilibre à corriger. Le professeur avancé n'offre pas beaucoup d'aide supplémentaire ici.

Qu'en est-il de l'IA Réelle ? (La « Question Ouverte »)

Les auteurs prennent soin de préciser que leurs résultats proviennent d'un modèle mathématique simplifié, et non d'une IA réelle et géante comme celles utilisées par Google ou OpenAI aujourd'hui.

Ils reconnaissent un conflit dans le monde réel :

Certaines études récentes indiquent que les professeurs avancés (comme Muon) sont excellents à petite échelle, mais que leur avantage s'estompe à mesure que l'IA devient énorme.
Ce papier suggère que dans leur modèle simplifié, l'avantage devrait continuer à croître.

La Conclusion :
Le papier propose que l'« avantage qui s'estompe » observé dans la vie réelle pourrait se produire parce que l'IA réelle apprend des caractéristiques par elle-même (modifiant la structure de la bibliothèque), alors que leur modèle suppose que la bibliothèque reste la même.

Résumé pour le Grand Public

Le Mythe : « Une IA plus grande devient toujours plus intelligente à un taux fixe. »
La Réalité : Le taux auquel l'IA devient plus intelligente dépend fortement de l'outil mathématique (optimiseur) utilisé pour l'entraîner.
La Découverte : Des outils avancés peuvent agir comme un « égaliseur spectral ». Ils empêchent l'IA d'ignorer des informations rares mais importantes, lui permettant d'apprendre beaucoup plus efficacement à mesure qu'elle grandit.
La Condition : Ce super-pouvoir fonctionne mieux lorsque les données sont « déséquilibrées » (comme le langage humain). Si les données sont parfaitement équilibrées, les outils sophistiqués n'aident pas beaucoup.
L'Avenir : Nous devons tester cela sur de vrais modèles d'IA géants pour voir si le « multiplicateur magique » tient bon ou s'il s'estompe à mesure que les modèles deviennent massifs.

En bref : Choisir le bon professeur ne fait pas seulement apprendre l'étudiant plus vite ; cela modifie le plafond de l'intelligence que l'étudiant peut atteindre.

Résumé technique : Sur la dépendance des lois d'échelle neuronales vis-à-vis de l'optimiseur

Énoncé du problème
Les lois d'échelle neuronales postulent que la perte de test $L$ diminue selon une loi de puissance en fonction de la taille du modèle $N$ ( $L(N) \propto N^{-\alpha}$ ), où l'exposant $\alpha$ est traditionnellement considéré comme une constante fixe déterminée par l'architecture et la distribution des données. Cette hypothèse sous-tend les stratégies d'allocation de calcul pour les modèles de pointe. Cependant, des résultats empiriques récents concernant les optimiseurs du second ordre (par exemple Muon, SOAP, Shampoo) présentent des preuves contradictoires : certains suggèrent des accélérations de calcul significatives par rapport à AdamW, tandis que d'autres indiquent que ces gains s'atténuent à mesure que la taille du modèle augmente. Cet article examine une question fondamentale : les optimiseurs avancés améliorent-ils simplement le facteur constant de la loi d'échelle, ou modifient-ils fondamentalement l'exposant d'échelle $\alpha$ lui-même ? Si $\alpha$ se déplace, les implications pour les prévisions d'échelle sont profondes, car les changements d'exposant se cumulent avec chaque doublement de la taille du modèle, tandis que les améliorations de facteur constant ne le font pas.

Méthodologie
Les auteurs examinent cette question dans le cadre de la régression à caractéristiques aléatoires (Maloney et al., 2022 ; Bordelon et al., 2024). Ce cadre théorique isole l'interaction entre la structure spectrale des données, la préconditionnement de l'optimiseur et la capacité du modèle en fixant les poids des caractéristiques et en n'entraînant que les poids linéaires de la couche supérieure.

Configuration expérimentale : L'étude simule des tâches de régression avec des entrées tirées d'une distribution gaussienne ayant des valeurs propres en loi de puissance $\lambda_i \propto i^{-(1+s)}$ , où $s$ est l'exposant spectral. Les données de langage naturel se caractérisent par $s \approx 0,8\text{--}1,2$ .
Variantes d'optimiseurs : Cinq optimiseurs sont implémentés comme préconditionneurs de gradient :
1. GD : Référence (préconditionneur identité).
2. Diagonal : Proxy pour AdamW ( $P = \text{diag}(F^\top F)^{-1/2}$ ).
3. Full NG : Proxy pour Shampoo/K-FAC ( $P = (F^\top F)^{-1}$ ).
4. Sign-GD : Un contrôle négatif utilisant des mises à jour de signe.
5. Matrix-Sign : Proxy pour Muon ( $P = (F^\top F)^{-1/2}$ ), qui égalise les valeurs singulières.
Protocole : Les expériences balayent six conditions spectrales ( $s \in [0,25, 2,0]$ ) et huit tailles de modèle ( $N \in [25, 5000]$ ). Les exposants d'échelle $\alpha$ sont ajustés par la méthode des moindres carrés ordinaires (OLS) sur des graphiques log-log de la perte en fonction de la taille du modèle pour $N \ge 200$ .

Contributions clés

Mesure systématique : L'article fournit la première mesure systématique de $\alpha$ en tant que fonction conjointe du type d'optimiseur et de la décroissance spectrale des données à travers cinq variantes de préconditionneurs.
Explication mécaniste : Il offre une heuristique spectrale (Proposition 1) expliquant que les optimiseurs préconditionnés égalisent les taux d'apprentissage par mode. Alors que la Descente de Gradient (GD) « surconsomme » sur les modes à haute variance et « sous-consomme » sur les modes à faible variance, les préconditionneurs sauvent les modes sous-desservis, augmentant la capacité effective utilisée à un $N$ donné.
Diagnostic spectral : Les auteurs proposent une règle de diagnostic : l'avantage du préconditionnement dépend de la raideur spectrale $s$ . L'avantage est négligeable pour les spectres plats ( $s < 0,3$ ) mais croît significativement à mesure que $s$ augmente.
Prédiction falsifiable : L'article prédit que l'entraînement sur des données à spectre artificiellement aplati (par exemple via un blanchiment) devrait faire rétrécir ou disparaître l'avantage des optimiseurs avancés comme Muon.

Résultats

Dépendance de $\alpha$ vis-à-vis de l'optimiseur : Les optimiseurs préconditionnés produisent systématiquement une échelle plus raide (plus grand $\alpha$ ) que la GD. L'ordre est généralement $\alpha_{\text{Full NG}} \approx \alpha_{\text{Matrix-Sign}} > \alpha_{\text{Diagonal}} > \alpha_{\text{Sign-GD}} \approx \alpha_{\text{GD}}$ .
Dépendance spectrale : L'écart $\Delta \alpha = \alpha_{\text{precond}} - \alpha_{\text{GD}}$ $Δ α = α_{precond} - α_{GD}$ augmente avec l'exposant spectral $s$ $s$ .
- À $s \approx 1,0$ (caractéristique du langage naturel), le Gradient Naturel Complet atteint $\alpha \approx 0,31$ contre $\alpha \approx 0,12$ pour la GD, représentant un exposant ajusté $2,6\times$ plus grand.
- À $s \approx 0,5$ , les courbes sont presque parallèles et l'avantage diminue.
- À $s \approx 2,0$ , l'exposant de la GD s'effondre vers zéro ( $\alpha \approx 0,01$ ), tandis que les optimiseurs préconditionnés se dégradent avec élégance ( $\alpha \approx 0,20$ ).
Multiplicateurs de calcul : En traduisant le déplacement de $\alpha$ en un multiplicateur de calcul effectif, le modèle à caractéristiques aléatoires prédit un avantage équivalent en paramètres substantiel pour les préconditionneurs puissants à $s \approx 1,0$ . Cela s'aligne directionnellement avec des rapports empiriques récents d'accélérations de calcul d'environ $1,4\times$ pour Muon par rapport à AdamW à des échelles modérées (Chen et al., 2025).

Signification et affirmations
L'article soutient que les prévisions de lois d'échelle doivent tenir compte du choix de l'optimiseur. Si les optimiseurs préconditionnés changent l'exposant $\alpha$ , les prévisions calibrées sous AdamW peuvent sous-estimer considérablement les rendements de l'échelle pour les modèles entraînés avec des optimiseurs avancés.

Cependant, les auteurs maintiennent une position modeste concernant le transfert de ces résultats aux grands modèles de langage (LLM) à grande échelle :

Limitations : Le modèle à caractéristiques aléatoires opère dans un régime « paresseux » (caractéristiques fixes) et omet la profondeur, l'attention et la tokenisation.
Déclin à l'échelle : L'article reconnaît des preuves contradictoires (Wen et al., 2025) suggérant que l'avantage de Muon/SOAP peut s'atténuer à des échelles très grandes (par exemple 1,2 milliard de paramètres). Les auteurs proposent que cette atténuation puisse être due à des effets de $N$ fini, à l'apprentissage de caractéristiques atténuant naturellement le déséquilibre spectral, ou à des changements dans le spectre de données effectif à grande échelle.
Conclusion : La contribution principale est d'établir que l'exposant d'échelle n'est pas une constante fixe de la paire architecture/données, mais dépend systématiquement de l'interaction de l'optimiseur avec le spectre des données. L'article appelle à une validation sur des modèles réels pour déterminer si ce déplacement d'exposant persiste ou s'atténue dans le régime « riche » de l'apprentissage de caractéristiques.