💻 computer science

Same Architecture, Different Capacity: Optimizer-Induced Spectral Scaling Laws

Cet article démontre que le choix de l'optimiseur modifie fondamentalement les lois d'échelle spectrales des modèles Transformer, révélant que des optimiseurs comme Muon peuvent atteindre une utilisation nettement supérieure de la capacité spectrale dans des régimes difficiles à apprendre par rapport à AdamW, établissant ainsi l'optimisation comme un axe critique et indépendant de mise à l'échelle des représentations qui rivalise avec la conception architecturale.

Auteurs originaux : Nandan Kumar Jha, Brandon Reagen

Publié 2026-05-22

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Nandan Kumar Jha, Brandon Reagen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous construisez une bibliothèque massive (un Modèle de Langage à Grande Échelle) pour stocker et récupérer les connaissances humaines. Vous avez un plan pour les étagères de la bibliothèque (l'Architecture), et vous avez un bibliothécaire qui organise les livres (l'Optimiseur).

Pendant des années, les chercheurs ont cru que si vous rendiez simplement la bibliothèque plus grande (en ajoutant plus d'étagères/de paramètres) et que vous lui donniez plus de livres (des données), le travail du bibliothécaire s'améliorerait automatiquement de manière prévisible. Ils supposaient que le type de bibliothécaire n'avait pas grande importance, tant qu'il faisait le travail.

Ce papier soutient que qui est le bibliothécaire compte autant que la taille de la bibliothèque. En fait, le bibliothécaire détermine comment les nouvelles étagères sont réellement utilisées.

Voici la répartition des découvertes du papier en utilisant des analogies simples :

1. Les Deux Types de « Capacité de Bibliothèque »

Les chercheurs ont examiné comment le modèle utilise son « espace cérébral » interne (spécifiquement les réseaux feed-forward, ou FFN). Ils ont mesuré cela de deux manières :

Rang Doux (La « Diffusion ») : Imaginez une bibliothèque où les livres sont répartis uniformément sur chaque étagère. L'espace est utilisé largement, mais peut-être pas en profondeur. C'est une capacité « diffuse ».
Rang Dur (La « Concentration ») : Imaginez une bibliothèque où les livres les plus importants, rares et complexes sont serrés sur des étagères spécifiques et de haute qualité, tandis que d'autres étagères sont vides. C'est une capacité « dominante ». Il s'agit d'avoir quelques moyens très puissants pour représenter des idées complexes.

2. Le Problème avec le « Bibliothécaire Standard » (AdamW)

Le bibliothécaire le plus courant, AdamW, est bon pour répartir les livres. Lorsqu'on lui donne une bibliothèque plus grande (plus de largeur), il remplit les étagères largement (le Rang Doux augmente).

Cependant, lorsqu'il s'agit des livres rares et difficiles (les tokens « Queue » — comme des faits obscurs ou des concepts complexes), AdamW peine à les organiser en étagères fortes et concentrées.

Le Résultat : Même si vous doublez la taille de la bibliothèque, AdamW ne double pas sa capacité à gérer les choses difficiles. Il étale simplement la confusion sur plus d'espace. Le papier appelle cela une « faible mise à l'échelle du rang dur ».

3. Le « Super Bibliothécaire » (Muon)

Les chercheurs ont testé un bibliothécaire différent appelé Muon.

Le Résultat : Lorsque Muon obtient une bibliothèque plus grande, il ne se contente pas d'étaler les choses. Il construit activement des étagères fortes et concentrées pour les livres rares et difficiles.
La Magie : Muon transforme l'espace ajouté en puissance utilisable beaucoup plus rapidement. Si la capacité d'AdamW à gérer les concepts difficiles croît lentement (comme une marche lente), celle de Muon croît en ligne droite (comme un sprint). Dans les termes du papier, Muon atteint une mise à l'échelle linéaire là où AdamW est coincé dans un schéma de croissance « faible ».

4. Le « Piège de la Perplexité » (Pourquoi nous avons manqué cela auparavant)

Vous pourriez demander : « Si Muon est tellement meilleur pour organiser, pourquoi ne l'avons-nous pas remarqué plus tôt ? N'obtient-il pas simplement des scores d'erreur plus bas ? »

Le papier révèle un piège : Vous pouvez avoir le même score final avec des structures internes totalement différentes.

Si vous entraînez le « Bibliothécaire Standard » (AdamW) pendant très longtemps, il peut éventuellement égaler le score de test final (perplexité) du « Super Bibliothécaire » (Muon).
Cependant : À l'intérieur du cerveau, ils sont complètement différents. Le Bibliothécaire Standard a une structure désordonnée et diffuse. Le Super Bibliothécaire a une structure nette et organisée.
La Conclusion : Le fait que deux modèles obtiennent le même score de test ne signifie pas qu'ils « pensent » de la même manière. Le Super Bibliothécaire construit en réalité une meilleure carte interne du monde, même si la note finale semble similaire.

5. Le Problème du « Livre Rare »

Le langage suit une distribution de la loi de Zipf : quelques mots sont utilisés constamment (comme « le » ou « est »), mais la plupart des mots sont rares.

AdamW va bien avec les mots courants mais se perd avec les rares.
Muon brille spécifiquement avec les connaissances rares et de la longue traîne. Il met à l'échelle sa capacité à gérer ces tokens rares presque parfaitement à mesure que le modèle grossit.

6. Le Bibliothécaire vs Le Plan (Architecture)

Les chercheurs ont demandé : « Le bibliothécaire est-il plus important que la conception de la bibliothèque ? »
Ils ont testé la modification de la conception de la bibliothèque (comme changer le nombre de têtes d'attention ou supprimer les signaux de position).

La Découverte : Changer le Bibliothécaire (l'optimiseur) a eu un impact plus grand sur la façon dont le modèle apprenait que changer le Plan (l'architecture).
En fait, un « Super Bibliothécaire » pouvait faire fonctionner une conception de bibliothèque standard mieux qu'un « Bibliothécaire Standard » ne pouvait faire fonctionner une nouvelle conception fancy. Le bibliothécaire et le plan sont une équipe ; vous ne pouvez pas simplement choisir un plan et supposer que n'importe quel bibliothécaire fera l'affaire.

Résumé

Le papier conclut que l'optimisation est un citoyen de première classe dans la conception de l'IA.

Ancienne Vision : « Rends le modèle plus grand, et il deviendra plus intelligent. »
Nouvelle Vision : « Rends le modèle plus grand, mais choisis le bon optimiseur pour s'assurer que cette taille supplémentaire se transforme réellement en intelligence utile et concentrée, en particulier pour les choses difficiles et rares. »

Si vous voulez un modèle qui comprend vraiment la « longue traîne » des connaissances humaines, vous ne pouvez pas vous fier uniquement aux outils standards. Vous avez besoin d'un optimiseur qui sait construire des étagères fortes et concentrées pour les livres difficiles, et pas seulement remplir l'espace vide.

Résumé Technique : Lois d'Échelle Spectrales Induites par l'Optimiseur

Énoncé du Problème

Les lois d'échelle classiques pour les grands modèles de langage (LLM) ont établi des relations prévisibles de type loi de puissance entre la perte de validation et des ressources telles que la taille du modèle, le volume de données et la puissance de calcul. Cependant, ces cadres traitent généralement l'optimiseur comme un détail fixe d'entraînement, en supposant qu'il n'influence que la vitesse de convergence ou agit comme un facteur d'efficacité multiplicatif. Cet article remet en question cette hypothèse, postulant que l'optimiseur est un axe fondamental de l'échelle des représentations. Plus précisément, les auteurs examinent dans quelle mesure différents optimiseurs convertissent efficacement l'augmentation de la largeur du réseau feed-forward (FFN) en capacité spectrale utilisée — la dimensionalité effective de l'espace latent. Ils se demandent si une perte de validation équivalente implique une géométrie de représentation interne équivalente, ou si différents optimiseurs réalisent la même capacité architecturale à travers des structures spectrales fondamentalement différentes.

Méthodologie

L'étude emploie un cadre d'analyse spectrale centré sur les spectres propres des représentations FFN au sein des architectures Transformer.

Métriques Spectrales : Les auteurs utilisent la famille des rangs effectifs de Rényi pour quantifier la dispersion spectrale. Ils ancrent leur analyse sur deux métriques principales :
- Rang Doux ( $R_1$ ) : Correspond à $\alpha=1$ (entropie de Shannon), mesurant la dispersion spectrale pondérée par l'entropie et capturant la capacité diffuse.
- Rang Dur ( $R_2$ ) : Correspond à $\alpha=2$ (rapport de participation), mesurant la dimensionalité effective sensible à la concentration et capturant la capacité des modes dominants.
- Asymétrie Dur-Doux ( $\Delta_{1,2}$ ) : Définie comme $\log R_1 - \log R_2$ , cette métrique quantifie l'écart entre la capacité diffuse et la capacité dominante.
Configuration Expérimentale : Les expériences ont été menées sur des Transformers décodeur-only de style GPT (160M et 350M paramètres) entraînés sur le jeu de données FineWeb-Edu. La dimension cachée du FFN ( $D$ ) a été variée pour établir des lois d'échelle ( $R(D) \propto D^\beta$ ).
Comparaison des Optimiseurs : L'étude compare l'AdamW standard à des optimiseurs sensibles aux matrices (Muon, NorMuon) et à des variantes à rang contraint (Dion avec des fractions de rang $r$ variables).
Stratification : Pour répondre à la distribution de Zipf des données linguistiques, les représentations FFN ont été stratifiées par fréquence de token en régimes HEAD (fréquent), MID et TAIL (rare).
Contrôles Architecturaux : Les auteurs ont comparé les déplacements induits par l'optimiseur à des interventions architecturales, spécifiquement l'augmentation du rang d'attention par tête (en réduisant le nombre de têtes) et la suppression des embeddings de position rotatifs (RoPE).

Résultats Clés

1. Lois d'Échelle Spectrales Dépendantes de l'Optimiseur

La même architecture Transformer présente des lois d'échelle spectrales nettement différentes selon l'optimiseur.

Échelle du Rang Dur : AdamW présente une échelle de rang dur faible ( $\beta_{hard} \approx 0,29$ à $0,44$), en particulier pour les tokens rares (TAIL). En revanche, Muon atteint une échelle quasi-linéaire ( $\beta_{hard} \approx 1,02$ ) dans les mêmes régimes. Cela représente une augmentation de 2,3 $\times$ de l'exposant d'échelle.
Asymétrie Dur-Doux : AdamW affiche une forte asymétrie positive ( $\Delta_{1,2} \approx 0,37$ ), indiquant que l'ajout de largeur FFN étend la masse spectrale diffuse plutôt que les directions de représentation dominantes. Muon et NorMuon réduisent cette asymétrie à près de zéro ( $\Delta_{1,2} \approx 0,14$ ), ce qui signifie que la largeur ajoutée est efficacement convertie en capacité de mode dominant.

2. Perte Équivalente $\neq$ Géométrie Équivalente

L'article démontre que la perte de validation est un proxy insuffisant pour la structure de représentation.

Entraînement Prolongé : L'entraînement d'AdamW pendant plus d'étapes (12K contre 6K) lui a permis d'égaler la perplexité d'une variante Dion (1/16). Cependant, la géométrie spectrale est restée distincte : l'échelle de rang dur d'AdamW a presque disparu ( $\beta_{hard} \to 0,03$ ), tandis que Dion a maintenu une échelle de loi de puissance robuste.
Taux d'Apprentissage : Le balayage des taux d'apprentissage a confirmé que l'écart spectral AdamW-Muon n'est pas un artefact d'hyperparamètre ; le plus faible exposant de rang dur de Muon a constamment dépassé le plus élevé d'AdamW sur tout le balayage.

3. Dépendances de Fréquence et de Rang

Fréquence des Tokens : L'effet de l'optimiseur est le plus prononcé dans les régimes de tokens MID et TAIL. AdamW peine à mettre à l'échelle la capacité dure pour les tokens rares, tandis que Muon s'échelle linéairement.
Rang de Mise à Jour : En utilisant Dion, les auteurs ont isolé l'effet du rang de mise à jour. La réduction de la fraction de rang ( $r$ ) de $1/2$ à $1/16$ a fait chuter l'échelle de rang dur de $\beta \approx 0,88$ à $\beta \approx 0,40$ (s'approchant des niveaux AdamW), tandis que l'échelle de rang doux se dégradait plus progressivement. Cela indique que le rang de mise à jour agit comme un bouton de contrôle pour convertir la largeur en capacité de mode dominant.

4. Dominance sur les Interventions Architecturales

Les déplacements spectraux induits par l'optimiseur dépassent souvent ou remodelent les effets des changements architecturaux :

Rang d'Attention : L'augmentation du rang d'attention par tête (en réduisant le nombre de têtes) a produit des déplacements d'échelle spectrale plus faibles que le changement d'optimiseur dans 28 des 30 régimes de fréquence/métrique.
Encodage Positionnel : La suppression de RoPE a induit une redistribution dépendante de l'optimiseur. Pour Muon, NoPE a augmenté l'échelle de rang dur HEAD mais a diminué l'échelle MID/TAIL ; pour NorMuon, elle a diminué l'échelle dans tous les régimes. Cela montre que les signaux architecturaux s'expriment à travers la géométrie de l'optimiseur.

Signification et Revendications

L'article soutient que l'optimisation doit être traitée comme un axe de premier ordre de l'échelle des représentations, aux côtés de la taille du modèle, des données et du calcul.

Co-conception Architecture-Optimiseur : La capacité spectrale réalisée est une propriété de la paire architecture-optimiseur, et non de l'architecture seule. Les interventions architecturales (comme le changement du rang d'attention ou des encodages de position) n'induisent pas de déplacements fixes, indépendants de l'optimiseur ; leurs effets sont médiatisés par la géométrie de l'optimiseur.
Structure de Représentation : Le choix de l'optimiseur détermine comment la capacité du modèle est structurée à travers les modes propres et allouée à travers les régimes de fréquence des tokens. Ce n'est pas simplement un bouton d'efficacité pour la vitesse de convergence.
Limitations : Les auteurs notent que ces résultats sont établis dans un régime empirique contrôlé (modèles de style GPT jusqu'à 350M paramètres). Bien que les résultats à 350M reproduisent les motifs à 160M, une validation supplémentaire à des échelles frontalières (1B+) est nécessaire. De plus, bien que les rangs spectraux quantifient l'utilisation de la capacité, ils ne caractérisent pas entièrement le comportement des tâches en aval.

En conclusion, l'étude motive un virage vers la co-conception optimiseur-architecture, suggérant que les futures lois d'échelle doivent tenir compte des biais inductifs implicites de l'optimiseur en tant que déterminant principal de la manière dont la capacité du modèle est réalisée.