🤖 machine learning

Fantastic Pretraining Optimizers and Where to Find Them II: Hyperball Optimization

Le document présente Hyperball, un simple wrapper d'optimiseur qui fixe les normes de Frobenius des matrices de poids et de leurs mises à jour à des valeurs constantes, remédiant ainsi aux limitations de mise à l'échelle de performance des optimiseurs basés sur des matrices comme Muon et atteignant des accélérations significatives en équivalent jetons ainsi qu'un meilleur transfert de taux d'apprentissage sur les grands modèles de langage par rapport au décroissance de poids découplée standard.

Auteurs originaux : Kaiyue Wen, Xingyu Dang, Kaifeng Lyu, Tengyu Ma, Percy Liang

Publié 2026-06-16

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kaiyue Wen, Xingyu Dang, Kaifeng Lyu, Tengyu Ma, Percy Liang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot géant et complexe (un Grand Modèle de Langage) à parler la langue humaine. Pour ce faire, vous utilisez un « enseignant » (un optimiseur) qui ajuste les réglages internes du robot (les poids) étape par étape en fonction de ses erreurs.

Pendant longtemps, le meilleur enseignant était AdamW. Récemment, un nouvel enseignant plus rapide, appelé Muon, a été découvert. Muon est comme une voiture de sport comparée à la berline qu'est AdamW ; il permet généralement au robot d'apprendre beaucoup plus vite.

Cependant, les auteurs de cet article ont trouvé un problème : la voiture de sport ralentit à mesure que la course s'allonge. Lorsqu'ils ont rendu le robot plus grand et lui ont donné plus de données pour apprendre, l'avantage de vitesse de Muon sur AdamW est passé d'une avance énorme de 30 % à une faible avance de 10 %.

Les auteurs se sont demandé : Pouvons-nous garder la voiture de sport rapide même lorsque la course est immense ?

Leur réponse est un nouvel outil appelé Hyperball.

Le Problème : Le Frein « Mou »

Dans la méthode d'entraînement standard, l'enseignant utilise une technique appelée « décroissance du poids » (weight decay). Considérez cela comme un frein invisible et mou qui presse doucement les réglages du robot vers zéro à chaque étape.

Le But : Ce frein est censé empêcher les réglages du robot de devenir trop incontrôlés.
Le Problème : À mesure que le robot devient plus grand, ce frein mou devient imprévisible. Il ne se contente pas de contrôler la taille des réglages ; il modifie accidentellement la vitesse à laquelle le robot apprend de nouvelles directions. C'est comme essayer de diriger une voiture alors que les freins changent constamment la force de pression, ce qui rend difficile la conduite rapide et droite.

La Solution : L'« Hyperball »

Hyperball est une enveloppe qui entoure n'importe quel enseignant (comme Muon ou Adam) et qui change les règles du jeu. Au lieu d'utiliser un frein mou, il place les réglages du robot à l'intérieur d'une sphère géante et rigide (une « hyperball »).

Voici comment cela fonctionne, en utilisant une analogie simple :

La Sphère : Imaginez que les réglages du robot sont un point flottant à la surface d'un immense ballon de plage. La taille du ballon de plage est fixe. Le point peut se déplacer n'importe où sur la surface, mais il ne peut pas se rapprocher du centre ni s'en éloigner. La distance par rapport au centre est toujours exactement la même.
L'Étape : Quand l'enseignant veut effectuer un changement, il dit au robot : « Déplace-toi dans cette direction. »
Le Rebond : Le robot fait un pas dans cette direction. Si ce pas devait le pousser hors du ballon de plage, Hyperball le fait instantanément rebondir sur la surface, maintenant la distance constante par rapport au centre.

Pourquoi est-ce mieux ?

En forçant les réglages à rester sur la surface de cette sphère, Hyperball sépare deux choses qui étaient auparavant mélangées :

La Taille : La taille des réglages est désormais fixe et constante (comme le rayon du ballon de plage).
La Direction : Le robot est libre de se concentrer entièrement sur la manière de tourner.

Les auteurs soutiennent que l'ancien « frein mou » (décroissance du poids) essayait en fait de faire ce travail de manière indirecte, mais de façon désordonnée. Hyperball le fait directement.

Les Résultats

Les auteurs ont testé cela sur des modèles allant jusqu'à 1,2 milliard de paramètres (une taille très importante) :

Vitesse : En utilisant Muon avec Hyperball, le robot a appris 20 à 30 % plus vite que la méthode standard. C'est une amélioration massive, surtout par rapport à l'ancienne méthode Muon qui ne gagnait qu'environ 10 % à cette échelle.
Stabilité : Il était beaucoup plus facile de régler la vitesse d'apprentissage (learning rate) pour différentes tailles de modèles. Avec l'ancienne méthode, changer la taille du modèle nécessitait de re-régler complètement les paramètres. Avec Hyperball, les mêmes réglages fonctionnaient bien sur différentes tailles, comme une clé universelle.

La Théorie derrière tout cela

L'article explique que pour ces types de modèles d'IA, la direction vers laquelle pointent les réglages est ce qui importe pour l'apprentissage, et non la distance par rapport à zéro.

L'Ancienne Voie : L'enseignant utilisait un frein mou pour essayer de maintenir la distance juste, en espérant que cela rendrait la vitesse d'apprentissage constante.
La Voie Hyperball : L'enseignant verrouille simplement la distance à une taille parfaite et fixe dès le départ. Cela permet à l'enseignant de se concentrer purement sur le pilotage du robot dans la bonne direction.

Résumé

Hyperball est un tour simple qui force les réglages internes d'une IA à rester à une taille fixe, comme un point se déplaçant à la surface d'une sphère. Cela élimine la confusion causée par les anciennes méthodes de « freinage », permettant aux optimiseurs avancés comme Muon de rester rapides et efficaces, même lorsque les modèles d'IA atteignent des tailles massives. Cela transforme un processus complexe et indirect en un processus propre et direct.

Résumé Technique : Optimisation Hyperball

Énoncé du Problème

Les optimiseurs basés sur les matrices, tels que Muon, ont démontré des accélérations substantielles par rapport à AdamW lors du pré-entraînement de modèles de langage. Cependant, des observations empiriques indiquent que ces gains diminuent à mesure que la taille du modèle et l'échelle des données augmentent, particulièrement lors de l'utilisation d'une décroissance de poids (weight decay) déconnectée constante standard. Dans les configurations à grande échelle (par exemple, des modèles de 1,2 milliard de paramètres), l'accélération de Muon par rapport à AdamW passe d'environ 30 % à environ 10 %. Cette dégradation motive la recherche d'une stratégie d'optimisation capable de maintenir une efficacité élevée à des échelles de calcul supérieures.

Le problème central réside dans le mécanisme de la décroissance de poids déconnectée. Dans les couches invariantes d'échelle (communes dans les Transformers modernes avec normalisation), la décroissance de poids agit non seulement comme un régularisateur, mais aussi comme un contrôleur indirect du « taux d'apprentissage angulaire » — la vitesse à laquelle la direction de la matrice de poids change. L'analyse théorique suggère que la décroissance de poids pousse la norme des poids vers un état d'équilibre déterminé par les hyperparamètres ( $\eta$ et $\lambda$ ). Cette norme d'équilibre dicte, à son tour, la taille du pas angulaire effectif. Cependant, ce calibrage indirect peut devenir sous-optimal lorsque les échelles changent, conduisant à la réduction observée de la performance de l'optimiseur.

Méthodologie : Hyperball

Les auteurs proposent Hyperball, un wrapper d'optimiseur simple conçu pour remédier aux limitations d'échelle de la décroissance de poids. Hyperball remplace le contrôle implicite et doux des normes de poids via la décroissance de poids par une contrainte explicite sur les normes de Frobenius des matrices de poids et de leurs mises à jour.

Mécanisme Central

Étant donné un optimiseur de base (par exemple, Adam ou Muon) qui produit une mise à jour $u_t$ pour une matrice de paramètres $W_t$ , Hyperball impose deux conditions :

La norme de Frobenius de la matrice de poids $\|W_t\|_F$ est fixée à un rayon constant $R$ (initialisé comme la norme des poids initiaux).
La direction de la mise à jour est normalisée, et la taille du pas est explicitement mise à l'échelle.

La règle de mise à jour est définie par :
$W_{t+1} = R \cdot \text{Normalize}\left( W_t - \eta_t R \cdot \text{Normalize}(u_t) \right)$
où $\text{Normalize}(X) = X / \|X\|_F$ .

Géométriquement, cela contraint la trajectoire d'optimisation à la surface d'une hypersphère de rayon $R$ . Chaque étape se déplace le long de la direction de mise à jour normalisée par une distance proportionnelle à $\eta_t R$ et est immédiatement projetée à nouveau sur la sphère. Cela découple la magnitude des poids de la direction de la mise à jour, permettant à l'optimiseur de naviguer principalement à travers les directions de poids.

Détails d'Implémentation

Portée : Hyperball est appliqué aux matrices de poids d'attention et de MLP dans les Transformers de type prenorm.
Exclusions : Les embeddings, les gains de normalisation et les paramètres scalaires sont mis à jour à l'aide d'optimiseurs standards (par exemple, Adam) car leurs normes portent une information sémantique.
Complexité : La projection sur la sphère de Frobenius est en $O(N^2)$ par matrice, ce qui est moins coûteux en termes de calcul que la projection de la norme spectrale ( $O(N^3)$ ) nécessitant une SVD. Les auteurs notent que dans les régimes de rang stable élevé (typiques des LLM), les contraintes de Frobenius se comportent de manière similaire aux contraintes spectrales.

Contributions Clés

Wrapper Hyperball : Un wrapper polyvalent qui transforme n'importe quel optimiseur de base en une variante avec des normes de poids et de mise à jour fixes.
Aperçu Théorique : Le papier fournit un cadre théorique montrant que pour les pertes invariantes d'échelle, la décroissance de poids déconnectée définit implicitement un rayon d'équilibre et un pas angulaire. Hyperball rend ce mécanisme explicite en fixant directement le rayon et la longueur de la mise à jour normalisée, plutôt qu'en s'appuyant sur la dynamique d'équilibre de la décroance de poids.
Amélioration de l'Échelle : La méthode démontre qu'elle maintient les accélérations d'optimiseur à des échelles plus grandes là où les bases de comparaison avec décroissance de poids échouent.
Transfert du Taux d'Apprentissage : Hyperball améliore considérablement la transférabilité des taux d'apprentissage à travers différentes largeurs et profondeurs de modèles par rapport aux bases de décroissance de poids.

Résultats Expérimentaux

Les auteurs ont évalué Hyperball sur des modèles de type Qwen3 (jusqu'à 1,2 milliard de paramètres) et des échelles plus grandes (jusqu'à 8 milliards de paramètres) en utilisant divers benchmarks.

Accélération Équivalente en Tokens : Sur des modèles de 1,2 milliard de paramètres, Muon Hyperball (MuonH) a atteint une accélération équivalente en tokens de 20–30 % par rapport aux bases AdamW. En revanche, le Muon standard avec décroissance de poids (MuonW) n'a atteint qu'environ 10 % d'accélération à cette échelle. L'écart entre MuonH et MuonW s'est creusé avec des durées d'entraînement plus longues.
Performance des Benchmarks :
- Sur le benchmark de vitesse Marin, AdamH et MuonH ont égalé des bases de décroissance de poids qui étaient environ 10 % plus larges.
- Sur le benchmark d'optimisation public modded-nanogpt Track 3, les variantes Hyperball (incluant KL-SOAP-H) ont atteint des pertes de validation plus basses plus rapidement que leurs homologues avec décroissance de poids. Par exemple, KL-SOAP-H a atteint une perte de validation de 3,2780 en 3125 étapes, surpassant la base optimisée MuonW.
Transfert d'Hyperparamètres :
- Échelle de Profondeur : Lors d'un balayage des profondeurs de 4 à 512, la dérive du taux d'apprentissage optimal pour les variantes Hyperball était d'environ 1,4×, contre 2–4× pour AdamW et MuonW.
- Échelle de Largeur : De même, à travers des largeurs de 128 à 2048, Hyperball a maintenu une fenêtre de taux d'apprentissage stable avec seulement 1,4× de dérive.
Configuration de Surtraînement (Overtrained) : Dans les expériences d'échelle de données (modèle de 130M de paramètres, 1B–128B tokens), MuonH a atteint une perte de validation asymptotique plus basse ( $L_\infty = 3,065$ ) par rapport à MuonW ( $L_\infty = 3,079$ ).

Signification et Revendications

Le papier affirme qu'Hyperball offre une alternative plus robuste et efficace à la décroissance de poids déconnectée pour l'entraînement de grands modèles de langage, particulièrement lors de l'utilisation d'optimiseurs basés sur les matrices.

Contrôle Explicite : En fixant explicitement la norme de poids et la norme de mise à jour, Hyperball élimine la dépendance à la décroissance de poids pour réguler indirectement le taux d'apprentissage angulaire. Cela conduit à des dynamiques d'optimisation plus prévisibles.
Évolutivité : La méthode préserve avec succès les gains d'efficacité des optimiseurs basés sur les matrices (comme Muon) à mesure que les échelles de modèles et de données augmentent, répondant à un goulot d'étranglement critique dans les pratiques actuelles de pré-entraînement.
Choix de Conception : Les auteurs présentent Hyperball comme un choix de conception qui transforme la dépendance à l'échelle de la décroissance de poids (qui affecte la transférabilité) en un paramètre explicite (le rayon $R$ ), améliorant ainsi le transfert du taux d'apprentissage à travers différentes architectures de modèles.
Preuve de Concept : Ce travail sert de preuve de concept qu'il est possible de supprimer totalement la décroissance de poids en concevant des optimiseurs qui contrôlent explicitement les normes de poids, suggérant une nouvelle direction pour la conception d'optimiseurs dans les réseaux normalisés.

Les auteurs restent modestes quant au choix spécifique de la contrainte, notant que bien que la norme de Frobenius soit efficace en termes de calcul et motivée théoriquement, d'autres contraintes (spectrales, par ligne, par colonne) pourraient être mieux adaptées à des modèles ou optimiseurs spécifiques. Ils soulignent également la nécessité de théories plus précises sur les trajectoires d'entraînement sous normalisation de poids.