🤖 machine learning

LionMuon: Alternating Spectral and Sign Descent for Efficient Training

L'article présente LionMuon, un optimiseur efficace qui alterne entre les mises à jour de Lion et de Muon tout en partageant un seul tampon de momentum, atteignant des performances supérieures et des coûts de calcul réduits à travers différentes échelles de modèles par rapport aux méthodes existantes telles que AdamW, Lion et Muon.

Auteurs originaux : Arman Bolatov, Artem Riabinin, Nikita Kornilov, Andrey Veprikov, Samuel Horváth, Martin Takáč, Aleksandr Beznosikov

Publié 2026-05-20

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Arman Bolatov, Artem Riabinin, Nikita Kornilov, Andrey Veprikov, Samuel Horváth, Martin Takáč, Aleksandr Beznosikov

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un robot géant et complexe (un Modèle de Langage de Grande Taille) comment parler en lui montrant des millions d'exemples. Pour ce faire, vous avez besoin d'un « optimiseur » — un entraîneur qui indique au robot comment ajuster son cerveau (ses paramètres) après chaque exemple qu'il voit.

Le problème est que cet entraîneur doit prendre une décision des milliards de fois. Si l'entraîneur est trop lent ou trop coûteux à exécuter, l'ensemble du projet devient trop onéreux. Si l'entraîneur est trop bon marché mais prend de mauvaises décisions, le robot apprend lentement ou reste bloqué.

Ce papier présente un nouvel entraîneur appelé LionMuon. C'est un hybride ingénieux qui tente de tirer le meilleur de deux styles d'entraînement très différents.

Les Deux Entraîneurs Existants

Pour comprendre LionMuon, nous devons d'abord rencontrer les deux entraîneurs qu'il combine :

L'entraîneur « Signe » (Lion/Signum) :
- Fonctionnement : Cet entraîneur est incroyablement rapide et peu coûteux. Il ne regarde pas la taille exacte de l'erreur ; il regarde simplement la direction (positive ou négative). C'est comme un GPS qui ne vous dit que « Tournez à gauche » ou « Tournez à droite » sans calculer la distance exacte.
- Avantages : Il est super efficace. Vous pouvez l'exécuter des milliards de fois sans ruiner votre budget.
- Inconvénients : Parce qu'il ignore la « magnitude » (l'ampleur du virage nécessaire), il suit parfois un chemin faible ou légèrement hors route. Il est rapide, mais pas toujours le plus précis.
L'entraîneur « Spectral » (Muon) :
- Fonctionnement : Cet entraîneur est un mathématicien génial. Il examine la carte complète de l'erreur d'un seul coup et calcule la direction parfaite et la plus forte possible pour la corriger. Il utilise des mathématiques matricielles complexes (comme un GPS haut de gamme calculant l'itinéraire absolument le plus court en tenant compte du trafic, du terrain et des limites de vitesse).
- Avantages : Il trouve le meilleur chemin très rapidement. Le robot apprend plus vite à chaque étape.
- Inconvénients : Il est coûteux en calculs. Effectuer ces mathématiques complexes prend beaucoup de temps et d'énergie. Si vous utilisez cet entraîneur pour chaque étape unique, la facture de formation explose.

La Nouvelle Solution : LionMuon

Les auteurs ont posé une question simple : « Peut-on avoir la vitesse de l'entraîneur Signe mais la précision de l'entraîneur Spectral ? »

Leur réponse est LionMuon.

Au lieu de choisir l'un ou l'autre, LionMuon agit comme un commutateur intelligent. Il alterne entre les deux entraîneurs selon un calendrier fixe (disons, toutes les 2 étapes) :

Étape 1 : Il utilise l'entraîneur Muon pour trouver cette direction parfaite et forte.
Étape 2 : Il utilise l'entraîneur Lion pour effectuer un ajustement rapide et peu coûteux basé sur l'élan de la première étape.
Étape 3 : Il revient à Muon, et ainsi de suite.

Le Secret :
Habituellement, si vous changez d'entraîneur, vous devez réinitialiser leur mémoire ou utiliser deux banques de mémoire différentes. LionMuon est ingénieux car il partage une seule banque de mémoire entre les deux entraîneurs. Cela signifie qu'il n'a pas besoin de mémoire informatique supplémentaire (RAM) pour fonctionner. Il utilise la même quantité de mémoire que l'entraîneur Lion peu coûteux, ce qui représente la moitié de la mémoire de l'entraîneur standard de l'industrie (AdamW).

Pourquoi est-ce important ?

Le papier affirme qu'en alternant ces étapes, LionMuon obtient le meilleur des deux mondes :

C'est moins cher : Parce qu'il ne fait les mathématiques « parfaites » et coûteuses (Muon) qu'une fois tous les quelques pas, le coût total de formation diminue considérablement (environ 5 % de puissance de calcul en moins pour le même résultat).
C'est plus intelligent : Même s'il saute parfois les mathématiques coûteuses, les étapes « bon marché » sont guidées par la direction forte trouvée à l'étape précédente. Le résultat est que le robot apprend plus vite et atteint un taux d'erreur plus faible que l'utilisation d'un seul entraîneur.
C'est évolutif : Les chercheurs ont testé cela sur des modèles de différentes tailles (de 124 millions à 720 millions de paramètres). Dans tous les cas, LionMuon a été le gagnant, obtenant les meilleurs résultats avec le moins de puissance de calcul.

La Théorie (Le « Pourquoi » cela fonctionne)

Les auteurs n'ont pas seulement deviné ; ils ont fait les mathématiques. Ils ont prouvé que dans certaines conditions (spécifiquement lorsque les données sont bruyantes, ce qui est courant en IA), il existe un « point idéal » pour la fréquence des changements.

Ils ont constaté que si vous changez trop souvent (en faisant Muon à chaque étape), c'est trop coûteux. Si vous changez trop rarement, vous perdez l'amélioration de la précision. Leurs mathématiques montrent que pour la plupart des modèles d'IA modernes, changer toutes les 2 étapes (un Muon, un Lion) est le parfait équilibre.

Analogie de Résumé

Imaginez que vous grimpez une montagne dans le brouillard.

Lion est un coureur rapide qui devine simplement la direction en fonction du vent. Il avance vite mais peut zigzaguer.
Muon est un pilote d'hélicoptère lent et coûteux qui utilise une caméra thermique pour trouver le chemin absolument le plus raide et le plus sûr.
LionMuon est une équipe où le pilote d'hélicoptère vole une fois pour trouver le meilleur chemin, puis le coureur rapide court le long de ce chemin pendant un moment avant que l'hélicoptère ne revienne vérifier.

Le résultat ? Vous atteignez le sommet plus vite et avec moins de carburant que si vous vous étiez confié à l'hélicoptère pour tout le trajet ou si vous aviez simplement deviné tout le long.

L'essentiel : LionMuon est une nouvelle méthode efficace pour entraîner l'IA qui économise de l'argent et du temps tout en rendant l'IA plus intelligente, sans nécessiter de mémoire informatique supplémentaire.

Résumé technique : LionMuon

Énoncé du problème

L'entraînement des grands modèles de langage (LLM) constitue un problème d'optimisation massif où le coût computationnel par étape (FLOPs) et la vitesse de convergence sont les déterminants principaux de la facture de calcul finale. Les optimiseurs actuels font face à un compromis entre la qualité de la mise à jour et l'efficacité computationnelle :

Méthodes basées sur le signe (par exemple, Lion, Signum) : Elles produisent des mises à jour de signe peu coûteuses et coordonnées ( $W_{t+1} = W_t - \eta \cdot \text{sign}(\hat{G}_t)$ ). Elles sont peu coûteuses en calcul et économes en mémoire, mais offrent souvent des directions de mise à jour plus faibles que les méthodes spectrales.
Méthodes spectrales (par exemple, Muon) : Elles calculent une mise à jour de signe matricielle via des itérations de Newton-Schulz ( $W_{t+1} = W_t - \eta \cdot \text{msign}(\hat{G}_t)$ ). Bien qu'elles fournissent des directions spectrales plus fortes menant souvent à une convergence plus rapide, elles entraînent un coût par étape nettement plus élevé en raison de multiples multiplications matricielles et d'une surcharge de communication accrue dans les environnements distribués (nécessitant un all-gather de matrice complète).

La question centrale abordée est de savoir s'il est possible de combiner le faible coût des mises à jour basées sur le signe avec les directions de haute qualité des mises à jour spectrales pour atteindre un compromis coût-qualité supérieur.

Méthodologie : LionMuon

Les auteurs proposent LionMuon, un optimiseur qui alterne entre des mises à jour de signe de style Lion et des mises à jour spectrales de style Muon sur une période fixe $P$ .

Algorithme de base

Calendrier d'alternance : L'algorithme effectue une étape Muon (mise à jour spectrale de Newton-Schulz) tous les $P$ -ième itérations et des mises à jour de signe de style Lion pour les $P-1$ itérations restantes.
Moment partagé : Les deux types de mise à jour partagent un seul tampon de moment à double moyenne mobile exponentielle (EMA) ( $M_t$ ). La direction $\hat{G}_t$ est calculée via l'interpolation de Lion : $\hat{G}_t = \beta_1 M_{t-1} + (1-\beta_1)G_t$ .
Efficacité de l'état : LionMuon ne maintient qu'un seul tampon de moment, correspondant à l'empreinte mémoire de Lion/Signum et étant exactement la moitié de celle d'AdamW.
Cas particuliers :
- $P=1$ : Muon pur.
- $P=\infty$ : Lion pur (ou Signum si $\beta_1=\beta_2$ ).
- $P \in (1, \infty)$ : La méthode d'alternance proposée.
- SignMuon : Une variante utilisant un moment à EMA unique ( $\beta_1 = \beta_2$ ) avec le même calendrier d'alternance.

Analyse théorique

Les auteurs fournissent des bornes de convergence pour LionMuon dans le cadre d'un bruit à queue lourde, une condition courante dans l'entraînement des LLM.

Constantes interpolées : La borne de convergence dépend de la régularité moyennée sur la période ( $\bar{L}$ ) et des niveaux de bruit ( $\bar{\rho}$ ) qui interpolent entre les constantes du Muon pur (norme spectrale) et du Lion pur (norme infinie).
Période optimale : La théorie suggère l'existence d'une période optimale $P^*$ qui minimise un facteur de compromis impliquant les rapports des constantes de régularité ( $L_\infty / L_2$ ) et des niveaux de bruit ( $\rho_1 / \rho_{nuc}$ ).
Complexité : Les bornes de complexité dérivées montrent que LionMuon peut atteindre la même précision que Muon ou Lion purs avec moins d'opérations dans des configurations spécifiques, en particulier lorsque le facteur de compromis $\phi(P) < 1$ .

Contributions clés

SignMuon : Un optimiseur d'alternance effectuant une étape Muon tous les $P$ itérations et une étape de signe de style Signum sinon. Les auteurs montrent que même cette variante à EMA unique améliore le compromis perte-vs-FLOPs par rapport au Muon pur à $P=2$ .
LionMuon : La contribution principale, remplaçant le moment de Signum par la règle à double EMA de Lion. Il préserve les économies de coût de SignMuon tout en améliorant davantage la convergence. Il ne nécessite qu'un seul hyperparamètre entier supplémentaire ( $P$ ) et constitue un remplacement quasi direct de Lion.
Bornes théoriques : Des bornes de complexité précises sous bruit à queue lourde qui modélisent explicitement l'interpolation entre les régimes Muon et Lion, prédisant la période de calcul optimale $P$ .
Validation empirique : Des expériences extensives sur plusieurs jeux de données (FineWeb, SlimPajama, WikiText-103) et architectures (GPT-2, LLaMA) aux échelles de 124M, 355M et 720M de paramètres.

Résultats expérimentaux

Échelle 124M : LionMuon (spécifiquement avec $P=2$ ) domine au sens de Pareto Muon, Lion, Signum et AdamW sur tous les jeux de données et architectures testés. Il atteint une perte de validation inférieure avec environ 5,5 % de FLOPs d'entraînement totaux en moins par rapport au Muon pur.
Mise à l'échelle (355M et 720M) : L'avantage en qualité de convergence persiste à des échelles plus grandes. À 355M, LionMuon et SignMuon ( $P=2$ ) surpassent le Muon pur. À 720M, SignMuon ( $P=2$ ) bat toujours le Muon pur, bien que l'avantage à double EMA de LionMuon sur SignMuon n'ait pas été reproduit dans ce budget spécifique sous-entraîné.
Entraînement distribué : La méthode offre des économies structurelles de communication. Puisque les étapes Lion sont élémentaires et locales aux fragments, définir $P=2$ réduit de moitié la fréquence des opérations coûteuses d'all-gather requises par l'étape de Newton-Schulz de Muon, indépendamment de la taille du lot.

Importance et affirmations

L'article affirme que LionMuon offre une approche structurellement supérieure pour l'entraînement des LLM en découplant la fréquence des mises à jour spectrales coûteuses du nombre d'itérations.

Efficacité : Il conserve l'efficacité des étapes Muon tout en réduisant le coût moyen par itération, correspondant à l'efficacité mémoire des méthodes basées sur le signe.
Robustesse : La méthode est robuste à travers différentes tailles de modèles et jeux de données, définissant constamment la frontière de Pareto pour la perte-vs-FLOPs.
Alignement théorique : Les résultats empiriques s'alignent avec les prédictions théoriques concernant la période optimale $P$ , suggérant que les valeurs intermédiaires (par exemple, $P=2$ ou $P=5$ ) offrent souvent le meilleur équilibre entre la direction spectrale coûteuse et la direction de signe peu coûteuse.

Les auteurs concluent que LionMuon est une extension pratique et directe pour l'entraînement moderne des LLM, améliorant strictement l'état de l'art actuel (Muon) en termes de qualité de convergence et d'efficacité computationnelle. Un travail futur est suggéré pour la sélection adaptative de $P$ et la mise à l'échelle au-delà de 720M.