🤖 machine learning

Can Muon Fine-tune Adam-Pretrained Models?

Cet article examine la dégradation des performances résultant du passage d'Adam à Muon pour le fine-tuning de modèles préentraînés, démontrant que le désalignement de l'optimiseur qui en découle perturbe les connaissances apprises et peut être efficacement atténué en limitant la force des mises à jour via des méthodes telles que LoRA.

Auteurs originaux : Xingyu Qu, Peigeng Huang, Samuel Horvath

Publié 2026-05-12

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xingyu Qu, Peigeng Huang, Samuel Horvath

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Gros Problème : La « Mauvaise Outil » pour le Travail

Imaginez que vous avez un artisan hautement qualifié (le modèle d'IA) qui a passé des années à apprendre un métier en utilisant un ensemble spécifique d'outils : un marteau et un ciseau (c'est l'optimiseur Adam). Il a créé une belle et complexe sculpture (le modèle préentraîné) qui sait parler, écrire et raisonner.

Maintenant, un nouvel outil, plus rapide et plus efficace, arrive : une découpeuse laser (c'est l'optimiseur Muon). Les auteurs du papier voulaient voir s'ils pouvaient utiliser cette découpeuse laser pour affiner (faire de petits ajustements à) la sculpture que l'artisan avait construite avec le marteau.

La Découverte : Lorsqu'ils ont essayé d'utiliser la découpeuse laser sur la sculpture construite au marteau, les résultats étaient terribles. La sculpture commençait à se fissurer, à perdre sa forme, ou à performer moins bien qu'avant.

Pourquoi ? Le papier explique que le marteau et la découpeuse laser « pensent » différemment.

Le Marteau (Adam) construit des structures basées sur des ajustements individuels et minuscules (comme égrener un grain de bois à la fois).
Le Laser (Muon) construit des structures en regardant l'ensemble du bloc et en lissant toute la surface d'un coup.

Lorsque vous essayez d'utiliser le laser sur une structure construite par le marteau, les ajustements « lisses » du laser entrent en conflit avec la texture « égrainée » du travail original. Ce conflit est appelé un mismatch d'optimiseur. Il perturbe les connaissances que le modèle avait déjà apprises, le faisant « oublier » des choses ou performer mal.

La Solution : La Méthode du « Post-it » (LoRA)

Les auteurs se sont demandé : Existe-t-il un moyen d'utiliser la découpeuse laser sans casser la sculpture construite au marteau ?

Ils ont trouvé la réponse dans une technique appelée LoRA (Low-Rank Adaptation / Adaptation de rang faible).

L'Analogie :
Au lieu d'essayer de sculpter directement dans la sculpture originale en pierre (Affinement Complet), imaginez que vous preniez un morceau de plastique transparent et flexible (LoRA) et que vous le colliez par-dessus la sculpture.

Vous laissez la sculpture originale en pierre exactement telle quelle (figée).
Vous ne gravez vos nouveaux ajustements que dans la feuille de plastique.
La découpeuse laser (Muon) travaille sur la feuille de plastique.

Pourquoi cela fonctionne :
Parce que la découpeuse laser ne touche que la nouvelle feuille de plastique, elle n'a pas à lutter contre l'ancienne texture égrainée par le marteau de la pierre en dessous. La feuille de plastique est assez flexible pour s'adapter au style du laser sans briser les fondations.

Le papier montre que lorsqu'ils ont utilisé cette méthode de « feuille de plastique » (LoRA) avec la découpeuse laser (Muon), les résultats étaient aussi bons, voire parfois meilleurs, que d'utiliser le marteau (Adam). Le problème de mismatch a disparu.

Résultats Clés en Langage Simple

Le Mismatch est Réel : Si vous prenez un modèle entraîné avec Adam et essayez de l'affiner directement avec Muon, il s'aggrave. C'est comme essayer de conduire une voiture avec un volant conçu pour une autre voiture ; la voiture ne manœuvrera pas bien.
La « Feuille de Plastique » Répare Cela : En utilisant LoRA (la feuille de plastique), Muon peut affiner efficacement des modèles entraînés par Adam. L'écart de performance entre les deux méthodes disparaît.
Moins C'est Plus : Le papier a découvert que plus vous essayez de changer le modèle original (Affinement Complet), plus le mismatch fait mal. Moins vous changez (en utilisant une fine feuille de plastique/LoRA), mieux la découpeuse laser fonctionne.
Moins d'Oubli : Lorsque la découpeuse laser essayait de graver directement dans la pierre (Affinement Complet), le modèle « oubliait » ses connaissances originales (comme comment faire des maths ou le bon sens). En utilisant la feuille de plastique (LoRA), le modèle se souvenait beaucoup mieux de ses compétences originales.
Efficacité : Muon est déjà connu pour être plus rapide et utiliser moins de mémoire que Adam pendant la phase d'entraînement initiale. Ce papier prouve qu'il peut également être utilisé pour l'affinement si vous utilisez la méthode LoRA, économisant encore plus de mémoire car vous n'avez pas besoin de stocker autant de variables d'« état ».

La Conclusion

Vous n'avez pas besoin de jeter tous les modèles entraînés avec le « Marteau » (Adam). Vous pouvez toujours utiliser le « Laser » (Muon), plus rapide et plus efficace, pour les améliorer, mais vous devez être doux. Au lieu d'essayer de remodeler tout le modèle, ajoutez simplement une petite couche flexible par-dessus (LoRA). Cela permet au nouvel outil de fonctionner sans casser l'ancien travail.

Résumé technique : Muon peut-il affiner des modèles préentraînés avec Adam ?

Énoncé du problème

Muon (MomentUm Orthogonalisé par Newton-Schulz) s'est imposé comme un optimiseur hautement efficace pour le préentraînement des grands modèles de langage (LLM), offrant une efficacité de calcul d'environ $2\times$ supérieure à celle d'Adam et réduisant l'utilisation de la mémoire en éliminant l'estimation du second moment. Cependant, son application pratique au fine-tuning reste limitée. L'obstacle principal est le problème de mismatch d'optimiseur : la plupart des modèles open source disponibles publiquement sont préentraînés avec Adam, et passer naïvement à Muon pour le fine-tuning entraîne une dégradation des performances. Inversement, l'utilisation d'Adam pour affiner des modèles préentraînés avec Muon donne également des résultats sous-optimaux. Cette incompatibilité restreint sévèrement l'adoption de Muon dans le paradigme dominant du fine-tuning, malgré ses succès en préentraînement.

Méthodologie et analyse

Les auteurs enquêtent sur ce mismatch à travers des expériences contrôlées et une analyse théorique, en se concentrant sur les biais implicites distincts d'Adam et de Muon.

Caractérisation du biais implicite :
- Adam utilise une préconditionnement élément par élément basé sur les premier et second moments, convergeant vers des solutions qui maximisent la marge de norme-max ( $\|W\|_{\max}$ ).
- Muon applique un préconditionnement au niveau de la matrice via l'orthogonalisation de Newton-Schulz, convergeant vers des solutions qui maximisent la marge de norme-spectrale ( $\|W\|_2$ ).
- L'analyse théorique sur un problème de régression linéaire simplifié démontre que ces optimiseurs convergent vers des solutions fondamentalement différentes ( $W^*_{\max}$ vs $W^*_2$ ). Empiriquement, les poids entraînés avec Muon présentent un rang stable plus élevé et des distributions de valeurs singulières plus uniformes par rapport aux poids entraînés avec Adam.
Mécanisme de dégradation :
- Le mismatch perturbe les connaissances préentraînées. Lorsqu'un optimiseur avec un biais implicite différent est appliqué, il force les poids du modèle dans une direction structurelle incompatible avec la phase de préentraînement.
- Les expériences montrent que le fine-tuning avec mismatch augmente la sensibilité à la force des mises à jour. Des mises à jour plus fortes provoquent une perturbation plus importante de la structure préentraînée, entraînant une perplexité plus élevée et un oubli catastrophique plus sévère.
Atténuation proposée : LoRA :
- Les auteurs émettent l'hypothèse que contraindre l'étendue des mises à jour peut atténuer ce mismatch. Ils emploient l'Adaptation à Rang Faible (LoRA), qui gèle les poids préentraînés ( $W_0$ ) et restreint les mises à jour à un sous-espace de rang faible ( $\Delta W = BA$ ).
- Cette approche limite l'ampleur des changements de poids, empêchant l'optimiseur d'altérer agressivement la structure préentraînée. L'analyse théorique suggère que l'"inflation du mismatch" (l'écart entre les performances appariées et non appariées) est bornée par le rang LoRA $r$ , s'annulant lorsque $r \to 1$ .

Contributions clés

Reproduction et analyse : L'article reproduit le phénomène de mismatch d'optimiseur à des échelles accessibles (NanoChat, 561M paramètres) et le lie aux biais implicites distincts (norme-max vs norme-spectrale) d'Adam et de Muon.
LoRA comme solution : Les auteurs démontrent que LoRA atténue efficacement le mismatch. En contraignant les mises à jour, LoRA permet à Muon d'affiner des modèles préentraînés avec Adam avec des performances comparables, voire supérieures, à LoRA-Adam.
Validation complète : Les résultats sont validés sur :
- Compréhension du langage naturel (NLU) : Benchmark GLUE avec T5-Base.
- Génération de langage naturel (NLG) : Affinage par instruction de Llama 2-7B/13B sur les mathématiques, le code et le raisonnement de bon sens.
- Vision par ordinateur : Affinage de CLIP ViT-B/32 sur six tâches de classification d'images.
Études sur le rang et l'oubli :
- Sensibilité au rang : Le bénéfice de LoRA-Muon est le plus prononcé aux rangs faibles à modérés. À mesure que le rang augmente (s'approchant du fine-tuning complet), le mismatch réapparaît et les performances se dégradent par rapport à Adam.
- Oubli catastrophique : Le fine-tuning complet avec Muon sur des modèles préentraînés avec Adam provoque un oubli plus sévère des connaissances préentraînées qu'avec Adam. LoRA réduit considérablement cet oubli, préservant la structure préentraînée.
Variantes LoRA : L'étude évalue les variantes LoRA existantes (par exemple, rsLoRA, PiSSA, LoRA-One). Elle constate que les variantes conçues pour rendre les mises à jour LoRA plus proches du fine-tuning complet (comme PiSSA) ne bénéficient pas nécessairement à Muon et peuvent même exacerber le mismatch, suggérant la nécessité d'adaptations spécifiques à Muon.

Résultats

Réduction de l'écart de performance : En fine-tuning complet, Muon sous-performe systématiquement Adam sur les modèles préentraînés avec Adam (par exemple, un écart de perplexité de +0,009 à +0,023 sur WikiText-2). Sous LoRA, cet écart se réduit considérablement (de 39 % pour les modèles préentraînés avec Muon et de 78 % pour les modèles préentraînés avec Adam).
Supériorité dans LoRA : Sur les tâches NLU, NLG et de vision, LoRA-Muon égale ou surpasse LoRA-Adam. Par exemple, sur le benchmark GLUE, LoRA-Muon-PE a obtenu la précision moyenne la plus élevée (89,20 %), surpassant à la fois LoRA-Adam (88,93 %) et Full-Adam (89,14 %).
Efficacité : Bien que Muon entraîne une surcharge modeste par étape due à l'itération de Newton-Schulz (1,1–1,2× plus lent qu'Adam dans les configurations LoRA), son efficacité mémoire (stockage d'un seul tampon de moment contre deux pour Adam) reste un avantage pratique, économisant environ 50 % de la mémoire de l'état de l'optimiseur.

Signification et affirmations

L'article prétend fournir la première analyse approfondie du problème de mismatch d'optimiseur entre Adam et Muon. Sa signification principale réside dans la possibilité d'utiliser Muon pour le fine-tuning du vaste écosystème de modèles préentraînés avec Adam.

Les auteurs concluent que :

Le mismatch d'optimiseur est structurel : Il découle de biais implicites conflictuels qui perturbent les connaissances préentraînées lorsque la force des mises à jour n'est pas contrainte.
Les mises à jour contraintes sont la clé : Des techniques comme LoRA, qui limitent l'ampleur des changements de poids, neutralisent efficacement ce mismatch.
Recommandation pratique : Les praticiens peuvent utiliser Muon comme remplacement direct d'Adam dans le fine-tuning LoRA pour bénéficier d'une efficacité mémoire et de performances compétitives sans subir les pénalités de mismatch observées dans le fine-tuning complet.

L'article note modestement que, bien que LoRA atténue le problème, les variantes LoRA existantes optimisées pour Adam ne se transfèrent pas automatiquement à Muon, suggérant que des travaux futurs sont nécessaires pour développer des adaptations spécifiques à Muon. De plus, la caractérisation théorique du mismatch reste une question ouverte.