🤖 machine learning

Approximate Muon with low-rank adapters

Cet article introduit sMuon, une méthode efficace qui approxime l'optimiseur Muon pour le réglage fin efficace de paramètres à faible rang en linéarisant l'objectif et en le résolvant par moindres carrés, permettant ainsi de bénéficier des performances de Muon dans des contextes tels que le SFT et le préentraînement ReLoRA où il était auparavant incompatible avec LoRA.

Auteurs originaux : Ben Anson, Conor Houghton, Edward Milsom

Publié 2026-08-17

📖 4 min de lecture☕ Lecture pause café

CC0 1.0

Auteurs originaux : Ben Anson, Conor Houghton, Edward Milsom

Article original placé dans le domaine public sous CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner une nouvelle compétence à un robot géant et super intelligent, comme écrire de la poésie ou résoudre des problèmes mathématiques. Vous ne voulez pas réentraîner tout le cerveau du robot à partir de zéro car cela prend un temps infini et coûte une fortune. À la place, vous voulez fixer un petit « module d'entraînement » léger à son cerveau existant. C'est ce qu'on appelle le Fine-Tuning à Paramètres Efficaces (PEFT). Voyez cela comme le fait de mettre un casque spécialisé sur un robot polyvalent ; le casque lui enseigne le nouveau tour sans modifier le matériel de base du robot.

Une façon populaire de construire ces casques est appelée LoRA (Low-Rank Adaptation). C'est comme construire le casque à partir de deux feuilles de papier fines et plates qui, lorsqu'elles sont empilées, créent la forme de la nouvelle compétence. Pour enseigner au robot, nous avons besoin d'un optimiseur — un coach mathématique qui dit au casque comment ajuster sa forme pour s'améliorer. Le coach le plus courant est appelé AdamW, mais il existe un nouveau coach plus puissant nommé Muon. Muon est célèbre pour être incroyablement efficace lors du pré-entraînement (lorsque l'on enseigne au robot ses toutes premières leçons à partir de zéro). Il fonctionne en veillant à ce que les mises à jour du cerveau du robot se fassent de manière parfaitement équilibrée et « orthogonale », comme un danseur tournant parfaitement sur un pied sans vaciller.

Cependant, il y a un problème. Lorsque vous essayez d'utiliser Muon pour entraîner le petit casque LoRA, les mathématiques s'effondrent. Muon veut équilibrer la couche entière du cerveau du robot, mais le casque LoRA n'est qu'une minuscule tranche de faible rang de cette couche. C'est comme essayer d'utiliser la baguette d'un chef d'orchestre pour diriger un seul violoniste de manière à ce que cela fasse sens pour tout l'orchestre ; la géométrie ne correspond tout simplement pas. La solution de contournement standard a consisté à ignorer l'orchestre et à simplement dire au violoniste de tourner sur lui-même, mais cela fait perdre la magie de Muon. Cette publication pose la question suivante : pouvons-nous trouver un moyen de faire fonctionner Muon pour ces petits casques sans casser les mathématiques ou ralentir le processus ?

Les auteurs, Ben Anson, Conor Houghton et Edward Milsom, disent que oui. Ils introduisent une nouvelle méthode appelée sMuon (small Muon). Au lieu de forcer l'impossible, ils utilisent un tour mathématique astucieux : ils « linéarisent » le problème. Imaginez que vous essayez de marcher sur une corde raide en tenant un parapluie géant et instable. Au lieu d'essayer de l'équilibrer tout entier à la fois, vous faites comme si le parapluie n'était qu'un bâton droit pendant une fraction de seconde, vous calculez le pas parfait, puis vous vous ajustez. En faisant cela, ils trouvent la meilleure façon de mettre à jour le casque LoRA qui approxime la danse parfaite de Muon.

L'article montre que cette nouvelle méthode sMuon fonctionne étonnamment bien. Lorsqu'ils ont testé sMuon sur divers modèles de langage, sMuon a souvent été plus performant que le coach standard AdamW et d'autres tentatives de Muon. Cela s'est avéré particulièrement impressionnant lorsqu'il a été utilisé sur un robot ayant déjà été pré-entraîné avec Muon (appelé Moonlight), où sMuon a obtenu les meilleurs scores dans six des onze tâches différentes. Dans une expérience de pré-entraînement, sMuon a égalé les meilleurs résultats pour réduire le taux d'erreur, mais il l'a fait environ 30 % plus vite qu'un rival de taille, une méthode appelée Riemannion.

Crucialement, les auteurs montrent que leur méthode n'est pas seulement une idée théorique ; elle est aussi pratique. Alors que d'autres méthodes avancées nécessitent des calculs lourds et lents (comme décomposer et réassembler des matrices complexes), sMuon repose presque entièrement sur des multiplications de matrices simples — le genre de mathématiques que les puces informatiques modernes sont conçues pour exécuter à la vitesse de l'éclair. Cela signifie que sMuon est assez rapide pour être utilisé dans l'entraînement réel sans ralentir le processus. L'article suggère qu'en respectant la géométrie de la couche entière plutôt qu'en traitant les parties LoRA comme des morceaux séparés et sans lien, nous pouvons obtenir un gain de performance significatif avec un coût supplémentaire très faible. C'est un rappel que parfois, la meilleure façon d'apprendre un nouveau tour à un robot géant est de lui donner un petit coup de pouce, intelligent et mathématiquement élégant.

=== RÉSUMÉ TECHNIQUE ===

Résumé technique : Approximation de Muon avec des adaptateurs de bas rang (sMuon)

Énoncé du problème

L'optimiseur Muon a démontré des performances supérieures pour le préentraînement des grands modèles de langage (LLM) en orthogonalisant les mises à jour de poids à chaque couche, égalisant ainsi efficacement les valeurs singulières. Ce comportement correspond à la descente la plus raide sous la norme spectrale, contrôlant le changement maximal d'une couche en tant qu'opérateur linéaire plutôt qu'en tant que vecteur aplati. Cependant, Muon est rarement utilisé pour le réglage fin efficace en paramètres (PEFT), particulièrement avec l'adaptation de bas rang (LoRA).

L'obstacle mathématique central est que Muon nécessite l'orthogonalisation de l'étape de descente pour l'intégralité de la matrice de poids de la couche. Dans le cadre de LoRA, où la mise à jour du poids est contrainte par une paramétrisation de bas rang $\Delta W = BA$ (avec $B \in \mathbb{R}^{d_1 \times r}$ et $A \in \mathbb{R}^{r \times d_2}$ ), il est mathématiquement impossible de trouver généralement des mises à jour $\delta B$ et $\delta A$ telles que la $\delta \Delta W$ résultante corresponde parfaitement à la mise à jour de plein rang orthogonalisée requise par Muon.

Les solutions de contournement existantes incluent :

Muon par facteur : Orthogonaliser $B$ et $A$ séparément, ce qui ignore la géométrie de la couche complète.
LoRA-Muon : Relâcher l'objectif en utilisant l'inégalité triangulaire.
Riemannion : Formuler le problème comme une optimisation riemannienne sur une variété de bas rang, ce qui nécessite des décompositions en valeurs singulières (SVD) tronquées coûteuses lors de l'étape de rétraction, entraînant un surcoût de calcul important.

Méthodologie

Les auteurs proposent sMuon (small Muon), une méthode qui approxime la solution d'un objectif Muon relâché dans le cadre du bas rang. L'approche repose sur la linéarisation et l'optimisation des moindres carrés pour trouver l'étape de descente optimale.

1. Linéarisation et formulation des moindres carrés

L'objectif est de trouver des mises à jour $\delta B, \delta A$ telles que la mise à jour impliquée $\delta \Delta W \approx \delta B A + B \delta A$ approxime l'étape Muon idéale $\delta \Delta W^* = -\eta \cdot \text{msign}(G_{\Delta W})$ , où $\text{msign}(X) = UV^\top$ est le facteur polaire de la SVD.

Puisque l'étape idéale est généralement de plein rang et ne peut être réalisée exactement par des facteurs de bas rang, les auteurs linéarisent le problème en omettant les termes de second ordre ( $\delta B \delta A$ ) et en résolvant un problème de moindres carrés :
$(\delta B^*, \delta A^*) = \arg \min_{\delta B, \delta A} \| \delta \Delta W^* - (\delta B A + B \delta A) \|_F^2$
Cela donne une solution en forme close impliquant les pseudo-inverses de Moore-Penrose ( $B^\dagger, A^\dagger$ ). Crucialement, les auteurs montrent que la mise à jour optimale n'est pas unique en termes de facteurs $(\delta B, \delta A)$ , mais que le changement de premier ordre résultant pour la couche complète $\delta \Delta W$ est unique.

2. Calcul efficace basé uniquement sur les multiplications matricielles (Matmul-Only)

Une implémentation directe de la solution en forme close nécessite l'orthogonalisation d'une grande matrice $d_1 \times d_2$ , ce qui est trop coûteux en termes de calcul. Pour y remédier, les auteurs dérivent une formulation efficace (Algorithme 2) qui évite l'orthogonalisation explicite de la grande matrice :

Gradient de bas rang : Au lieu d'utiliser le gradient complet $G_{\Delta W}$ , ils utilisent une projection de bas rang $H = P_B G_{\Delta W} + (I-P_B)G_{\Delta W} P_A$ , qui est équivalente au premier ordre pour l'objectif d'optimisation.
Réduction de dimensionnalité : Ils exploitent l'identité $\text{msign}(H) = U \text{msign}(U^\top H V) V^\top$ , où $U$ et $V$ sont des bases orthonormées engendrant les espaces colonnes et lignes de $H$ . Puisque $H$ est de rang au plus $2r$ , cela réduit l'orthogonalisation coûteuse de $d_1 \times d_2$ à une orthogonalisation de $2r \times 2r$ .
Implémentation : L'algorithme complet repose uniquement sur des multiplications de matrices, des racines carrées inverses de matrices et des décompositions polaires de petites matrices $r \times r$ ou $2r \times 2r$ . Cela évite le surcoût des décompositions QR et SVD requis par Riemannion.

3. Détails algorithmiques

L'optimiseur sMemuon incorpore :

Décomposition du poids (Split Weight Decay) : Pour correspondre à la dynamique de l'entraînement à paramètres complets, la décroissance du poids est appliquée via un facteur d'échelle $s = \sqrt{1-\lambda\eta}$ aux facteurs $A$ et $B$ avant la mise à jour du gradient.
Transport de l'élan (Momentum Transport) : Pour assurer l'invariance de la paramétrisation (c'est-à-dire que l'optimiseur se comporte de manière cohérente quel que soit la factorisation spécifique $B, A$ ), les tampons d'élan sont projetés sur les espaces de facteurs actuels à chaque étape.

Contributions clés

Dérivation de sMuon : Une méthode en forme close pour entraîner des adaptateurs LoRA avec Muon en utilisant une approximation du premier ordre de l'objectif de descente la plus raide régularisé par la norme spectrale.
Implémentation efficace : Un algorithme "uniquement par multiplication de matrices" qui est calculatoirement efficace pour le matériel moderne, évitant les décompositions coûteuses. Il offre une vitesse comparable à Per-factor Muon et LoRA-Muon tout en étant nettement plus rapide que Riemannion, surtout pour des rangs LoRA plus élevés.
Évaluation empirique : Expérimentations approfondies sur quatre modèles de base (incluant un modèle préentraîné avec Muon et trois préentraînés avec AdamW) et onze benchmarks (sens commun et codage).

Résultats

Le papier rapporte les conclusions suivantes :

Performance : sMuon se comporte favorablement sur les benchmarks SFT. Bien que les résultats dépendent du modèle, sMoun a obtenu la meilleure précision dans six des onze tâches lors du réglage fin du modèle Moonlight-16B-A3B (qui a été préentraîné avec Muon). Il surpasse généralement AdamW et Per-factor Muon.
Préentraînement ReLoRA : Dans un contexte de préentraînement utilisant ReLoRA (fusion et rafraîchissement périodiques des adaptateurs), sMuon a atteint la perte de validation finale la plus basse, égalant Riemannion mais étant environ 30 % plus rapide.
Propriétés spectrales : L'analyse empirique du spectre de mise à jour des poids montre que sMuon conserve un spectre plus uniforme (plus proche du comportement idéal de Muon) par rapport à Per-factor Muon et LoRA-Muon.
Efficacité : Le tableau 4 démontre que bien que sMuon soit légèrement plus lent qu'AdamW, il est nettement plus rapide que Riemannion. Pour un rang de $r=64$ , Riemannion ajoute environ 33 % de surcoût au temps de l'étape, tandis que sMuon n'ajoute que ~0,8 %.

Signification et affirmations

Le papier affirme que sMuon fournit une méthode principled, efficace en mémoire et calculablement traitable pour appliquer l'optimisation Muon aux adaptateurs de bas rang. En respectant la géométrie de la couche complète plutôt que de traiter les facteurs LoRA comme des matrices indépendantes, sMuon obtient des améliorations de performance modérées, particulièrement lorsque le modèle de base a également été préentraîné avec Muon. Les auteurs soulignent que leur méthode évite les "contraintes de variétés coûteuses" de l'optimisation Riemannienne sans sacrifier la performance, rendant le réglage fin basé sur Muon plus accessible pour les applications pratiques.

Les auteurs restent modestes, notant que les résultats sont "dépendants du modèle et de l'évaluation" et que la contribution principale est une approximation propre et efficace qui comble le fossé entre les avantages théoriques de Muon et les contraintes pratiques de la PEFT.