🔢 mathematics

Sign compression for Muon: SignMuon, MuonSign, and the Limits of Error Feedback

Cet article présente SignMuon, une méthode de compression à un bit pour l'optimiseur Muon qui, malgré une divergence théorique et l'échec de la rétroaction d'erreur à la corriger, surpasse empiriquement des variantes prouvables de convergence sur divers benchmarks, mettant en évidence un écart significatif entre les garanties théoriques et les performances pratiques dans l'optimisation à faible nombre de bits.

Auteurs originaux : Maria Smirnova, Alexey Kravatskiy

Publié 2026-08-03

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Maria Smirnova, Alexey Kravatskiy

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot géant et super intelligent à reconnaître des chats sur des photos. Pour ce faire, le robot doit apprendre à partir de millions d'images, et chaque fois qu'il fait une supposition, il envoie un message au cerveau central pour dire : « Je pense que je dois ajuster ma pensée de cette façon. » Le problème, c'est que ces messages sont énormes. C'est comme envoyer une encyclopédie complète à chaque fois que vous voulez dire « oui » ou « non ». Si vous devez envoyer ces encyclopédies massives via une connexion internet lente, tout le processus d'apprentissage s'arrête, attendant l'arrivée des données.

Pour correr cela, les scientifiques ont inventé une astuce appelée « compression ». Au lieu d'envoyer l'encyclopédie entière, vous envoyez simplement le mot le plus important : le signe. Est-ce que l'ajustement est positif (haut) ou négatif (bas) ? C'est tout. Une seule information (un bit). C'est comme crier « HAUT ! » ou « BAS ! » au lieu d'envoyer une carte détaillée. Cela économise énormément de bande passante et permet au robot d'apprendre beaucoup plus vite. Mais il y a un piège : parfois, quand vous jetez tous les détails pour ne garder que la direction, vous faussez accidentellement les calculs. Le robot peut commencer à marcher en rond ou même à marcher en arrière, pensant qu'il avance. Ce papier traite de la manière de trouver la façon parfaite de crier « HAUT ! » ou « BAS ! » afin que le robot apprenne réellement, sans se perdre.

La Grande Expérience de Compression de Signe

Dans le monde de l'entraînement de l'intelligence artificielle, il existe une méthode populaire appelée Muon. Voyez Muon comme un GPS très sophistiqué pour notre robot. Contrairement aux anciennes méthodes qui traitent chaque partie du cerveau du robot comme un élément séparé et isolé, Muon regarde l'image globale. Il comprend que le cerveau du robot est composé de grilles de nombres (matrices), et il utilise une règle géométrique spéciale pour déterminer le meilleur chemin à suivre. C'est comme un GPS qui sait que le terrain est une chaîne de montagnes et qui choisit un sentier qui respecte la forme des collines, plutôt que de simplement essayer de marcher en ligne droite.

Cependant, Muon est lourd. Il envoie des cartes détaillées et complètes (32 bits de données) pour chaque étape. Lorsque vous essayez de l'utiliser avec l'astuce du « cri HAUT ou BAS » (compression de signe) pour économiser de la bande passante, les choses deviennent étranges. Les auteurs de ce papier, Maria Smirnova et Alexey Kravatskiy, ont décidé de tester trois façons de combiner le GPS intelligent de Muon avec le simple cri « HAUT/BAS ».

Les Trois Façons de Crier

Ils ont mis en place trois stratégies, comme trois équipes différentes essayant de naviguer dans un labyrinthe :

SignMuon (L'équipe « Crier Après ») : D'abord, Muon calcule le chemin parfait et détaillé. Ensuite, ils regardent ce chemin et crient « HAUT ! » ou « BAS ! » pour chaque étape. Cela semble le plus logique : obtenir d'abord la direction intelligente, puis simplifier.
MuonUSign (L'équipe « Crier Avant ») : D'abord, ils crient « HAUT ! » ou « BAS ! » sur les données brutes avant que Muon ne fasse ses calculs intelligents. Ensuite, Muon essaie de déterminer le meilleur chemin basé sur ces cris simples.
MuonSign (L'équipe « Crier des Deux Côtés ») : Ils crient avant et après. Ils crient sur les données brutes, laissent Muon faire son travail, puis crient à nouveau sur le résultat. C'est la compression la plus extrême, n'envoyant que « HAUT » ou « BAS » dans les deux sens.

La Découverte Chocante : Logique contre Réalité

C'est ici que l'histoire devient tortueuse. Les auteurs ont effectué des calculs rigoureux (en le prouvant par des théorèmes) et ont découvert quelque chose de surprenant : aucune de ces trois méthodes n'est garantie de fonctionner.

En fait, ils ont prouvé que sur certains problèmes simples de ligne droite, les trois méthodes peuvent en réalité faire reculer le robot. Imaginez un robot essayant de descendre un couloir droit. Au lieu de marcher vers l'avant, les calculs s'embrouillent et le cri « HAUT/BAS » le fait faire un pas en arrière à chaque fois. Le robot s'éloigne de plus en plus de son but, peu importe la petitesse des pas.

Les auteurs ont même construit des exemples spécifiques et minuscules (comme une grille 4x4 ou 5x5) où ils ont pu montrer cela. Ils ont prouvé que si vous essayez de corriger cela en gardant une « mémoire » des erreurs (une technique appelée retour de l'erreur ou error feedback), cela n'aide pas l'équipe « Crier Après » (SignMuon). Le robot reste bloqué en train de marcher en arrière.

La Correction « Magique » qui fonctionne (mais qui n'est pas la meilleure)

Alors, si les méthodes évidentes échouent, qu'est-ce qui fonctionne ? Les auteurs ont découvert que si l'on change ce que l'on compresse, on peut sauver la mise.

Au lieu de compresser la direction finale, ils compressent les données brutes avant que Muon ne fasse sa magie, et ils utilisent un système de « mémoire » spécial pour corriger les erreurs. Ils ont créé deux nouvelles méthodes : EF21-MuonUSign et EF21-MuonSign.

Ces méthodes fonctionnent mathématiquement. Les auteurs ont prouvé qu'elles finiront par atteindre le but, même sur des problèmes non linéaires difficiles. Ce sont les choix « sûrs » qui ne feront pas reculer le robot indéfiniment.

Le Coup de Théâtre : Théorie contre Réalité

Si les méthodes « sûres » sont les seules qui fonctionnent mathématiquement, on s'attendrait à ce qu'elles soient les championnes dans le monde réel, n'est-ce pas ? Faux.

Les auteurs ont mené des expériences massives sur des tâches du monde réel :

Apprendre à un robot à reconnaître des chats et des chiens (CIFAR-10).
Entraîner un robot à écrire comme un humain (nanoGPT).

Et les résultats étaient l'exact opposé des mathématiques. Les méthodes « sûres » (celles avec les garanties) étaient plus lentes et moins précises. La méthode que les mathématiques disaient cassée — la méthode « Crier Après » (SignMuon) — était en fait la gagnante.

Dans chaque test, SignMuon a été la plus performante. Elle a appris plus vite et a obtenu des scores plus élevés que les méthodes « sûres », même si les auteurs avaient prouvé qu'elle devrait échouer sur des problèmes simples.

Pourquoi cela arrive-t-il ?

Le papier suggère que la mathématique « cassée » ne se produit que dans des situations très spécifiques et étranges qui n'arrivent généralement pas dans la vraie vie. La méthode « Crier Après » (SignMuo) semble posséder un super-pouvoir caché que les preuves mathématiques n'ont pas capturé. Il s'avère que dans le monde complexe et désordonné des données réelles, l'acte simple de compresser la direction finale fonctionne mieux que les systèmes complexes de correction d'erreurs « sûrs ».

Les auteurs concluent que bien que nous puissions prouver que les méthodes « sûres » fonctionneront, c'est la méthode « risquée » (SignMuon) qui accomplit réellement le travail. C'est un rappel que dans le monde sauvage de l'IA, parfois, l'heuristique (la règle empirique) bat la garantie. L'équipe « Crier Après » gagne la course, même si l'arbitre (les mathématiques) a dit qu'ils n'étaient pas autorisés à courir.

Ce qu'il faut retenir

Ce papier est une histoire sur la tension entre la théorie et la pratique.

La théorie dit : « N'utilisez pas SignMuon ; cela peut faire reculer le robot. »
La pratique dit : « SignMuon est la plus rapide et la meilleure. »

Les auteurs n'ont pas résolu le mystère de pourquoi la théorie échoue en pratique, mais ils l'ont documenté clairement. Ils nous ont montré que, bien que nous puissions construire un robot mathématiquement garanti de ne jamais tomber d'une falaise, le robot qui prend quelques sauts risqués pourrait en fait atteindre la ligne d'arrivée le premier. Pour quiconque construit des systèmes d'IA, la leçon est claire : faites confiance aux mathématiques pour vous garder en sécurité, mais faites confiance aux expériences pour vous dire ce qui fonctionne réellement.

Résumé Technique : Compression de Sign pour Muon

Énoncé du Problème
L'entraînement de réseaux de neurones profonds à travers des clients distribués ou sous des contraintes de bande passante nécessite de compresser les mises à jour transmises entre les travailleurs (workers) et les serveurs. Bien que SignSGD offre un taux de compression extrême d'un bit par coordonnée, il aplatit les matrices de poids en vecteurs, perdant ainsi la structure matricielle que des optimiseurs avancés comme Muon exploitent. Muon utilise un Oracle de Minimisation Linéaire (LMO) basé sur la norme spectrale pour orthogonaliser les matrices de momentum, produisant des performances supérieures dans diverses configurations. Cependant, Muon transmet des matrices denses en pleine précision (32 bits par paramètre), ce qui crée un goulot d'étranglement. Le problème central est de combiner la géométrie sensible aux matrices de Muon avec un budget de communication d'un bit sans perdre la propriété de descente ou les garanties de convergence.

Méthodologie
L'article étudie trois placements naturels de l'opérateur de compression de signe par rapport au LMO de Muon :

SignMuon : Signe la sortie du LMO ( $\text{sign}(\text{LMO}(\cdot))$ ). C'est l'approche la plus directe, émettant une matrice $\pm 1$ .
MuonUSign : Signe l'entrée du LMO ( $\text{LMO}(\text{sign}(\cdot))$ ).
MuonSign : Signe à la fois l'entrée et la sortie ( $\text{sign}(\text{LMO}(\text{sign}(\cdot)))$ ).

Les auteurs analysent ces méthodes théoriquement sur des objectifs linéaires et des problèmes non-convexes lisses. Ils introduisent également des variantes à rétroaction d'erreur (EF21) pour traiter le biais introduit par la compression de signe :

EF21-SignMuon : Applique la rétroaction d'erreur à la sortie du LMO (le facteur polaire).
EF21-MuonUSign : Applique la rétroaction d'erreur au gradient avant le LMO.
EF21-MuonSign : Applique la rétroaction d'erreur à la fois au gradient (liaison montante/uplink) et à la mise à jour du modèle (liaison descendante/downlink).

Un détail de mise en œuvre clé est l'heuristique de « gain unitaire » pour les pas de l'apprentissage par couche, qui ajuste le taux d'apprentissage en fonction des dimensions de la couche pour assurer un gain RMS (racine carrée de la moyenne des carrés) cohérent entre les couches de formes variées, une nécessité lorsqu'on mélange des pas basés sur LMO (norme $\sqrt{r}$ ) et des pas basés sur le signe (norme $\sqrt{mn}$ ).

Contributions Clés

Divergence des Combinaisons Directes : L'article prouve qu'aucune des trois implantations de signe directes (SignMuon, MuonUSign, MuonSign) ne garantit la descente en général. Plus précisément, les auteurs construisent des contre-exemples explicites à petite échelle (matrices 4x4 et 5x5) où chaque méthode progresse de manière ascendante sur un objectif linéaire pour n'importe quel pas et coefficient de momentum. La composition de l'opérateur de signe et du LMO de norme spectrale s'avère être un LMO pour aucune norme, détruisant la garantie de descente.
Échec de la Rétroaction d'Erreur sur l'Output de l'Oracle : Les auteurs démontrent qu'appliquer une rétroaction d'erreur standard (EF21) à la sortie du LMO (EF21-SignMuon) ne répare pas la divergence. Ils construisent une fonction lisse et bornée inférieurement où EF21-SignMuon diverge pour toute constante de lissage, tout pas et toute configuration de momentum. Le facteur polaire peut varier d'une quantité constante indépendamment du pas, empêchant l'estimateur de rétroaction d'erreur de le suivre.
Convergence de la Rétroaction d'Erreur Basée sur le Gradient : En revanche, appliquer la rétrofaction d'erreur au gradient (avant le LMO) restaure la convergence.
- EF21-MuonUSign atteint le taux standard de $O(T^{-1/2})$ pour la norme au carré du gradient sur des problèmes non-convexes lisses avec une liaison montante d'un bit.
- EF21-MuonSign étend cela à un bit dans les deux sens (liaison montante et descendante) en ajoutant une seconde boucle de rétroaction d'erreur sur le modèle, maintenant le même taux de convergence.
Inversion Empirique de la Théorie : Malgré la divergence théorique de SignMuon, les résultats expérimentaux sur CIFAR-10 centralisé, CIFAR-10 fédéré et un speedrun nanoGPT montrent systématiquement que SignMuon (le placement après le signe) est la méthode compressée la plus forte. Elle surpasse les variantes convergentes (EF21-MuonUSign, EF21-MuonSign) et égale Muon en pleine précision dans de nombreux cas. Les méthodes théoriquement « sûres » sont en retrait par rapport à Signers.

Résultats

Théorique : L'article établit que le placement « signe-après » est irréparable par une rétroaction d'erreur appliquée à la sortie de l'oracle, tandis que les placements « signe-avant » et « les deux côtés » avec rétroaction d'erreur sur le gradient sont prouvés convergents.
Expérimental :
- Sur CIFAR-10 Centralisé (ResNet-18), SignMuon atteint 94,60 % de précision, égalant Muon en pleine précision (94,35 %) et surpassant significativement SignSGD (93,37 %). Les variantes à rétroaction d'erreur (EF21-SignMuon) performent légèrement moins bien que SignMuon.
- Sur CIFAR-10 Fédéré (N=11), SignMuon atteint 85,72 % de précision, suivant de près Muon (85,98 %) de moins d'un écart-type, mais dépassant SignSGD de 4,3 points. L'ordre reste : SignMuon > MuonUSign > MuonSign. Les variantes convergentes (EF21-MuonUSign/Sign) sont en retrait.
- Sur nanoGPT, SignMuon et EF21-SignMuon sont indiscernables et atteignent des pertes de validation à 0,01 près de Muon en pleine précision, surpassant toutes les autres méthodes compressées.
Contre-exemples : Les instances de divergence construites sont des scénarios extrêmes. Sur des problèmes quadratiques aléatoires, l'alignement entre le gradient et le pas reste positif pour les trois placements, suggérant que les données ordinaires ne déclenchent pas la divergence théorique.

Signification et Revendications
L'article documente une tension entre les garanties théoriques et les performances pratiques dans l'optimisation compressée. Il affirme que, bien que le placement « signe-après » (SignMuon) soit théoriquement irréparable et puisse diverger sur des instances linéaires spécifiques, il constitue l'heuristique la plus efficace en pratique sur diverses architectures et échelles. Les auteurs ne prétendent pas résoudre cette tension mais la caractériser : les contre-exemples empêchent une garantie couvrant chaque problème de la classe, mais n'empêchent pas la convergence sous des conditions satisfaites par des données ordinaires.

L'article conclut qu'aux échelles actuelles, le bénéfice heuristique de compresser après le LMO l'emporte sur l'absence de garantie théorique. Il identifie la question principale ouverte comme étant l'identification des conditions spécifiques sous lesquelles le placement « signe-après » converge, ainsi que l'étude des taux de convergence pour les liaisons descendantes compressées et si un compresseur d'un bit contracte dans une norme de couche. Le travail clarifie également qu'une proposition concurrente pour SignMuon (Mishra et al., 2026) fournit une garantie pour une méthode différente (oracle de signe du gradient) plutôt que pour la mise à jour de SignMuon elle-même.