🤖 machine learning

Improving Neural Network Training by Decoupling the Magnitude and Direction of Weight Vectors

Cet article introduit le découplage Magnitude–Direction (MD), une modification d'optimiseur qui factorise les matrices de poids en directions à norme fixe et en magnitudes apprenables mises à jour à des taux distincts, stabilisant ainsi la dynamique d'entraînement et éliminant le besoin de décroissance de poids (weight decay) et de chauffe (warmup) à travers diverses architectures de modèles et optimiseurs.

Auteurs originaux : Alexander Hägele, Alejandro Hernández-Cano, Atli Kosson, Martin Jaggi

Publié 2026-06-25

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Alexander Hägele, Alejandro Hernández-Cano, Atli Kosson, Martin Jaggi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot géant et complexe (un réseau de neurones) à parler une nouvelle langue. Le cerveau du robot est composé de milliards de petits interrupteurs appelés poids. Pour enseigner au robot, vous utilisez un enseignant appelé optimiseur (comme Adam ou Muon) qui pousse ces interrupteurs pour rendre le robot plus intelligent.

Pendant longtemps, ces enseignants traitaient chaque interrupteur comme un bloc unique et solide. Ils poussaient tout le bloc dans une direction spécifique. Mais les auteurs de ce papier ont réalisé qu'il y a un problème : chaque poids possède en réalité deux parties distinctes :

La Direction : Vers où l'interrupteur pointe (comme l'aiguille d'une boussole).
La Magnitude : À quel point l'interrupteur est fort ou bruyant (comme le bouton de volume).

Le Problème : L'enchevêtrement « Volume » et « Direction »

Dans l'entraînement standard, l'enseignant essaie de déplacer tout le bloc à la fois. Cela crée un enchevêtrement désordonné :

Le Volume dérive : Lorsque l'enseignant essaie de faire pivoter la direction de l'interrupteur, le « volume » (la magnitude) devient accidentellement plus fort ou plus faible par effet de bord, même si l'enseignant ne voulait pas changer cela.
La Direction est confuse : Si le volume est trop élevé, une petite poussée ne change pas beaucoup la direction. Si le volume est trop bas, la même poussée fait tourner la direction de manière sauvage.
Le Kit de Réparation : À cause de ce désordre, les ingénieurs doivent utiliser des « pansements » compliqués comme le décroissance du poids (weight decay — une règle qui essaie constamment de réduire le volume) et le warmup (commencer très lentement pour éviter le chaos) afin de maintenir la stabilité de l'entraînement.

La Solution : Le Découplage Magnitude-Direction (MD Decoupling)

Les auteurs proposent une nouvelle façon d'enseigner au robot. Au lieu de traiter le poids comme un bloc solide, ils le divisent en deux parties distinctes à l'intérieur de l'optimiseur :

La Boussole (Direction) : Ils forcent la direction à rester sur une « sphère » fixe (comme un globe). L'enseignant peut faire pivoter l'aiguille de la boussole autour de ce globe, mais la longueur de l'aiguille ne change jamais.
Les Boutons de Volume (Magnitude) : Ils ajoutent des « boutons de volume » séparés et apprenables (gains) pour chaque ligne et colonne des interrupteurs. Ces boutons contrôlent l'intensité de manière indépendante.

L'Analogie :
Imaginez que vous dirigez un navire.

L'Ancienne Méthode : Vous avez un levier géant qui contrôle à la fois le gouvernail (direction) et la puissance du moteur (magnitude). Si vous essayez de tourner le gouvernail, la puissance du moteur augmente ou diminue accidentellement, rendant le navire difficile à diriger. Vous devez constamment lutter contre le moteur pour le maintenir stable.
La Nouvelle Méthée (Découplage MD) : Vous avez un volant dédié pour le gouvernail et un accélérateur séparé pour le moteur. Vous pouvez tourner le volant exactement autant que vous le souhaitez sans que le moteur ne change de régime. Vous pouvez aussi ajuster l'accélérateur indépendamment pour aller plus vite ou plus lentement.

Que se passe-t-il quand vous utilisez cela ?

Le papier montre que cette séparation simple mène à des avantages surprenants :

Plus de « Pansements » : Comme la direction est verrouillée à une taille fixe et que le volume est contrôlé séparément, le robot n'a plus besoin de décroissance du poids (weight decay) ni de warmup. L'entraînement est naturellement stable.
Une Mise à l'Échelle Prévisible : Habituellement, si vous rendez le robot plus grand (plus d'interrupteurs), vous devez reconfigurer les réglages de l'enseignant de zéro. Avec cette nouvelle méthode, la « sensibilité de direction » (taux d'apprentissage) reste la même, que le robot soit petit ou immense. Vous pouvez régler un petit modèle et utiliser ces mêmes réglages pour un modèle massif.
Un Apprentissage plus Rapide : Le robot apprend mieux et plus vite. Dans des tests avec de très grands modèles (Mixture-of-Experts), cette méthode a atteint le même niveau de performance que les meilleures méthodes existantes, mais en utilisant moitié moins de puissance de calcul.

L'Essentiel

Le papier soutient qu'en traitant la « direction » et la « force » des poids du réseau de neurones comme deux choses distinctes pouvant être contrôlées indépendamment, nous pouvons entraîner des modèles d'IA plus efficacement, avec moins de règles et de meilleurs résultats. C'est comme réaliser que pour bien conduire une voiture, vous devez contrôler la direction et l'accélérateur séparément, plutôt que d'essayer de faire les deux avec une seule main.

Résumé technique : Améliorer l'entraînement des réseaux de neurones par le découplage de la magnitude et de la direction des vecteurs de poids

1. Énoncé du problème

L'entraînement des réseaux de neurones modernes repose sur des optimiseurs comme Adam et Muon qui traitent les matrices de poids comme des objets monolithiques uniques. Cependant, toute matrice de poids $W$ porte intrinsèquement deux quantités distinctes : une magnitude ( $\|W\|$ ) et une direction ( $\hat{W} = W/\|W\|$ ). Dans l'optimisation standard, ces deux quantités sont couplées, ce qui entraîne une dynamique d'entraînement instable et imprévisible :

Dépendance du changement directionnel : Le changement angulaire induit par une mise à jour dépend inversement de la magnitude actuelle. Par conséquent, le taux d'apprentissage (LR) ne contrôle pas directement le taux de changement directionnel, lequel peut varier selon les couches et au fil du temps.
Dérive de magnitude involontaire : Les mises à jour ont tendance à être perpendiculaires aux poids actuels (en raison de l'invariance d'échelle ou du bruit), ce qui provoque une croissance de la magnitude même en l'absence de gradient radial. Cette « croissance incontrôlée » force les praticiens à s'appuyer sur des mécanismes indirects comme la décroissance de poids (weight decay) pour stabiliser l'entraînement et le warmup pour prévenir l'instabilité précoce.
Limitations de mise à l'échelle : Les méthodes actuelles pour mettre à l'échelle l'entraînement (par exemple, $\mu$ P) nécessitent souvent de réajuster les hyperparamètres lors du changement de largeur ou de profondeur du modèle. De plus, les approches récentes qui contraignent les poids à une sphère de norme fixe manquent souvent de paramètres de magnitude apprenables, laissant le contrôle de l'échelle uniquement aux couches de normalisation.

2. Méthodologie : Découplage Magnitude–Direction (MD)

Les auteurs proposent le Découplage Magnitude–Direction (MD), une modification de l'optimiseur qui factorise chaque matrice de poids en une direction à norme fixe et des gains de magnitude apprenables, en les mettant à jour à des taux d'apprentissage distincts.

Factorisation de base

Chaque matrice de poids $W$ est reparamétrée comme suit :
$W = \text{diag}(\gamma_{\text{row}}) \, \hat{W} \, \text{diag}(\gamma_{\text{col}})$
Où :

$\hat{W}$ est la direction, contrainte de résider sur une hypersphère fixe (par exemple, la norme de Frobenius).
$\gamma_{\text{row}}$ et $\gamma_{\text{col}}$ sont des gains de magnitude apprenables (des vecteurs agissant respectivement sur les lignes et les colonnes).

Procédure d'optimisation

La méthode opère entièrement au sein de l'étape de l'optimiseur, sans modifier le passage direct (forward pass) du modèle (le modèle voit un tenseur fusionné unique $W$ ) :

Récupération : Récupérer $\hat{W}$ et les gains $\gamma$ à partir du poids fusionné $W$ .
Division du gradient : Diviser le gradient $G = \partial L / \partial W$ en un gradient de direction ( $\partial L / \partial \hat{W}$ ) et des gradients de gain (sommés sur les axes respectifs).
Mise à jour de la direction : Mettre à jour $\hat{W}$ en utilisant l'optimiseur de base (par exemple, Adam, Muon) avec un taux d'apprentissage $\eta_W$ , puis la projeter à nouveau sur la sphère pour maintenir la norme fixe.
Mise à jour du gain : Mettre à jour les gains $\gamma$ (éventuellement via une application lisse comme le softplus pour garantir la positivité) en utilisant un taux d'apprentissage distinct $\eta_\gamma$ .
Réassemblage : Reconstruire $W$ pour le prochain passage direct.

Propriétés clés

Indépendant de l'optimiseur : La méthode agit comme un wrapper autour de n'importe quel optimiseur de base (Adam, Muon, Shampoo, etc.).
Contrôle direct du LR : En fixant la direction sur une sphère, le taux d'apprentissage définit directement la mise à jour angulaire relative, supprimant la dépendance à la magnitude actuelle du poids.
Élimination des heuristiques : La méthode élimine le besoin de décroissance de poids (car les poids sont déjà contraints en norme) et de warmup (car les mises à jour précoces importantes et déstabilisantes sont régulées dès le premier pas).
Contrôle d'échelle fin : Contrairement aux méthodes reposant uniquement sur les gains des couches de normalisation, le découplage MD fournit un contrôle explicite et appris sur l'échelle des lignes et des colonnes individuelles, permettant au modèle d'amplifier ou d'atténuer des caractéristiques spécifiques.

3. Contributions et résultats clés

Résultats empiriques

Les auteurs valident le découplage MD sur des modèles denses (181M à 1,29B de paramètres) et de grands modèles Mixture-of-Experts (MoE) (jusqu'à 6,7B de paramètres au total).

Gains de performance : Le découplage MD améliore les bases bien ajustées (AdamW et Muon). Sur les grands modèles MoE, MuonMD (Muon avec découplage MD) atteint la perte de AdamW avec environ 2 $\times$ moins de calcul.
Transfert de taux d'apprentissage : La méthode permet un transfert de taux d'apprentissage zero-shot à travers la largeur du modèle. Le LR de matrice optimal trouvé sur un petit modèle reste optimal pour des modèles nettement plus larges sans réajustement. Cela s'applique tant à la mise à l'échelle de la largeur que de la profondeur.
Entraînement sans warmup : Les expériences montrent que supprimer le warmup non seulement maintient la stabilité mais améliore la perte finale, car les premières étapes d'entraînement ne sont plus gaspillées par des taux d'apprentissage réduits.
Analyses d'ablation :
- Axe de normalisation : Contraer la direction via la norme de Frobenius (matrice entière) est jugé le plus flexible et affiche des performances comparables aux contraintes par ligne/colonne.
- Paramétrage du gain : Un gain combiné par ligne et par colonne ( $\gamma_{\text{row}} + \gamma_{\text{col}}$ ) surpasse les gains scalaires ou mono-axes. Le paramétrage softplus pour les gains offre un léger avantage constant par rapport aux mises à jour directes ou exponentielles.
- Embeddings : Contraindre les vecteurs d'embedding à une norme L2 unitaire fonctionne légèrement mieux que de les laisser sans contrainte.

Comparaison avec les travaux connexes

Le papier situe le découplage MD dans un corpus croissant de travaux sur l'entraînement sphérique et le reparamétrage :

Contrairement à nGPT, qui lie les contraintes sphériques à des changements architecturaux spécifiques (ex: normalisation L2, résidus interpolés), le découplage MD est une modification du côté de l'optimiseur qui peut être appliquée à des architectures standards. Appliqué à l'architecture de nGPT, le découplage MD améliore davantage les performances.
Contrairement à Muown ou HyperP, qui peuvent fixer les normes sans magnitudes apprenables ou lier la méthode à des optimiseurs spécifiques, le découplage MD apprend explicitement les magnitudes et est indépendant de l'optimiseur.
Il traite l'« interférence magnitude-direction » identifiée dans des travaux antérieurs (ex: Kosson et al., 2024a) en séparant la dynamique des deux quantités.

4. Signification et affirmations

Le papier affirme que traiter la magnitude et la direction comme des quantités contrôlées séparément permet d'obtenir des dynamiques d'entraînement plus prévisibles et une amélioration simple et largement applicable aux optimiseurs modernes.

Simplicité : La méthode ne nécessite aucun changement architectural et ajoute un surcoût computationnel minimal (opérations élément par élément pendant l'étape de l'optimiseur).
Robustesse : Elle simplifie la recette d'entraînement en supprimant le besoin de décroissance de poids et de warmup, réduisant ainsi l'espace de recherche des hyperparamètres.
Scalabilité : Elle fournit un mécanisme principled pour le transfert du taux d'apprentissage à travers la largeur du modèle, répondant à un goulot d'étranglement clé de la mise à l'échelle des grands modèles de langage.

Les auteurs concluent que, bien que la logique supplémentaire dans l'étape de l'optimiseur introduise un léger surcoût, les bénéfices en termes de stabilité d'entraînement, d'efficacité de calcul et de transfert d'hyperparamètres font du découplage MD une avancée significative pour l'entraînement des réseaux de neurones à grande échelle.