💻 computer science

AMUSE: Anytime Muon with Stable Gradient Evaluation

Le papier présente AMUSE, un nouvel optimiseur qui combine les progrès rapides en masse de Muon avec le lissage Schedule-Free pour stabiliser l'entraînement et éliminer le besoin de calendriers de taux d'apprentissage, permettant ainsi d'obtenir des performances supérieures dans les tâches de vision et de langage.

Auteurs originaux : Jueun Kim, Baekrok Shin, Jihun Yun, Beomhan Baek, Minhak Song, Chulhee Yun

Publié 2026-05-22

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jueun Kim, Baekrok Shin, Jihun Yun, Beomhan Baek, Minhak Song, Chulhee Yun

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Vue d'Ensemble : Entraîner une IA, c'est comme faire de la randonnée en montagne

Imaginez que vous essayez d'enseigner à un ordinateur (un réseau de neurones) à acquérir une compétence, comme reconnaître des chats ou écrire des histoires. Pour ce faire, l'ordinateur doit « descendre » une montagne géante et complexe d'erreurs pour trouver le tout bas (la solution parfaite).

La forme de cette montagne est trompeuse. Ce n'est pas juste une pente douce.

La Rivière : Il y a un large fond de vallée plat et doux où vous pouvez marcher rapidement et faire de grands progrès. C'est là que se produit le véritable apprentissage.
Les Murs de la Vallée : Sur les côtés de cette vallée, le terrain est incroyablement raide et rocailleux. Si vous faites un pas trop loin vers les murs, vous rebondissez sauvagement d'avant en arrière, gaspillant de l'énergie et n'avançant nulle part.

Le Problème avec les Méthodes Actuelles

Pendant longtemps, la façon standard de faire cette randonnée (en utilisant un optimiseur appelé AdamW) était celle d'un randonneur qui a besoin d'une carte stricte. La carte lui indique exactement à quelle vitesse marcher et quand ralentir. Si le randonneur ignore la carte, il se perd.

Récemment, deux nouvelles stratégies de randonnée sont apparues :

Schedule-Free (SF) : C'est comme un randonneur qui n'a pas besoin de carte. Il continue simplement de marcher, mais il regarde occasionnellement où il a été pour rester sur le fond plat de la vallée. Il est très stable, mais parfois un peu lent à démarrer.
Muon : C'est un nouveau randonneur, super rapide. Il a un truc spécial : il « redresse » ses pas pour ne pas rester coincé sur les murs raides. Il sprinte le long de la rivière incroyablement vite. Cependant, parce qu'il est si rapide et agressif, il rebondit parfois contre les murs de la vallée, ce qui le fait vaciller et perdre sa stabilité.

La Solution : AMUSE

Les auteurs de ce papier ont réalisé que Muon est rapide mais instable, tandis que Schedule-Free est stable mais parfois lent. Ils voulaient combiner le meilleur des deux mondes.

Ils ont créé AMUSE (Muon à tout moment avec évaluation de gradient stable).

L'Analogie : Le Randonneur à « Interpolation Intelligente »

Imaginez que vous conduisez une voiture le long d'une route sinueuse (la rivière).

Muon est comme conduire une voiture de sport à 160 km/h. Vous arrivez vite, mais si vous rencontrez un nid-de-poule (un mur raide), vous pourriez perdre le contrôle.
Schedule-Free est comme conduire un camion lourd à 65 km/h. Vous êtes très stable, mais vous mettez beaucoup de temps à aller n'importe où.

AMUSE est comme un conducteur intelligent qui change son style de conduite en fonction de l'heure de la journée :

Au début du voyage (Le Départ) : Le conducteur est en mode voiture de sport. Il conduit vite (comme Muon) pour démarrer rapidement et couvrir du terrain. Il est prêt à prendre quelques risques pour accélérer.
Plus tard dans le voyage (La Fin) : À mesure qu'il se rapproche de la destination, le conducteur passe lentement en mode « camion ». Il commence à regarder davantage le trajet moyen qu'il a parcouru jusqu'ici, lissant ses virages. Cela l'empêche de rebondir contre les murs et le maintient parfaitement sur le fond plat de la rivière.

Comment AMUSE Fonctionne (La Magie Technique)

Le papier explique cela en utilisant un « coefficient variant dans le temps » (une façon élégante de dire un cadran qui change au fil du temps).

Le Cadran ( $\beta_t$ ) : Au début, le cadran est réglé pour se concentrer sur le chemin « rapide ». À mesure que l'entraînement continue, le cadran tourne lentement pour se concentrer sur le chemin « stable ».
Le Résultat : AMUSE obtient la vitesse de Muon au début et la stabilité de Schedule-Free à la fin. Il n'a pas besoin d'une carte pré-écrite (planification du taux d'apprentissage) lui disant quand ralentir ; il le détermine par lui-même.

Ce que le Papier a Découvert

Les auteurs ont testé cette nouvelle méthode sur de nombreuses « montagnes » différentes (tâches) :

Reconnaissance d'Images : Enseigner aux ordinateurs à identifier des images (comme des chats, des chiens ou des chiffres manuscrits).
Grands Modèles de Langage : Entraîner l'IA à écrire et à comprendre du texte (comme les modèles derrière les chatbots).

Les Résultats :

Plus Rapide : AMUSE a atteint les mêmes résultats de haute qualité que les autres méthodes, mais en moins d'étapes. Par exemple, sur une tâche de grand modèle de langage, il a atteint la ligne d'arrivée 1,5 fois plus vite que la méthode suivante la plus performante.
Stable : Il ne vacille pas et ne s'écrase pas comme Muon le fait parfois.
À Tout Moment : Vous pouvez arrêter l'entraînement à n'importe quel moment, et le modèle sera dans un bon état. Vous n'avez pas besoin d'attendre un moment spécifique de « fin d'entraînement » pour obtenir un bon résultat.

Résumé

Le papier présente AMUSE, un nouvel outil pour entraîner l'IA. Il corrige l'instabilité de l'optimiseur Muon, qui est rapide mais vacillant, en empruntant des astuces de stabilité à l'optimisation Schedule-Free.

Pensez-y comme à un randonneur qui sait quand sprinter et quand marcher d'un pas ferme, s'assurant d'atteindre le bas de la montagne plus vite et sans tomber du côté. Le papier affirme que cela fonctionne mieux que les méthodes standard actuelles sur les tâches d'images et de texte, sans nécessiter de planification complexe à gérer.

Résumé Technique : AMUSE (Muon à Tout Moment avec Évaluation de Gradient Stable)

Énoncé du Problème

L'optimisation moderne par apprentissage profond repose généralement sur l'optimiseur AdamW combiné à des calendriers de taux d'apprentissage prescrits (par exemple, la décroissance cosinus). Des avancées récentes ont remis en question ces composants individuellement : l'optimisation Schedule-Free (SF) élimine les calendriers explicites en évaluant les gradients à des points interpolés entre les itérés actuels et moyennés, tandis que Muon améliore la géométrie des mises à jour pour les paramètres à valeur matricielle en orthogonalisant la momentum.

Malgré le succès empirique de Muon dans l'entraînement préalable de grands modèles de langage (LLM), son mécanisme sous-jacent n'est pas entièrement compris. L'article identifie une instabilité spécifique dans Muon : bien que son orthogonalisation accélère le progrès le long des directions « plates » (le « fleuve » du paysage de perte), elle amplifie involontairement le bruit dans les directions « raides » à haute courbure (les « parois de la vallée »), entraînant des trajectoires oscillatoires. Inversement, si les méthodes Schedule-Free stabilisent les trajectoires en les maintenant près du fleuve, elles peuvent manquer du progrès rapide en masse offert par l'orthogonalisation de Muon. Le problème central réside dans la conception d'un optimiseur qui combine la convergence rapide de Muon avec la stabilité de la moyenne Schedule-Free, sans nécessiter de calendriers de taux d'apprentissage manuels.

Méthodologie : AMUSE

Les auteurs proposent AMUSE (Muon à Tout Moment avec Évaluation de Gradient Stable), qui intègre les mises à jour matricielles orthogonalisées de Muon avec le cadre Schedule-Free en utilisant un coefficient d'interpolation variant dans le temps.

Fondement Théorique : Paysage de Perte Fleuve-Vallée

L'analyse s'appuie sur la perspective du paysage de perte fleuve-vallée :

Le Fleuve : Un sous-espace de masse de haute dimension et de faible courbure où se produit un progrès d'entraînement utile.
Les Parois de la Vallée : Un sous-espace dominant de faible dimension et de haute courbure qui induit des oscillations.
Mécanisme de Muon : L'orthogonalisation de la matrice de momentum augmente la composante de masse relative des mises à jour, accélérant le progrès le long du fleuve. Cependant, elle empêche également les composantes dominantes de décroître, ce qui fait que de petits bruits dans les directions dominantes s'amplifient en oscillations à travers les parois de la vallée.
Mécanisme Schedule-Free : L'évaluation des gradients sur une trajectoire moyennée (plus proche du fleuve) filtre les fluctuations à haute courbure avant l'étape de mise à jour.

Conception de l'Algorithme

AMUSE emploie un coefficient d'interpolation variant dans le temps $\beta_t$ pour déterminer le point d'évaluation du gradient $Y_t$ entre la séquence de base rapide $Z_t$ (mises à jour Muon) et la séquence moyennée stable $X_t$ :
$Y_t = (1 - \beta_t)Z_t + \beta_t X_t$

Le calendrier pour $\beta_t$ est conçu pour équilibrer l'adaptation précoce et la stabilité en phase tardive :

Phase de Warmup ( $t \le T_0$ ) : $\beta_t$ est fixé à une petite valeur $\beta_1$ . Cela permet à l'optimiseur d'évaluer les gradients près de la séquence Muon rapide ( $Z_t$ ) pour une adaptation initiale rapide.
Post-Warmup ( $t > T_0$ ) : $\beta_t$ augmente progressivement vers 1 selon :
$\beta_t = 1 - \left( \frac{T_0 - 1}{t - 1} \right)^\rho (1 - \beta_1)$
Ici, $\rho \in [0, 1]$ contrôle le taux de déplacement. À mesure que $\beta_t$ augmente, le point d'évaluation du gradient se déplace vers la séquence moyennée $X_t$ . Cela supprime les composantes à haute courbure (dominantes) du gradient avant qu'elles ne subissent l'orthogonalisation de Muon, stabilisant ainsi la trajectoire.

Crucialement, ce calendrier est indépendant de l'horizon total d'entraînement, permettant un entraînement à tout moment (l'entraînement peut être arrêté à n'importe quel moment sans dégradation des performances). AMUSE ne nécessite aucun calendrier de décroissance du taux d'apprentissage.

Contributions Clés

Analyse Géométrique de Muon : L'article fournit une explication géométrique de l'efficacité et de l'instabilité de Muon. Il démontre que l'orthogonalisation favorise des mises à jour orientées vers la masse (accélérant le progrès le long du fleuve) mais amplifie le bruit dans les directions dominantes (provoquant des oscillations sur les parois de la vallée).
Stabilisation par Interpolation : Les auteurs montrent que l'évaluation des gradients plus près de la trajectoire moyennée (via Schedule-Free) réduit les composantes dominantes avant l'orthogonalisation, atténuant ainsi les oscillations.
Algorithme AMUSE : Un nouvel optimiseur qui déplace dynamiquement le point d'évaluation du gradient de la trajectoire Muon rapide vers la trajectoire moyennée stable. Cela combine la convergence rapide de Muon avec la stabilité des méthodes Schedule-Free.
Support d'Entraînement à Tout Moment : En utilisant un calendrier variant dans le temps indépendant du nombre total d'étapes et en évitant la décroissance du taux d'apprentissage, AMUSE prend en charge des horizons d'entraînement flexibles.

Résultats Expérimentaux

AMUSE a été évalué sur divers benchmarks, incluant la classification d'images (CIFAR-10/100, SVHN, ImageNet-1k), la segmentation d'images (ISIC 2018) et l'entraînement préalable de LLM (modèles de style Llama de 124M, 720M et 1B paramètres sur FineWeb).

Frontière de Pareto Performance-Iteration : AMUSE surpasse constamment (Schedule-Free) AdamW et Muon sur toutes les tâches.
Gains d'Efficacité :
- Sur l'entraînement préalable de LLM de 720M, AMUSE atteint la performance finale de Muon avec 1,51 $\times$ moins d'étapes.
- Sur ImageNet avec ResNet-50, il atteint la même performance avec 1,12 $\times$ moins d'étapes.
- Sur ImageNet avec le fine-tuning de ViT, il nécessite 3,08 $\times$ moins d'étapes.
Stabilité : Contrairement à Muon standard, qui bénéficie considérablement de la moyenne pondérée exponentielle (EWA) a posteriori ou de la décroissance du taux d'apprentissage, AMUSE maintient une trajectoire stable tout au long de l'entraînement, montrant une amélioration minimale lorsque ces techniques a posteriori sont appliquées.
Évolutivité : AMUSE s'adapte efficacement à de grandes tailles de lots (jusqu'à 2048) et à de grandes échelles de modèles (1B paramètres), là où d'autres variantes Schedule-Free ont parfois du mal.

Signification et Revendications

L'article affirme qu'AMUSE représente une approche rationnelle de la conception d'optimiseurs dérivée d'une compréhension systématique de la dynamique d'entraînement et de la géométrie du paysage de perte. En abordant explicitement le compromis entre le progrès rapide en masse et la stabilité des parois de la vallée, AMUSE atteint des performances supérieures sans nécessiter de calendrier manuel de taux d'apprentissage.

Les auteurs notent modestement que, bien qu'AMUSE surpasse les optimiseurs existants, il engendre une légère surcharge mémoire (une copie d'état supplémentaire pour la séquence de base $Z_t$ ) par rapport à Muon standard, bien qu'elle reste comparable à AdamW et à AdamW Schedule-Free. Ils suggèrent que des travaux futurs pourraient se concentrer sur l'atteinte d'une stabilité et d'une performances similaires sans ce coût mémoire supplémentaire. L'article souligne que la perspective « fleuve-vallée » offre un cadre robuste pour concevoir des optimiseurs à la fois efficaces et stables.