🤖 machine learning

Optimistic Dual Averaging Unifies Modern Optimizers

Ce papier présente SODA, une généralisation de la moyenne duale optimiste qui unifie des optimiseurs modernes tels que Muon et Lion sous un cadre unique et propose un wrapper pratique pour éliminer automatiquement le réglage du decay des poids tout en améliorant systématiquement les performances à différentes échelles d'entraînement.

Auteurs originaux : Thomas Pethick, Wanyun Xie, Roman Machacek, Volkan Cevher

Publié 2026-05-13

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Thomas Pethick, Wanyun Xie, Roman Machacek, Volkan Cevher

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un robot massif et complexe (un modèle d'apprentissage profond) comment marcher. Le robot apprend en faisant des pas, mais il trébuche parfois, dépasse sa cible ou se perd face à des instructions bruyantes. Pour l'aider à apprendre plus vite et plus stablement, les ingénieurs utilisent des « optimiseurs » — des recettes mathématiques qui décident exactement de la taille de chaque pas et de sa direction.

Au cours de la dernière décennie, les chercheurs ont inventé de nouvelles recettes sophistiquées (comme Adam, Lion, Muon et NAdam). Chaque recette a sa sauce secrète, mais elles semblent toutes fonctionner bien pour des raisons différentes. Le problème est que l'ajustement de ces recettes revient à essayer de cuire un gâteau parfait sans recette : vous devez deviner la bonne quantité de « décroissance des poids » (un bouton qui empêche le robot de devenir trop fou) pour chaque nouvelle taille de modèle et chaque durée d'entraînement.

Cet article présente SODA (Stochastic Optimistic Dual Averaging). Considérez SODA non pas comme une nouvelle recette de gâteau, mais comme un habillage universel de cuisson que vous pouvez appliquer à n'importe quelle recette existante pour la rendre automatiquement plus performante.

Voici le détail de son fonctionnement, en utilisant des analogies simples :

1. Le regard « Optimiste » en avant

La plupart des optimiseurs sont comme un conducteur qui ne regarde que la route juste devant lui. Il voit un nid de poule, réagit et tourne.
SODA est comme un conducteur qui regarde légèrement en avant. Il utilise une technique appelée « optimisme » pour deviner où la route va être avant d'y arriver.

L'analogie : Imaginez que vous marchiez dans un couloir. Un optimiseur standard attend que vous heurtiez un mur pour tourner. Un optimiseur « optimiste » voit le mur arriver, se penche légèrement en avant et tourne avant que vous ne le percutiez. Cela empêche le robot de vaciller d'avant en arrière, lui permettant de se déplacer plus doucement et plus vite.

2. La mémoire de la « Moyenne Duale »

Les optimiseurs doivent aussi se souvenir du passé. Se souviennent-ils de chaque pas qu'ils ont jamais fait ? Ou seulement du dernier ?
SODA utilise une méthode appelée « Moyenne Duale ». Au lieu de simplement réagir au pas actuel, elle maintient une moyenne en cours de tous les « poussées » (gradients) qu'elle a ressenties jusqu'à présent.

L'analogie : Imaginez un randonneur essayant de trouver le point le plus bas d'une vallée brumeuse.
- Optimiseur Standard : « Je sens une pente vers la gauche, donc je fais un pas à gauche. »
- SODA : « J'ai senti une pente à gauche il y a 10 pas, une pente à droite il y a 5 pas, et une pente à gauche juste maintenant. Si je fais la moyenne de toutes ces sensations, le vrai chemin est en fait légèrement en avant-gauche. »
  En moyennant les « sensations » (gradients) dans le temps, SODA filtre le bruit et trouve le vrai chemin plus fièrement.

3. L'« Habillage Magique » (Plus de réglage)

Le plus gros casse-tête pour les ingénieurs en IA est la Décroissance des Poids. C'est un paramètre qui agit comme une « laisse », empêchant les pas du robot de devenir trop sauvages.

L'Ancienne Façon : Vous devez deviner la longueur parfaite de la laisse. Si le robot est petit, il faut une laisse courte. Si le robot est énorme, il faut une longue laisse. Si vous entraînez pendant longtemps, vous devez changer la longueur de la laisse à nouveau. C'est un jeu de devinettes constant.
La Façon SODA : Les auteurs ont découvert que si vous enveloppez n'importe quel optimiseur (comme Adam ou Muon) avec SODA, vous n'avez plus besoin de deviner la longueur de la laisse.
- SODA ajuste automatiquement la laisse selon une règle simple : 1 divisé par le nombre de pas effectués jusqu'à présent.
- L'analogie : Imaginez une laisse qui se raccourcit automatiquement au fur et à mesure que vous avancez. Vous n'avez pas besoin de tenir la laisse ; la laisse sait exactement quelle tension avoir au pas 1, au pas 100 ou au pas 10 000.

4. Qu'ont-ils prouvé ?

L'article affirme que SODA unifie de nombreux optimiseurs modernes performants (comme Muon, Lion et NAdam) sous une seule et même bannière mathématique. Il montre que ces différentes méthodes « sophistiquées » ne sont en fait que des versions spéciales de cette même idée de « moyenne optimiste ».

Les Résultats :

Meilleures Performances : Lorsque les auteurs ont enveloppé des optimiseurs populaires avec SODA, les modèles ont appris plus vite et atteint des taux d'erreur plus faibles.
Pas de Travail Supplémentaire : Ils n'ont pas eu à régler de nouveaux boutons. Ils ont simplement appliqué l'habillage.
Battre le Meilleur : Dans leurs tests, SODA a même battu les versions « parfaitement réglées » des optimiseurs originaux. Les optimiseurs originaux avaient besoin qu'un humain ajuste soigneusement la décroissance des poids pour obtenir de bons résultats ; SODA l'a fait automatiquement et l'a fait mieux.

Résumé

Considérez SODA comme un « pilote automatique intelligent » que vous pouvez attacher à n'importe quel moteur de voiture existant (optimiseur).

Il regarde en avant (Optimisme) pour éviter les bosses.
Il se souvient du voyage (Moyenne) pour rester sur la bonne voie.
Il ajuste automatiquement les freins (Décroissance des Poids) en fonction de la distance parcourue, de sorte que vous n'avez jamais à deviner à quelle force freiner.

L'article conclut que cet ajustement simple et automatique rend l'entraînement des grands modèles d'IA plus stable, plus rapide et moins dépendant des devinettes humaines.

Résumé Technique : La Moyenne Duale Optimiste Unifie les Optimiseurs Modernes

Énoncé du Problème

L'optimisation en apprentissage profond a évolué le long de deux axes principaux : la géométrie et l'adaptation (conception de mises à jour avec des normes implicites ou des préconditionneurs reflétant la structure du modèle, par exemple Adam, Muon) et la composition des ingrédients (combinaison de rétroaction par gradient, de momentum et de calendriers pour la stabilité, par exemple Lion, méthodes sans calendrier). Bien que de nombreux optimiseurs de l'état de l'art (tels que Muon, Lion, AdEMAMix et NAdam) semblent distincts, ils manquent d'un cadre théorique unifié expliquant leurs relations et fournissant des directives fondées sur des principes pour le réglage des hyperparamètres.

Un défi spécifique et persistant est le réglage du décrochage des poids (weight decay). Dans l'entraînement sur plusieurs époques, le décrochage des poids agit comme un régularisateur contraignant les normes des itérés. Cependant, même dans l'entraînement sur une seule époque où le surapprentissage est moins préoccupant, le décrochage des poids reste souvent bénéfique. Les règles de mise à l'échelle récentes suggèrent de définir le décrochage des poids proportionnellement à $1/d$ (dimension du modèle), mais il est difficile de démêler la dépendance à la dimension du modèle $d$ par rapport à l'horizon d'entraînement $n$ . De plus, les valeurs optimales de décrochage des poids varient considérablement selon les différents optimiseurs (par exemple, Lion nécessite un décrochage beaucoup plus important qu'AdamW), ce qui nécessite un réglage coûteux par optimiseur.

Méthodologie : SODA

Les auteurs introduisent SODA (Stochastic Optimistic Dual Averaging), une généralisation de la Moyenne Duale Optimiste (ODA) qui unifie le traitement dual des gradients et le traitement primal des itérés.

Cadre Théorique

SODA généralise la mise à jour standard de la moyenne duale :
$x_{k+1} \in \arg \min_{x \in X} \gamma_k \langle d_k, x \rangle + h_k(x)$
en introduisant une séquence d'extrapolation primale $(y_k)$ et une variable duale optimiste $(\bar{m}_{k+1})$ . L'algorithme maintient :

Traitement Dual : Une moyenne de gradient basée sur le momentum $m_{k+1}$ et une moyenne optimiste $\bar{m}_{k+1}$ qui intègre le gradient courant $\nabla f(y_k, \xi_k)$ .
Traitement Primal : Une mise à jour d'itéré $x_{k+1}$ et un point extrapolé $y_{k+1}$ , contrôlés par les paramètres $\lambda_k$ et $\bar{\lambda}_k$ .

Les règles de mise à jour sont :
$\begin{aligned} m_{k+1} &= (1 - \alpha_k)m_k + \alpha_k \nabla f(y_k, \xi_k) \\ \bar{m}_{k+1} &= (1 - \bar{\alpha}_k)m_{k+1} + \bar{\alpha}_k \nabla f(y_k, \xi_k) \quad (\text{optimisme}) \\ z_{k+1} &\in \partial h_k^*(-\gamma_k \bar{m}_{k+1}) \\ x_{k+1} &= (1 - \lambda_k)x_k + \lambda_k z_{k+1} \\ y_{k+1} &= (1 - \bar{\lambda}_k)x_{k+1} + \bar{\lambda}_k z_{k+1} \quad (\text{extrapolation primale}) \end{aligned}$
où $h_k$ est un régularisateur (application miroir) définissant la géométrie (par exemple, $\ell_\infty$ pour Lion, spectrale pour Muon).

Unification des Optimiseurs Existants

L'article démontre que, en sélectionnant des paramètres et des géométries spécifiques, SODA retrouve plusieurs optimiseurs modernes comme cas particuliers :

NAdam / Lion / Muon : Ces derniers sont retrouvés dans le régime « Modernisé » où $\bar{\lambda}_k = 0$ $\overset{ˉ}{λ}_{k} = 0$ (pas d'extrapolation primale pour le point d'évaluation du gradient) et $\bar{\alpha}_k > 0$ $\overset{α}{ˉ}_{k} > 0$ (optimisme).
- Lion : Utilise une géométrie $\ell_\infty$ ( $h_k = K^*$ ) et des paramètres de momentum spécifiques.
- Muon : Utilise une géométrie spectrale et un momentum de Nesterov ( $\bar{\alpha}_k = \alpha_k$ ).
- NAdam : Utilise une géométrie $\ell_\infty$ lissée avec une mise à l'échelle adaptative.
Le Tableau 1 de l'article map explicitement ces méthodes vers leurs choix correspondants de moyennage de gradient ( $\alpha_k$ ), d'optimisme ( $\bar{\alpha}_k$ ) et de géométrie ( $h_k$ ).

L'Enveloppe SODA

Une contribution pratique clé est une Enveloppe SODA (Algorithme 1) capable d'envelopper n'importe quel optimiseur de base (par exemple Adam, Lion, Muon) sans introduire de nouveaux hyperparamètres.

Configuration : Elle fixe $\bar{\lambda}_k = 0$ (correspondant au régime « modernisé »), utilise une moyenne uniforme des itérés $\lambda_k = 1/(k+2)$ , et met à l'échelle le pas de gradient $\gamma_k = (k+2)\eta_k$ .
Élimination du Décrochage des Poids : L'enveloppe ancre les mises à jour sur l'initialisation $z_0$ plutôt que sur l'origine. La règle de mise à jour résultante implémente efficacement un calendrier de décrochage des poids de $\mu_k = 1/(k+2)$ .
Interprétation : Les auteurs soutiennent que dans ce cadre, le décrochage des poids n'est pas simplement un régularisateur mais une forme de moyenne primale. Ce décrochage théoriquement fondé en $1/k$ élimine la nécessité de régler un hyperparamètre de décrochage des poids distinct.

Contributions Clés

Unification par l'Optimisme et la Dualisation : SODA fournit un modèle unique qui retrouve Muon, Lion, NAdam et autres comme instances optimistes de la Moyenne Duale, clarifiant leurs relations structurelles.
Garanties Théoriques : Le cadre dérive des choix d'hyperparamètres (spécifiquement le calendrier de décrochage en $1/k$ ) qui sont théoriquement fondés sur l'analyse de convergence pour les fonctions convexes $L$ -lisses. Il reformule le décrochage des poids comme un mécanisme de moyenne primale.
Enveloppe Sans Paramètre : L'enveloppe SODA proposée élimine la nécessité de régler le décrochage des poids pour tout optimiseur de base tout en maintenant ou en améliorant les performances.
Validation Empirique : Des expériences extensives montrent des améliorations cohérentes à travers différentes tailles de modèles et horizons d'entraînement.

Résultats Expérimentaux

Des expériences ont été menées sur nanoGPT utilisant le jeu de données FineWeb100, comparant les optimiseurs enveloppés par SODA à des bases de référence réglées.

Transfert à travers l'Horizon : Le décrochage des poids optimal pour Muon a été trouvé pour diminuer à mesure que l'horizon d'entraînement augmente, contredisant les règles de mise à l'échelle statiques (comme $1/d$ ). Le décrochage dynamique en $1/(k+2)$ de l'enveloppe SODA a constamment surpassé Muon, même lorsque Muon bénéficiait de son décrochage des poids le mieux réglé (Figure 1).
Applicabilité Générale : L'enveloppe a amélioré les performances pour Adam, Muon et Scion à travers différents horizons d'entraînement (1 $\times$ et 4 $\times$ étapes Chinchilla) sans aucun réglage supplémentaire (Figure 2).
Mise à l'Échelle : Lors de la mise à l'échelle de la taille du modèle de 64M à 1B de paramètres (suivant la mise à l'échelle Chinchilla), SODA (spécifiquement la variante optimiste SODA $^\dagger$ ) a constamment surpassé les optimiseurs de base (Scion/uScion), l'écart de performance s'élargissant à mesure que la taille du modèle augmentait (Figure 4).
Simplification : La configuration SODA $^\dagger$ a simplifié la base de référence Muon en remplaçant Adam par Lion pour toutes les couches et en utilisant un seul hyperparamètre de momentum, tout en obtenant des performances compétitives ou supérieures.

Importance et Revendications

L'article revendique que SODA offre un mécanisme fondé sur des principes pour transférer des stratégies d'optimisation à travers différents horizons d'entraînement et échelles de modèles sans besoin de réglage d'hyperparamètres.

Reformulation du Décrochage des Poids : Les auteurs postulent un changement de perspective : le décrochage des poids doit être compris non seulement comme un régularisateur contre le surapprentissage, mais comme une forme de moyenne primale qui ancre la trajectoire d'optimisation sur l'initialisation.
Impact Pratique : En unifiant les optimiseurs modernes sous le cadre SODA, les auteurs fournissent une enveloppe « plug-and-play » qui élimine le processus fastidieux et coûteux de réglage du décrochage des poids, ce qui est particulièrement critique à mesure que les tailles de modèles rendent le réglage manuel prohibitivement coûteux.
Modestie : Les auteurs reconnaissent les limites, notant que leur analyse théorique est actuellement restreinte au cadre convexe (bien qu'informatif empiriquement pour l'apprentissage profond) et se concentre sur l'entraînement en une seule époque. Ils suggèrent que l'entraînement sur plusieurs époques pourrait encore nécessiter un hyperparamètre pour la force de régularisation en raison des préoccupations liées au surapprentissage.

En résumé, SODA unifie l'espace de conception des optimiseurs modernes à travers le prisme de la moyenne duale optimiste et fournit une méthode sans paramètre, fondée sur des principes théoriques, pour améliorer la stabilité et les performances de l'entraînement à toutes les échelles.