Why Adam Works Better with $\beta_1 = \beta_2$: The Missing Gradient Scale Invariance Principle

Résumé technique : Pourquoi Adam fonctionne mieux avec $\beta_1 = \beta_2$

Énoncé du problème
Bien qu'Adam soit l'optimiseur par défaut pour l'entraînement de réseaux de neurones à grande échelle depuis près d'une décennie, une observation empirique persistante demeure inexpliquée : la stabilité de l'entraînement et les performances de validation s'améliorent souvent lorsque les paramètres de momentum sont définis de manière égale ($\beta_1 = \beta_2$). Alors que des études récentes (par exemple, Orvieto et Gower [2025]) ont documenté ce phénomène à travers diverses architectures, aucune explication théorique rigoureuse n'a été fournie pour justifier pourquoi cette configuration spécifique produit un comportement supérieur, ni pour établir comment cela se rapporte à la dynamique interne de l'optimiseur. De plus, une tendance parallèle dans la conception des optimiseurs modernes (par exemple, Lion, Muon, Scion) consiste à imposer explicitement des mises à jour robustes à l'échelle, pourtant le lien entre ces nouvelles méthodes et le régime « équilibré » d'Adam est resté flou.

Méthodologie
Les auteurs introduisent une propriété structurelle appelée invariance d'échelle du gradient pour analyser la dynamique d'Adam. Ils formalisent ce concept comme suit : un optimiseur est invariant d'échelle du gradient si le redimensionnement du gradient actuel par un facteur positif $\lambda$ (tout en maintenant l'état interne fixe) laisse le vecteur de mise à jour essentiellement inchangé.

Pour investiguer cela, les auteurs emploient une analyse de la limite en temps continu de l'algorithme Adam. Ils modélisent Adam comme la discrétisation temporelle d'un système dynamique régi par des équations différentielles ordinaires (EDO). En introduisant des temps de relaxation $\tau_1$ et $\tau_2$ correspondant aux paramètres discrets $\beta_1$ et $\beta_2$ (via $\beta_i = e^{-\Delta t/\tau_i}$), ils dérivent un flot en temps continu pour les premier et second moments ($m(t)$ et $v(t)$).

Le cœur de l'analyse consiste à décomposer le vecteur de mise à jour normalisé $R(t) = m(t)/\sqrt{v(t)}$ en composantes dépendant de la dérive logarithmique d'échelle du gradient, définie comme $\delta(t) = \frac{d}{dt} \log |g(t)|$. Les auteurs prouvent que la mise à jour peut être décomposée en une composante de signe invariante d'échelle, un terme explicite de « retard d'échelle » proportionnel à $(\tau_2 - \tau_1)\delta(t)$, et des termes résiduels d'ordre supérieur.

Contributions clés

1. Formalisation de l'invariance d'échelle du gradient : L'article définit l'invariance d'échelle du gradient du premier ordre, où la réponse linéaire explicite aux changements d'échelle du gradient s'annule.
2. Caractérisation théorique d'Adam : Les auteurs prouvent qu'Adam atteint l'invariance d'échelle du gradient du premier ordre si et seulement si $\beta_1 = \beta_2$ (ou de manière équivalente $\tau_1 = \tau_2$).
   • Lorsque $\beta_1 \neq \beta_2$, la mise à jour contient un terme du premier ordre proportionnel à la dérive d'échelle du gradient, rendant la mise à jour sensible aux fluctuations de la magnitude du gradient.
   • Lorsque $\beta_1 = \beta_2$, ce terme du premier ordre s'annule exactement, repoussant la sensibilité au second ordre. Par conséquent, la mise à jour se comporte davantage comme une méthode basée sur le signe, qui est intrinsèquement invariante d'échelle.
3. Validation synthétique et empirique :
   • Expériences synthétiques : Des expériences contrôlées avec des signaux de gradient redimensionnés démontrent que lorsque $\beta_1 = \beta_2$, la norme du vecteur de mise à jour reste stable face aux changements d'échelle, tandis que $\beta_1 \neq \beta_2$ entraîne des écarts significatifs du premier ordre.
   • Entraînement réel : Des expériences extensives à travers des tâches de vision (EfficientNet, ResNet, ViT) et de langage (NanoGPT, T5) montrent que l'oscillation de la norme de mise à jour ($\|R_k\|$) est minimisée lorsque $\beta_1 = \beta_2$. Les auteurs définissent une métrique d'oscillation $\omega$ pour quantifier cette stabilité, constatant que les configurations diagonales produisent systématiquement des trajectoires de mise à jour plus lisses.
   • Significativité statistique : Un test binomial à travers plusieurs paires modèle-jeu de données confirme que le $\beta_2$ minimisant la stabilité de la mise à jour coïncide avec $\beta_1$ avec une significativité statistique élevée.

Résultats
Les expériences confirment que l'annulation théorique du terme de retard d'échelle se traduit directement par la dynamique d'entraînement pratique.

• Stabilité de la norme de mise à jour : Dans toutes les architectures testées (NanoGPT, EfficientNet-B0, ResNet18, ViT-B16, T5), la norme de mise à jour $\|R_k\|$ présente une oscillation significativement plus faible lorsque $\beta_1 = \beta_2$ par rapport aux configurations hors diagonale.
• Analyse de décomposition : Une relecture diagnostique sur des gradients de sonde à données fixes révèle que lorsque $\beta_1 \neq \beta_2$, le terme explicite de retard d'échelle représente environ 50 % du budget absolu de la mise à jour normalisée. Lorsque $\beta_1 = \beta_2$, ce terme disparaît et la mise à jour devient dominée par la composante de signe invariante d'échelle.
• Robustesse : Les résultats tiennent à travers différentes graines aléatoires, calendriers de taux d'apprentissage et familles d'architectures, suggérant que le phénomène est une propriété fondamentale de la structure de l'optimiseur plutôt qu'un artefact de paramètres d'hyperparamètres spécifiques.

Signification et affirmations
L'article prétend fournir une explication théorique cohérente du succès empirique du régime équilibré ($\beta_1 = \beta_2$) dans Adam. Il postule que cette configuration n'est pas simplement une heuristique pratique, mais un alignement structurel conférant à Adam une invariance d'échelle du gradient du premier ordre.

Les auteurs soutiennent que cette propriété place le régime équilibré d'Adam dans la même classe conceptuelle que les optimiseurs récents de l'état de l'art (comme Lion et Muon) qui conçoivent explicitement la robustesse à l'échelle. En identifiant que cette propriété souhaitable est latente dans la formulation standard d'Adam, ce travail comble le fossé entre les méthodes adaptatives traditionnelles et les conceptions modernes invariantes d'échelle.

L'article conclut que la réduction de la sensibilité à l'échelle du gradient est un principe structurel pour l'optimisation adaptative stable. Bien que le travail ne propose pas un nouvel optimiseur, il offre un principe directeur pour la conception future d'optimiseurs et suggère que définir $\beta_1 = \beta_2$ est un choix fondé pour améliorer la stabilité de l'entraînement, en particulier dans les régimes où la magnitude du gradient fluctue. Les auteurs restent modestes, notant que leur analyse est locale et composante par composante, et que la valeur optimale du $\beta$ commun le long de la diagonale reste une question ouverte dépendante de dynamiques d'entraînement spécifiques.