Résumé technique : Au-delà d'une explication unique de l'écart Adam–SGD

Énoncé du problème

Depuis plus d'une décennie, la disparité de performance entre l'optimiseur adaptatif Adam et la descente de gradient stochastique (SGD) est une question centrale en apprentissage profond, particulièrement dans le contexte des modèles de langage de grande taille (LLM) basés sur les Transformers. Bien qu'Adam soit le standard de facto pour les modèles de fondation modernes, la littérature existante propose des explications fragmentées pour cet « écart Adam–SGD ». Ces explications sont généralement étudiées de manière isolée et attribuent l'écart à des facteurs spécifiques :

1. Propriétés des données : Les distributions de vocabulaire à queue lourde (Zipfiennes) dans les données textuelles créant des paysages d'optimisation anisotropes.
2. Architecture : L'hétérogénéité des composants dans les Transformers (ex. : attention softmax, couches d'embedding, couches de normalisation).
3. Dynamique d'optimisation : Effets de la taille de lot (batch size) et caractéristiques du bruit de gradient (ex. : bruit à queue lourde).

Le problème central abordé par ce travail est l'absence de compréhension unifiée de l'interaction entre ces facteurs. Il reste incertain si un facteur unique conduit l'écart de manière universelle, ou si le phénomène résulte d'interactions complexes entre les données, l'architecture et les hyperparamètres d'entraînement à travers différents domaines.

Méthodologie

Les auteurs mènent une étude empirique contrôlée et à grande échelle couvrant quatre domaines distincts : le langage, la vision, la génomique et l'apprentissage sur graphes. L'étude utilise à la fois des architectures Transformer modernes et des modèles classiques non-Transformer (ex. : ResNet, GCNN, GAT).

Conception expérimentale :

• Protocole de réglage unifié : Pour contrôler les facteurs de confusion, les auteurs effectuent un balayage conjoint des taux d'apprentissage ($\eta$) et des paramètres de momentum ($\beta$) pour les deux optimiseurs. Pour Adam, ils utilisent une paramétrisation liée ($\beta_1 = \beta_2 = \beta$) pour s'aligner sur la théorie de SignSGD, tout en testant un réglage indépendant dans les études d'ablation.
• Contraintes globales : Les expériences emploient un écrêtage global de la norme de gradient (à 1) et des programmes de chauffe (warmup) et de cosinus cohérents.
• Métrique de l'écart : L'écart de performance est défini par $\Delta^* = L^*_{Adam} - L^*_{SGD}$, où $L^*$ est la perte d'entraînement finale de la meilleure configuration d'hyperparamètres. Un $\Delta^*$ négatif indique qu'Adam surpasse SGD.
• Modélisation théorique : Les auteurs complètent leurs résultats empiriques par un modèle d'écart théorique basé sur des bornes de convergence non euclidiennes (Kovalev, 2025). Ils comparent le NSGD (Normalized SGD) avec momentum contre un proxy SignSGD pour Adam, en analysant comment l'écart dépend du ratio des constantes de lissage ($r = L_\infty / L_2$) et de la taille de lot ($B$).

Contributions clés et résultats

1. Aucun facteur unique n'explique l'écart

L'étude réfute systématiquement l'hypothèse selon laquelle un facteur unique (distribution du vocabulaire, mécanismes d'attention ou type d'architecture) est nécessaire ou suffisant pour expliquer l'écart Adam–SGD.

• Distribution du vocabulaire : L'écart persiste même sur les données génomiques (HG38) avec une distribution de vocabulaire quasi uniforme ($v=5$) et une petite taille de vocabulaire, contredisant l'hypothèse du déséquilibre de classe à queue lourde.
• Attention Softmax : Remplacer les couches d'attention softmax dans GPT par des convolutions à porte (GCNN) n'élimine pas l'écart ; Adam surpasse toujours SGD, suggérant que les mécanismes d'attention ne sont pas le seul moteur.
• Hétérogénéité de l'architecture : Bien que l'hétérogénéité des composants (ex. : embedding vs couches de tête) influence l'écart, elle n'est pas déterminante. Un Vision Transformer (ViT) entraîné sur ImageNet21K peut présenter une tendance inverse où SGD surpasse Adam, malgré une complexité architecturale similaire aux modèles où Adam gagne.

2. Le phénomène de la taille de lot de croisement (Crossover Batch Size)

La principale découverte empirique est l'existence d'une taille de lot de croisement. À mesure que la taille de lot ($B$) augmente, l'avantage relatif passe de SGD à Adam.

• Interaction Données et Architecture : Le point de croisement spécifique et la pente de la transition dépendent conjointement de la modalité des données et de l'architecture. Par exemple, les données d'image (I21K) nécessitent des tailles de lot nettement plus grandes pour faire basculer l'avantage vers Adam par rapport aux données de langage ou de génomique, ce qui est cohérent avec le succès historique de SGD dans les tâches de vision.
• Sensibilité architecturale : De petits changements architecturaux, comme remplacer ReLU par GeLU ou BatchNorm par LayerNorm, peuvent déplacer la préférence de l'optimiseur de SGD vers Adam sur un même jeu de données.

3. Dépendance au régime d'entraînement

L'écart se comporte différemment selon le régime d'optimisation :

• Surparamétré (Multi-époques) : Dans les configurations où le modèle peut atteindre une perte d'entraînement proche de zéro (ex. : petits jeux de données entraînés sur de nombreuses époques), l'écart diminue au fur et à mesure que l'entraînement progresse, et SGD peut finalement égaler les performances d'Adam.
• Sous-paramétré (Une époque) : Dans les configurations modernes de LLM (grands jeux de données, une seule époque), l'écart persiste tout au long de l'entraînement, Adam maintenant un avantage constant sur SGD.

4. Modèle d'écart théorique

Les auteurs proposent un modèle théorique prédisant deux régimes basés sur le ratio de lissage de la géométrie $r = L_\infty / L_2$ :

• Régime I ($1 < r < d^{1/3}$) : Un croisement se produit où SGD est favorisé pour de petites tailles de lot, et Adam devient favorisé à mesure que $B$ augmente. Cela correspond à la plupart des configurations expérimentales.
• Régime II ($d^{1/3} < r < d$) : SGD (NSGD) est favorisé pour toutes les tailles de lot. Ce régime correspond aux expériences ResNet sur ImageNet21K où SGD surpasse Adam même avec de grandes tailles de lot.
  Le modèle suggère que l'écart est déterminé par l'interaction entre la géométrie de l'optimisation, les propriétés du jeu de données et la variance du bruit de gradient.

Signification

L'article affirme offrir une perspective unifiée qui réconcilie les hypothèses précédemment contradictoires. Plutôt que d'attribuer l'écart Adam–SGD à une cause unique (ex. : « les données textuelles sont de type Zipf » ou « les Transformers sont complexes »), les auteurs démontrent que l'écart est une propriété émergente de l'interaction entre la distribution des données, la conception architecturale et la taille de lot.

L'identification de la taille de lot de croisement fournit une heuristique pratique : le choix entre Adam et SGD ne doit pas être absolu mais doit considérer le régime spécifique de taille de lot et le couple donnée-architecture. Le modèle théorique valide davantage ces observations empiriques, prédisant que la performance relative est contingente sur le ratio de lissage du paysage de perte et les caractéristiques du bruit.

Le travail conclut que si Adam offre un avantage pratique constant dans les configurations modernes, à grande échelle et sous-paramétrées (particulièrement avec de grandes tailles de lot), SGD reste compétitif ou supérieur dans des régimes spécifiques (ex. : tâches de vision avec de grands lots ou configurations surparamétrées), remettant en question la notion de vainqueur universel de l'optimiseur.