📊 statistics

SGD at the Edge of Stability: Stochastic Stabilization with Large Learning Rates

Cet article établit des garanties de convergence précises pour la descente de gradient stochastique (SGD) avec de grands taux d'apprentissage sur la perte de cross-entropie multiclasse, démontrant que la stochasticité inhérente permet à l'algorithme de s'auto-stabiliser et d'alterner entre des oscillations au bord de la stabilité et une descente contrôlée pour assurer la convergence.

Auteurs originaux : Konstantinos Emmanouilidis, Lachlan MacDonald, Salma Tarmoun, Rene Vidal

Publié 2026-07-01

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Konstantinos Emmanouilidis, Lachlan MacDonald, Salma Tarmoun, Rene Vidal

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de faire rouler un énorme rocher le long d'une colline très accidentée et sinueuse pour l'amener en bas (la solution « parfaite »). Dans le monde de l'apprentissage automatique, ce rocher est votre modèle d'IA, la colline est le « paysage de perte » (une carte de l'ampleur de ses erreurs), et le bas est le point où le modèle commet le moins d'erreurs.

Pendant longtemps, les scientifiques pensaient qu'il fallait pousser le rocher avec douceur et précaution. Si vous le poussiez trop fort (en utilisant un « taux d'apprentissage élevé »), le rocher rebondirait contre les parois, s'envolerait par-dessus le bord ou resterait coincé dans une boucle, sans jamais atteindre le bas. C'était la « théorie classique ».

Cependant, dans l'IA moderne, les ingénieurs ont remarqué quelque chose d'étrange : si on pousse le rocher très fort, il arrive en fait plus vite au bas et trouve parfois même un meilleur endroit que les poussées douces. Ce phénomène est appelé le « bord de la stabilité » (Edge of Stability). C'est comme conduire une voiture à la limite extrême de son adhérence ; elle tangue et dérape, mais elle avance quand même.

Le problème est que la majeure partie des mathématiques expliquant cette « conduite vacillante » a été écrite pour un monde déterministe (où vous connaissez exactement l'aspect de la route). Mais dans la réalité, l'IA utilise la Descente de Gradient Stochastique (SGD). Cela signifie que l'IA ne voit pas toute la route d'un coup ; elle ne voit qu'un minuscule fragment aléatoire de la route (un « mini-lot ») avant de décider de la direction de la poussée. Cela ajoute du bruit (de l'aléatoire) au mélange.

Cet article demande : Comment ce bruit aléatoire affecte-t-il la « conduite vacillante » au bord de la stabilité ? L'IA s'écrase-t-elle, ou trouve-t-elle un moyen de se stabiliser elle-même ?

Voici ce que les auteurs ont découvert, expliqué à travers des analogies simples :

1. Les deux modes de conduite

Les auteurs ont découvert que lorsque vous utilisez un taux d'apprentissage élevé avec du bruit aléatoire, le voyage de l'IA n'est pas simplement un chaos total. Elle passe en fait entre deux modes distincts :

La phase de « dérapage » (Bord de la stabilité) : Imaginez que le rocher est poussé si fort qu'il frappe une bosse et commence à rebondir sauvagement. L'erreur (la distance par rapport au bas) monte et descend. Cela semble instable. Dans cette phase, l'IA est dominée par la « courbure » de la colline (les bosses).
La phase de « glisse » (Régime stable) : Finalement, l'IA trouve un rythme. Même si elle est toujours poussée fort, elle entre dans une zone où, en moyenne, elle se rapproche du bas. L'erreur diminue régulièrement.

2. La magie de l'auto-stabilisation

La découverte la plus surprenante est la manière dont l'IA gère l'aléatoire.

Dans un monde parfait, sans bruit, si vous poussez trop fort, vous pourriez dépasser la cible et ne jamais revenir. Mais dans le monde réel avec du bruit aléatoire, les auteurs ont proucu que la SGD possède un mécanisme d'autocorrection intégré.

L'analogie : Imaginez que vous marchez sur une corde raide dans une tempête venteuse (le bruit). Parfois, le vent vous fait sortir de la corde (l'IA sort de la zone stable).
La découverte : Les auteurs montrent que même si le vent vous éjecte, la forme de la corde raide (la mathématique de la perte de l'entropie croisée) agit comme un aimant. Elle vous ramène sur la corde. Vous ferez peut-être quelques pas hors de la corde, mais vous serez toujours ramené dessus en un nombre de pas spécifique et prévisible.
Le résultat : L'IA ne s'écrase pas. Elle vacille, sort brièvement de la « zone stable » à cause du bruit aléatoire, mais se corrige immédiatement et revient sur un chemin sûr et stable. Cela se produit encore et encore, mais à mesure que l'IA s'améliore (la perte diminue), elle passe de plus en plus de temps sur le chemin stable et de moins en moins de temps à en sortir.

3. Cela fonctionne pour les modèles simples et complexes

Les auteurs ne se sont pas contentés d'étudier des lignes droites simples (classificateurs linéaires). Ils ont également examiné des réseaux de neurones à deux couches (un type de base de l'apprentissage profond).

Ils ont prouvé que même avec la complexité ajoutée de ces réseaux et le bruit aléatoire, les mêmes règles s'appliquent.
Ils ont identifié des « fonctions d'activation » spécifiques (les interrupteurs mathématiques à l'intérieur de l'IA) qui permettent cette auto-stabilisation. Ils ont montré que les outils courants utilisés dans l'IA moderne (comme GELU ou Softplus) correspondent parfaitement à ces règles.

4. La preuve par l'expérience (Expériences)

Pour s'assurer que leurs mathématiques n'étaient pas seulement théoriques, ils ont mené des expériences sur des données réelles (comme les chiffres manuscrits MNIST et les images CIFAR-10).

Ils ont entraîné des modèles d'IA avec des taux d'apprentissage énormes (bien plus grands que ce que les vieux manuels jugent sûrs).
Le résultat : Les modèles n'ont pas explosé. Au lieu de cela, la perte (l'erreur) a chuté rapidement. Les modèles se sont entraînés plus vite et ont atteint une précision élevée, confirmant que la « conduite vacillante » au bord de la stabilité est non seulement sûre, mais souvent supérieure.

Résumé

Cet article explique pourquoi l'IA moderne fonctionne si bien, même lorsque nous utilisons des taux d'apprentissage « imprudents ». Il s'avère que l'aléatoire (le bruit) dans le processus d'entraînement n'est pas seulement un désagrément ; il interagit avec la forme du problème de manière à créer une boucle d'auto-stabilisation.

L'IA peut trébucher et vaciller au bord de la stabilité, mais elle possède un filet de sécurité invisible qui la rattrape et la ramène sur un chemin stable, lui permettant de converger vers une excellente solution plus rapidement que si elle avait été conduite avec prudence et lenteur.

Résumé Technique : La SGD à la limite de la stabilité : Stabilisation stochastique avec de grands taux d'apprentissage

Énoncé du Problème

Le deep learning moderne emploie couramment des taux d'apprentissage nettement plus élevés que ceux justifiés par la théorie classique de l'optimisation convexe lisse, un phénomène connu sous le nom de Limite de Stabilité (Edge of Stability - EoS). Bien que le comportement EoS de la descente de gradient déterministe (GD) ait été analysé — caractérisé par une phase initiale d'oscillations pilotées par la courbure suivie d'une phase d'auto-stabilisation où la perte diminue de manière monotone — le cadre stochastique reste largement inexploré.

Dans la descente de gradient stochastique (SGD), la distinction entre les fluctuations stochastiques inoffensives (dues au bruit des mini-lots) et une instabilité réelle (due à des pas trop grands par rapport à la courbure) est floue. La non-monotonie de la perte dans la SGD peut provenir de l'une ou l'autre de ces sources, rendant les seuils de stabilité déterministes classiques (basés sur la plus grande valeur propre du Hessien) mal définis ou insuffisants. Par conséquent, une compréhension fondamentale de la manière dont la SGD se comporte sous des taux d'apprentissage arbitrairement grands, particulièrement pour la perte de cross-entropie multi-classe, fait défaut. La question centrale abordée est : Quelle est la notion appropriée de stabilité pour la SGD avec la perte de cross-entropie, et pouvons-nous caractériser sa dynamique au-delà du régime classique des petits taux d'apprentissage ?

Méthodologie

Les auteurs développent un cadre théorique pour analyser la SGD appliquée à la perte de cross-entropie multi-classe sur des classificateurs linéaires et des réseaux de neurones à deux couches sous des tailles de pas arbitrairement grandes ( $\eta > 0$ ).

Stabilité de Lyapunov Stochastique :
Au lieu de s'appuyer sur la monotonie ponctuelle de la perte réalisée (ce qui est impossible à garantir en présence de bruit), l'article adopte un point de vue de stabilité de Lyapunov stochastique. La fonction de perte $L(W)$ est traitée comme une fonction de Lyapunov. La stabilité n'est pas définie par $L(W_{t+1}) \leq L(W_t)$ , mais par la condition que l'espérance de la perte décroisse en espérance conditionnelle étant donné la filtration $\mathcal{F}_t$ :
$\mathbb{E}[L(W_{t+1}) - L(W_t) \mid \mathcal{F}_t] \leq 0$
Ce critère capture l'équilibre entre la courbure et le bruit. Il se réduit à la condition de stabilité déterministe dans la limite du lot complet (full-batch), mais tient compte des fluctuations des mini-lots dans le cadre stochastique.
Analyse de la Dynamique en Deux Phases :
L'analyse décompose la dynamique d'entraînement en deux régimes :
- Régime de la Limite de Stabilité (EoS) : La phase initiale où les itérés peuvent subir des oscillations pilotées par la courbure, et où la perte n'est pas décroissante de manière monotone.
- Régime Stable : Une région où la perte attendue admet une descente en un pas. Les auteurs définissent un ensemble stable $\mathcal{S}$ où $L(W_t) \leq \tilde{L}$ , avec $\tilde{L}$ dépendant du pas, de la taille du lot et de la marge des données.
Mécanisme de Stabilisation Stochastique :
Une contribution théorique clé est la preuve que la SGD possède une propriété d'auto-stabilisation. Même si le bruit des mini-lots pousse temporairement les itérés hors de l'ensemble stable $\mathcal{S}$ , la dynamique garantit un retour au régime stable en un nombre fixe et borné d'itérations avec une probabilité élevée. Ce mécanisme de retour est piloté par la géométrie de la perte de cross-entropie, où la courbure et l'amplitude du bruit diminuent toutes deux à mesure que la perte approche de zéro.
Extension aux Réseaux de Neurones :
Le cadre est étendu aux réseaux de neurones à deux couches en mise à l'échelle de champ moyen (mean-field scaling). Les auteurs imposent des conditions modérées sur les fonctions d'activation (différentiabilité, lissage et quasi-homogénéité) et introduisent une « marge effective » $\tilde{\gamma}$ qui tient compte de la borne inférieure de la dérivée de l'activation. Cela permet le transfert des garanties de convergence linéaire au cadre non linéaire.

Contributions Clés

Critère de Stabilité Stochastique : L'article propose une nouvelle définition de la stabilité pour la SGD basée sur la dérive de Lyapunov conditionnelle, qui est bien adaptée à la minimisation de la cross-entropie séparable où les paramètres peuvent diverger tandis que la perte converge vers zéro.
Garanties de Convergence pour de Grands Pas : Les auteurs fournissent les premières garanties de convergence théoriques pour la SGD sur la perte de cross-entropie multi-classe avec des tailles de pas arbitrairement grandes ( $\eta > 0$ ). Ils établissent que le meilleur itéré atteint un taux de convergence de $\tilde{O}(1/t)$ , quelle que soit la magnitude du pas.
Caractérisation du Régime Stable : Le travail prouve que la SGD entre dans le régime stable en un nombre fixe d'itérations avec une probabilité élevée. Une fois à l'intérieur, le dernier itéré converge à un taux sous-linéaire.
Preuve de l'Auto-stabilisation Stochastique : L'article prouve rigoureusement que la SGD « s'auto-stabilise ». Même si la trajectoire sort de l'ensemble stable à cause du bruit, elle revient à la stabilité en un nombre borné d'étapes. Cela contraste avec la GD déterministe, où une fois la phase stable entrée, la trajectoire y reste par construction.
Analyse des Réseaux de Neurones : Les résultats sont étendus aux réseaux de neurones à deux couches, montrant que les garanties de convergence à grands pas d'apprentissage tiennent malgré la non-linéarité du modèle, à condition que les fonctions d'activation satisfassent des conditions de type « leaky » spécifiques.

Résultats

Bornes Théoriques : Le Théorème 2.2 établit une borne supérieure sur l'espérance de la perte du meilleur itéré pour les classificateurs linéaires, montrant un taux de $\tilde{O}(1/t)$ . Le Théorème 4.1 et le Théorème 5.4 fournissent des garanties similaires pour le dernier itéré une fois que la dynamique entre dans le régime stable.
Retour à la Stabilité : Le Théorème 4.2 (pour les modèles linéaires) et le Théorème 5.5 (pour les réseaux de neurones) quantifient la probabilité de rester dans l'ensemble stable et le nombre maximal d'étapes nécessaires pour y revenir si une sortie survient. Ces bornes dépendent de la taille du lot, du pas et de la valeur actuelle de la perte.
Validation Expérimentale : Des expériences sur des données synthétiques, MNIST (réseau de neurones à deux couches) et CIFAR-10 (réseau de neurones à 8 couches) valident les conclusions théoriques. Les résultats démontrent :
- Une diminution non monotone de la perte au début (phase EoS) suivie d'une convergence dans le régime stable.
- Une convergence plus rapide de la perte avec des tailles de pas plus grandes.
- Une précision de test comparable ou améliorée avec de grands pas par rapport à de plus petits.
- Un bruit et des oscillations réduits avec des tailles de lots plus grandes.

Signification et Revendications

L'article affirme combler une lacune critique dans la compréhension théorique de l'optimisation du deep learning moderne. Alors que les travaux antérieurs ont expliqué le phénomène EoS pour la GD déterministe, ce travail étend la théorie au cadre stochastique, qui est le standard pour le deep learning pratique.

Les auteurs soulignent que leurs résultats fournissent une compréhension fondée sur des principes de la manière dont la stochasticité modifie la structure en deux phases de l'optimisation. Ils soutiennent que le mécanisme d'« auto-stabilisation » est intrinsèque à la SGD avec la perte de cross-entropie, garantissant que l'algorithme ne diverge pas même avec de grands taux d'apprentissage, à condition que la perte diminue au fil du temps. Le travail ne prétend pas résoudre tous les défis d'optimisation du deep learning, mais offre un cadre rigoureux pour analyser la SGD dans le régime des grands pas, validant l'observation empirique selon laquelle les grands taux d'apprentissage sont efficaces et stables en pratique. Les garanties théoriques sont spécifiques aux données séparables et à la perte de cross-entropie, et l'analyse pour les réseaux de neurones est restreinte aux architectures à deux couches sous mise à l'échelle de champ moyen.