🤖 machine learning

Dynamics of Gradient Descent with Large Step Size Near a Manifold of Flat Minima

Cet article étend la théorie de la descente de gradient avec de grands pas des minima plats isolés aux variétés de minima plats dans les problèmes de moindres carrés surparamétrés à sorties à valeurs vectorielles, en établissant une forme normale généralisée et des résultats de convergence qui révèlent la structure de fibré vectoriel des minima plats dans la factorisation de matrices profonde.

Auteurs originaux : Lachlan Ewen MacDonald, René Vidal

Publié 2026-07-10

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Lachlan Ewen MacDonald, René Vidal

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de trouver le point le plus bas dans un vaste paysage brumeux. Ce paysage représente la « perte » (loss) d'un réseau de neurones profonds — une mesure de l'erreur commise par l'ordinateur. Le but est d'atteindre le fond même.

Pendant longtemps, les informaticiens ont pensé que la meilleure façon d'y parvenir était de faire de tout petits pas prudents en descente. Ils croyaient que si l'on faisait un pas trop grand, on dépasserait le fond, on rebondirait vers le haut et, finalement, on s'envolerait vers le ciel (divergence). Ils avaient une règle stricte : la taille de votre pas devait être inférieure à une limite spécifique déterminée par la « netteté » (sharpness) du fond de la vallée. Si le fond était un point d'aiguille (très pointu), il fallait faire des pas microscopiques. Si c'était un large bol plat, on pouvait faire des pas légèrement plus grands.

Mais voici le coup de théâtre : dans le monde réel de l'entraînement de l'IA, les gens ont commencé à faire des pas énormes. Au lieu de s'écraser, l'IA est devenue plus intelligente, plus rapide et, de manière surprenante, elle semblait préférer atterrir dans ces larges bols plats plutôt que dans les pointes d'aiguilles acérées. Ce comportement était un mystère. C'était comme regarder un skieur faire un saut massif, atterrir parfaitement dans un banc de neige douce et s'arrêter en glissant, défiant toutes les lois de la physique qui disaient qu'il devrait s'écraser.

Ce papier est l'équipe de détectives qui a enfin compris pourquoi le skieur ne s'est pas écrasé, et exactement comment il a atterri.

La Grande Découverte : Le « Flip » et le « Slide »

Les auteurs, Lachlan MacDonald et René Vidal, ont pris les anciennes théories simples et les ont mises à niveau pour gérer la réalité désordonnée et de haute dimension de l'IA moderne. Ils ont découvert que lorsque l'on fait un grand pas, l'IA ne déambule pas de manière aléatoire. Elle divise en fait son comportement en deux modes distincts, comme une voiture qui peut conduire en ligne droite et aussi pivoter sur elle-même.

1. Le « Flip » (La balle rebondissante) :
Imaginez que l'IA rebondit sur un trampoline. Si la taille du pas est juste assez grande, l'IA rebondit de haut en bas selon un rythme très spécifique. Elle ne s'arrête pas de rebondir immédiatement ; au lieu de cela, elle s'installe dans un motif stable et répétitif de rebonds d'avant en arrière. Le papier prouve que si la taille du pas est légèrement trop grande (mais pas trop grande), l'IA oscillera dans une boucle parfaite et prévisible juste au-dessus du fond plat. Ce n'est pas une erreur ; c'est une fonctionnalité.

2. Le « Slide » (La rivière) :
Pendant que l'IA rebondit de haut en bas (le flip), elle glisse également lentement latéralement le long du fond plat de la vallée. Les auteurs montrent que l'IA effectue essentiellement une sorte spéciale de « descente de gradient riemannienne » le long de cette surface plate. Pensez à une rivière qui coule le long d'une plaine plate. La rivière ne se soucie pas des minuscules bosses de sable ; elle coule simplement de manière fluide vers la partie la plus plate et la plus stable du paysage.

La Forme du « Plat »

L'une des parties les plus passionnantes de ce papier est la façon dont ils décrivent les « minima plats » (les vallées larges et sûres). Les théories précédentes traitaient ces zones plates comme des îlots isolés. Mais les auteurs montrent que dans des problèmes complexes comme la factorisation de matrice (une technique clé du deep learning), ces zones plates ne sont pas de simples points. Elles sont en réalité un fibré sur un produit de sphères.

Traduisons cela en français courant : imaginez que la vallée plate n'est pas une seule pièce, mais une structure géante à plusieurs couches. La base de cette structure est une collection de sphères (comme la surface d'un ballon). Sur chaque point de ces sphères, il y a toute une « fibre » ou une petite pièce de solutions. L'IA ne trouve pas seulement une solution ; elle trouve toute une famille de solutions connectées et lisses qui sont toutes également bonnes. Le papier prouve que la « netteté » (la pente des côtés) change de manière fluide à mesure que l'on se déplace autour de cette structure, se comportant de manière très ordonnée, appelée Morse-Bott.

Ce qu'ils ont prouvé vs Ce qu'ils ont simulé

Les auteurs n'ont pas seulement deviné cela ; ils ont construit un cadre mathématique rigoureux pour le prouver.

La Théorie : Ils ont prouvé que pour une large gamme de tailles de pas, le comportement de l'IA se divise en trois régimes distincts :
- Sous-critique (Sûr mais lent) : Si le pas est suffisamment petit, l'IA converge de manière exponentielle vers un minimum « sous-optimalement plat ». C'est sûr, mais peut-être pas l'endroit le plus plat absolu.
- Critique (Le point idéal) : Si la taille du pas atteint un seuil spécifique (exactement $2/\lambda_1$ , où $\lambda_1$ est la netteté), l'IA converge vers le minimum plat à une vitesse de $t^{-1/2}$ . Il s'agit d'un taux mathématique spécifique et prouvé. Ils ont montré que cela se produit dans les simulations de factorisation de matrice.
- Supercritique (La danse) : Si le pas est légèrement plus grand que le seuil, l'IA ne s'arrête pas au fond. Au lieu de cela, elle converge exponentiellement vers une orbite de période 2. Cela signifie qu'elle se stabilise dans un cycle stable et répétitif de deux points, oscillant d'avant en arrière. Le papier prouve que ce cycle existe et qu'il est stable.
Les Simulations : Pour appuyer leurs mathématiques, ils ont mené des expériences sur des problèmes de factorisation de matrice (spécifiquement une factorisation de matrice $2 \times 2$ à 3 couches). Dans ces simulations, ils ont observé l'IA prendre de grands pas. Les graphiques montraient exactement ce que les mathématiques prédisaient : l'IA a bondi, puis s'est installée dans le glissement en $t^{-1/2}$ , ou s'est verrouillée dans la danse de période 2.

Ce qu'ils excluent explicitement

Il est important de savoir ce que ce papier ne dit pas.

Ce n'est pas un chaos aléatoire : Le papier exclut explicitement l'idée que de grands pas mènent à un comportement aléatoire et imprévisible dans ces régimes spécifiques. L'oscillation est une orbite de période 2 structurée et stable, et non un désordre chaotique.
Ce n'est pas seulement une question de points isolés : Le papier s'oppose à l'idée que les minima plats soient isolés. Ils prouvent que dans ces systèmes, les minima forment une variété (manifold) continue et lisse, et non une collection de points dispersés.
Ce n'est pas une garantie globale : Les auteurs précisent avec soin que leurs preuves sont locales. Ils prouvent ce qui se passe près des minima plats. Ils ne prétendent pas avoir résolu le mystère de la façon dont l'IA trouve les minima plats à partir d'un point de départ aléatoire très éloigné (la phase de « lissage progressif »). Ils expliquent seulement ce qui se passe une fois que l'IA est déjà dans le voisinage du point plat.

« L'É de la Stabilité »

Le papier relie cela à un phénomène appelé « l'É de la stabilité » (Edge of Stability). C'est le régime où l'IA vacille au bord du crash sans pour autant s'effondrer. Les auteurs montrent que ce n'est pas un bug, mais un état dynamique spécifique où l'IA effectue implicitement une « descente de gradient riemannienne » sur la netteté elle-même. C'est comme si l'IA utilisait le rebond pour tâter le terrain et glisser vers l'endroit le plus plat possible.

L'essentiel

Ce papier prend un problème complexe à haute dimension et nous donne une carte claire. Il montre que lorsque nous faisons de grands pas dans l'entraînement de l'IA, nous ne faisons pas que deviner. Nous engageons une danse sophistiquée où l'IA rebondit selon un rythme stable tout en glissant simultanément le long d'une surface lisse et connectée de solutions parfaites.

Ils ont prouvé que pour la factorisation de matrice, cette surface est une magnifique structure géométrique (un fibré sur des sphères), et ils ont prouvé que le mouvement de l'IA sur cette surface suit des lois strictes et prévisibles. Bien qu'ils n'aient pas résolu l'intégralité du mystère du deep learning (comme la façon de passer du début à la fin du parcours), ils ont fourni la première explication mathématique rigoureuse de pourquoi prendre d'énormes pas fonctionne si bien une fois que l'on est proche de la solution.

En bref : l'IA ne s'écrase pas ; elle danse. Et grâce à ce papier, nous avons enfin la partition.

Résumé Technique : Dynamique de la Descente de Gradient avec un Pas de Taille Importante au Proche d'une Variété de Minima Plats

Énoncé du Problème

La théorie classique de la convergence de la Descente de Gradient (GD) repose sur la condition de stabilité $\eta < 2/\lambda_1(x)$ , où $\eta$ est la taille du pas et $\lambda_1(x)$ est la plus grande valeur propre (courbure/sharpness) de l'Hessien de l'objectif. Dans le deep learning, cette condition est fréquemment violée ; pourtant, la GD avec de grands pas de taille converge souvent, présentant des phénomènes tels que la dynamique du « bord de la stabilité » (edge of stability) et un biais implicite vers les « minima plats » (minima ayant une faible courbure).

Des travaux antérieurs par MacDonald et al. [39] ont fourni une analyse rigoureuse des systèmes dynamiques pour la GD à grand pas dans les problèmes de moindres carrés de codimension 1 (sortie scalaire unique) au voisinage d'un minimum plat isolé. Cependant, ce cadre est pratiquement restrictif, car il ne couvre pas :

Les problèmes de codimension supérieure : La régression surparamétrée avec des sorties vectorielles et un nombre arbitraire d'observations.
Les variétés de minima : De nombreux problèmes de deep learning, tels que la factorisation de matrices, possèdent une variété continue de minima plats plutôt que des points isolés.

Cet article étend la théorie de [39] à ces cadres plus larges, en abordant les défis techniques des bifurcations de dimension supérieure et des équations aux dérivées partielles (EDP) singulières émergeant le long des variétés.

Méthodologie

1. Cadre Géométrique et Hypothèses

Les auteurs considèrent des objectifs de moindres carrés surparamétrés $\ell(w) = \frac{1}{2}\|\tau - f(w)\|^2$ où $f: \mathbb{R}^p \to \mathbb{R}^q$ ( $p > q$ ). Ils établissent une hiérarchie d'hypothèses géométriques pour garantir l'existence d'une forme normale :

Hypothèse 3.1 : La cible $\tau$ est une valeur régulière, garantissant que l'ensemble des solutions $M = f^{-1}(\tau)$ est une sous-variété lisse.
Hypothèse 3.3 : La plus grande valeur propre $\lambda_1$ de l'Hessien est simple (distincte de $\lambda_2$ ) sur un sous-ensemble ouvert non vide, permettant un champ de vecteurs propres supérieurs $\nu_1$ bien défini.
Hypothèse 3.4 : Il existe une sous-variété $F \subset M$ de minima locaux pour $\lambda_1$ où $\lambda_1$ est Morse-Bott (fortement convexe dans les directions normales à $F$ au sein de $M$ ).
Hypothèse 3.5 : Une condition de régularité sur un coefficient $\alpha_\eta$ dérivé des dérivées d'ordre supérieur de $\ell$ , garantissant la résolubilité d'une EDP singulière requise pour la forme normale.

2. Dérivation de la Forme Normale

La contribution technique centrale est la dérivation d'une forme normale pour la GD au voisinage de la variété $F$ . Les auteurs effectuent une séquence de transformations de coordonnées :

Coordonnées Tubulaires : Cartographie du voisinage de $M$ vers $M \times \mathbb{R}^q$ .
Réduction de la Variété Centrale : Utilisation du théorème de la variété centrale pour réduire la dynamique orthogonale de dimension $q$ à un système unidimensionnel correspondant à la direction propre supérieure $\nu_1$ .
Résolution d'une EDP Singulière : Une étape critique implique la résolution d'une EDP de la forme $Xu = \alpha u + \beta$ où le champ de vecteurs $X$ s'annule le long de la variété $F$ . Contrairement au cas du point isolé dans [39], la singularité se situe ici le long d'une variété. Les auteurs développent des techniques novatrices impliquant des développements logarithmiques et des foliations invariantes pour prouver l'existence d'une solution $C^1$ , corrigeant une preuve erronée de [39] concernant le couplage entre les coordonnées de la variété et la dynamique orthogonale.
Foliation Fortement Stable : Découplage des directions contractantes de la dynamique sur la variété centrale.

La forme normale résultante décompose la dynamique de la GD en :

Tangente à $M$ ( $x$ ) : Descente de Gradient Riemannienne (RGD) sur la courbure $\lambda_1$ le long de $M$ , avec un pas de taille contrôlé par le carré de la distance orthogonale $y_1^2$ .
Direction Orthogonale Supérieure ( $y_1$ ) : Une dynamique de bifurcation de type « flip » (similaire à une bifurcation de doublement de période) gouvernée par $(1 - \eta\lambda_1)y_1 + y_1^3$ .
Autres Directions Orthogonales ( $y_{2:q}$ ) : Directions stables à contraction exponentielle.

3. Étude de Cas : Factorisation de Matrices Profonde

Les auteurs vérifient que la factorisation de matrices profonde s'inscrit dans ce cadre. Ils prouvent que l'ensemble des minima plats $F$ forme un fibré de vecteurs lisses sur un produit de sphères. De plus, ils démontrent que la courbure $\lambda_1$ est Morse-Bott le long de cette variété.

Contributions Clés et Résultats

1. Forme Normale Généralisée

L'article établit une forme normale pour la GD avec de grands pas de taille au voisinage d'une variété de minima plats pour une codimension arbitraire. Cela généralise les résultats de [39] des minima isolés en codimension 1 vers des variétés continues en dimensions arbitraires.

2. Théorèmes de Convergence

Les auteurs prouvent trois régimes de convergence basés sur la taille du pas $\eta$ par rapport au seuil de stabilité $2/\lambda_1|_F$ :

Régime Sous-critique ( $\eta < 2/\lambda_1|_F$ ) :
Après une phase transitoire initiale, les itérations convergent exponentiellement vers un minimum global sous-optimal en termes de platitude. Le pas de taille décroît exponentiellement à mesure que les itérations approchent la variété.
Régime Critique ( $\eta = 2/\lambda_1|_F$ ) :
Les itérations convergent de manière non monotone avec un taux de $\Theta(t^{-1/2})$ vers un point dans la variété des minima plats $F$ $F$ .
- Note : La preuve pour le cas général repose sur une conjecture (Conjecture D.7) concernant l'existence d'une foliation stable pour les systèmes dynamiques normalement paraboliques, analogue au théorème de la foliation fortement stable pour les variétés normalement hyperboliques. Le résultat est prouvé rigoureusement si l'Hessien de $\lambda_1$ est un multiple scalaire de l'identité le long de $F$ , ou si la conjecture est vérifiée.
Régime Super-critique ( $\eta > 2/\lambda_1|_F$ ) :
Les itérations convergent exponentiellement vers une orbite de période 2 stable le long de l'espace engendré par le champ de vecteurs propres supérieurs $\nu_1|_F$ . L'amplitude de cette oscillation est de l'ordre de $\Theta(\sqrt{\eta\lambda_1|_F - 2})$ .

3. Résultats Structurels pour la Factorisation de Matrices

Pour la factorisation de matrices profonde, l'article fournit de nouvelles perspectives structurelles :

La variété des minima plats $F$ est un fibré de vecteurs sur un produit de sphères.
La courbure $\lambda_1$ est Morse-Bott le long de $F$ .
Les valeurs propres de l'Hessien de $\lambda_1$ restreint au fibré normal de $F$ sont strictement positives, avec des bornes inférieures spécifiques dérivées (ex: pour $L=2$ , la borne inférieure est $4\sigma_1/(\sigma_1 - \sigma_{d_L})$ ).

4. Vérification Numérique

Les prédictions théoriques sont vérifiées via des expériences numériques sur des problèmes de factorisation de matrices $2 \times 2$ à 3 couches. Les expériences confirment :

Une convergence exponentielle dans le régime sous-critique.
Une convergence en $t^{-1/2}$ dans le régime critique.
Une convergence exponentielle vers un cycle de période 2 dans le régime super-critique.

Signification et Revendications

L'article affirme combler une lacune importante dans la compréhension théorique de l'optimisation en deep learning :

Au-delà de la Codimension 1 : Il déplace la théorie de la GD à grand pas du cadre peu pratique de la « donnée unique » vers la régression surparamétrée générale avec des sorties vectorielles.
Variétés de Minima : Il traite la réalité selon laquelle les paysages de perte du deep learning contiennent souvent des variétés de minima, montrant que les dynamiques de « bord de la stabilité » persistent dans ces contextes de dimensions supérieures et continues.
Nouveauté Technique : La résolution de l'EDP singulière le long d'une variété et la correction de la preuve de [39] concernant le couplage des coordonnées sont présentées comme des contributions techniques indépendantes d'intérêt pour la théorie des systèmes dynamiques.
Biais Implicite : Les résultats formalisent rigoureusement l'observation selon laquelle la GD à grand pas effectue implicitement une descente de gradient riemannienne sur la courbure le long de la variété de solution, fournissant une explication mécaniste du biais vers les minima plats.

Les auteurs restent modestes concernant le régime critique, précisant explicitement que la preuve de convergence générale repose sur une conjecture concernant les foliations paraboliques, ce qui est hors du champ de l'étude actuelle mais jugé plausible par analogie avec les systèmes hyperboliques. Ils notent également que leurs résultats sont locaux (proches de la variété des minima plats) et n'expliquent pas encore la phase globale de « lissage progressif » (progressive sharpening) observée lors de l'entraînement.