🤖 machine learning

Flatland: The Adventures of Gradient Descent with Large Step Sizes

Cet article aborde la question ouverte de la convergence de la descente de gradient avec de grands pas de calcul sur des fonctions non L-lisses en proposant des méthodes adaptatives qui opèrent à la limite de la stabilité, démontrant que le fait de permettre à l'entraînement d'entrer légèrement dans des vallées plus abruptes via l'auto-stabilisation peut améliorer la convergence et la généralisation par rapport à une rencontre prématurée de régions plates.

Auteurs originaux : Leonardo Galli, Curtis Fox, Wiebke Bartolomaeus, Mark Schmidt, Holger Rauhut

Publié 2026-06-08

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Leonardo Galli, Curtis Fox, Wiebke Bartolomaeus, Mark Schmidt, Holger Rauhut

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de trouver le point le plus bas d'une vaste chaîne de montagnes embrumées. Cette chaîne de montagnes représente le « paysage de perte » (loss landscape) d'un réseau de neurones. Votre objectif est d'atteindre le fond très bas (la meilleure solution) aussi rapidement que possible.

Dans le monde de l'apprentissage profond (deep learning), l'outil que vous utilisez pour descendre la montagne est appelé Descente de Gradient. C'est comme un randonneur qui prend toujours un pas dans la direction la plus raide vers le bas. La taille de ce pas est le taux d'apprentissage (ou la taille du pas).

Pendant longtemps, les chercheurs ont cru que faire de petits pas prudents était le moyen le plus sûr de ne pas trébucher et de ne pas tomber dans un précipice. Cependant, une observation récente a montré que parfois, faire des pas énormes et téméraires aide en réalité à trouver une vallée plus basse et plus plate, ce qui conduit à une IA plus intelligente. Mais il y a un piège : si vos pas sont trop grands, vous pourriez commencer à rebondir de manière désordonnée et ne jamais vous arrêter, ou vous pourriez rester coincé dans un endroit étrange et plat qui ressemble au fond, mais qui ne l'est pas.

Ce papier, intitulé « Flatland: The Adventures of Gradient Descent with Large Step Sizes », est comme un guide pour les randonneurs qui veulent faire ces pas géants sans tomber au bord du monde.

Le Problème : L'« Edge of Stability » (Le Bord de la Stabilité)

Les auteurs ont remarqué que lorsque vous faites des pas qui ont juste la bonne taille pour être « grands », le randonneur commence à osciller. Il rebondit de haut en bas sur les côtés de la vallée au lieu de descendre tout droit. C'est ce qu'on appelle l'Edge of Stability (EoS).

Pensez à un skateur sur un half-pipe. S'il va trop lentement, il s'arrête au milieu. S'il va juste assez vite, il fait des allers-retours, gagne de l'élan et finit par trouver la partie la plus lisse et la plus plate du fond. Le papier soutient que rester sur ce « bord » est en fait bénéfique pour l'entraînement de l'IA.

La Solution : Une Boussole Intelligente (L'Algorithme)

La grande question était : Comment savoir si un pas est « trop grand » sans s'écraser ?

Les auteurs ont créé une nouvelle « boussole » (un algorithme) qui ajuste automatiquement la taille du pas. Au lieu de deviner, la boussole vérifie le terrain juste devant le randonneur.

Si le sol est lisse, elle dit : « Fais un pas énorme ! »
Si le sol est accidenté, elle dit : « Ralentis, mais ne t'arrête pas. »

Cette boussole permet au randonneur de rester sur l'Edge of Stability dès le premier pas, garantissant qu'il avance vite sans pour autant s'envoler hors de la montagne.

La Surprise : Le Piège de « Flatland »

Voici la partie la plus intéressante de l'histoire. Les auteurs ont découvert que si vous faites des pas qui sont trop grands, vous pourriez accidentellement tomber dans un endroit appelé Flatland.

Imaginez que vous randonnez et que vous atteignez un endroit qui semble parfaitement plat. Vous vous dites : « Super, j'ai trouvé le fond ! » Mais en réalité, vous avez atterri sur un point de selle (comme le milieu d'une selle de cheval). C'est plat dans une direction, mais cela descend dans une autre.

Le Piège : Dans ces régions de « Flatland », l'IA arrête d'apprendre. Elle pense qu'elle a terminé parce que le sol est plat, mais elle est en fait coincée dans une impasse où elle ne peut plus comprendre comment résoudre le problème. Le papier appelle cela des exécutions « unsuccessfully-flat » (imparfaitement plates). L'IA devine essentiellement au hasard et reste coincée là.

La Solution : Ne cherchez pas l'absolu plat

Le conseil principal du papier est contre-intuitif : Ne visez pas l'endroit absolument le plus plat.

Les auteurs ont découvert que les meilleurs résultats proviennent d'une exécution « successfully-flat » (réussit l'aspect plat). C'est là que l'IA reste dans une vallée qui est principalement plate, mais qui possède encore une infime pente.

La Métaphore : Imaginez que vous cherchez le meilleur endroit pour installer une tente.
- Le Piège : Vous trouvez une plaine parfaitement plate et sans relief. Cela semble parfait, mais il n'y a pas de vent pour vous aider à sécher vos vêtements, et vous ne pouvez pas savoir où se trouve le Nord. Vous restez coincé.
- La Solution : Vous trouvez un endroit qui est presque plat, mais qui présente une pente douce et légère. Cette légère pente vous aide à vous orienter et vous permet de continuer à avancer vers la meilleure vue possible.

Les auteurs proposent une règle simple pour éviter le piège : Limitez la taille de votre pas pour qu'elle ne dépasse jamais le nombre de catégories que vous essayez d'apprendre. (Par exemple, si vous enseignez à une IA à reconnaître 100 types d'animaux, ne laissez pas votre pas dépasser 100). Cela maintient l'IA dans la vallée « légèrement inclinée » où elle peut réellement apprendre, plutôt que de la laisser coincée dans le piège du « parfaitement plat ».

Résumé

Les grands pas sont bons : Faire de grands pas aide l'IA à apprendre plus vite et à trouver de meilleures solutions, à condition de rester sur l'« Edge of Stability ».
Le Piège : Si vous faites des pas trop grands, vous pourriez vous retrouver coincé dans une « Flatland » (un point de selle) où l'IA arrête d'apprendre et se contente de deviner au hasard.
La Solution : Utilisez une méthode intelligente pour ajuster les pas, mais imposez une « limite de vitesse » à ceux-ci. Gardez les pas assez grands pour être rapides, mais assez petits pour éviter le piège du parfaitement plat. Cela mène à une IA plus intelligente et plus précise.

En bref, ce papier nous enseigne que dans la course pour entraîner l'IA, il faut parfois courir vite, mais il faut faire attention à ne pas courir si vite que l'on trébuche sur un rocher parfaitement plat et que l'on s'arrête de bouger complètement.

Résumé technique : Flatland : Les aventures de la descente de gradient à grands pas

Énoncé du problème

L'entraînement des réseaux de neurones implique fréquemment des fonctions d'objectif qui ne sont pas globalement $L$ -lisses. Pour de telles fonctions, une question ouverte de longue date en apprentissage profond demeure : quel est le plus grand pas possible garantissant la convergence de la descente de gradient (GD) ? Bien que des travaux antérieurs (par exemple, Cohen et al., 2021) aient observé que la GD avec des pas fixes entre souvent dans une phase de « Bord de Stabilité » (Edge of Stability ou EoS) — où la perte diminue de manière non monotone et où le produit du pas et de la netteté (sharpness) se stabilise autour de 2 — il n'existe aucune définition unifiée de « grands » pas qui garantisse la convergence sans dépendre d'informations de second ordre. De plus, il n'est pas clair si la GD peut opérer de manière cohérente à l'EoS dès le début de l'entraînement ou si elle risque de diverger en raison d'oscillations incontrôlées.

Méthodologie

Les auteurs proposent un cadre unificateur pour définir et trouver des « grands » pas en se basant sur la lisséité de segment locale plutôt que sur la continuité de Lipschitz globale.

Lisséité de segment : L'article introduit le concept de lisséité de segment locale, en supposant que la fonction objectif $f$ est continûment dérivable et que le gradient est Lipschitz (ou Hölder continu) uniquement le long de la direction anti-gradient entre les itérations $w$ et $w - \eta \nabla f(w)$ .
Recherche de pas par égalité (Equality Line Search) : Pour trouver des pas qui satisfont la définition de « grand » (spécifiquement, des pas $\eta_k$ tels que $\eta_k \geq 1/l(w_k, \eta_k)$ et qui dépassent occasionnellement $2/l(w_k, \eta_k)$ ), les auteurs conçoivent un nouvel algorithme de Recherche de pas par égalité. Cette méthode combine des étapes de recul (backtracking) et d'extrapolation. Si la condition standard de recherche de pas non monotone est initialement satisfaite, le pas est doublé ; sinon, il est divisé par deux. Le processus se poursuit jusqu'à ce que la condition soit satisfaite comme une égalité, approximant le pas maximal autorisé par la géométrie locale.
Garanties théoriques : Les auteurs prouvent que cette approche produit des pas qui sont « conscients de Lipschitz » et « conscients de Hölder ». Crucialement, ils montrent qu'à mesure que le gradient s'annule près d'un point stationnaire, le pas est inférieurement borné par l'inverse de la netteté (la plus grande valeur propre de la Hessienne), rendant ainsi la méthode « consciente de la netteté » sans calcul explicite de la Hessienne.
Éviter les pièges plats : Les auteurs identifient un phénomène où la GD avec de grands pas peut rester « coincée » dans des régions globalement plates (points de selle) où la netteté atteint un minimum global de $2/K$ (pour $K$ classes). Pour atténuer cela, ils proposent NLS-ub, une variante qui plafonne le pas en dessous de $K$ , forçant l'optimiseur à traverser des vallées légèrement plus nettes.

Principales contributions

Définition unifiée : Une définition formelle de « grands » pas qui garantit la convergence de la GD pour des fonctions non globalement lisses, reposant uniquement sur la lisséité de segment locale.
Conscience de la netteté de premier ordre : Un algorithme (Equality Line Search) qui produit de manière prouvable des pas opérant au Bord de Stabilité dès la première itération, sans nécessiter d'informations de second ordre.
Caractérisation des régions globalement plates : L'identification de points de selle spécifiques où la netteté atteint un minimum global de $2/K$ . Les auteurs démontrent que rencontrer ces points trop tôt dans l'entraînement conduit à des exécutions « infructueusement plates » où le réseau échoue à apprendre des caractéristiques significatives, entraînant une mauvaise convergence et une faible généralisation.
Mécanisme d'auto-stabilisation : Une stratégie pratique (NLS-ub) pour limiter les pas en dessous du nombre de classes $K$ , qui transforme avec succès les exécutions « infructueusement plates » en exécutions « fructueusement plates » qui atteignent une perte d'entraînement plus faible et une meilleure précision de test.

Résultats expérimentaux

Les auteurs ont évalué leurs méthodes sur diverses architectures (MLP, CNN, ResNet, VGG, DenseNet, Vision Transformers) et jeux de données (CIFAR10/100, SVHN, EMNIST) en utilisant à la fois l'erreur quadratique moyenne (MSE) et les pertes d'entropie croisée (Cross-Entropy).

Bord de Stabilité : La Recherche de pas par égalité (NLS) proposée et sa variante déterministe (PoNLS) opèrent systématiquement à l'EoS, le produit du pas et de la netteté restant au-dessus du seuil de 2 tout au long de l'entraînement.
Phénomène de platitude globale : Dans plusieurs expériences (ex: ResNet sur SVHN), NLS a poussé la netteté exactement à $2/K$ très tôt dans l'entraînement. Dans ces cas, la perte d'entraînement a stagné au niveau d'une prédiction aléatoire, et les normes de gradient des couches cachées se sont effondrées vers presque zéro, indiquant que l'optimiseur avait atteint un point de selle.
Succès vs Échec : Les exécutions ayant évité de frapper l'exact $2/K$ (restant légèrement au-dessus) ont été qualifiées de « fructueusement plates ». Ces exécutions ont obtenu une perte d'entraînement et une précision de test nettement meilleures.
Efficacité de NLS-ub : En plafonnant le pas en dessous de $K$ , NLS-ub a empêché l'optimiseur d'entrer dans les régions de selle globalement plates. Cette modification a systématiquement amélioré la convergence et la précision de test par rapport à NLS standard et à d'autres bases comme SAM (Sharpness Aware Minimization) et CDAT.
Sensibilité de la fonction de perte : Le phénomène de frapper les minima de netteté globaux a été observé avec la perte MSE (où le minimum est $2/K$ ). Avec la perte d'entropie croisée, la netteté minimale est 0, et des comportements de blocage similaires ont été observés lorsque la netteté approchait 0, bien que la dynamique diffère légèrement.

Signification et affirmations

L'article affirme fournir une réponse concrète à la question ouverte de la sélection des plus grands taux d'apprentissage possibles tout en garantissant la convergence de la GD. Il remet en question l'intuition prédominante selon laquelle les minima plus « plats » sont toujours préférables. Les auteurs démontrent que trouver les régions globalement plates (minima globaux de netteté) n'est pas bénéfique pour la vitesse de convergence ou la généralisation ; en fait, cela peut être préjudiciable, causant le blocage du réseau à des points de selle.

La signification réside dans :

Opérationnalisation des grands pas : Fournir une méthode pratique de premier ordre pour sélectionner automatiquement des pas qui opèrent au Bord de Stabilité, accélérant l'entraînement sans réglage manuel.
Recadrage de la platitude : Montrer que la recherche du minimum de platité absolue peut être un piège, et que des vallées légèrement plus nettes (évitant le plancher de netteté $2/K$ ou 0) produisent des performances supérieures.
Fondation théorique : Établir des garanties de convergence pour la GD sous une lisséité de segment locale, une hypothèse plus faible que la lisséité $L$ -globale, qui est souvent violée en apprentissage profond.

Les auteurs restent modestes quant à la portée de leur travail, notant que bien que leur méthode fonctionne bien pour la GD en lot complet (full-batch) et pour des expériences stochastiques préliminaires, la convergence théorique de la descente de gradient stochastique (SGD) sous ces hypothèses spécifiques nécessite des recherches supplémentaires. Ils reconnaissent également que le mécanisme causant la GD à entrer dans ces régions globalement plates de manière aussi efficace n'est pas encore pleinement compris et pourrait être lié au phénomène de l'effondrement neural (neural collapse).