📊 statistics

Conflicting Biases at the Edge of Stability: Norm versus Sharpness Regularization

Cet article soutient que la compréhension de la généralisation des réseaux surparamétrés nécessite l'analyse du compromis dynamique entre la minimisation de la norme et la réduction de la netteté, démontrant que les taux d'apprentissage interpolent entre ces biais et qu'aucun des deux, pris isolément, ne suffit à minimiser l'erreur de généralisation.

Auteurs originaux : Maria Matveev, Vit Fojtik, Hung-Hsu Chou, Gitta Kutyniok, Johannes Maly

Publié 2026-06-08

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Maria Matveev, Vit Fojtik, Hung-Hsu Chou, Gitta Kutyniok, Johannes Maly

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Le problème de la zone de perfection (Goldilocks)

Imaginez que vous enseignez à un élève (un réseau de neurones) comment résoudre un puzzle. Vous voulez que l'élève apprenne les règles si bien qu'il puisse résoudre de nouveaux puzzles qu'il n'a jamais vus auparavant (c'est ce qu'on appelle la généralisation).

Pendant longtemps, les chercheurs ont pensé qu'il existait un « tour magique » qui rendait les élèves performants. Ils croyaient que le processus d'apprentissage (appelé Descente de Gradient) poussait naturellement l'élève vers la solution la plus simple et la plus « compacte ». En termes mathématiques, cela s'appelle minimiser la Norme (garder les nombres à l'intérieur du modèle petits et ordonnés).

Cependant, des observations récentes ont montré que quelque chose d'autre se passait. Lorsque vous entraînez avec un taux d'apprentissage « rapide », l'élève semble naturellement éviter les solutions « pointues » ou instables pour trouver des solutions « plates » et lisses. En termes mathématiques, cela s'appelle minimiser la Netteté (Sharpness).

La découverte principale de l'article : Ces deux « tours magiques » (garder les choses petites vs garder les choses plates) sont en réalité en conflit. On ne peut pas avoir les deux en même temps. L'article soutient que le secret d'une bonne IA n'est pas seulement l'un de ces traits, mais de trouver l'équilibre parfait entre eux, lequel est contrôlé par la vitesse à laquelle vous enseignez à l'élève (le Taux d'Apprentissage).

Les deux biais concurrents

Pour comprendre le conflit, utilisons deux métaphores :

1. Le biais du « Petit Sac à Dos » (Minimisation de la Norme)

Ce que c'est : Quand vous enseignez très lentement (petit taux d'apprentissage), l'algorithme agit comme un randonneur essayant de porter le sac à dos le plus léger possible. Il essaie de garder le « poids » du modèle (la taille des nombres à l'intérieur) aussi petit que possible.
Le résultat : Vous obtenez un modèle très simple et compact.
La découverte de l'article : Bien que la simplicité soit généralement une bonne chose, l'article montre que le modèle le plus simple n'est pas toujours celui qui performe le mieux sur de nouvelles données.

2. Le biais de la « Vallée Plate » (Minimisation de la Netteté)

Ce que c'est : Quand vous enseignez à une vitesse modérée à rapide, l'algorithme agit comme un randonneur cherchant le fond d'une large vallée plate plutôt qu'un sommet étroit et précaire. Si la solution est « pointue » (comme se tenir sur une aiguille), la moindre erreur dans l'étape suivante vous fera basculer. Si elle est « plate » (comme un large plateau), vous pouvez vaciller un peu et rester en sécurité.
Le résultat : Vous obtenez un modèle très stable et robuste aux petits changements.
La découverte de l'article : Bien que la stabilité soit excellente, la solution la plus plate ne l'est pas toujours non plus.

La danse de la « Limite de Stabilité » (Edge of Stability)

L'article introduit un concept fascinant appelé la Limite de Stabilité (EoS).

Imaginez que vous marchez sur une corde raide.

Trop lent (Petit Taux d'Apprentissage) : Vous marchez très prudemment, en restant parfaitement au milieu. Vous finissez avec un « Petit Sac à Dos » (norme faible), mais vous pourriez marcher sur un chemin étroit qui n'est pas la meilleure route.
Trop rapide (Grand Taux d'Apprentissage) : Vous courez si vite que vous commencez à rebondir hors de la corde. Vous tombez (l'entraînement plante).
Juste ce qu'il faut (La Limite de Stabilité) : Vous courez à une vitesse où vous perdez presque l'équilibre. Vous vacillez de gauche à droite, mais vous ne tombez pas. Dans cet état, l'algorithme vous pousse naturellement vers la « Vallée Plate » (faible netteté).

Le Conflit : L'article montre qu'en accélérant votre marche (en augmentant le taux d'apprentissage) pour atteindre cet état « vacillant mais stable », votre sac à dos devient de plus en plus lourd (la Norme augmente).

Vitesse lente : Sac à dos léger, chemin étroit.
Vitesse rapide : Sac à dos lourd, large vallée plate.

Vous ne pouvez pas avoir un sac à dos léger et une vallée large simultanément. Ce sont des compromis.

Le secret de la « Forme en U »

La découverte la plus importante concerne la Généralisation (la capacité du modèle à fonctionner sur de nouvelles données).

Si vous tracez la performance du modèle en fonction de la vitesse d'apprentissage, vous obtenez souvent une forme en U :

Trop lent : Le modèle est trop simple (norme faible) et manque de nuances sur les données. La performance est correcte, mais pas excellente.
Trop rapide : Le modèle est trop chaotique (norme élevée, même si plat) et fait du surapprentissage (overfitting) ou devient instable. La performance chute.
Juste ce qu'il faut (Le Milieu) : Le point idéal se trouve au milieu. Ici, le modèle possède un « sac à dos de taille moyenne » et est « modérément plat ».

L'analogie : Pensez au réglage d'une radio.

Tournez le cadran trop vers la gauche (trop lent), et vous entendez de la friture (sous-apprentissage).
Tournez-le trop vers la droite (trop rapide), et vous entendez de la friture à nouveau (instabilité).
Le signal le plus clair se trouve au milieu, là où vous avez équilibré les deux forces opposées.

La preuve théorique (Le Modèle Simple)

Pour prouver qu'il ne s'agit pas d'un simple hasard sur des ordinateurs complexes, les auteurs ont construit un tout petit modèle mathématique simple (un réseau « jouet »).

Ils ont montré que la solution avec le plus petit sac à dos (norme la plus basse) se trouve dans un emplacement complètement différent de la solution avec la vallée la plus plate (netteté la plus basse).
Ils ont prouvé que la meilleure solution (celle qui prédit le mieux les nouvelles données) est souvent une troisième option : un endroit situé juste entre ces deux extrêmes.

Conclusion : Un jeu d'équilibre

L'article conclut que nous ne pouvons pas expliquer pourquoi l'IA fonctionne si bien en regardant un seul facteur (comme « elle trouve la solution la plus simple »).

Au lieu de cela, le taux d'apprentissage agit comme un variateur d'intensité (dimmer) qui équilibre deux désirs conflictuels :

Garder le modèle petit et simple.
Garder le modèle stable et plat.

La « magie » du deep learning se produit lorsque nous réglons ce variateur pour trouver le compromis parfait entre ces deux forces opposées. L'article soutient que se concentrer sur un seul de ces biais est insuffisant ; nous devons comprendre le compromis dynamique entre eux.

Résumé technique : Conflits de biais à la limite de la stabilité : Régularisation par la norme versus par la netteté (sharpness)

Énoncé du problème

Les remarquables capacités de généralisation des réseaux de neurones sur-paramétrés sont fréquemment attribuées aux biais implicites des algorithmes d'optimisation comme la descente de gradient (GD). Deux théories dominantes ont émergé pour expliquer ce phénomène :

Minimisation de la norme : Dans la limite de taux d'apprentissage tendant vers zéro (ou du flot de gradient), la GD présente un biais implicite vers des solutions ayant des normes de paramètres minimales (par exemple, les normes $\ell_1$ ou $\ell_2$ ), particulièrement dans les contextes de réseaux linéaires et diagonaux.
Minimisation de la netteté (Sharpness) : Dans le régime de la « Limite de Stabilité » (Edge of Stability - EoS), où les taux d'apprentissage sont finis et suffisamment élevés pour provoquer un comportement de perte non monotone, la GD est observée comme convergeant vers des solutions de faible netteté (spécifiquement, la norme spectrale de la Hessienne est bornée par $2/\eta$ ).

Le problème central abordé par ce travail est que ces deux formes de régularisation implicite sont souvent analysées de manière isolée. Il reste difficile de savoir comment elles interagissent lorsque la GD est entraînée avec les taux d'apprentissage finis et non négligeables utilisés en pratique. Plus précisément, est-ce qu'un biais unique (soit la norme, soit la netteté) suffit à expliquer la généralisation, ou existe-t-il un compromis dynamique entre les deux ?

Méthodologie

Les auteurs emploient une double approche combinant une analyse empirique étendue à travers divers réglages et une analyse théorique rigoureuse sur un modèle simplifié.

Analyse empirique

Les auteurs mènent des expériences systématiques sur une large gamme de configurations pour isoler les effets du taux d'apprentissage $\eta$ :

Jeux de données : MNIST et CIFAR-10 (sous-ensembles de 5k et complets).
Architectures : Réseaux entièrement connectés (FCN) avec des largeurs et profondeurs variables, réseaux neuronaux convolutifs (CNN), ResNets et Vision Transformers (ViT).
Hyperparamètres : Un balayage systématique des taux d'apprentissage, incluant une grille fine autour du point de transition critique et une grille grossière pour les taux plus élevés.
Métriques : L'étude suit la norme finale des paramètres ( $\ell_1, \ell_2$ , norme nucléaire), la netteté de la perte d'entraînement (norme opérateur de la Hessienne) et l'erreur de test.
Contrôle : Les expériences utilisent la GD en batch complet pour éliminer la stochasticité, des initialisations fixes pour assurer la comparabilité, ainsi que diverses fonctions de perte (MSE, Cross-Entropy) et fonctions d'activation (ReLU, tanh).

Analyse théorique

Pour fournir un aperçu mécaniste, les auteurs analysent une tâche de régression simplifiée : l'entraînement d'un réseau linéaire diagonal peu profond avec des poids partagés sur un point de donnée unique en utilisant la perte au carré.

Ils caractérisent explicitement la variété de solutions (solution manifold) où la perte d'entraînement est nulle.
Ils dérivent les solutions spécifiques qui minimisent la norme des paramètres par rapport à celles qui minimisent la netteté.
Ils analysent l'erreur de généralisation (risque) de ces solutions distinctes et les comparent au comportement de convergence réel de la GD sous différents taux d'apprentissage.

Contributions clés

1. Découverte d'un compromis dépendant du taux d'apprentissage

L'article démontre empiriquement que le taux d'apprentissage agit comme un bouton de contrôle interpolant entre deux biais implicites distincts :

Régime aligné sur le flux (Flow-Aligned Regime) ( $\eta < \eta_c$ ) : Lorsque le taux d'apprentissage est inférieur à un seuil critique $\eta_c \approx 2/s_{GF}$ (où $s_{GF}$ est la netteté maximale de la trajectoire du flot de gradient), la GD se comporte de manière similaire au flot de gradient. La norme des paramètres et la netteté restent relativement constantes.
Régime de la limite de stabilité (Edge-of-Stability Regime) ( $\eta > \eta_c$ ) : À mesure que le taux d'apprentissage dépasse $\eta_c$ , le système entre dans le régime EoS. Ici, une transition de phase abrupte se produit : la netteté finale du modèle diminue de manière hyperbolique (suivant $2/\eta$ ), tandis que la norme des paramètres augmente approximativement de manière linéaire.
Conclusion : Il existe un compromis inhérent ; on ne peut pas minimiser simultanément la norme et la netteté en ajustant simplement le taux d'apprentissage.

2. La généralisation n'est pas monotone avec les biais uniques

Les auteurs montrent que la « meilleure » performance de généralisation ne s'aligne pas nécessairement sur l'un ou l'autre des extrêmes du spectre des taux d'apprentissage :

Faibles taux d'apprentissage : Les solutions à norme minimale (alignées sur le flux) ne produisent souvent pas les erreurs de test les plus basses.
Taux d'apprentissage élevés : Les solutions à netteté minimale (EoS) peuvent également conduire à une généralisation sous-optimale si la norme devient trop grande.
Courbes en U : Dans de nombreux contextes, l'erreur de test suit une courbe en forme de U par rapport au taux d'apprentissage. La généralisation optimale est atteinte à des taux d'apprentissage intermédiaires où les biais vers une faible norme et une faible netteté sont équilibrés.

3. Contre-exemple théorique

En utilisant le modèle de réseau linéaire diagonal, les auteurs prouvent que :

L'ensemble des paramètres minimisant la norme et l'ensemble de ceux minimisant la netteté sont géométriquement distincts et souvent disjoints.
Ni le minimiseur de la norme, ni le minimiseur de la netteté n'atteignent nécessairement l'erreur de généralisation attendue la plus basse.
Le taux d'apprentissage contrôle la région de la variété de solutions vers laquelle la GD converge, agissant efficacement comme un hyperparamètre de régularisation qui équilibre ces objectifs conflictuels.

Résultats

Transition de phase : La transition du comportement aligné sur le flux vers le comportement EoS est nette et se produit de manière cohérente à $\eta_c \approx 2/s_{GF}$ à travers différentes architectures, jeux de données et fonctions de perte.
Robustesse : Le compromis observé entre l'augmentation de la norme et la diminution de la netteté se vérifie pour diverses normes ( $\ell_1, \ell_2$ , nucléaire) et mesures de netteté (pire cas, cas moyen, adaptatif).
Dynamique d'optimisation : Dans le régime EoS, la trajectoire d'entraînement oscille autour de la borne de netteté $2/\eta$ , mais la norme des paramètres croît de manière monotone au fil du temps, indiquant que la trajectoire visite des régions de plus grande complexité.
Classification vs Régression : Bien que la courbe de généralisation en U soit prédominante dans de nombreux contextes de régression et de classification, les auteurs notent que dans certains scénarios de classification spécifiques (ex: avec la perte Cross-Entropy), la relation peut être plus complexe, bien que le compromis entre norme et netteté demeure.

Signification et affirmations

L'article soutient que la vision prédominante de la régularisation implicite comme un biais unique et statique est insuffisante pour expliquer la performance de généralisation du deep learning.

Au-delà du biais unique : Le succès de l'entraînement basé sur la GD ne peut être attribué uniquement à la minimisation de la norme (comme le suggère la théorie des petits taux d'apprentissage) ni uniquement à la minimisation de la netteté (comme le suggère la théorie EoS).
Interaction dynamique : Une bonne généralisation provient d'un compromis dynamique entre ces deux biais concurrents, médiatisé par le taux d'apprentissage.
Implication pratique : Le taux d'apprentissage doit être considéré non seulement comme un paramètre de vitesse de convergence, mais comme un hyperparamètre de régularisation critique qui détermine les propriétés structurelles (complexité vs platitude) du modèle final.
Limites : Les auteurs reconnaissent que leurs résultats théoriques sont restreints à des modèles simplifiés (réseaux linéaires diagonaux) en raison de la difficulté de caractériser les biais implicites dans les réseaux non linéaires généraux. Cependant, la cohérence des résultats empiriques à travers diverses architectures suggère que le phénomène est général.

En résumé, ce travail motive une perspective plus large sur la régularisation implicite qui tient compte de l'interaction entre de multiples biais façonnés par la dynamique d'optimisation, plutôt que de les isoler.