📊 statistics

Edge of Stability Selectively Shapes Learning Across the Data Distribution

Cet article démontre que l'É de Stabilité n'est pas simplement une frontière d'optimisation globale, mais un mécanisme sélectif qui redistribue l'apprentissage à travers la distribution des données en amplifiant les progrès sur les groupes présentant des gradients non saturants alignés avec le hessien supérieur, tout en les supprimant pour d'autres.

Auteurs originaux : Shauna Kwag, Anakha Ganesh, Tomaso Poggio, Pierfrancesco Beneventano

Publié 2026-06-04

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shauna Kwag, Anakha Ganesh, Tomaso Poggio, Pierfrancesco Beneventano

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous dirigez un camp d'entraînement massif pour une équipe de réseaux de neurones profonds (modèles d'IA). L'objectif est d'apprendre au modèle à reconnaître des choses, comme distinguer les voitures des camions.

Habituellement, nous considérons l'entraînement comme une marche régulière et constante vers une solution. Mais cet article révèle que lorsque l'entraînement devient « tendu » — spécifiquement, lorsque le taux d'apprentissage est suffisamment élevé pour pousser le système à la limite même de la stabilité — il cesse d'être une marche régulière. Il devient un filtre sélectif qui décide qui a le droit d'apprendre et qui est laissé pour compte.

Voici la décomposition de leur découverte en utilisant des analogies simples :

1. L'« Edge of Stability » (Bord de la stabilité) est une corde raide

Imaginez que l'IA marche sur une corde raide. Si elle marche trop lentement (faible taux d'apprentissage), elle est en sécurité mais lente. Si elle marche trop vite, elle tombe. L'« Edge of Stability » (EoS) est le point d'équilibre idéal où l'IA marche si vite qu'elle commence à vaciller et à osciller d'avant en arrière, mais reste tout juste sur la corde.

Pendant longtemps, les scientifiques ont pensé que ce vacillement était juste un effet secondaire étrange. Cet article dit : Non, le vacillement est en fait un outil puissant. Il agit comme un projecteur qui éclaire des étudiants spécifiques dans la classe tout en ignorant les autres.

2. Le projecteur sélectif : Qui est aidé ?

Les chercheurs ont mis en place une expérience de « carrefour ». Ils ont entraîné deux modèles d'IA identiques sur exactement les mêmes données.

Le Modèle A a continué à marcher sur la corde raide (restant à l'Edge of Stability).
Le Modèle B a ralenti et est descendu de la corde raide (sortant de l'Edge of Stability).

La Surprise : Le Modèle A ne s'est pas contenté de s'améliorer globalement. Il est devenu bien meilleur pour reconnaître certains types d'exemples spécifiques, tandis que le Modèle B s'est amélioré sur d'autres. La corde raide n'a pas aidé tout le monde de la même manière ; elle a redistribué l'effort d'apprentissage.

Les Gagnants : Les exemples qui étaient des « outliers » (des entrées étranges, inhabituelles) ou qui avaient des étiquettes qui ne correspondaient pas tout à fait (outliers de sortie) ont reçu un coup de pouce massif. Ils ont appris plus vite sur la corde raide.
Les Perdants : Les exemples « normaux » (inliers) et ceux qui se trouvent juste à la frontière entre les catégories ont appris plus lentement sur la corde raide par rapport au modèle qui en est descendu.

3. Les deux règles du projecteur

Pourquoi la corde raide a-t-elle aidé certains et desservi d'autres ? L'article identifie deux règles strictes. Pour qu'un groupe de données bénéficie du coup de pouce de l'« Edge of Stability », il doit passer un test en deux parties :

Règle n°1 : L'« Alignement Directionnel » (La Poussée)

Imaginez que l'IA soit poussée par un vent géant. L'« Edge of Stability » n'aide que si le vent souffle dans une direction très spécifique.

Le Test : Le « gradient » du groupe (la direction dont ils ont besoin pour apprendre) doit s'aligner parfaitement avec le « premier vecteur propre de la Hessienne » (top Hessian eigenvector).
L'Analogie : Pensez à un groupe de personnes essayant de pousser un rocher lourd. Si elles poussent toutes dans la même direction, le rocher avance vite. Si elles poussent dans des directions aléatoires, elles s'annulent mutuellement.
La Découverte : L'article a prouvé que si vous prenez les données « outliers » et que vous brouillez la direction dans laquelle elles poussent (tout en gardant la même distance), elles perdent leur avantage. Elles doivent pousser de manière cohérente dans la même direction pour obtenir le coup de pouce.

Règle n°2 : La « Persistance » (L'Endurance)

La seconde règle concerne le fait de ne pas abandonner.

Le Test : Le groupe doit continuer à « pousser » (avoir un gradient non nul) tout au long de l'entraînement.
L'Analogie : Imaginez une course. Si un coureur prend confiance et arrête de courir parce qu'il pense avoir gagné, il cesse de progresser.
La Découverte : Dans certaines fonctions de perte (comme la Cross-Entropy), une fois que l'IA est confiante concernant un exemple « normal », elle arrête d'essayer d'apprendre de celui-ci (le gradient disparaît). Mais les exemples « outliers » ou mal étiquetés continuent de dérouter l'IA, donc l'IA continue d'essayer d'apprendre d'eux. Parce qu'ils continuent de pousser, ils reçoivent le coup de pouce. Si vous changez de fonction de perte pour une fonction où les exemples confiants cessent de pousser, l'avantage passe à ceux qui continuent de pousser.

4. La vue d'ensemble : La géométrie dicte le vainqueur

La partie la plus fascinante est que le groupe qui gagne dépend entièrement de la forme des données.

Si vos données ont une forme spécifique où les « outliers » sont ceux qui poussent dans la bonne direction, l'Edge of Stability fera de l'IA un expert sur les outliers (ce qui peut aider pour la robustesse contre des attaques étranges).
Si vous changez la forme des données pour que les exemples de « frontière » soient ceux qui poussent dans la bonne direction, l'Edge of Stability fera soudainement de l'IA un expert sur les frontières.

La Conclusion :
L'Edge of Stability n'est pas seulement une limite de sécurité ; c'est un mécanisme d'allocation de l'apprentissage. Il agit comme un gestionnaire qui décide : « Nous allons concentrer notre énergie sur la résolution de ces problèmes spécifiques en ce moment, et nous ignorerons les autres. »

Cela change notre vision de l'entraînement de l'IA. Il ne s'agit pas seulement de trouver la solution la plus « plate » ou la « meilleure » de manière globale. Il s'agit de comprendre que le processus d'entraînement priorise naturellement certaines parties des données en fonction de leur géométrie et de la durée pendant laquelle elles continuent de « lutter » pour être apprises. L'« Edge of Stability » est l'outil qui impose cette priorité.

Résumé technique : L'Edge of Stability façonne sélectivement l'apprentissage à travers la distribution de données

1. Énoncé du problème

La littérature existante sur l'Edge of Stability (EoS — le bord de la stabilité) traite ce phénomène principalement comme une propriété globale d'optimisation, où la plus grande valeur propre du Hessien s'auto-stabilise près du seuil $2/\eta$ (où $\eta$ est le taux d'apprentissage). Bien que la dynamique de ce régime — caractérisée par des oscillations alternant les signes et une dérive corrective lente — soit bien documentée, les conséquences fonctionnelles d'un fonctionnement à ce seuil restent obscures. Plus précisément, on ignore si la contrainte de stabilité procure un bénéfice uniforme ou si elle façonne différemment l'apprentissage à travers différents sous-ensembles de données. La question centrale est la suivante : Le régime EoS induit-il un biais d'apprentissage sélectif, et si oui, quelles propriétés géométriques et dynamiques déterminent quels sous-ensembles de données en bénéficient ?

2. Méthodologie

2.1 Configuration expérimentale et taxonomie des prototypes

Les auteurs instaurent un cadre expérimental contrôlé utilisant une tâche de classification binaire sur CIFAR-10 (Automobile vs Camion) avec un MLP à deux couches cachées entraîné par descente de gradient en batch complet. Pour isoler les effets de la géométrie des données, ils définissent une taxonomie de prototypes partitionnant la distribution d'entraînement en quatre groupes basés sur leur position relative aux centroïdes de classe ( $\mu_c$ ) et à la cohérence des étiquettes, indépendamment du modèle entraîné :

Inliers (Intérieurs) : Points à haute densité proches du centroïde de la classe avec des étiquettes correctes.
Boundary (Frontière) : Points de la distribution intra-classe proches de la frontière inter-classes (ambiguïté de l'étiquette élevée).
Input-outliers (Outliers d'entrée) : Entrées géométriquement atypiques (lointaines de $\mu_c$ ) avec des étiquettes correctes.
Output-outliers (Outliers de sortie) : Entrées à haute densité assignées des étiquettes incorrectes (construites synthétiquement).

2.2 Intervention de branchement (Identification causale)

Pour identifier causalement l'effet du maintien dans le régime EoS par rapport à l'en sortie de celui-ci, les auteurs emploient une intervention de branchement :

Branche de base (Baseline) : Continue l'entraînement au taux d'apprentissage original $\eta$ , restant dans le régime EoS.
Branche de sortie (Exit) : Au début de l'EoS (détecté lorsque la plus grande valeur propre du Hessien $\lambda_1$ atteint $2/\eta$ ), le taux d'apprentissage est divisé par deux ( $\eta \to \eta/2$ ). Cela élève le seuil de stabilité à $4/\eta$ , permettant à l'optimiseur de sortir du régime EoS.
Comparaison : En comparant la divergence des pertes par groupe ( $\ell_k$ ) entre les deux branches après l'intervention, les auteurs isolent l'impact causal de la contrainte de stabilité de l'EoS.

2.3 Isolation du mécanisme

Les auteurs testent deux conditions nécessaires hypothétisées pour qu'un sous-ensemble bénéficie de l'EoS :

Alignement directionnel : Le gradient agrégé du sous-ensemble doit s'aligner avec le premier vecteur propre du Hessien ( $v_1$ ). Ceci est testé en construisant des "input-outliers à direction aléatoire" où la distance de déplacement est préservée, mais la direction est randomisée, détruisant ainsi l'alignement cohérent.
Persistance du gradient : Le sous-ensemble doit maintenir une magnitude de gradient non nulle. Ceci est testé en comparant la perte d'Erreur Quadratique Moyenne (MSE) (où les gradients persistent) à la perte d'Entropie Croisée (CE) (où les gradients s'estompent pour les points classés avec confiance).

3. Résultats clés

3.1 Compromis d'apprentissage sélectif

L'intervention de branchement révèle que l'EoS est sélective, et non globale. La contrainte de stabilité redistribue l'effort d'optimisation de manière inégale :

Bénéficiaires : Les sous-ensembles dont les gradients s'alignent avec $v_1$ et persistent (ex: input-outliers sous MSE, output-outliers sous CE) montrent une réduction accélérée de la perte dans la branche EoS par rapport à la branche de sortie.
Suppresseurs : Les sous-ensembles avec des gradients orthogonaux ou des magnitudes s'estompant (ex: inliers et points de frontière sous certaines conditions) montrent un progrès supprimé dans la branche EoS par rapport à la branche de sortie.
Ce compromis se reproduit à travers les architectures (CNN, ResNet), les optimiseurs (SGD, Momentum) et les paires de classes.

3.2 Mécanisme : Alignement $\times$ Persistance

Deux conditions sont conjointement nécessaires pour qu'un groupe capte l'avantage de l'EoS :

Alignement : Le gradient agrégé du groupe doit s'aligner avec le premier vecteur propre du Hessien ( $v_1$ $v_{1}$ ).
- Preuve : Lorsque les input-outliers sont déplacés dans des directions aléatoires (préservant la distance mais détruisant l'alignement), leur influence de courbure $(\nabla \ell_k \cdot v_1)^2$ s'effondre d'un ordre de grandeur, et l'avantage de l'EoS disparaît.
Persistance : Le groupe doit maintenir une magnitude de gradient non nulle.
- Preuve : Sous la perte d'Entropie Croisée, les gradients pour les input-outliers classés avec confiance saturent (s'estompent). Par conséquent, l'avantage de l'EoS se déplace vers les output-outliers, dont les gradients restent actifs en raison de l'incohérence des étiquettes, malgré un alignement potentiellement plus faible.

3.3 La géométrie détermine le bénéficiaire

Le sous-ensemble qui bénéficie de l'EoS est déterminé par la composition géométrique de la distribution de données :

Dans la configuration standard de CIFAR-10, les input-outliers (les plus éloignés des centroïdes) dominent $v_1$ et en bénéficient.
Dans une paire de classes plus difficile (Chat vs Chien) ou avec différents paramètres de construction d'outliers, les points de frontière peuvent devenir le groupe le plus éloigné, dominant $v_1$ et devenant le principal bénéficiaire.
Données naturelles : Sur la distribution naturelle de CIFAR-10, une corrélation positive émerge au début de l'EoS entre la distance au centroïde et l'alignement avec $v_1$ , confirmant que les outliers géométriques pilotent naturellement le mode instable.

3.4 Implications pour la généralisation et la robustesse

Le papier présente des preuves préliminaires que la sélectivité lors de l'entraînement se transfère au comportement lors du test :

Robustesse adversaire : L'EoS améliore la robustesse sur les points de frontière uniquement lorsque les points de frontière dominent $v_1$ . Si les input-outliers dominent, la branche EoS performe moins bien sur la robustesse de la frontière car le budget d'optimisation est détourné.
Généralisation hors distribution (OOD) : L'EoS améliore la performance OOD sur les entrées extrapolées uniquement lorsque ces entrées dominent $v_1$ pendant l'entraînement.

4. Cadre théorique

Les auteurs étendent le cadre de l'auto-stabilisation (Damian et al., 2023) de la perte globale vers les pertes par sous-ensemble. Ils dérivent que la dérive moyennée par cycle dans le régime EoS inclut un terme supplémentaire proportionnel à $-\nabla S$ (où $S$ est la netteté/sharpness). L'effet différentiel sur un sous-ensemble $k$ est régi par le sélecteur :
$Q_k = \langle \nabla \ell_k, \nabla S \rangle$
Sous une approximation à mode unique, ce sélecteur est proportionnel au carré de la projection du gradient du sous-ensemble sur le premier vecteur propre :
$C_k = (\nabla \ell_k \cdot v_1)^2 = \|\nabla \ell_k\|^2 \cos^2 \theta_k$
Cette décomposition confirme que tant l'alignement directionnel ( $\cos^2 \theta_k$ ) que la persistance de la magnitude du gradient ( $\|\nabla \ell_k\|^2$ ) sont requis pour qu'un sous-ensemble expérimente la dérive de l'EoS.

5. Signification et revendications

Le papier affirme déplacer la compréhension de l'EoS d'une frontière de stabilité scalaire vers un mécanisme régissant l'allocation de l'apprentissage à travers la distribution de données.

Recadrage de la platitude (Flatness) : Les auteurs soutiennent que la "platitude" n'est pas une propriété scalaire de la solution, mais une propriété directionnelle déterminée par la géométrie des données. Le bénéfice fonctionnel d'une faible courbure dépend entièrement de quel sous-ensemble domine la direction propre du premier Hessien.
Biais inductif : L'EoS agit comme un biais inductif qui sélectionne des sous-ensembles spécifiques pour l'optimisation en fonction de leur relation géométrique avec le mode instable, plutôt que de simplement choisir parmi des minimiseurs équivalents.
Unification des perspectives : Ce travail connecte la régularisation implicite dans l'espace des paramètres (contraintes de courbure) avec le biais inductif sur la distribution de données (quels exemples sont appris).
Portée modeste : Les auteurs reconnaissent des limites, notant que les expériences sont restreintes à de petits modèles et un entraînement en batch complet en raison du coût computationnel des produits Hessien-vecteur. Ils précisent que la persistance de ces effets de sélectivité sur de plus grands jeux de données, des optimiseurs en mini-batch ou des prototypes dans l'espace de représentation reste une question ouverte.

En conclusion, le papier démontre que l'Edge of Stability est un régime sélectif où la contrainte de stabilité amplifie l'apprentissage pour les sous-ensembles qui s'alignent avec le premier vecteur propre du Hessien et y persistent, tout en les supprimant pour d'autres, façonnant ainsi fondamentalement les propriétés fonctionnelles du modèle.