🤖 machine learning

Fisher-Geometric Sharpness and the Implicit Bias of SGD toward Flat Minima

Cet article résout la critique de l'invariance par reparamétrisation des minima plats en définissant la netteté riemannienne via la matrice d'information de Fisher, en prouvant que le bruit de gradient de la SGD induit une distribution stationnaire favorisant ces minima plats invariants, et en liant ce biais géométrique à une meilleure généralisation à travers une borne PAC-Bayes.

Auteurs originaux : Md Sakir Ahmed, Kumaresh Sarmah, Hemen Dutta

Publié 2026-06-19

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Md Sakir Ahmed, Kumaresh Sarmah, Hemen Dutta

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le gros problème : La « Carte » vs Le « Territoire »

Imaginez que vous essayiez de trouver le point le plus bas d'une vaste chaîne de montagnes embrumée (cela représente le « paysage de perte » ou loss landscape d'un réseau de neurones). Vous voulez trouver un endroit qui ne soit pas seulement bas, mais aussi plat. Pourquoi ? Parce que les auteurs soutiennent que si vous atterrissez dans une vallée large et plate, votre modèle fonctionnera mieux sur de nouvelles données non vues (il saura « généraliser »).

Cependant, il y avait un problème majeur dans la façon dont les scientifiques mesuraient la « platitude » jusqu'à présent. Ils utilisaient une règle standard (la géométrie euclidienne) pour mesurer la forme de la vallée.

L'analogie : Imaginez que vous avez la carte d'une vallée.

L'ancienne méthode : Vous dessinez la carte sur un morceau de caoutchouc. Si vous étirez le caoutchouc horizontalement, la vallée semble incroyablement large et plate. Si vous l'écrasez verticalement, la vallée ressemble à un pic profond et acéré.
La critique : Un article célèbre de Dinh et al. a souligné que cette « règle » est une triche. Vous pouvez étirer ou écraser la carte (reparamétrer le réseau de neurones) sans réellement changer la vallée elle-même. La « platité » que vous mesurez dépend entièrement de la façon dont vous avez dessiné la carte, et non du terrain réel. Cela rendait la théorie selon laquelle « le plat est bon » fragile, car la mesure n'était pas réelle.

La solution : Le compas « Naturel »

Cet article propose une nouvelle façon de mesurer la platité qui ne se soucie pas de la façon dont vous étirez la carte. Ils utilisent ce qu'on appelle la Matrice d'Information de Fisher (FIM).

L'analogie : Au lieu d'utiliser une règle en caoutchouc, imaginez que vous avez un compas qui est intégré au terrain lui-même. Ce compas connaît la forme « naturelle » du sol.

Si vous étirez la carte en caoutchouc, le compas bouge avec le terrain. Il indique toujours la même platité « naturelle ».
Les auteurs définissent une nouvelle mesure appelée Netteté Riemannienne ( $S_R$ ). Elle mesure la courbure de la vallée par rapport à la géométrie « naturelle » des données, et non par rapport à une grille arbitraire.

Ils prouvent mathématiquement que cette nouvelle mesure est invariante. Que vous étiriez la carte ou que vous l'écrasiez, la « platité naturelle » reste la même. Cela corrige la faille fondamentale de l'ancienne théorie.

Comment la SGD trouve les vallées plates

L'article explique également pourquoi la Descente de Gradient Stochastique (SGD) — l'algorithme utilisé pour entraîner l'IA — a tendance à trouver ces vallées plates.

L'analogie : Imaginez que vous marchez en bas de la montagne dans le brouillard.

Descente de Gradient Standard : Vous descendez parfaitement droit selon la pente la plus raide. Vous pourriez rester coincé dans une petite fissure étroite au fond.
SGD (Stochastique) : Vous marchez en étant doucement bousculé par une foule de personnes (le « bruit » provenant du traitement des données par petits lots ou batches).
La découverte : Les auteurs montrent que ces « bousculades » ne sont pas un chaos aléatoire. Elles sont façonnées par le terrain lui-même (guidées par la FIM).
- Si vous êtes dans une vallée étroite et abrupte, les bousculades sont trop sauvages ; elles vous éjectent directement de la vallée.
- Si vous êtes dans une vallée large et plate, les bousculades sont assez douces pour que vous puissiez y rester.

Mathématiquement, ils prouvent que le « bruit » de la SGD agit comme un aimant qui attire le modèle vers les vallées les plus larges et les plus plates. Plus la vallée est large, plus il est probable que le modèle s'y installe.

La preuve : Pourquoi la platité signifie une meilleure performance

Les auteurs relient cette géométrie aux performances réelles en utilisant un filet de sécurité mathématique appelé borne PAC-Bayes.

L'analogie : Pensez à un filet de sécurité sous un funambule.

Si la corde raide est un fil fin et tranchant (un minimum aigu), un léger vacillement (une nouvelle donnée) pourrait faire tomber le marcheur.
Si la corde raide est une plateforme large et plate (un minimum plat), le marcheur peut beaucoup vaciller et rester en sécurité.

L'article prouve que la « largeur » de cette plateforme (mesurée par leur nouvelle Netteté Riemannienne) prédit directement la manière dont le modèle performera sur de nouvelles données. Plus le minimum est plat, plus le filet de sécurité est serré, et meilleure est la généralisation.

Ce que les expériences ont montré

Les auteurs ont testé cela sur deux jeux de données célèbres (MNIST et CIFAR-10) en utilisant différents réglages :

Taille du lot (Batch Size) : Lorsqu'ils ont utilisé des groupes de données plus petits (petits lots), les « bousculades » étaient plus grandes, le modèle trouvait des vallées plus plates et performait mieux.
Taux d'apprentissage (Learning Rate) : Lorsqu'ils faisaient des pas plus grands (taux d'apprentissage élevé), ils avaient également tendance à trouver des vallées plus plates.
La métrique : Leur nouvelle « Platité Naturelle » ( $S_R$ ) a réussi à prédire quels modèles fonctionneraient le mieux. L'ancienne platité de la « règle en caoutchouc » ( $S_E$ ) a échoué à prédire cela, surtout lorsqu'on réorganisait le réseau.

Avertissements importants (Les détails techniques)

Les auteurs sont honnêtes sur les limites :

Le compas « Parfait » vs « Réel » : Les mathématiques prouvent que la véritable Matrice d'Information de Fisher est parfaitement invariante. Cependant, dans les ordinateurs réels, ils doivent utiliser une approximation (une version « diagonale ») pour accélérer les calculs. Cette approximation est presque invariante, mais pas 100 % parfaite.
Les « bousculades » ne sont pas toujours parfaites : La théorie suppose que les « bousculades » (le bruit) suivent un schéma spécifique. Dans le monde réel, ce schéma est très proche de la théorie mais n'est pas identique. Cependant, les auteurs montrent que même avec ces petites imperfections, la conclusion principale (que la SGD aime les vallées plates) reste vraie.

Résumé

Cet article corrige une théorie brisée sur la raison pour laquelle les modèles d'IA généralisent.

Le Problème : Les anciennes façons de mesurer la « platité » trichaient car elles dépendaient de la façon dont vous dessiniez la carte.
La Solution : Ils ont introduit une mesure « naturelle » (la Netteté Riemannienne) qui reste la même, peu importe comment vous étirez la carte.
Le Mécanisme : Ils ont prouvé que le bruit aléatoire lors de l'entraînement (SGD) pousse naturellement les modèles vers ces vallées plates et sûres.
Le Résultat : Des vallées plus plates (mesurées par cette nouvelle méthode) signifient une meilleure performance sur de nouvelles données.

En bref : Ne cherchez pas seulement le point le plus bas ; cherchez la vallée la plus large et la plus plate, et utilisez un compas qui respecte le terrain, pas la carte.

Résumé Technique : Netteté Géométrique de Fisher et le Biais Implicite de la SGD vers les Minima Plats

1. Énoncé du Problème

L'intuition prédominante en apprentissage profond postule que la descente de gradient stochastique (SGD) favorise implicitement les « minima plats » dans le paysage de perte, et que ces minima plats généralisent mieux que les minima « aigus ». Cependant, le fondement théorique de ce récit a été critiqué par Dinh et al. [2017], qui ont démontré que les mesures de platitude euclidiennes standards (par exemple, la trace ou la valeur propre maximale de l'hessien de la perte) ne sont pas invariantes par reparamétrisation.

Plus précisément, pour un réseau de neurones, on peut mettre à l'échelle les poids (par exemple, $W_1 \to \alpha W_1, W_2 \to \alpha^{-1} W_2$ ) pour préserver exactement la fonction entrée-sortie du réseau tout en modifiant arbitrairement la netteté euclidienne. Puisque la généralisation est une propriété de la fonction, et non de la paramétrisation spécifique, une mesure de netteté non invariante ne peut pas expliquer de manière significative la généralisation. Bien que des étapes partielles vers des mesures invariantes aient été entreprises (par exemple, Jang et al. [2022] ; Kristiadi et al. [2023]), un cadre unifié reliant la netteté invariante, le biais implicite de la SGD et les bornes de généralisation est resté absent.

2. Méthodologie

2.1 Netteté Riemannienne ( $S_R$ )

Les auteurs remplacent la métrique euclidienne sur l'espace des paramètres par la Matrice d'Information de Fisher (FIM), $G(\theta)$ , qui induit une structure riemannienne intrinsèque à la distribution prédictive du modèle. Ils définissent la netteté riemannienne au niveau d'un minimum $\theta^*$ comme :
$S_R(\theta^*) = \text{tr}\left( G(\theta^*)^{-1} \nabla^2 L(\theta^*) \right)$
où $\nabla^2 L$ est l'hessien de la perte d'entraînement. Contrairement à la netteté euclidienne, $S_R$ mesure la courbure par rapport à la géométrie naturelle de la variété statistique.

2.2 Cadre Théorique : La SGD comme Équation Différentielle Stochastique (SDE)

Les auteurs formalisent la SGD par mini-lots comme une SDE en temps continu. Ils introduisent l'Hypothèse 3, postulant que la covariance du bruit du gradient est proportionnelle à la FIM :
$\text{Cov}[\nabla \tilde{L}(\theta^*)] = \frac{\eta}{B} G(\theta^*)$
où $\eta$ est le taux d'apprentissage et $B$ est la taille du lot. Sous cette hypothèse, ils dérivent la distribution stationnaire $\pi^*$ du processus SGD.

2.3 Bornes de Généralisation

Les auteurs relient le biais géométrique à la performance de test via un cadre PAC-Bayes. Ils construisent une distribution a posteriori centrée sur le minimum entraîné et dérivent une borne de généralisation explicitement contrôlée par $S_R$ .

2.4 Estimation Empirique

Puisque le calcul de la pleine FIM est intraitable, les auteurs utilisent un estimateur de FIM empirique diagonal (échantillonnant les prédictions à partir de la propre distribution du modèle) et l'estimateur de trace stochastique de Hutchinson pour l'hessien. Ils reconnaissent que bien que la vraie FIM garantisse l'invariance, l'estimateur diagonal empirique utilisé dans les expériences n'hérite de cette invariance que de manière approximative.

3. Contributions Clés

Définition de la Netteté Invariante par Reparamétrisation : Le papier définit $S_R$ et prouve (Lemme 1) que celle-ci est invariante sous des reparamétrisations lisses préservant la fonction, répondant directement à la critique de Dinh et al. [2017].
Analyse de la Distribution Stationnaire : Les auteurs dérivent la distribution stationnaire de la SGD par mini-lots (Théorème 1) et prouvent que la masse de probabilité est exponentiellement concentrée aux minima présentant une faible netteté riemannienne (Corollaire 1). Cela établit un biais implicite rigoureux vers les minima plats riemanniens.
Borne de Généralisation PAC-Bayes : Une borne de généralisation (Corollaire 2) est établie où l'écart de généralisation est explicitement contrôlé par $S_R$ , fournissant un lien théorique entre la platitude riemannienne et la performance de test.
Validation Empirique : Des expériences sur MNIST et CIFAR-10 confirment que $S_R$ suit la généralisation à travers différents optimiseurs (SGD, Adam), tailles de lots et taux d'apprentissage, contrairement à la netteté euclidienne ( $S_E$ ). La mise à l'échelle de $S_R$ avec $\eta/B$ correspond aux prédictions théoriques.

4. Résultats

4.1 Invariance et Alignement

Invariance : Bien que la vraie FIM soit strictement invariante, l'estimateur diagonal empirique n'est pas parfaitement invariant sous une mise à l'échelle arbitraire. Cependant, il reste sensiblement plus stable que la netteté euclidienne sous une mise à l'échelle des poids.
Structure du Bruit : Les tests empiriques (Section 5) montrent que la covariance du bruit du gradient et la FIM sont directionnellement alignées (similarité cosinus $\approx 1.0$ ) à travers les configurations. Cependant, la constante de proportionnalité scalaire n'est pas exactement $\eta/B$ dans toutes les configurations, particulièrement dans les contextes de petits lots à haut bruit. Les auteurs affinent leur hypothèse pour permettre un facteur scalaire $\alpha(\theta)$ , prouvant que les principales conclusions théoriques (biais vers la platitude) restent robustes même si la affirmation scalaire est imparfaite.

4.2 Lois d'Échelle et Généralisation

Taille du Lot ( $B$ ) : Sur MNIST, augmenter $B$ conduit à une augmentation significative de $S_R$ et une diminution correspondante de la précision de test, ce qui est cohérent avec la prédiction $S_R \propto B/\eta$ . Sur CIFAR-10, la relation est plus complexe en raison des difficultés d'optimisation dans les régimes de petits lots, mais la tendance d'un $B$ plus élevé menant à un $S_R$ plus élevé se maintient.
Taux d'Apprentissage ( $\eta$ ) : Augmenter $\eta$ diminue généralement $S_R$ et améliore la généralisation (jusqu'à un point où l'entraînement devient instable).
Optimiseurs :
- SGD : Trouve systématiquement des minima avec un $S_R$ plus faible et une précision plus élevée dans les configurations de petits lots.
- Adam : Atteint un faible $S_R$ et une haute précision sur MNIST. Sur CIFAR-10, Adam trouve des minima avec un $S_R$ plus faible que SGD mais une précision légèrement inférieure. Les auteurs suggèrent que cela est dû au fait que le préconditionnement adaptatif d'Adam change le tenseur métrique effectif ; le biais implicite des optimiseurs préconditionnés est vers la platitude par rapport à leur propre tenseur métrique.

4.3 Dynamique d'Entraînement

Les trajectoires d'entraînement montrent que la SGD à petits lots échappe progressivement aux bassins aigus et s'installe dans des régions plus plates (diminution de $S_R$ ) à mesure que l'entraînement progresse. La SGD à grands lots se stabilise à des valeurs de $S_R$ plus élevées, ce qui est cohérent avec un bruit insuffisant pour échapper aux minima aigus.

5. Signification et Revendications

Le papier affirme fournir le premier compte rigoureux et invariant par reparamétrisation de la raison pour laquelle les minima plats généralisent. En ancrant la netteté dans la géométrie riemannienne de la variété statistique (via la FIM), les auteurs résolvent l'objection fondamentale selon laquelle la platitude n'est qu'un artefact de la paramétrisation.

La signification de ce travail réside dans :

Résolution Théorique : Il comble le fossé entre l'intuition « platitude-généralisation » et la « critique de la reparamétrisation » en définissant une mesure de netteté qui est intrinsèque à la fonction du modèle.
Mécanisme de Biais Implicite : Il fournit une dérivation mathématique montrant que la structure du bruit de la SGD (proportionnelle à la FIM) dirige naturellement l'optimiseur vers les minima à faible netteté riemannienne.
Métrique Pratique : Il démontre que $S_R$ est un prédicteur de généralisation plus fiable que la netteté euclidienne, particulièrement lors de la comparaison de modèles entraînés avec différents hyperparamètres ou optimiseurs.

Limites reconnues par les auteurs :

L'estimateur diagonal empirique de la FIM n'est pas parfaitement invariant par reparamétrisation ; une invariance exacte nécessiterait des estimateurs structurés comme K-FAC.
L'affirmation scalaire de la covariance du bruit ( $\alpha = \eta/B$ ) est une approximation qui est directionnellement correcte mais qui varie en magnitude selon le jeu de données et l'architecture.
La relation entre $S_R$ et la généralisation est la plus informative lorsque l'optimiseur a convergé ; dans les régimes instables (par exemple, des taux d'apprentissage très élevés), un faible $S_R$ ne garantit pas une bonne généralisation.