🤖 machine learning

How the Hessian-Spectrum of Neural Networks Depends on Data

Cet article dérive les valeurs propres de la matrice hessienne pour les réseaux linéaires avec des architectures et des jeux de données arbitraires, révélant que la netteté de la solution dans les tâches de classification est directement déterminée par la proportion maximale d'échantillons dans une seule classe, tout en démontrant que ces intuitions théoriques restent robustes même en relaxant les hypothèses simplificatrices et en introduisant des non-linéarités.

Auteurs originaux : Jasraj Singh, Enea Monzio Compagnoni, Antonio Orvieto

Publié 2026-07-16

📖 9 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jasraj Singh, Enea Monzio Compagnoni, Antonio Orvieto

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à reconnaître des chats, des chiens et des oiseaux. Vous ne lui donnez pas simplement une image en lui disant « apprends » ; vous lui offrez un paysage invisible de collines et de vallées. Chaque fois que le robot se trompe, il glisse le long d'une pente vers une meilleure réponse. Ce paysage est appelé le « paysage de perte » (loss landscape), et le voyage du robot à travers celui-ci est l'« optimisation ». Mais voici la partie délicate : le paysage n'est pas seulement accidenté ; c'est une chaîne de montagnes sauvage et sinueuse avec des falaises, des plaines plates et des pics acérés. Pour comprendre comment le robot se déplace, les scientifiques utilisent un outil mathématique appelé la matrice Hessienne. Considérez la Hessienne comme une carte topographique qui vous indique exactement la raideur du terrain à n'importe quel endroit. Si le sol est très escarpé (tranchant), le robot pourrait bondir de manière désordonnée ; s'il est plat, le robot pourrait rester bloqué ou se déplacer trop lentement. Comprendre cette « raideur » aide les scientifiques à construire de meilleurs robots qui apprennent plus vite et font moins d'erreurs.

Une équipe de chercheurs de l'Université de Bâle et de l'Institut ELLIS de Tübingen a décidé de creuser l'aspect mathématique de cette carte. Ils voulaient savoir : comment la forme des données elles-mêmes modifie-t-elle la raideur du paysage ? Ils ont construit un modèle mathématique d'un « réseau de neurones » (un type d'IA) et ont demandé : « Si nous nourrissons ce réseau avec différents types de données — certaines avec de nombreux échantillons, d'autres avec des caractéristiques étranges, d'autres avec des étiquettes déséquilibrées — comment la Hessienne change-t-elle ? » Ils ne se sont pas contentés de deviner ; ils ont dérivé des formules exactes pour les « valeurs propres » (les nombres qui indiquent la raideur) de cette carte. Leur grande découverte ? La raideur de la solution ne dépend pas seulement de la complexité du réseau ; elle est directement liée à la distribution des données. Plus précisément, si une classe de données (comme les « chats ») est beaucoup plus fréquente que les autres, la solution devient plus « tranchante ». Ils ont découvert que, bien que leur mathématique ait été construite sur des hypothèses idéalisées (comme des nuages de données parfaitement circulaires), les règles qu'ils ont découvertes tenaient étonnamment bien, même lorsqu'ils brisaient ces règles en ajoutant le désordre du monde réel, comme des activations non linéaires.

La forme du paysage d'apprentissage

Pour comprendre ce que ces chercheurs ont trouvé, rencontrons d'abord les acteurs. Ils ont étudié un « réseau de neurones linéaire », une version simplifiée des cerveaux d'IA que nous utilisons aujourd'hui. Imaginez une ligne de montage d'usine où une matière première (les données d'entrée) passe par plusieurs stations (couches) pour devenir un produit fini (la prédiction). Les « poids » sont les réglages des machines à chaque station. Le but est d'ajuster ces réglages pour que le produit corresponde parfaitement à la cible. Les chercheurs ont utilisé une « erreur quadratique moyenne » (MSE), ce qui est simplement une façon sophistiquée de dire qu'ils ont mesuré la distance entre la supposition du robot et la vraie réponse, l'ont élevée au carré, et ont essayé de rendre ce nombre le plus petit possible.

Pour voir comment le robot se déplace, ils ont examiné la Hessienne, une immense grille de nombres qui décrit la courbure du paysage d'erreur. Au lieu de calculer la Hessienne exacte et complexe (ce qui est très coûteux en calcul), ils ont utilisé un raccourci ingénieux appelé l'approximation de Gauss-Newton généralisée (GGN). Considérez cela comme l'utilisation d'une photo satellite pour estimer le terrain au lieu de parcourir chaque pouce à pied. À mesure que le robot apprend et que l'erreur diminue, cette photo satellite devient incroyablement précise.

Les règles du jeu

Les chercheurs ont commencé par mettre en place un monde idéal et très propre pour résoudre les mathématiques. Ils ont supposé que les données étaient « isotropes », ce qui signifie que les caractéristiques étaient réparties de manière parfaitement uniforme dans toutes les directions, comme un nuage de points parfaitement rond. Ils ont également supposé que les couches du réseau étaient « fortement équilibrées », ce qui signifie que les réglages d'une couche étaient parfaitement alignés avec ceux de la suivante, comme une troupe de danse synchronisée.

Sous ces conditions parfaites, ils ont découvert un motif magnifique. Pour un réseau simple à deux couches, la raideur du paysage (les valeurs propres) est déterminée par la somme des carrés des « intensités » (valeurs singulières) des poids de chaque couche. C'est comme dire que la raideur totale d'une montagne est la somme de la raideur de ses deux pentes principales. Ils ont trouvé que le point le plus abrupt du paysage est simplement la somme des carrés des tailles des poids dans la première et la deuxième couche. Cela contredisait une idée antérieure qui suggérait que la raideur n'était que la plus grande des deux, prouvant que les deux couches contribuent à la raideur totale.

Lorsqu'ils ont étendu cela à des réseaux plus profonds (plus de deux couches), ils ont découvert que si les couches restent « équilibrées » (si la troupe de danse reste synchronisée), la raideur suit une formule spécifique impliquant le nombre de couches et la force des poids. Une découverte clé ici est que la majeure partie du paysage est en fait plate ! Sur des milliers de directions possibles dans lesquelles le robot pourrait se déplacer, seule une infime fraction est réellement abrupte ; les autres sont proches de zéro. Cela explique pourquoi les modèles d'IA semblent souvent avoir un « volume » de directions plates, un phénomène observé dans les expériences du monde réel.

Comment les données façonnent le terrain

La partie la plus excitante de l'article est la façon dont les données elles-mêmes dictent la forme de ce paysage. Les chercheurs ont demandé : « Que se passe-t-il si nous changeons le jeu de données ? »

Taille du jeu de données : Étonnamment, si vous gardez les points de données cohérents, la raideur de la solution ne dépend pas du nombre d'échantillons. Que vous ayez 100 images ou 10 000, la raideur de la solution finale reste la même. Cela remet en question certaines croyances antérieures suggérant qu'un plus grand volume de données conduit toujours à un paysage plus tranchant (ou plus plat) d'une manière spécifique.
Profondeur : Le nombre de couches compte. Si les données d'entrée sont « plus petites » que les étiquettes de sortie, rendre le réseau plus profond rend en réalité la solution plus tranchante. C'est comme ajouter des marches à un escalier ; si les marches sont inégales, toute la structure devient plus précaire.
Magnitude des caractéristiques : Si vos caractéristiques de données sont grandes et dispersées (variance élevée), la solution devient plus tranchante. Imaginez essayer de garder l'équilibre sur une corde raide qui est tendue très fort ; elle est plus sensible au mouvement qu'une corde lâche.
Distribution des étiquettes (La grande découverte) : C'est le « coup de grâce » de l'article. Pour les tâches de classification (comme trier des chats, des chiens et des oiseaux), la raideur de la solution est directement liée à combien les classes sont déséquilibrées. Si une classe possède un nombre disproportionné d'échantillons (par exemple, 90 % de chats, 10 % de chiens), la solution devient plus tranchante.
- Attendez, un jeu de données avec une classe dominante n'est-il pas plus facile à apprendre ? Intuitivement, oui. Il est plus facile de deviner « chat » si presque tout est un chat. Cependant, les mathématiques montrent que cette solution « facile » repose sur un pic plus tranchant.
- Cela contredit une idée précédente qui suggérait que les jeux de données plus simples mènent à des solutions plus « plates » (plus robustes). Les auteurs suggèrent que, bien que l'apprentissage puisse être plus facile, le paysage mathématique est en fait plus précaire (plus tranchant) lorsque les données sont déséquilibrées.

Tester la théorie dans le monde réel

Les chercheurs savaient que leur mathématique reposait sur des hypothèses « parfaites » (nuages de données ronds, couches équilibrées). Ils ont donc fait quelque chose d'audacieux : ils ont brisé les règles une par une pour voir si leur théorie survivait.

Briser la règle des « données rondes » : Ils ont utilisé des données réelles et désordonnées (comme des images de chiffres MNIST et d'objes CIFAR) qui n'étaient pas parfaitement rondes. Même si la mathématique exacte ne tenait pas parfaitement, la tendance restait la même. La raideur était toujours corrélée au déséquilibre des étiquettes.
Briser la règle des « couches équilibrées » : Ils ont initialisé le réseau de manière aléatoire (la méthode standard de construction de l'IA) au lieu de le forcer à être équilibré. Là encore, la théorie a tenu bon. À mesure que le réseau s'entraînait, il devenait naturellement plus équilibré, et la raideur suivait toujours leurs prédictions.
Ajouter de la non-linéarité : Ils ont ajouté des fonctions d'activation « Tanh » (un tournant non linéaire courant en IA) pour rendre le réseau plus proche d'un vrai cerveau. Les résultats étaient légèrement différents de la mathématique parfaite, mais le comportement qualitatif était le même. Le déséquilibre des étiquettes continuait de piloter la raideur.

Ce qu'il faut retenir

En termes simples, cet article nous dit que la « raideur » du voyage d'apprentissage d'une IA n'est pas seulement une propriété de l'IA elle-même. Elle est profondément ancrée dans la géométrie des données. Si vos données sont asymétriques — avec une classe dominant les autres — l'IA trouve une solution qui est mathématiquement plus « tranchante », même si cette solution est plus facile à trouver. Les auteurs suggent que cette raideur est une conséquence directe de la structure des données, spécifiquement de la proportion maximale d'échantillons appartenant à une seule classe.

Bien que leurs conclusions soient dérivées de réseaux linéaires et de configurations mathématiques spécifiques, le fait que ces règles persistent même lorsqu'ils ajoutent de la complexité du monde réel (non-linéarités, poids déséquilibrés, données désordonnées) suggère que cette relation entre la distribution des données et la raideur du paysage est une vérité fondamentale du deep learning. C'est un rappel que dans le monde de l'IA, les données que vous donnez à la machine ne lui apprennent pas seulement quoi apprendre ; elles façonnent comment le paysage d'apprentissage se présente, déterminant si le robot glisse doucement vers une solution ou s'il tient en équilibre précaire sur un sommet tranchant.

Résumé technique : Comment le spectre de la Hessienne des réseaux de neurones dépend des données

Énoncé du problème

La matrice de Hessienne est un outil critique pour analyser les paysages de perte (loss landscapes), la dynamique d'optimisation et la généralisation dans l'apprentissage profond. Cependant, les recherches antérieures se sont largement appuyées soit sur des observations empiriques, soit sur des traitements théoriques dans des contextes excessivement simplifiés. Ce travail vise à caractériser précisément le spectre complet de la Hessienne pour les réseaux de neurones, en investiguant spécifiquement comment la géométrie des données influence la netteté (sharpness) de la solution apprise. Contra�à les travaux précédents qui privilégient un minimum d'hypothèses au détriment de la complexité du modèle, cet article exploite des hypothèses standards de l'apprentissage profond pour dériver des résultats pour des réseaux de largeurs et de profondeurs arbitraires, ainsi que pour des jeux de données avec un nombre arbitraire d'échantillons, de caractéristiques et d'étiquettes.

Méthodologie

Les auteurs analysent des réseaux de neurones linéaires à $L$ couches définis par $f(x; W_{1:L}) = xW_1^\top \dots W_L^\top$ , entraînés sur des entrées $X$ et des sorties $Y$ en utilisant l'erreur quadratique moyenne (MSE).

Approximation de la Hessienne : L'étude utilise l'approximation de Gauss-Newton généralisée (GGN) de la Hessienne. À mesure que l'entraînement réduit la perte, la GGN devient de plus en plus précise. Les valeurs propres non nulles de la GGN sont montrées comme étant identiques à celles de la matrice du noyau de tangente neuronale (NTK), qui est analytiquement plus traitable.
Hypothèses théoriques :
- Hypothèse 1 (Caractéristiques isotropes) : La matrice de caractéristiques $X$ est de rang plein et isotrope ( $\Sigma = \Sigma_{11}I$ ), représentant un système surdéterminé ( $n \ge d_0$ ).
- Hypothèse 2 (Couches fortement équilibrées) : Les couches consécutives satisfont $W_\ell W_\ell^\top = W_{\ell+1}^\top W_{\ell+1}$ . Cela implique un alignement entre les vecteurs singuliers à gauche d'une couche et les vecteurs singuliers à droite de la suivante. Les auteurs notent que si des points de paramètres arbitraires ne sont pas nécessairement équilibrés, le flot de gradient ou l'entraînement par décroissance de poids tend à induire cet équilibre, particulièrement à la limite de stabilité (Edge-of-Stability, EoS).
Dérivation analytique : Les auteurs dérivent des bornes et des caractérisations exactes pour les valeurs propres du NTK (et donc de la Hessienne) en utilisant la décomposition en valeurs singulières (SVD) de la matrice de caractéristiques et les valeurs singulières des matrices de poids.

Contributions clés et résultats

1. Caractérisation des valeurs propres de la Hessienne

Réseaux peu profonds ( $L=2$ ) : Les valeurs propres non nulles sont caractérisées par les sommes de paires des carrés des valeurs singulières des deux couches de poids. Spécifiquement, $\lambda_{ij} \le \frac{\|X\|_2^2}{n} (\sigma_i^2(W_1) + \sigma_j^2(W_2))$ . La borne est atteinte sous l'Hypothèse 1.
Réseaux profonds ( $L \ge 2$ ) : Sous l'hypothèse de couches fortement équilibrées, les valeurs propres non nulles sont déterminées par un ratio spécifique de puissances des valeurs singulières des poids. Le nombre de valeurs propres non nulles est borné par $(\min \{d_0, \dots, d_L\})^2$ , expliquant l'observation empirique selon laquelle la majeure partie des valeurs propres de la Hessienne est proche de zéro.

2. Dépendance à la géométrie des données

L'article dérive des relations explicites entre la norme spectrale (netteté) de la Hessienne et les propriétés des données :

Taille du jeu de données : Pour les solutions équilibrées, la netteté est indépendante de la taille du jeu de données $n$ , à condition que les entrées de $X$ et $Y$ suivent une échelle $\Theta(1)$ . Cela contraste avec les conclusions suggérant que la netteté augmente avec $n$ .
Profondeur : La netteté augmente avec la profondeur $L$ lorsque $\|X\|_2 \le \|Y\|_2$ .
Magnitude des caractéristiques : Des magnitudes de caractéristiques plus grandes (variance plus élevée) conduisent à une augmentation de la netteté de la solution.
Distribution des étiquettes (Résultat clé) : Pour les tâches de classification avec des étiquettes en "one-hot encoding", la netteté est directement liée à la distribution empirique des étiquettes. Spécifiquement, la netteté est proportionnelle à la proportion maximale d'échantillons appartenant à une seule classe ( $\alpha_{max}$ ). Le modèle apprend des solutions plus nettes lorsque le jeu de données est déséquilibré (une classe domine) par rapport à une distribution uniforme.

3. Validation empirique et robustesse

Les auteurs valident leurs prédictions théoriques par des calculs numériques sur MNIST, FashionMNIST et CIFAR10.

Précision de l'approximation : Les bornes théoriques correspondent étroitement aux valeurs propres supérieures de la Hessienne à mesure que l'entraînement progresse.
Études d'ablation : L'article teste systématiquement la levée des hypothèses pour tester la robustesse :
- Entrées non isotropes : Le retrait de l'hypothèse d'isotropie fait échouer immédiatement la théorie, indiquant que la géométrie d'entrée influence fortement la netteté de crête.
- Poids non équilibrés : L'utilisation de l'initialisation Kaiming standard (non équilibrée) préserve néanmoins la tendance qualitative selon laquelle la netteté augmente avec le déséquilibre des étiquettes.
- Non-linéarités : L'incorporation d'activations Tanh produit des résultats qualitativement similaires à la théorie linéaire, permettant aux auteurs d'étendre leurs conclusions concernant la distribution des étiquettes aux réseaux non linéaires.

Signification et revendications

L'article affirme fournir une caractérisation théorique précise du spectre de la Hessienne qui comble le fossé entre les modèles théoriques simplifiés et les configurations pratiques de l'apprentissage profond. Sa principale signification réside dans l'identification d'un lien direct entre le déséquilibre des étiquettes et la netteté de la solution.

Les auteurs observent que les modèles entraînés sur des jeux de données possédant un nombre disproportionnellement élevé d'échantillons dans une seule classe convergent vers des solutions plus nettes. Cette conclusion défie l'intuition (et certaines littérature antérieure, ex: Cohen et al.) selon laquelle des jeux de données plus simples (comme ceux présentant un déséquilibre de classe extrême) devraient entraîner une netteté de crête plus faible. Au lieu de cela, les auteurs soutiennent que la géométrie des données, spécifiquement la concentration des étiquettes, dicte la netteté du minimiseur.

Bien que les dérivations théoriques reposent sur des hypothèses fortes (caractéristiques isotropes, poids équilibrés), les études d'ablation empiriques suggèrent que la conclusion centrale concernant la relation entre la distribution des étiquettes et la netteté reste robuste même lorsque ces hypothèses sont assouplies ou que des non-linéarités sont introduites. Ce travail fournit un cadre pour comprendre comment la géométrie des données façonne le paysage d'optimisation, offrant des perspectives pertinentes pour les mesures de généralisation et les algorithmes d'optimisation du second ordre.