🤖 machine learning

Effects of width-dependent model hyperparameters and $\ell_2$ -regularization on the loss landscape of two-layer ReLU networks

Cet article étudie comment les hyperparamètres dépendants de la largeur et la régularisation $\ell_2$ façonnent le paysage de perte de réseaux ReLU à deux couches, en dérivant des conditions pour l'effondrement vers la solution nulle, en fournissant une solution analytique pour les entrées unidimensionnelles, et en révélant qu'AdamW empêche l'effondrement des paramètres alors que SGD ne le fait pas.

Auteurs originaux : Haruka Eshima, Makoto Yamada

Publié 2026-07-21

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Haruka Eshima, Makoto Yamada

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à reconnaître des chats. Vous lui donnez un cerveau composé de couches de minuscules interrupteurs, et vous le laissez s'entraîner en lui montant des milliers d'images. Mais voici le hic : le cerveau du robot est un peu désordonné. Parfois, quand vous essayez de l'instruire, tout s'arrête et il oublie tout, finissant avec un cerveau rempli de zéros. C'est un peu comme essayer d'équilibrer un château de cartes par une journée venteuse ; si le vent (ou la mathématique derrière l'entraînement) est trop fort, toute la structure s'effondre.

Dans le monde de l'apprentissage automatique, les scientifiques étudient le « paysage de perte » (loss landscape). Considérez cela comme une immense chaîne de montagnes accidentée où la hauteur du terrain représente la médiocrité du travail du robot. L'objectif est de trouver la vallée la plus profonde, ce qui signifie que le robot fait de son mieux. Mais ce paysage est complexe. Il change de forme selon la largeur du cerveau du robot (combien il possède d'interrupteurs) et selon la quantité de « décroissance du poids » (weight decay) appliquée. La décroissance du poids est comme une main douce qui pousse constamment le cerveau du robot vers la simplicité, tentant d'empêcher qu'il ne devienne trop compliqué. La grande question est : cette poussée douce aide-t-elle le robot à apprendre, ou pousse-t-elle accidentellement tout le cerveau vers un zéro plat et inutile ?

Cet article, intitulé « Effects of width-dependent model hyperparameters and ℓ2-regularization on the loss landscape of two-layer ReLU networks », plonge au cœur de ce problème exact. Les auteurs, Haruka Eshima et Makoto Yamada, ont étudié un type spécifique de réseau simple (un réseau à deux couches avec une activation ReLU) pour voir ce qui se passe lorsque l'on modifie la taille du réseau et la force de la décroissance du poids. Ils voulaient savoir sous quelles conditions le cerveau du robot s'effondre en néant, et si nous pouvons l'en empêcher.

Les chercheurs ont découvert que la réponse dépend fortement de la manière dont on change d'échelle. Ils ont découvert un « point de bascule » mathématique. Si vous rendez le réseau plus large (ajoutez plus d'interrupteurs) mais que vous gardez la décroissance du poids trop forte par rapport à cette largeur, le cerveau du robot va inévitablement s'effondrer. La seule façon d'atteindre le fond de la vallée est que chaque interrupteur soit éteint, ce qui signifie que le robot n'apprend rien. C'est comme essayer de remplir une piscine avec une petite tasse alors que le drain est grand ouvert ; peu importe la quantité que vous versez, la piscine reste vide.

Cependant, l'article révèle aussi un tournant fascinant concernant la manière dont le robot apprend. Les auteurs ont mené des simulations informatiques pour voir ce qui se passe lorsque l'on utilise différents « optimiseurs » (les algorithmes qui guident les étapes d'apprentissage du robot). Ils ont découvert que si vous utilisez une méthode standard appelée SGD (descente de gradient stochastique), le cerveau du robot s'effondre effectivement en zéro lorsque la décroissance du poids est trop forte, exactement comme la mathématique le prédisait. Mais, si vous utilisez une méthode différente appelée AdamW, le robot survit ! Même quand les mathématiques disent qu'il devrait s'effondrer, AdamW maintient le cerveau actif et en apprentissage. C'est comme si AdamW possédait un tour spécial, comme un harnais de sécurité, qui empêche le robot de tomber dans le trou du zéro, même quand le terrain semble dangereux.

L'équipe s'est également concentrée sur un scénario très spécifique et simplifié où le robot ne voit qu'un seul nombre à la fois (une entrée unidimensionnelle). Dans ce cadre contrôlé, ils ont été capables d'écrire une carte exacte des meilleures solutions possibles. Ils ont découvert que l'ajout de la décroissance du poids agit comme le ciseau d'un sculpteur. Sans elle, les meilleures solutions sont éparpillées un peu partout, formant un nuage de possibilités immense, connecté et non borné. Mais avec la décroissance du poids, le nuage rétrécit et devient beaucoup plus organisé. La « connectivité » — la facilité de marcher d'une bonne solution à une autre sans tomber d'une falaise — reste la même quelle que soit la largeur du réseau. Cependant, la « dimensionnalité » — le nombre de façons dont le robot peut faire bouger son cerveau pour trouver une solution — diminue considérablement à mesure que le réseau s'élargit. C'est comme prendre un immense terrain de jeu tentaculaire et le transformer en une piste étroite et bien définie.

En résumé, cet article montre que la taille de votre réseau neuronal et la force de votre régularisation sont une danse délicate. Si vous ne les accordez pas correctement, le réseau s'effondre. Mais si vous choisissez le bon algorithme d'apprentissage (comme AdamW), vous pouvez maintenir la danse même quand les conditions semblent impossibles. Les résultats sont basés sur des preuves mathématiques rigoureuses pour l'effondrement et le cas unidimensionnel simplifié, et sont soutenus par des expériences numériques sur des données réelles comme l'hydrodynamique des yachts et les chiffres MNIST. Bien que les mathématiques prouvent que l'effondrement se produit sous certaines conditions, la survie du réseau avec AdamW est une chose que les auteurs ont observée dans leurs simulations, suggérant que le choix de l'optimiseur est un facteur critique, peut-être caché, de la raison pour laquelle l'apprentissage profond fonctionne si bien en pratique.

Résumé technique : Effets des hyperparamètres de modèle dépendants de la largeur et de la régularisation $\ell_2$ sur le paysage de perte des réseaux ReLU à deux couches

Énoncé du problème
Les propriétés théoriques des réseaux de neurones profonds, en particulier les réseaux ReLU à deux couches, restent mal comprises lorsqu'une décroissance de poids explicite (régularisation $\ell_2$ ) est appliquée. Bien que des travaux récents aient caractérisé les optima globaux et leurs structures géométriques pour les réseaux régularisés, les effets systématiques des échelles d'hyperparamètres dépendantes de la largeur sur ces paysages de perte n'ont pas été pleinement explorés. Plus précisément, il n'est pas clair comment l'échelle de la largeur du réseau ( $m$ ) par rapport à l'échelle de la sortie ( $\alpha$ ), de l'initialisation ( $\tau$ ) et du coefficient de régularisation ( $\beta$ ) influence l'existence, la dimensionnalité et la connectivité des minima globaux.

Méthodologie
Les auteurs analysent un réseau ReLU à deux couches $f_\theta: \mathbb{R}^d \to \mathbb{R}$ défini par :
$f_\theta(x) = \frac{1}{\alpha} \sum_{j=1}^m (x u_j)_+ \omega_j$
où $\theta = (u_j, \omega_j)_{j=1}^m$ . L'étude se concentre sur la minimisation d'une fonction de perte $\mathcal{L}_\ell(\theta) = \ell(\theta) + \frac{\beta}{2} \sum_{j=1}^m (\|u_j\|_2^2 + \omega_j^2)$ .

L'approche méthodologique centrale consiste à introduire un paramétrage d'hyperparamètres dépendant de la largeur où les paramètres évoluent avec la largeur du réseau $m$ :

Échelle de sortie : $\alpha = m^a$
Échelles d'initialisation : $\tau_1 = m^{-b_1}, \tau_2 = m^{-b_2}$
Coefficient de régularisation : $\beta = m^{-\delta}$

L'analyse procède dans deux directions principales :

Dimensionnalité générale ( $d$ ) : Dériver des conditions suffisantes sous lesquelles les minima globaux s'effondrent vers la solution nulle en fonction de la relation entre les exposants d'échelle $a$ et $\delta$ .
Entrée unidimensionnelle ( $d=1$ ) : Restreindre la dimension d'entrée à un pour dériver des solutions analytiques sous forme fermée pour les ensembles de paramètres globalement optimaux. Cela permet une caractérisation précise de la géométrie (dimension, bornage et connectivité) des ensembles de solutions pour les cas non régularisés ( $\beta=0$ ) et régularisés ( $\beta>0$ ). Les preuves s'appuient sur la formulation convexe des réseaux ReLU à deux couches introduite par Pilanci et Ergen [31], qui devient traitable dans le cadre unidimensionnel.

Contributions clés et résultats

Effondrement des optima globaux :
Le papier établit une condition suffisante pour l'effondrement des minima globaux vers la solution nulle. Le Théorème 1 prouve que si le coefficient de régularisation évolue plus rapidement que l'échelle de sortie du réseau (c'est-à-dire $\delta < a$ ), alors pour un $m$ suffisamment grand, l'unique minimum global est le vecteur de poids nul. Cela est vrai pour la plupart des fonctions de perte convexes utilisées en pratique.
Effondrement dépendant de l'optimiseur :
Des expériences numériques révèlent une divergence critique entre les minima globaux théoriques et la dynamique d'entraînement pratique. Lorsque $\delta < a$ (conditions favorisant l'effondrement), SGD provoque l'effondrement des paramètres appris vers zéro, ce qui est cohérent avec le Théorème 1. Cependant, AdamW (et Adam) empêche cet effondrement, maintenant des paramètres non nuls. Les auteurs suggèrent que cela peut être lié au décroissance de poids découplée d'AdamW et à son biais implicite vers l'optimisation sous contrainte $\ell_\infty$ , ce qui diffère de l'optimisation de l'objectif explicitement régularisé en $\ell_2$ .
Caractérisation analytique des minima globaux en 1D :
Pour $d=1$ , les auteurs dérivent des descriptions exactes des ensembles de solutions :
- Non régularisé ( $\beta=0$ ) : L'ensemble des minima globaux $\phi^*(m)$ $ϕ^{*} (m)$ est caractérisé par des contraintes sur les sommes de produits $u_j \omega_j$ $u_{j} ω_{j}$ .
  - Connectivité : Pour $m=1$ , l'ensemble est vide ; pour $m=2$ , il possède exactement 2 composantes connexes ; pour $m \ge 3$ , il est connexe.
  - Dimension : La dimension est $2m-2$ , et l'ensemble est non borné.
- Régularisé ( $\beta>0$ ) : L'ensemble des minima globaux $\Theta^*(m)$ $Θ^{*} (m)$ est nettement plus contraint.
  - Connectivité : Le papier identifie des largeurs critiques $M$ et $\bar{M}$ (dépendantes des hyperparamètres) qui dictent les transitions de phase. Pour $m < M$ , la solution est le vecteur nul. Pour $m > M$ , l'ensemble devient connexe. Contrairement au cas non régularisé, le comportement de connectivité est plus restreint, avec seulement trois comportements possibles (singleton, ensemble fini, ou connexe) pour les ensembles non vides.
  - Dimension : La dimension de l'ensemble de solutions est réduite à $m-2$ .
  - Bornage : Contra est au cas non régularisé, l'ensemble de solutions régularisé est borné. La norme des paramètres optimaux évolue comme $\Theta(m^{a/2})$ .
Effets dépendants de la largeur :
L'analyse montre que la régularisation $\ell_2$ a un effet invariant par rapport à la largeur sur la connectivité (une fois que le réseau est assez large pour être non trivial) mais un effet de réduction de dimensionnalité qui se renforce avec la largeur. Plus précisément, la différence de dimension entre l'espace des paramètres ( $2m$ ) et l'ensemble de solutions régularisées croît linéairement avec $m$ (passant d'une différence de 2 dans le cas non régularisé à une différence de $m+2$ dans le cas régularisé).

Signification
Ce papier fournit un cadre théorique rigoureux pour comprendre comment l'échelle des hyperparamètres interagit avec la régularisation dans les réseaux surparamétrés. Il souligne que la géométrie du paysage de perte n'est pas statique mais dépend de manière critique de l'échelle relative du coefficient de régularisation et de la largeur du réseau. Les conclusions offrent une explication théorique au succès empirique d'AdamW pour prévenir l'effondrement des paramètres là où SGD échoue, et clarifient comment la régularisation modifie fondamentalement la géométrie des solutions optimales en réduisant la dimensionnalité et en imposant un bornage, des effets qui deviennent plus prononcés à mesure que la largeur du réseau augmente.

Articles similaires