🤖 machine learning

Implicit Bias of SGD in Multivariate ReLU Networks: Effective Width Collapse

Cet article démontre que l'entraînement par descente de gradient stochastique bruyante de réseaux ReLU à deux couches et de grande largeur pour la régression multivariée induit un biais implicite vers un prédicteur unique, de largeur effectivement finie, où les neurones s'alignent selon un nombre borné de directions déterminées par la géométrie combinatoire des données d'entraînement, malgré la surparamétrisation infinie du réseau.

Auteurs originaux : Shuang Liang, Tom Jacobs, Guido Montúfar

Publié 2026-07-07

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shuang Liang, Tom Jacobs, Guido Montúfar

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez un atelier gigantesque et chaotique rempli de milliers d'ouvriers (neurones). Chaque ouvrier a une tâche spécifique : il observe un ensemble de points de données (comme des images ou des nombres) et décide de s'« activer » ou de se « désactiver » en fonction d'une règle qu'il a lui-même inventée. Vous voulez que ces ouvriers apprennent un modèle capable de prédire la bonne réponse pour de nouvelles données.

Le document que vous avez fourni étudie ce qui se passe lorsque vous entraînez ce vaste atelier en utilisant une méthode spécifique appelée Descente de Gradient Stochastique (SGD) avec un peu de « bruit » (aléatoire) et une règle appelée décroissance du poids (weight decay), qui décourage les ouvriers de devenir trop puissants.

Voici une décomposition simple de leurs découvertes :

1. L'atelier « infini » qui rétrécit

Vous commencez avec un réseau si large qu'il est pratiquement infini. Vous pourriez vous attendre à ce que la solution finale soit un enchevêtrement complexe et désordonné de milliers de règles différentes.

La surprise : Même si vous avez commencé avec des milliers d'ouvriers, le processus d'entraînement force naturellement ces derniers à s'effondrer.

L'analogie : Imaginez 1 000 personnes essayant de dessiner une carte. Au lieu que chacun dessine une ligne unique et sinueuse, le processus d'entraînement agit comme un aimant. Il attire presque tous les dessins vers seulement quelques lignes droites spécifiques.
Le résultat : La « carte » finale (la fonction que le réseau apprend) n'est pas un bloc lisse et courbe. Elle devient une fonction affine par morceaux. En langage clair, cela signifie que la réponse finale est composée de segments de lignes droites et plates reliés par des angles vifs (des cassures). Cela ressemble à une ligne brisée (zigzag) en 2D ou à une feuille de papier froissée en 3D.

2. La limite « combinatoire »

Combien de ces lignes droites (ou « cassures ») le réseau finit-il par posséder ?

Le document prouve que le nombre de lignes n'est pas déterminé par le nombre d'ouvriers avec lesquels vous avez commencé (qui était infini).
Au lieu de cela, il est entièrement déterminé par la géométrie de vos données d'entraînement.
L'analogie : Considérez vos données d'entraînement comme un ensemble de piquets plantés dans le sol. Le nombre de lignes que le réseau dessine est limité par le nombre de façons dont vous pouvez trancher le sol avec un couteau pour que les piquets se retrouvent dans des groupes différents.
Les mathématiques : Si vous avez $P$ façons de séparer vos points de données avec une ligne droite, le réseau apprendra au maximum $2P - 1$ directions distinctes. C'est un plafond strict basé sur la forme des données, et non sur la taille du réseau.

3. Le phénomène d'« alignement »

Avant l'entraînement, vos ouvriers (neurones) pointent dans des directions aléatoires. Après l'entraînement, quelque chose de magique se produit :

L'analogie : Imaginez une pièce remplie de gens tenant des lampes de poche pointées dans des directions aléatoires. Au fur et à mesure que l'entraînement progresse, les lampes s'alignent soudainement. Elles pointent toutes vers un petit nombre de directions spécifiques.
Le résultat : Les « poids d'entrée » et les « biais » (les règles que les neurones utilisent) cessent d'être des individus uniques. Ils s'alignent le long d'un nombre fini de directions. C'est ce qu'on appelle l'effondrement de la largeur effective (Effective Width Collapse). Le réseau oublie de fait qu'il possédait des milliers de neurones et se comporte comme s'il n'en avait qu'une poignée.

4. La règle de « non-redondance »

Le document a également découvert que ces quelques directions restantes sont très efficaces.

L'analogie : Si vous avez une équipe d'experts, vous ne voulez pas que deux experts fassent exactement le même travail. Le document montre que chaque « direction alignée » (chaque expert survivant) fait quelque chose d'unique.
Le résultat : Chaque direction apprise crée un motif distinct de signaux « on/off » pour vos données d'entraînement. Aucune des directions n'est redondante ; aucune des directions n'est simplement une « version » des autres. Elles sont toutes essentielles et distinctes.

5. Le rôle du « bruit » et de la « décroissance »

Pourquoi cela se produit-il ? Le document suggère qu'il s'agit d'un effet secondaire spécifique (ou « biais implicite ») de l'algorithme d'entraînement :

Le bruit : L'aspect aléatoire de l'entraînement (comme secouer l'atelier) aide le système à se stabiliser.
La décroissance du poids (Weight Decay) : C'est une pénalité pour être trop « fort ». Elle agit comme un filtre qui élimine la complexité inutile.
Le résultat : Ensemble, ils poussent le réseau infini à trouver la solution « linéaire par morceaux » la plus simple possible qui correspond aux données, dictée strictement par la géométrie de ces dernières.

Résumé

Le document affirme que lorsqu'on entraîne un réseau de neurones géant avec une SGD bruyante, l'univers des possibilités infinies s'effondre. Le réseau ne se contente pas de « mémoriser » les données ; il s'organise en une structure finie et efficace composée de segments de lignes droites. La complexité de cette structure est dictée entièrement par la forme de vos données, et non par la taille de votre ordinateur. C'est comme si l'algorithme d'entraînement était un sculpteur qui retire tout l'excédent de marbre jusqu'à ce qu'il ne reste que les lignes essentielles et géométriquement nécessaires.

Résumé technique : Biais implicite de la SGD dans les réseaux ReLU multivariés : Effondrement de la largeur effective

Énoncé du problème
Les réseaux surparamétrés possèdent une infinité de solutions qui interpolent les données d'entraînement, pourtant la descente de gradient stochastique (SGD) sélectionne systématiquement des solutions dotées de fortes propriétés de généralisation. Ce phénomène est attribué au « biais implicite » de l'algorithme d'optimisation. Bien que le biais implicite soit bien compris pour les modèles linéaires et dans le régime « paresseux » (kernel) des réseaux larges, le biais dans les régimes d'apprentissage de caractéristiques pour les réseaux non linéaires reste incomplètement compris. Plus précisément, il manque une caractérisation rigoureuse de la manière dont la SGD bruitée sélectionne des solutions spécifiques dans les contextes de régression multivariée avec des activations ReLU, particulièrement en ce qui concerne la parcimonie des caractéristiques apprises et la structure géométrique du prédicteur résultant.

Méthodologie
Les auteurs analysent la dynamique d'entraînement de réseaux ReLU à deux couches très larges en utilisant le régime de champ moyen (mean-field). Dans ce cadre, les paramètres du réseau sont modélisés comme une mesure de probabilité sur les neurones, et la dynamique d'entraînement de la SGD bruitée est approximée par un flot de gradient de Wasserstein.

Étapes méthodologiques clés :

Approximation de champ moyen : L'entraînement d'un réseau de $N$ unités cachées est décrit par une équation aux dérivées partielles (EDP) régissant l'évolution de la distribution des paramètres $\rho_t$ . L'inclusion d'un bruit gaussien (température $\beta^{-1}$ ) et d'une décroissance des poids ( $\lambda$ ) assure l'existence d'une mesure stationnaire unique $\rho^*$ lorsque $t \to \infty$ .
Approximation de ReLU : Puisque les neurones ReLU standards sont non bornés et non lisses, violant les hypothèses requises pour les théorèmes de convergence de champ moyen, les auteurs emploient une approximation lisse et bornée ( $\sigma_{m,\tau}$ ) de la fonction ReLU. Ils analysent les limites lorsque le paramètre de lissage $\tau \to \infty$ et le paramètre de troncature $m \to \infty$ , récupérant ainsi efficacement le comportement de ReLU.
Limite de température nulle : L'étude se concentre sur la limite où le niveau de bruit $\beta^{-1} \to 0$ (température nulle), ce qui correspond à une SGD standard avec décroissance des poids. Les auteurs étudient les propriétés structurelles de la mesure stationnaire et de la fonction solution correspondante dans cette limite, sans supposer a priori l'existence d'une limite unique, mais en analysant plutôt les points d'accumulation.
Analyse géométrique : Les preuves reposent sur l'analyse du hessien de la fonction solution et de la géométrie de l'espace des paramètres. Plus précisément, ils utilisent une « condition de positivité quadratique » pour borner le hessien et démontrer que le support de la mesure stationnaire se concentre sur des rayons spécifiques dans l'espace des paramètres.

Contributions clés et résultats

Solution affine par morceaux (Théorème 4) :
Les auteurs prouvent que lorsque la largeur du réseau $N \to \infty$ et que le bruit disparaît, la solution sélectionnée par la SGD bruitée converge vers une fonction affine continue par morceaux. Cette fonction est affine sur les composantes connexes du complément d'un ensemble fini d'hyperplans.
- Borne de complexité : Le nombre d'hyperplans de cassure (kink) $K$ est borné par $K \le 2P - 1$ , où $P$ est le nombre de dichotomies linéaires réalisables sur les entrées d'entraînement. Cette borne dépend uniquement de la géométrie combinatoire des données d'entraînement, et non de la largeur du réseau ou de la dimension ambiante.
Effondrement de la largeur effective (Théorème 5) :
L'article établit que malgré l'infinitude du surparamétrage du réseau, le prédicteur appris admet une représentation effectivement finie.
- Alignement des caractéristiques : Les poids d'entrée et les biais du réseau entraîné s'alignent le long d'au plus $2P - 1$ directions distinctes (rayons) dans l'espace des paramètres.
- Effondrement : Par conséquent, le réseau de largeur infinie s'effondre vers une largeur effective d'au plus $2P - 1$ . La solution peut être représentée exactement par un réseau ReLU peu profond possédant ce nombre fini de neurones cachés.
Non-redondance des caractéristiques (Théorème 6) :
Les auteurs établissent une propriété de non-redondance forte pour les directions apprises.
- Motifs distincts : Chaque direction apprise induit un motif d'activation ternaire unique sur les données d'entraînement (cartographiant les entrées vers $\{-1, 0, 1\}$ ).
- Incomparabilité : Ces motifs sont incomparables sous un ordre partiel spécifique (où un motif est une « dégénérescence » d'un autre en transformant les étiquettes $\pm 1$ en $0$). Plus précisément, pour tout motif de signe binaire, au plus deux motifs ternaires appris peuvent en découler par dégénérescence.
Caractérisation spécifique pour les données symétriques (Proposition 7) :
Pour des jeux de données à deux points symétriques, les auteurs caractérisent explicitement l'emplacement des hyperplans de cassure, montrant qu'ils dépendent de la norme des données d'entrée et de la configuration des étiquettes (étiquettes paires vs impaires).

Signification et affirmations
L'article affirme fournir la première dérivation de l'effondrement de la largeur effective comme un biais implicite de la SGD bruitée pour la régression multivariée avec des données d'entraînement générales. Contra-rent à des travaux antérieurs qui reposaient sur des hypothèses restrictives (ex: données orthogonales ou symétriques) ou analysaient des problèmes variationnels statiques (ex: interpolation de norme $L_1$ minimale), ce travail dérive la structure de largeur finie directement de la dynamique d'entraînement de la SGD bruitée en limite de champ moyen.

Les résultats comblent le fossé entre les caractérisations d'optimisation statique et les processus d'entraînement dynamiques, montrant que la géométrie combinatoire des données d'entraînement (spécifiquement le nombre de dichotomies linéaires) régit la complexité du prédicteur appris. Les auteurs notent que leur analyse repose sur le fait que le réseau est suffisamment large pour exploiter le cadre de champ moyen et nécessite un paramètre de décroissance des poids positif ( $\lambda > 0$ ) pour assurer la validité de l'analyse de la mesure stationnaire. Ils reconnaissent que l'obtention de bornes non asymptotiques sur l'« ensemble d'échec » (où le hessien ne s'annule pas) pour les dimensions $d > 1$ reste un défi ouvert par rapport au cas univarié.

Ce travail étend les conclusions de Shevchenko et al. (2022) du cas univarié au cas multivarié et caractérise de manière unique la structure de la mesure stationnaire dans l'espace des paramètres, plutôt que simplement dans l'espace des fonctions.