🤖 machine learning

The Role of Symmetry in Optimizing Overparameterized Networks

Ce papier démontre que la surparamétrisation dans les réseaux de neurones optimise l'entraînement en introduisant des symétries dans l'espace des poids qui agissent comme une préconditionnement diagonal pour améliorer le conditionnement de la Hessienne et augmenter la masse de probabilité des minima globaux à proximité des initialisations typiques, accélérant ainsi la convergence.

Auteurs originaux : Kusha Sareen, Mohammad Pedramfar, Sékou-Oumar Kaba, Mehran Shakerinava, Siamak Ravanbakhsh

Publié 2026-04-29

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kusha Sareen, Mohammad Pedramfar, Sékou-Oumar Kaba, Mehran Shakerinava, Siamak Ravanbakhsh

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre un puzzle complexe, comme insérer une forme spécifique dans un plateau de puzzle. Dans le monde de l'apprentissage profond, le « puzzle » consiste à trouver l'ensemble parfait de nombres (les poids) à l'intérieur d'un réseau de neurones qui lui permet de résoudre une tâche correctement.

Pendant longtemps, les chercheurs ont observé un phénomène étrange : agrandir le réseau (ajouter plus de « pièces » ou de paramètres) rend en réalité la résolution du puzzle plus facile et plus rapide, même si le puzzle est suffisamment petit pour être résolu par un tout petit réseau. C'est ce qu'on appelle la « surparamétrisation ».

Cet article pose la question : Pourquoi avoir des pièces supplémentaires aide-t-il ? Les auteurs soutiennent qu'il ne s'agit pas seulement d'avoir plus de puissance brute ; il s'agit de symétrie. Ils utilisent l'idée de « symétrie » pour expliquer deux façons principales dont l'agrandissement d'un réseau améliore la recherche de la solution.

Voici la décomposition utilisant des analogies simples :

1. Le « Labyrinthe de Miroirs » des solutions (Symétrie)

D'abord, imaginez que de nombreuses dispositions différentes de pièces de puzzle produisent exactement la même image. Dans un réseau de neurones, vous pouvez échanger deux neurones, ou diviser un neurone en deux plus petits qui travaillent ensemble, et le réseau effectue exactement le même travail.

Les auteurs appellent ces groupes de « réglages différents qui font la même chose » des orbites de symétrie. Pensez-y comme une vallée plate dans une chaîne de montagnes. Si vous êtes au fond de la vallée, vous pouvez marcher dans n'importe quelle direction le long du sol, et votre altitude (l'erreur) ne change pas. Ce sont les « directions plates ».

2. Mécanisme un : Le « Recalibrage Magique » (Préconditionnement diagonal)

Lorsque vous élargissez un réseau, vous introduisez de nouvelles façons de diviser et de réorganiser ces neurones. Les auteurs prouvent que ces nouvelles dispositions agissent comme un outil de recalibrage magique pour le paysage.

Le problème : Imaginez que le sol de la vallée ait la forme d'une ellipse longue et maigre. Si vous essayez de faire rouler une balle vers le bas, il est facile de rester coincé ou de rebondir d'avant en arrière parce que le chemin est étroit dans une direction et large dans une autre. C'est un paysage « mal conditionné ».
La correction par symétrie : En utilisant les nouvelles symétries disponibles dans un réseau plus large, vous pouvez efficacement « écraser » le côté long et « étirer » le côté court de cette ellipse. Vous redéfinissez la vallée en un cercle parfait.
Le résultat : Maintenant, lorsque vous faites rouler la balle (exécutez l'algorithme d'optimisation), elle roule directement vers le bas sans osciller. Les auteurs appellent cela le préconditionnement diagonal. C'est comme porter des lunettes spéciales qui font que le chemin semble parfaitement rond, même s'il était en réalité ovale.

3. Mécanisme deux : La « Cible Plus Grande » (Croissance du volume)

La deuxième façon dont la surparamétrisation aide est de rendre les solutions « bonnes » beaucoup plus faciles à trouver par hasard.

Le problème : Imaginez que vous lanciez des fléchettes à l'aveugle sur un mur. Si l'endroit « gagnant » est un tout petit point, vous ne le toucherez presque jamais.
La correction par symétrie : Lorsque vous ajoutez plus de neurones, l'orbite de symétrie s'élargit. C'est comme si le tout petit point sur le mur se transformait soudainement en un grand nuage moelleux. Parce qu'il existe tellement de façons différentes d'arranger les neurones supplémentaires pour obtenir le même résultat, le « volume » total des points gagnants devient énorme.
Le résultat : Même si vous commencez avec une hypothèse aléatoire (un lancer aléatoire), vous êtes maintenant beaucoup plus susceptible de atterrir à l'intérieur de ce grand nuage de bonnes solutions. L'article montre que lorsque le réseau s'élargit, la probabilité de commencer votre voyage juste à côté d'une solution parfaite augmente considérablement.

4. L'astuce de « Division »

L'article détaille des astuces mathématiques spécifiques appelées symétries de division.

Division post-activation : Imaginez que vous avez un travailleur (un neurone) qui fait un travail. Vous pouvez embaucher deux nouveaux travailleurs qui font chacun la moitié du travail, et ils se partagent le salaire. Le travail total effectué est le même, mais vous avez maintenant plus de flexibilité dans la façon dont vous les payez.
Division pré-activation (pour les réseaux ReLU) : Il s'agit de diviser l'entrée du travailleur. Si le travailleur est un « ReLU » (un type spécifique d'interrupteur), vous pouvez diviser le signal entrant en deux signaux plus petits qui s'additionnent pour former l'original.

Ces divisions créent de nouvelles « directions plates » dans le paysage. Les auteurs montrent que bien que le « volume » total de la solution reste à peu près le même (si vous divisez équitablement), la forme de ce volume change pour devenir beaucoup plus ronde et plus facile à naviguer.

5. Ce que montrent les expériences

Les auteurs n'ont pas seulement fait des mathématiques ; ils ont mené des expériences pour le prouver :

Courbure : À mesure qu'ils ont élargi les réseaux, le « Hessien » (une carte mathématique des bosses et des vallées du paysage) est devenu mieux conditionné. Les « bosses » sont devenues plus lisses et plus uniformes.
Vitesse : Les réseaux avec plus de paramètres ont convergé (trouvé la solution) plus rapidement.
Universalité : Cela a fonctionné pour différents types de réseaux (MLP, CNN, Transformers) et différentes tâches, suggérant qu'il s'agit d'une règle géométrique fondamentale du fonctionnement de ces réseaux.

Résumé

En termes simples, l'article soutient que rendre un réseau de neurones plus grand ne lui donne pas seulement plus de muscles ; cela lui donne plus de « degrés de liberté » pour remodeler le terrain sur lequel il marche.

En ajoutant des paramètres supplémentaires, vous créez un paysage où les solutions « bonnes » sont :

Plus rondes et plus faciles à descendre (meilleur conditionnement/préconditionnement).
Plus grandes et plus faciles à toucher par accident (volume accru/probabilité accrue).

La « symétrie » du réseau est l'outil qui nous permet de remodeler le paysage sous une forme plus amicale, rendant le processus d'optimisation beaucoup plus efficace.

1. Énoncé du problème

La surparamétrisation (l'utilisation de réseaux de neurones possédant nettement plus de paramètres que nécessaire pour représenter la fonction cible) est une pierre angulaire de l'apprentissage profond moderne, améliorant de manière constante la vitesse d'optimisation et les performances finales. Cependant, les mécanismes précis à l'origine de ces améliorations restent incomplètement compris.

Les théories existantes reposent souvent sur :

Les limites de grande largeur : Considérer les réseaux comme des noyaux linéarisés (NTK).
L'analyse de la courbure : Observer des spectres de Hessien structurés avec de grands sous-espaces proches de zéro.
La symétrie : Reconnaître que les réseaux possèdent des symétries dans l'espace des poids (permutations, redimensionnements) créant des variétés de solutions fonctionnellement identiques.

Le fossé : Bien qu'il soit connu que la symétrie crée des directions plates dans le paysage de perte, son rôle spécifique dans l'amélioration de la conditionnement du paysage d'optimisation (rendant les minima plus faciles à atteindre et à converger vers eux) via la surparamétrisation n'a pas été caractérisé de manière exhaustive. Ce papier vise à combler le fossé entre la surparamétrisation, les symétries de l'espace des poids et les propriétés géométriques du paysage de perte.

2. Méthodologie

Les auteurs proposent un cadre unifié analysant les symétries de l'espace des poids induites par l'augmentation de la largeur du réseau. Ils utilisent un formalisme de Groupoïde de Matrices pour décrire comment les symétries opèrent à travers différentes largeurs de réseau, dépassant ainsi les symétries de largeur fixe.

Outils théoriques clés :

Orbites de symétrie : Définition de classes d'équivalence de paramètres $[\theta]_T$ qui produisent la même fonction.
Opérations de division : Caractérisation de la manière dont l'ajout de neurones (surparamétrisation) correspond à la « division » de neurones existants via des matrices de duplication ( $M$ $M$ ) et des pseudo-inverses ( $M^+$ $M^{+}$ ).
- Division post-activation : Duplication des neurones et redistribution des poids de sortie.
- Division pré-activation (spécifique à ReLU) : Division des poids d'entrée tout en préservant la linéarité ReLU.
Analyse du Hessien : Analyse de la manière dont la matrice Hessienne ( $H$ ) se transforme sous ces opérations de division pour comprendre les changements de courbure, de nombres de conditionnement et de volume local.
Cadre Enseignant-Étudiant : Utilisation d'une configuration où un réseau « étudiant » (largeur $n$ ) est entraîné pour correspondre à un réseau « enseignant » (largeur minimale $n_f$ ) afin de garantir l'existence de minima globaux et d'isoler la dynamique d'optimisation des problèmes de représentation.

3. Contributions principales

Le papier identifie deux mécanismes distincts par lesquels la surparamétrisation aide l'optimisation :

Mécanisme 1 : Préconditionnement diagonal du Hessien

Les auteurs prouvent que les transformations de symétrie agissent comme des préconditionneurs diagonaux sur le Hessien.

Théorème : Si un réseau est étendu via une symétrie, le nouveau Hessien $H'$ possède les mêmes valeurs propres non nulles que $K^{1/2} H K^{1/2}$ , où $K$ est une matrice diagonale déterminée par la structure de division.
Implication : Cette transformation redimensionne efficacement les axes du paysage de perte. Si les vecteurs propres du Hessien original sont approximativement alignés sur les axes (ce que les preuves empiriques suggèrent être souvent le cas), ce redimensionnement améliore considérablement le nombre de conditionnement ( $\kappa$ ), conduisant à une convergence plus rapide pour les méthodes du premier ordre.
Réduction de la trace : Ils dérivent une formule montrant que, bien que le produit des valeurs propres non nulles (pseudo-déterminant/volume) soit préservé lors de divisions paires, la trace (somme des valeurs propres/courbure moyenne) peut être réduite. Cela conduit à une amélioration du conditionnement moyen.

Mécanisme 2 : Croissance du volume et accessibilité

La surparamétrisation augmente la masse de probabilité des minima globaux à proximité des initialisations aléatoires typiques.

Théorème : À mesure que la largeur augmente, le volume total des minima globaux à proximité de l'initialisation croît. Plus précisément, la probabilité d'initialiser dans un $\epsilon$ -voisinage d'un minimum global augmente avec la largeur une fois que le réseau est suffisamment large.
Effet combinatoire : L'ajout de paramètres introduit de nouvelles symétries qui étendent la classe d'équivalence des solutions. Même si les minima individuels rétrécissent légèrement en volume en raison de la division, l'explosion combinatoire des configurations de division possibles (copies de permutations) se traduit par une augmentation nette de la probabilité de se retrouver dans un bassin « bon ».

4. Résultats expérimentaux

Les auteurs valident leurs prédictions théoriques grâce à des expériences extensives :

Validation de la théorie :
- Entrelacement du Hessien : Confirmation que les valeurs propres du Hessien de l'étudiant s'entrelacent avec celles de l'enseignant, avec des valeurs propres supplémentaires proches de zéro correspondant aux nouvelles directions de symétrie plates.
- Pseudo-déterminant et Trace : Les mesures empiriques de la trace et du pseudo-déterminant du Hessien correspondaient aux prédictions théoriques avec une erreur inférieure à 0,03 %.
- Regroupement des neurones : Visualisation montrant qu'à la convergence, les neurones de l'étudiant se regroupent autour des poids des neurones de l'enseignant, les poids de sortie sommant aux valeurs de l'enseignant, confirmant la structure de « division ».
Métriques d'optimisation :
- Conditionnement : À travers les MLP, les CNN et les Transformers, le nombre de conditionnement, la valeur propre principale et le rapport AM/GM (une mesure du conditionnement moyen) se sont améliorés de manière monotone à mesure que la largeur augmentait.
- Vitesse de convergence : Le nombre d'étapes nécessaires pour converger a diminué à mesure que la largeur augmentait.
- Généralisation : Ces tendances se sont maintenues non seulement dans les configurations enseignant-étudiant, mais aussi dans des scénarios d'ajustement direct aux données (par exemple, régression sur California Housing, classification CIFAR-10), même dans des régimes légèrement sous-paramétrés.

5. Signification et implications

Cadre unifié : Le papier fournit une explication géométrique de la surparamétrisation qui unifie la symétrie, la courbure et la probabilité d'initialisation. Il dépasse le régime d'« entraînement paresseux » (NTK) pour expliquer la dynamique de largeur finie.
Pourquoi la surparamétrisation fonctionne : Il suggère que la surparamétrisation ne fournit pas seulement plus de capacité ; elle remodele fondamentalement le paysage de perte pour contenir des minima mieux conditionnés qui sont plus abondants et plus faciles à atteindre depuis une initialisation aléatoire.
Généralisation : Les auteurs proposent un « argument de dénombrement » pour la généralisation : les fonctions plus simples (représentées par l'enseignant) possèdent des orbites de symétrie plus grandes et donc des volumes de minima plus importants par rapport aux solutions complexes de surajustement. L'optimisation favorise naturellement ces bassins plus grands et mieux conditionnés.
Insight pratique : Les résultats soutiennent l'utilisation de réseaux plus larges et expliquent pourquoi les optimiseurs adaptatifs (comme Adam) fonctionnent bien : ils effectuent implicitement un préconditionnement diagonal, ce qui synergise avec le préconditionnement induit par la symétrie des réseaux surparamétrés.
Perte de plasticité : Le cadre offre une explication potentielle à la « perte de plasticité » dans l'apprentissage continu : l'optimisation peut se retrouver piégée dans une orbite de symétrie spécifique (une diagonale de faible largeur dans le groupoïde), empêchant le réseau d'utiliser la largeur dormante pour de nouvelles tâches.

En résumé, le papier démontre que la surparamétrisation est une transformation géométrique qui améliore l'optimisation en créant un paysage avec des minima plus accessibles et mieux conditionnés grâce à l'expansion des symétries de l'espace des poids.