🤖 machine learning

The Symmetries of Three-Layer ReLU Networks

Ce papier établit un cadre complet pour caractériser les symétries de paramètres dans les réseaux ReLU à trois couches, en fournissant des descriptions semi-algébriques explicites des fibres d'équivalence fonctionnelle et un algorithme de décision en temps polynomial, tout en analysant comment ces symétries induisent des lois de conservation locales le long du flot de gradient.

Auteurs originaux : Johanna Marie Gegenfurtner, Moritz Grillo, Guido Montúfar

Publié 2026-05-19

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Johanna Marie Gegenfurtner, Moritz Grillo, Guido Montúfar

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un réseau de neurones comme une machine complexe construite à partir de couches d'interrupteurs et de leviers. Dans un réseau ReLU (un type d'IA très courant), ces interrupteurs s'allument « on » si le signal est positif et restent éteints « off » (zéro) s'il est négatif.

L'article que vous avez fourni pose une question fondamentale : Si deux machines différentes produisent exactement la même sortie pour chaque entrée possible, sont-elles en réalité la même machine au fond ?

La réponse est non. Tout comme deux recettes différentes peuvent produire exactement le même gâteau, deux ensembles différents de nombres (paramètres) à l'intérieur d'un réseau de neurones peuvent produire exactement la même fonction. L'ensemble de tous ces réglages « différents mais identiques » est appelé une fibre.

Voici une décomposition de ce que les auteurs ont découvert, en utilisant des analogies simples :

1. Les symétries « cachées »

Dans les réseaux simples et peu profonds, nous connaissions déjà deux façons de modifier les nombres sans changer le résultat :

Échanger des neurones : Imaginez une rangée d'ampoules. Si vous échangez l'ampoule A et l'ampoule B, la pièce semble identique.
Redimensionner : Si vous augmentez l'intensité de l'ampoule A par un facteur 2 et que vous réduisez le fil la reliant à la couche suivante par un facteur 2, la luminosité finale reste inchangée.

Les auteurs ont découvert que dans les réseaux à trois couches, il existe de nouvelles symétries plus étranges qui n'existent pas dans les réseaux plus simples. Cela est dû à la façon dont les couches interagissent entre elles.

2. Le mécanisme de « dissimulation »

La découverte la plus excitante concerne la dissimulation.

Imaginez que la première couche du réseau dessine une carte du monde avec plusieurs lignes (hyperplans). La deuxième couche est censée examiner cette carte et prendre des décisions.

Le cas normal : La deuxième couche voit toutes les lignes clairement. Si vous déplacez une ligne, la deuxième couche le remarque, et la sortie finale change.
Le cas de dissimulation : Parfois, la deuxième couche est organisée d'une manière spécifique (comme un motif particulier de poids) qui agit comme un bandeau. Elle ignore complètement une ligne spécifique dessinée par la première couche.

L'analogie : Imaginez que vous dessinez sur une feuille de papier (Couche 1). Une deuxième personne (Couche 2) regarde votre dessin à travers une paire de lunettes de soleil spécifique.

Si les lunettes de soleil sont claires, elles voient chaque trait que vous dessinez.
Si les lunettes de soleil « dissimulent » une ligne spécifique, elles ne peuvent pas la voir.
La symétrie : Parce qu'elles ne peuvent pas voir cette ligne spécifique, vous pouvez glisser cette ligne vers la gauche, la droite, le haut ou le bas, et la deuxième personne ne le remarquera pas. Vous pouvez aussi inverser la direction de la ligne, et elles ne le remarqueront toujours pas. Le résultat final (le « gâteau ») a exactement le même goût, même si la « recette » (les paramètres) a changé.

3. La découverte du « goulot d'étranglement »

Les auteurs se sont concentrés sur un type spécifique de réseau appelé architecture en goulot d'étranglement.

L'analogie : Imaginez un entonnoir. L'entrée est large, la couche du milieu est étroite (le col de l'entonnoir), et la sortie est à nouveau large.
Dans cette forme spécifique d'« entonnoir », les auteurs ont prouvé qu'ils avaient trouvé chaque possibilité unique de modifier les nombres sans changer la fonction. Ils ont créé une « carte » complète de toutes les symétries cachées.

4. Ce que cela signifie pour l'« identifiable »

En science, l'« identifiable » signifie : « Si je vois la sortie, puis-je déterminer les réglages exacts utilisés pour la créer ? »

L'article montre que pour ces réseaux à goulot d'étranglement à trois couches, la réponse est généralement non, sauf si les réglages sont très spécifiques.
Ils ont trouvé une règle simple basée sur les signes (nombres positifs ou négatifs) dans la deuxième couche. Si les signes suivent un certain motif, le réseau « dissimule » l'information, et vous ne pouvez pas faire la différence entre les réglages originaux et les réglages de « dissimulation ».
Bonne nouvelle : Parce qu'ils comprennent ces motifs si bien, ils ont construit un algorithme informatique rapide (temps polynomial) qui peut examiner deux ensembles de nombres et dire instantanément : « Oui, ceux-ci produisent la même fonction » ou « Non, ils ne le font pas ».

5. La surprise « globale » vs « locale »

L'une des découvertes les plus contre-intuitives concerne la localisabilité.

L'attente : Vous pourriez penser : « Si la Couche 1 est unique, et que la Couche 2 est unique, alors toute la machine doit être unique. »
La réalité : Les auteurs ont prouvé que c'est faux. Vous pouvez avoir un réseau où la Couche 1 est unique, et la Couche 2 est unique, mais lorsque vous les combinez, elles créent une nouvelle symétrie cachée qui rend l'ensemble non unique.
La métaphore : C'est comme deux personnes qui sont toutes deux d'excellents danseurs uniques. Mais lorsqu'elles dansent ensemble, elles créent accidentellement un mouvement qui ressemble exactement à un mouvement créé par deux différentes personnes. La combinaison crée un nouveau type de redondance qui n'existait pas auparavant.

6. L'entraînement et les « quantités conservées »

Enfin, l'article aborde la façon dont ces réseaux apprennent (en utilisant le flot de gradient).

Dans certains cas, ces symétries agissent comme des lois de conservation en physique (comme l'énergie ou la quantité de mouvement). Au fur et à mesure que le réseau s'entraîne, certaines quantités mathématiques restent exactement les mêmes, peu importe comment les nombres changent.
Cependant, les auteurs ont découvert que les nouvelles symétries de « dissimulation » qu'ils ont découvertes ne créent pas ces lois de conservation. Cela signifie que le chemin d'entraînement du réseau se comporte différemment selon le type de symétrie actif.

Résumé

L'article fournit un « manuel utilisateur » complet des symétries cachées dans les réseaux ReLU à trois couches. Il révèle que :

Les couches peuvent se dissimuler mutuellement : Une couche peut rendre les caractéristiques géométriques d'une couche précédente invisibles pour le reste du réseau.
Cela crée des variations infinies : Vous pouvez déplacer ou inverser ces caractéristiques « cachées » sans changer la sortie du réseau.
Nous pouvons le détecter : Il existe un moyen rapide de dire si deux réseaux sont fonctionnellement identiques.
C'est une propriété globale : Vous ne pouvez pas simplement vérifier couche par couche ; vous devez examiner comment toute la machine s'assemble pour voir ces redondances cachées.

Les auteurs concluent que bien qu'ils aient résolu ce problème pour les réseaux en « goulot d'étranglement », rendre le réseau plus large ou plus profond rend le problème exponentiellement plus difficile, atteignant probablement un mur de complexité computationnelle.

Résumé technique : Les symétries des réseaux ReLU à trois couches

Énoncé du problème
Une propriété fondamentale des paramétrisations des réseaux de neurones est la redondance : des configurations de paramètres distinctes peuvent réaliser exactement la même fonction. Ces redondances sont formalisées sous forme de fibres, définies comme l'ensemble de tous les paramètres réalisant une fonction donnée. Bien que les symétries de paramètres (transformations laissant la fonction inchangée) soient bien comprises pour les réseaux ReLU à une couche cachée — où les fibres génériques sont triviales à permutation et mise à l'échelle près —, la structure des fibres dans les architectures profondes reste largement inconnue. Dans les réseaux profonds, des symétries locales supplémentaires peuvent émerger de configurations spécifiques non dégénérées, et l'identifiabilité est souvent non uniforme à travers l'espace des paramètres. Le problème central abordé est la description systématique de tous les paramètres réalisant une fonction donnée dans les réseaux ReLU profonds, en investiguant spécifiquement comment la composition des couches introduit des redondances qui ne peuvent pas être réduites à des symétries agissant au sein de couches individuelles.

Méthodologie
Les auteurs développent un cadre basé sur la géométrie polyédrale et la géométrie tropicale pour analyser les fibres de paramètres. Les composants méthodologiques clés incluent :

Représentation par hyperplans : Pour les réseaux à une couche cachée sur le premier orthant, la fonction réalisée est caractérisée par un arrangement d'hyperplans pondérés. La fonction est déterminée à une transformation affine globale près par l'arrangement des « hyperplans pliés » (où les neurones passent de l'état inactif à l'état actif) et de leurs vecteurs de poids associés (sauts de gradient).
Hypothèses de généralité : L'analyse se concentre sur des paramètres génériques, définis par deux conditions : (1) la supertransversalité, assurant que les hyperplans pliés s'intersectent dans des codimensions attendues, et (2) le rang maximal des produits masqués, empêchant les dégénérescences algébriques dans les compositions de matrices de poids. Cela garantit que la structure combinatoire du complexe polyédral canonique est stable.
Analyse couche par couche versus compositionnelle : L'article caractérise d'abord les fibres pour des couches uniques (symétries couche par couche), puis analyse comment elles interagissent lorsque les couches sont composées. Un mécanisme critique identifié est le « masquage » de caractéristiques géométriques : un hyperplan d'une couche antérieure peut être fonctionnellement invisible dans la sortie finale s'il est « ancré » ou couvert par les régions actives des couches subséquentes.
Descriptions semi-algébriques : Les fibres sont décrites explicitement comme des unions d'ensembles semi-algébriques définis par des équations et des inégalités polynomiales, permettant des calculs de dimension et des procédures de décision algorithmiques.

Contributions et résultats clés

Fibres couche par couche (une couche cachée) :
L'article fournit une description complète des fibres pour les réseaux à une couche cachée sur le premier orthant. Il est démontré que la fibre est une union disjointe d'ensembles semi-algébriques correspondant à différents choix d'orientation des neurones non linéaires. Une fois les orientations fixées, les degrés de liberté restants correspondent à la factorisation d'une application affine par des neurones linéaires. La dimension de ces composantes est calculée en fonction du rang colonne non négatif de la partie linéaire requise.
Symétries issues de la composition des couches (réseaux à trois couches) :
Les auteurs identifient de nouvelles symétries émergent spécifiquement de la composition des couches ReLU, qui ne sont pas présentes dans l'analyse monocouche.
- Symétrie continue : Si un neurone de la deuxième couche « masque » un hyperplan de la première couche (en étant actif uniquement lorsque le neurone de la première couche est linéaire et inactif ailleurs), le biais de la première couche peut être translaté de manière continue. Cette translation est exactement compensée par un décalage correspondant des biais de la deuxième couche, laissant la fonction réalisée invariante.
- Symétrie discrète : Dans le cas spécifique où la deuxième couche cachée ne comporte qu'un seul neurone ( $n_2=1$ ), une symétrie discrète de « retournement de signe » émerge. Cela permet un groupe fini de transformations sur les poids de la première couche qui préservent la fonction, distinct de la permutation et de la mise à l'échelle standards.
Caractérisation complète pour les goulots d'étranglement à trois couches :
Pour les architectures à trois couches en régime de goulot d'étranglement ( $n_1 \leq d$ ), l'article démontre que les symétries décrites ci-dessus (permutation, mise à l'échelle, factorisation couche par couche, translation induite par le masquage, et retournement de signe discret) sont complètes pour des paramètres génériques.
- Conditions d'identifiabilité : Un paramètre générique est identifiable si et seulement si aucun hyperplan de la première couche n'est masqué. Cette condition est déterminée entièrement par les motifs de signe des poids et des biais de la deuxième couche. Plus précisément, la non-identifiabilité se produit si une ligne de la matrice poids-biais de la deuxième couche est entièrement négative (neurone mort), entièrement positive (neurone linéaire), ou présente un motif de « masquage » spécifique (positif dans une colonne, négatif ailleurs).
- Algorithme en temps polynomial : Sur la base de cette caractérisation, les auteurs fournissent un algorithme en temps polynomial pour décider si deux paramètres génériques dans une architecture en goulot d'étranglement réalisent la même fonction.
Non-localisabilité des fibres :
L'article démontre que l'identifiabilité dans les réseaux ReLU profonds n'est pas localisable. Il construit un réseau où les compositions paires de couches ( $f_2 \circ f_1$ et $f_3 \circ f_2$ ) sont identifiables, alors que la composition complète ( $f_3 \circ f_2 \circ f_1$ ) ne l'est pas. Cela montre que la redondance des paramètres peut émerger comme une propriété globale de la composition du réseau, dépendante de l'interaction entre l'image des couches antérieures et les non-linéarités des couches ultérieures.
Lois de conservation dans le flot de gradient :
Les auteurs distinguent entre les symétries qui induisent des quantités conservées le long du flot de gradient et celles qui n'en induisent pas.
- Les symétries provenant de neurones linéaires (mise à l'échelle couche par couche) induisent des quantités localement conservées (liées aux symétries de produit matriciel).
- À l'inverse, les symétries continues de « masquage » identifiées dans la section 5 n'induisent pas de quantités conservées, car la courbe de symétrie n'est pas orthogonale au flot de gradient d'une manière qui génère une fonction potentielle.

Portée et affirmations
L'article prétend fournir la première description systématique et complète des fibres de paramètres pour les réseaux ReLU profonds au-delà du cas à une seule couche cachée, spécifiquement pour le régime des goulots d'étranglement. En établissant que les structures de fibres dépendent du fait que les couches plus profondes masquent ou préservent la structure géométrique des couches précédentes, ce travail clarifie la nature de la redondance des paramètres dans l'apprentissage profond.

Les auteurs positionnent leurs résultats près d'une frontière de traitabilité. Ils soutiennent que les descriptions explicites et vérifiables efficacement des fibres sont possibles spécifiquement grâce aux hypothèses de généralité et de goulot d'étranglement. Ils notent que le retrait de ces hypothèses (par exemple, dans des réseaux plus larges ou plus profonds) conduit à des explosions combinatoires et est cohérent avec les barrières connues de complexité computationnelle (coNP-difficulté) pour décider de l'équivalence fonctionnelle dans les réseaux ReLU généraux. Ainsi, l'article isole un régime où des symétries compositionnelles véritablement profondes émergent mais restent analytiquement traitables.