A Complete Symmetry Classification of Shallow ReLU Networks

1. Problématique et Contexte

L'article aborde le problème fondamental de l'identifiabilité des paramètres dans les réseaux de neurones artificiels. Il est bien établi que l'espace des paramètres d'une architecture de réseau de neurones n'est pas isomorphe à l'espace des fonctions qu'il réalise. Plusieurs ensembles de paramètres distincts peuvent produire exactement la même fonction de sortie. L'ensemble de ces paramètres équivalents forme la fibre du "map de réalisation" (realization map).

Le défi spécifique traité ici est la classification complète des symétries (c'est-à-dire l'identification de tous les paramètres équivalents) pour les réseaux de neurones ReLU (Rectified Linear Unit) peu profonds (shallow).

• Contexte historique : Les classifications antérieures reposaient souvent sur l'hypothèse d'analyticité des fonctions d'activation (comme la sigmoïde), ce qui excluait le cas du ReLU, non différentiable en zéro.
• Objectif : Fournir une classification complète et algébrique des symétries pour les réseaux ReLU à une couche cachée, en exploitant précisément la non-différentiabilité de l'activation ReLU, contrairement aux approches géométriques ou probabilistes usuelles.

2. Méthodologie

L'auteur adopte une approche algébrique rigoureuse, s'éloignant des méthodes probabilistes ou géométriques dominantes dans la littérature récente.

• Cadre mathématique :

  • L'espace des paramètres $\Omega(m,n,k)$ est défini pour une architecture $(m, n, k)$ (entrée $m$, $n$ neurones cachés, sortie $k$).
  • Le groupe $H_n \leq GL_n(\mathbb{R})$, généré par les permutations ($S_n$) et les matrices diagonales à coefficients positifs ($D^+_n$), agit naturellement sur l'espace des paramètres. Cette action préserve la fonction réalisée (symétries "évidentes").
  • L'objectif est de déterminer si la fibre $\rho^{-1}(\theta)$ (l'ensemble des paramètres réalisant la même fonction que $\theta$) est exactement l'orbite $H_n \cdot \theta$, ou si elle contient des "symétries cachées".

• Outils clés :

  • Forme Minimale (Minimal Form) : L'auteur définit une forme canonique pour les classes d'équivalence des paramètres. Cette forme est obtenue en éliminant les redondances (neurons inactifs, combinaisons linéaires de poids) via un ensemble d'équivalences générées.
  • Réduction des facteurs nuls (0-factor reduction) : Une technique pour réduire un paramètre à un sous-ensemble de neurones actifs et non redondants.
  • Analyse de la différentiabilité : Le cœur de la preuve repose sur l'observation que la fonction ReLU $\sigma(x) = \max(0, x)$ n'est différentiable qu'en dehors de 0. Pour qu'une combinaison de fonctions ReLU soit une fonction affine (lisse), les singularités doivent s'annuler exactement. Cela mène à l'identité clé : $\sigma(x) - \sigma(-x) = x$.

3. Résultats Clés et Théorèmes

L'article établit plusieurs résultats majeurs, culminant dans une classification complète :

A. Classification des Stabilisateurs (Théorème 2)

L'auteur caractérise le stabilisateur d'un paramètre $\theta$ sous l'action de $H_n$ (noté $\text{Stab}_{H_n}\theta$).

• Le stabilisateur est isomorphe à un produit $S \times H_{n'}$, où $n'$ est le nombre de neurones "inactifs" (poids et biais nuls).
• Le groupe $S$ est un sous-groupe fini de $S_{n-n'}$ généré par des cycles de longueur 2 (transpositions) associés à des paires de neurones dont les paramètres $(v_i, a_i, b_i)$ sont proportionnels par un scalaire positif.
• Implication : Si le stabilisateur est non trivial, la fibre n'est pas nécessairement isomorphe à $H_n$, mais cela ne suffit pas à caractériser toutes les symétries cachées.

B. Structure de l'Image et Forme Minimale (Théorèmes 3 et 4)

L'espace des fonctions réalisables est décrit comme un espace quotient.

• L'auteur définit une relation d'équivalence $\equiv$ plus forte que l'action de $H_n$.
• Théorème 3 : Pour $k=1$, l'espace des fonctions est isomorphe à $H_n \backslash \Omega(m,n,1) / \equiv$.
• Théorème 4 : Pour $k > 1$, la classification se réduit à la projection sur les composantes scalaires ($k=1$).

C. Classification Complète des Symétries (Théorème 1)

C'est le résultat principal de l'article :

Théorème 1 : L'ensemble des paramètres $\theta \in \Omega(m,n,k)$ pour lesquels la fibre $\rho^{-1}(\theta)$ est difféomorphe au groupe de Lie $H_n$ est dense dans l'espace des paramètres.

En d'autres termes, pour un paramètre "générique" (dans un ensemble ouvert de Zariski), les seules symétries sont celles provenant de l'action naturelle de $H_n$ (permutations et redimensionnements positifs).

D. La Seule Symétrie Cachée (Proposition 14)

L'article identifie la seule exception possible aux symétries triviales. Une symétrie supplémentaire existe si et seulement si le paramètre réalise une fonction affine (lisse) grâce à l'annulation des singularités du ReLU.

• Cela se produit uniquement lorsque les paramètres peuvent être regroupés en paires $(v_i, a_i, b_i)$ et $(-v_i, -a_i, -b_i)$, exploitant l'identité $\sigma(x) - \sigma(-x) = x$.
• Toute autre relation menant à une fonction lisse est impossible pour le ReLU.

4. Signification et Impact

• Résolution d'un problème ouvert : Contrairement aux travaux précédents qui restreignaient l'analyse à des voisinages locaux ou utilisaient des hypothèses d'analyticité, cette étude fournit une classification globale et complète pour le cas ReLU.
• Approche Algébrique : L'utilisation de la non-différentiabilité du ReLU comme outil de preuve (plutôt qu'un obstacle) démontre la puissance des méthodes algébriques dans l'analyse des réseaux de neurones.
• Généricité : Le résultat confirme que, pour la grande majorité des paramètres (densité Zariski), les réseaux ReLU peu profonds sont localement identifiables à une symétrie de permutation et de mise à l'échelle près. Les symétries "cachées" (comme celles décrites dans la littérature précédente pour des cas pathologiques) sont rares et bien caractérisées.
• Applications : Cette classification précise est cruciale pour comprendre la dynamique de l'optimisation (descente de gradient) et la géométrie de la variété des paramètres (neuromanifold), car elle définit la structure exacte des points critiques et des équivalences fonctionnelles.

Conclusion

Pranavkrishnan Ramakrishnan démontre que, pour les réseaux ReLU peu profonds, la structure des symétries est essentiellement triviale (groupe $H_n$) pour presque tous les paramètres. La seule exception provient de la relation algébrique fondamentale $\sigma(x) - \sigma(-x) = x$, qui permet de construire des fonctions lisses à partir de fonctions non lisses. Ce travail établit une base théorique solide pour l'analyse de l'identifiabilité dans les architectures modernes utilisant des activations non lisses.