Résumé Technique : Réseaux Algébriques et Dégénérescences Architecturales

Énoncé du Problème

L'article étudie la géométrie des réseaux de neurones polynomiaux (PNN) avec des fonctions d'activation monomiales et sans biais. Alors que les réseaux de neurones sont typiquement analysés à travers leurs espaces de paramètres, l'objet géométrique fondamental est la neurovariété : la clôture de Zariski de l'image de l'application de réalisation du plan de paramètres vers l'espace des fonctions polynomiales.

Le problème central abordé est la relation entre les singularités de ces neurovariétés et les dégénérescences de l'architecture sous-jacente du réseau. Une littérature récente suggère un principe directeur : les singularités dans l'espace des fonctions devraient provenir de dégénérescences structurelles du réseau (par exemple, des couches de rang déficient ou des neurones inactifs). Cet article vise à formaliser ce principe au sein d'un cadre algébrique rigoureux, spécifiquement pour les réseaux entièrement connectés (fully connected), en définissant des réseaux algébriques, des sous-réseaux et des locus de dégénérescence architecturale.

Méthodologie

Les auteurs emploient des outils de la géométrie algébrique, plus précisément l'étude des variétés affines, des actions de groupes et de la théorie des anneaux locaux. La méthodologie procède selon les étapes structurelles suivantes :

1. Cadre du Réseau Algébrique :

   • Un réseau algébrique est défini comme un triplet $X = (N, W, r)$, où $N$ est une séquence d'espaces vectoriels (couches), $W$ est un espace de paramètres algébrique irréductible (sous-ensemsets de applications linéaires), et $r$ est un vecteur de degrés d'activation.
   • L'application de réalisation $\Phi_X$ associe les paramètres à des fonctions polynomiales. La neurovariété affine $F(X)$ est la clôture de Zariski de l'image de $\Phi_X$.
   • Les morphismes entre réseaux sont définis de manière rigide pour assurer la compatibilité avec les couches linéaires et les applications d'activation, induisant des plongements fermés entre les neurovariétés.

2. Sous-réseaux et Dégénérescence :

   • Les sous-réseaux sont définis catégoriquement comme des morphismes où les applications des couches cachées sont des inclusions de sous-espaces engendrés par des sous-ensembles de neurones.
   • Le Locus de Dégénérescence Architecturale $D_{arch}(X)$ est défini comme l'image des paramètres qui ne sont pas « pleins ». Un paramètre est dit « plein » (dans $W^\circ$) si toutes les matrices de poids ont un rang maximal et qu'aucune colonne sortante d'un neurone caché n'est nulle.
   • $D_{arch}(X)$ représente les fonctions admettant au moins une représentation dégénérée (rang déficient ou neurones inactifs).

3. Symétries et Identifiabilité :

   • L'article analyse le groupe de symétrie $G(X)$ généré par les permutations des neurones cachés et les redimensionnements compatibles avec les degrés d'activation.
   • Il construit le quotient affine $W(X) = \text{Spec}(\mathbb{C}[W]^{G(X)})$.
   • L'identifiabilité est formulée géométriquement : un réseau est génériquement fini-identifiable si l'application induite de l'espace quotient des paramètres vers la neurovariété possède des fibres générales de dimension zéro.

4. Analyse de Régularité via la Reconstruction par Couche :

   • L'argument technique central repose sur une reconstruction formelle par couche. Les auteurs introduisent des espaces de paramètres auxiliaires $Q_{a,B,r}(E)$ paramétrant les décompositions de sommes de puissances avec des coefficients vectoriels.
   • Ils définissent des triplets réguliers $(a, b, r)$ où la paramétrisation sécante induit un isomorphisme sur les anneaux locaux complétés (une version locale de l'identifiabilité).
   • En itérant cet argument d'isomorphisme local à travers les couches, ils établissent un isomorphisme entre l'anneau local complété de la neurovariété en un point $\Phi_X(w)$ et l'anneau local complété de l'espace quotient des paramètres en $[w]$.

Contributions Clés

1. Formalisation du Principe Singularité-Dégénérescence

L'article fournit un cadre géométrique précis reliant les singularités des neurovariétés aux dégénérescences architecturales. Il prouve que pour les réseaux entièrement connectés avec des largeurs non croissantes, le lieu singulier de la neurovariété est contenu dans le locus de dégénérescence architecturale.

2. Définition du Locus de Dégénérescence Architecturale

Les auteurs définissent $D_{arch}(X)$ comme la clôture de l'union des neurovariétés de sous-réseaux propres à rang contraint. Ils prouvent que pour les réseaux entièrement connectés satisfaisant des conditions de largeur modérées, ce locus coïncide exactement avec l'ensemble des fonctions admettant une représentation dégénérée.

3. Théorème de Régularité pour les Paramètres Pleins

Un résultat primaire est que pour les réseaux entièrement connectés avec des largeurs non croissantes et une sortie scalaire, les paramètres pleins (ceux ayant des matrices de rang maximal et aucune colonne nulle) sont associés à des points lisses de la neurovariété, à condition que des conditions explicites de régularité par couche soient remplies. Par conséquent, les singularités ne peuvent survenir qu'aux paramètres dégénérés.

4. Classification des Triplets Réguliers

L'article classifie les cas où l'argument de reconstruction locale est valide (c'est-à-dire quand les triplets sont « réguliers ») :

• Pour un degré d'activation $r \ge 3$, le triplet est régulier si $a \ge b \ge 1$.
• Pour un degré d'activation $r = 2$, le triplet est régulier si $a = b$.

5. Connexion entre Identifiabilité et Réduction

Les auteurs démontrent que l'existence de « bons paramètres » (où le noyau de la différentielle de l'application de réalisation est égal à l'action de l'algèbre de Lie) est équivalente à l'identifiabilité finie générique. De plus, ils prouvent que les réseaux entièrement connectés génériquement fini-identifiables sont réduits (leur neurovariété ne peut pas être réalisée par un sous-réseau propre à rang contraint).

Résultats Principaux

Théorème 35 (Théorème Principal) :
Soit $X$ un réseau entièrement connecté avec des largeurs non croissantes et une sortie scalaire. Supposons que pour chaque couche $t$, soit le degré d'activation $r_t \ge 3$, soit ($r_t = 2$ et $\dim N_t = \dim N_{t+1}$).
Si $\Phi_X(w)$ est un point singulier de la neurovariété $F(X)$, alors le paramètre $w$ doit contenir :

1. Une matrice de rang non maximal, OU
2. Une matrice avec une colonne nulle.

De plus, sous ces conditions, le réseau $X$ est réduit et génériquement fini-identifiable.

Corollaire :
Pour de telles architectures, le lieu singulier de la neurovariété est strictement contenu dans le locus de dégénérescence architecturale $D_{arch}(X)$. Les « bons » paramètres (ceux appartenant à $W^\circ$) correspondent à des points lisses de la variété.

Signification et Revendications

L'article prétend fournir la première instance formelle du principe selon lequel les singularités des neurovariétés proviennent des dégénérescences architecturales.

• Contribution Théorique : Il dépasse l'analyse par couche unique pour s'attaquer aux architectures profondes, établissant un dictionnaire entre les propriétés géométriques (singularités, lissé) et les concepts de la théorie de l'apprentissage (identifiabilité, réduction, sous-réseaux).
• Portée : Le cadre est intentionnellement général, séparant le mécanisme formel du cas spécifique des réseaux entièrement connectés traité ici. Les auteurs expriment l'espoir que le langage des réseaux algébriques, des sous-réseaux et des espaces de paramètres quotients puisse être adapté à d'autres architectures, telles que les modèles convolutionnels, équivariants ou les réseaux de tenseurs.
• Modestie : L'article ne propose pas de nouveaux algorithmes d'entraînement ou de validations expérimentales. Au lieu de cela, il offre une caractérisation géométrique rigoureuse de l'apparition et de la raison des singularités dans les réseaux de neurones polynomiaux, ancrant les propriétés statistiques et d'optimisation dans les invariants de la géométrie algébrique.