🤖 machine learning

Learning on a Razor's Edge: Identifiability and Singularity of Polynomial Neural Networks

Cet article emploie la géométrie algébrique pour analyser les espaces de fonctions des réseaux de neurones polynomiaux, établissant leur identifiabilité et leur dimensionnalité tout en caractérisant les singularités comme émanant de sous-réseaux clairsemés afin d'expliquer les origines géométriques du biais de parcimonie dans les MLP.

Auteurs originaux : Vahid Shahverdi, Giovanni Luca Marchetti, Kathlén Kohn

Publié 2026-06-12

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Vahid Shahverdi, Giovanni Luca Marchetti, Kathlén Kohn

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à reconnaître des chats. Vous lui donnez un manuel d'instructions massif (les « paramètres ») qui lui indique comment traiter les images. Cependant, il y a un piège : de nombreuses versions différentes de ce manuel peuvent en réalité produire exactement le même résultat. Un manuel pourrait dire « tourne à gauche, puis tourne à droite », tandis qu'un autre pourrait dire « tourne à droite, puis tourne à gauche », mais tous deux arrivent à la même destination.

Ce document est comme une carte de tous les manuels d'instructions possibles qu'un type spécifique de robot (un réseau de neurones) peut utiliser. Les auteurs appellent cette carte un « neuro-variété » (neuromanifold). Ils voulaient répondre à deux grandes questions sur cette carte :

Identifiabilité : Si je vois le comportement final du robot, puis-je déterminer exactement quel manuel il utilise ? Ou existe-t-il de nombreux manuels qui se ressemblent ?
Singularités : Existe-t-il des « zones de danger » ou des « falaises » sur cette carte où les règles de la géométrie s'effondrent ?

Voici un aperçu de leurs découvertes en utilisant des analogies simples.

1. Le cerveau du robot : MLPs vs CNNs

L'article étudie deux types de cerveaux de robots :

MLPs (Perceptrons Multicouches) : Considérez-les comme un cerveau standard, entièrement connecté, où chaque neurone communique avec chaque neurone de la couche suivante. C'est comme un réseau dense d'appels téléphoniques.
CNNs (Réseaux de Neurones Convolutifs) : Ils sont spécialisés pour les images. Ils utilisent des « filtres » qui glissent sur l'image, recherchant des motifs comme des contours. C'est comme une équipe d'inspecteurs parcourant une usine, chacun vérifiant une section spécifique.

Les auteurs ont testé ces robots en utilisant un type spécial de « fonction d'activation » (la règle qui décide si un neurone s'active). Au lieu d'utiliser des règles standard comme « si le nombre est positif, active-toi », ils ont utilisé des polynômes (des courbes mathématiques comme $x^2$ , $x^3$ , etc.). Ils ont découvert que si vous utilisez un polynôme « générique » (choisi au hasard, complexe), les mathématiques deviennent beaucoup plus claires et faciles à analyser.

2. Le mystère du « Qui l'a fait ? » (Identifiabilité)

La première question est la suivante : si le robot résout le problème, pouvons-nous rétro-concevoir le manuel exact qu'il a utilisé ?

Pour les MLPs (Le Réseau) : Les auteurs ont découvert que pour presque chaque comportement produit par le robot, il n'existe qu'un nombre fini de manuels qui auraient pu le créer.
- L'analogie : Imaginez que vous voyez un gâteau. Vous ne pouvez pas être sûr à 100 % si le pâtissier a utilisé une marque de farine spécifique ou une autre légèrement différente, mais vous savez que ce n'était pas n'importe quelle recette aléatoire. Il n'existe que quelques recettes spécifiques qui donnent exactement ce gâteau. Les auteurs ont prouvé que pour ces réseaux, l'« espace des recettes » est exactement de la bonne taille — il n'y a pas de redondances infinies cachées.
Pour les CNNs (Les Inspecteurs) : Le résultat est encore plus fort. Pour presque chaque comportement, il n'existe qu'un seul manuel unique qui aurait pu le créer.
- L'analogie : Si vous voyez un motif spécifique sur le sol d'une usine, il n'y a qu'une seule façon précise dont les inspecteurs auraient pu se disposer pour le créer. Le CNN est beaucoup plus « unique » dans sa construction.

3. Les « Falaises » et les « Impasses » (Singularités)

En géométrie, un « point singulier » est un endroit où la surface n'est pas lisse — comme la pointe d'un cône ou le bord d'une étoile. Dans le monde de l'entraînement des robots, ce sont des zones dangereuses où l'algorithme d'apprentissage (la descente de gradient) peut rester bloqué ou se comporter étrangement.

Les auteurs ont découvert que ces « falaises » sont créées par des sous-réseaux clairsemés (sparse subnetworks).

L'analogie : Imaginez un vaste système autoroutier (le réseau complet). Un « sous-réseau » est un scénario où vous fermez plusieurs voies, n'en laissant que quelques-unes ouvertes.
- La découverte : Lorsqu'un robot « éteint » effectivement une partie de ses neurones (créant ainsi un sous-réseau), il atterrit sur une « falaise » dans la géométrie de la carte.
- Pourquoi c'est important : Ces falaises sont spéciales car elles agissent comme des aimants pour le processus d'apprentissage.

4. Le « Biais de Parcimonie » : Pourquoi les robots aiment éteindre leurs neurones

C'est la partie la plus pratique de la théorie. Les auteurs expliquent pourquoi les robots finissent souvent par utiliser moins de neurones qu'ils n'en ont à disposition (un phénomène appelé « parcimonie » ou sparsity).

Pour les MLPs (Le Réseau) : Les « falaises » créées par l'extinction des neurones sont critiquement exposées.
- L'analogie : Imaginez que le processus d'apprentissage est une balle roulant le long d'une colline. Dans un MLP, les « falaises » (où les neurones sont éteints) sont comme des vallées profondes ou des pièges. Une fois que la balle s'approche d'elles, elle reste coincée. Les mathématiques montrent que le processus d'entraînement tire naturellement le robot vers ces configurations parcimonieuses. Le robot veut être une version plus petite et plus simple de lui-même.
Pour les CNNs (Les Inspecteurs) : Les « falaises » existent, mais elles ne sont pas critiquement exposées.
- L'analogie : Dans un CNN, les « falaises » sont simplement des bords tranchants sur une plaine plate. Si la balle roule près d'elles, elle ne reste pas coincée. Elle peut passer juste à côté. Le processus d'apprentissage ne force pas le CNN à éteindre ses filtres de la même manière que pour les MLPs.

Résumé

Le papier utilise les mathématiques avancées (géométrie algébrique) pour prouver que :

Les MLPs possèdent quelques doublons de manuels, mais sont majoritairement uniques, et ils tendent naturellement à se retrouver « coincés » dans des configurations plus simples et parcimonieuses lors de l'entraînement à cause de la forme de leur paysage mathématique.
Les CNNs possèdent des manuels presque parfaitement uniques, et bien qu'ils présentent des « falaises » (singularités), le processus d'apprentissage ne s'y retrouve pas piégé de la même manière que pour les MLP.

Essentiellement, ce papier explique pourquoi les réseaux de neurones standards (MLPs) ont tendance à devenir parsimonieux et efficaces d'eux-mêmes, en utilisant la géométrie de leur « carte » mathématique comme explication.

Résumé Technique : Apprendre sur le fil du rasoir

Énoncé du Problème

Cet article étudie les propriétés géométriques des neuromanifolds (neuromani-formes) — les espaces de fonctions paramétrés par des réseaux de neurones profonds — en se concentrant spécifiquement sur les Perceptrons Multicouches (MLP) et les Réseaux de Neurones Convolutifs (CNN). L'étude aborde deux problèmes fondamentaux de la théorie de l'apprentissage profond :

Identifiabilité : Déterminer dans quelle mesure une fonction dans le neuromani-forme correspond à un ensemble unique de paramètres de réseau. Cela est lié aux « redondances » ou symétries de la paramétrage et influence directement la complexité d'échantillonnage du modèle.
Singularité et Biais d'Optimisation : Caractériser les points singuliers du neuromani-forme (là où le mani-forme perd sa lissité) et comprendre comment ces singularités sont liées à la dynamique d'entraînement, spécifiquement au phénomène de biais de parcimonie (la tendance des réseaux à converger vers des sous-réseaux parcimonieux).

Alors que des travaux précédents ont analysé des fonctions d'activation spécifiques (ex. : ReLU, Tanh, Sigmoïde, monômes), cet article cible une classe plus large : les fonctions d'activation polynomiales suffisamment génériques de degré élevé. Ce choix est motivé par le fait que les polynômes peuvent approximer des fonctions continues arbitraires et, surtout, permettent l'application d'outils de la géométrie algébrique, car les neuromani-formes polynomiaux résident dans des espaces ambiants de dimension finie.

Méthodologie

Les auteurs emploient des outils de la géométrie algébrique, en s'appuyant spécifiquement sur la topologie de Zariski et les propriétés des variétés semi-algébriques.

Généricité : L'analyse se concentre sur des paramètres et des fonctions d'activation « génériques ». Dans la topologie de Zariski, une propriété qui tient pour un objet générique implique qu'elle tient pour « presque tous » les objets (car les ensembles ouverts non vides sont denses).
Applications de Paramétrage : L'étude analyse les fibres de l'application de paramétrage $\phi: \mathcal{W} \to \mathcal{M}$ , où $\mathcal{W}$ est l'espace des paramètres et $\mathcal{M}$ est le neuromani-forme.
Sous-réseaux : Le concept de sous-réseaux est central. Pour les MLP, un sous-réseau est défini par la mise à zéro de lignes/colonnes spécifiques des matrices de poids (neurones inactifs). Pour les CNN, les sous-réseaux sont définis par le remplissage de filtres avec des zéros (padding).
Exposabilité Critique : L'article introduit une notion géométrique appelée ensembles critiquement exposés. Un sous-ensemble de paramètres est dit critiquement exposé si l'ensemble des fonctions cibles (dérivées des jeux de données) pour lesquelles ces paramètres sont des points critiques de la fonction de perte possède un intérieur non vide. Cela formalise l'idée que la dynamique d'entraînement est biaisée vers ces ensembles.

Contributions Clés et Résultats

1. Identifiabilité et Dimension

MLP : Les auteurs prouvent que pour des activations polynomiales génériques de degré suffisamment élevé, l'application de paramétrage d'un MLP possède des fibres finies pour presque toutes les fonctions. Cela signifie que presque toutes les fonctions dans le neuromani-forme correspondent à seulement un nombre fini de choix de paramètres (spécifiquement, des symétries discrètes comme les permutations de neurones).
- Conséquence : La dimension du neuromani-forme du MLP est égale au nombre total de paramètres ( $\sum d_i d_{i-1}$ ). Cela résout une conjecture de dimension qui n'avait été établie auparavant que pour les activations monômes.
CNN : Le résultat est plus fort pour les CNN. Le paramétrage est montré comme étant génériquement injectif (un pour un) pour presque toutes les fonctions.
- Conséquence : La dimension du neuromani-forme du CNN est également égale au nombre de paramètres, mais sans les symétries discrètes présentes dans les MLP.

2. Singularités et Sous-réseaux

MLP : L'article prouve que les sous-réseaux (où un sous-ensemble de neurones est inactif) correspondent à des points singuliers du neuromani-forme. Plus précisément, si l'architecture permet un « goulot d'étranglement » (une couche plus petite que les couches suivantes), les fonctions paramétrées par des sous-réseaux stricts sont singulières.
CNN : De même, les sous-réseaux dans les CNN (définis par des filtres avec un padding de zéros) sont prouvés être des points singuliers. Cependant, la nature de ces singularités diffère ; elles sont « nodales » (issues d'auto-intersections) plutôt que les singularités plus dégénérées trouvées dans les MLP.
Complétude : Pour les CNN, les auteurs fournissent une caractérisation complète : tous les points singuliers du neuromani-forme (excluant la fonction nulle) proviennent de sous-réseaux propres. Pour les MLP, il est montré que les sous-réseaux définissent des singularités, mais une caractérisation complète de toutes les singularités reste un problème ouvert.

3. Exposabilité Critique et Biais de Parcimonie

C'est l'intuition géométrique la plus significative de l'article concernant la dynamique d'entraînement :

MLP : Les auteurs prouvent que les ensembles de sous-réseaux stricts dans les MLP sont critiquement exposés. Cela signifie que pour un jeu de données générique, le processus d'entraînement (descente de gradient) rencontrera des points critiques correspondant à ces sous-réseaux parcimonieux avec une probabilité positive.
- Implication : Cela fournit une explication géométrique au biais de parcimonie dans les MLP. La dynamique d'entraînement est naturellement biaisée vers des solutions parcimonieuses car ces solutions correspondent à des singularités qui agissent comme des attracteurs (ou équilibres) pour le flux d'optimisation.
CNN : En revanche, les auteurs prouvent que les sous-réseaux dans les CNN ne sont pas critiquement exposés (une fois le fibre de la fonction nulle exclu).
- Implication : Les CNN à canal unique pur n'exhibent pas le même biais géométrique vers la parcimonie que les MLP. Cela concorde avec les observations empiriques selon lesquelles les CNN initialisés avec des poids proches de zéro parviennent souvent à récupérer et à apprendre efficacement, plutôt que de s'effondrer dans des sous-réseaux parcimonieux.

Signification et Revendications

L'article prétend fournir une explication géométrique pour le biais de parcimonie observé empiriquement dans les réseaux de neurones, en distinguant les architectures qui présentent ce biais (MLP) de celles qui ne le présentent pas (CNN).

Unification Théorique : En utilisant des activations polynomiales génériques, ce travail unifie et étend les résultats d'identifiabilité précédents (qui étaient limités à des activations spécifiques comme Tanh ou les monômes) à une large classe de fonctions.
Géométrie Neuro-algébrique : Ce travail contribue au domaine émergent de la « géométrie neuro-algébrique », faisant le pont entre la géométrie algébrique et la théorie de l'apprentissage profond. Il démontre que les outils algébriques peuvent analyser rigoureusement les symétries et les singularités dans les réseaux profonds.
Distinction de la Théorie de l'Apprentissage Singulier (SLT) : Les auteurs précisent que leur notion de singularité (singularités algébrico-géométriques classiques du neuromani-forme) est distincte des singularités définies dans la Théorie de l'Apprentissage Singulier (dégénérescence de la métrique d'information de Fisher). Ils soutiennent que leurs résultats étendent les idées de type SLT à la perspective de l'espace de fonctions.

Limites et Travaux Futurs

Les auteurs reconnaissent plusieurs limites :

Restriction Polynomiale : Les résultats reposent sur des activations polynomiales. Étendre ces preuves rigoureuses aux activations non polynomiales (comme ReLU ou Tanh) nécessite des arguments d'approximation polynomiale, qui sont esquissés mais non totalement prouvés au sens de l'analyse fonctionnelle.
Caractérisation Incomplète : Bien qu'il soit démontré que les sous-réseaux sont singuliers, une classification complète de toutes les singularités pour les MLP polynomiaux n'est pas encore achevée.
Types de Points Critiques : L'analyse identifie les points critiques mais ne distingue pas entre les minima locaux, maxima ou points de selle. Comprendre si les sous-réseaux sont spécifiquement des minima locaux est laissé à de futurs travaux.
Bornes de Complexité : Le degré du polynôme requis pour que les théorèmes tiennent est extrêmement élevé et probablement lâche, bien que son existence soit suffisante à des fins théoriques.