Résumé Technique : Topologie et Géométrie de l'Espace d'Apprentissage des Réseaux ReLU

Énoncé du Problème

L'article traite de deux pathologies fondamentales dans la dynamique d'entraînement des réseaux ReLU à propagation directe (feed-forward) définis sur des architectures générales de Graphes Orientés Acycliques (DAG) : la (dis)connexité de l'espace des paramètres et l'existence de singularités au sein de celui-ci. Alors que les résultats classiques se concentrent souvent sur les architectures à couches, les réseaux modernes emploient fréquemment des structures DAG flexibles (issues de la conception, de l'élagage ou de la compression). Les auteurs soutiennent que l'entraînement par flot de gradient sur des réseaux dotés d'activations homogènes (comme ReLU) restreint les trajectoires d'apprentissage à une variété algébrique spécifique, appelée ensemble invariant. Comprendre les propriétés géométriques et topologiques de cet ensemble est crucial pour analyser la dynamique d'entraînement, car cela dicte quelles configurations de paramètres sont atteignables et comment l'expressivité du réseau est contrainte par son initialisation.

Méthodologie

Les auteurs emploient une combinaison de géométrie algébrique, de théorie des graphes et d'analyse des systèmes dynamiques :

1. Formulation Mathématique :

   • Le réseau est modélisé comme un DAG $G=(V, E)$. L'espace des paramètres $\Theta$ est identifié à $\mathbb{R}^{|E|}$.
   • En exploitant la symétrie de mise à l'échelle (rescaling symmetry) des activations homogènes (où les poids d'entrée d'un neurone peuvent être mis à l'échelle par $\alpha$ et les poids de sortie par $\alpha^{-1}$ sans changer la fonction), les auteurs dérivent des lois de conservation sous le flot de gradient.
   • Ces lois sont formulées à l'aide de la matrice d'incidence $\tilde{B}$ du graphe (avec les lignes pour les nœuds d'entrée/sortie supprimées). La loi de conservation est exprimée par $\tilde{B}(\theta \odot \dot{\theta}) = 0$, ce qui s'intègre en $\tilde{B}\theta^2 = c$, où $c$ est un vecteur déterminé par l'initialisation.

2. Analyse de l'Ensemble Invariant :

   • L'ensemble invariant $H_G(c)$ est défini comme l'ensemble des solutions du système d'équations quadratiques $\tilde{B}\theta^2 = c$. Cet ensemble représente la variété sur laquelle les trajectoires du flot de gradient sont confinées.
   • Les auteurs analysent la connexité de $H_G(c)$ en utilisant les résultats de la topologie des intersections de quadriques (en adaptant spécifiquement de Medrano, 2023).
   • Ils analysent les singularités en examinant le rang de la matrice Jacobienne $J_G(\theta) = 2\tilde{B}\text{diag}(\theta)$. Une singularité se produit lorsque le rang chute, ce qui correspond à des arêtes spécifiques ayant des poids nuls.

3. Stratégie de Régularisation :

   • Pour pousser activement le réseau vers des configurations singulières (qui correspondent à des sous-réseaux déconnectés), les auteurs proposent un régularisateur de norme nucléaire sur la Jacobienne $J_G(\theta)$. Cela sert de substitut lisse pour la minimisation du rang, favorisant ainsi un « auto-élagage » (self-pruning).

Contributions Clés

1. Caractérisation de la Connexité

L'article fournit des conditions nécessaires et suffisantes pour la connexité de l'ensemble invariant $H_G(c)$ dans les architectures DAG générales.

• Nœuds de Goulot d'Étranglement (Bottleneck Nodes) : Il est démontré que la déconnexion provient spécifiquement de neurones de goulot d'étranglement (nœuds possédant une seule arête d'entrée ou une seule arête de sortie).
• Conditions d'Équilibre : Le Théorème 1 établit que $H_G(c)$ est connecté si et seulement si des conditions d'« équilibre » spécifiques sont remplies pour des sous-ensembles d'ancêtres purs (pour les goulots de sortie) et de descendants purs (pour les goulots d'entrée). Plus précisément, la somme des valeurs d'équilibre $c_v$ dans certains ensembles stables doit être non négative ou non positive.
• Implication : Si ces conditions sont violées lors de l'initialisation, l'espace d'optimisation se divise en composantes déconnectées. Un réseau initialisé dans une composante ne peut pas atteindre les optima d'une autre, rendant potentiellement certaines fonctions (par exemple, celles nécessitant un changement de signe dans un poids de goulot d'étranglement) inaccessibles, quel que soit le paysage de perte.

2. Analyse des Singularités

Les auteurs identifient les singularités dans l'ensemble invariant comme des configurations où un sous-ensemble de neurones devient effectivement déconnecté des nœuds d'entrée et de sortie.

• Correspondance Topologique : Une singularité correspond à une chute du rang de la Jacobienne, ce qui se produit si et seulement si un ensemble d'arêtes ayant des poids nuls déconnecte un sous-graphe de neurones cachés du reste du réseau.
• Inaccessibilité : L'article prouve que sous un flot de gradient standard à partir d'initialisations génériques, les singularités sont inaccessibles en temps fini.
  • Raison 1 : La condition pour une singularité nécessite une égalité exacte $\sum_{v \in W} c_v = 0$ pour un certain sous-ensemble de nœuds $W$. Pour des initialisations aléatoires, la probabilité de cette égalité exacte est nulle.
  • Raison 2 : Même si une telle configuration existe, la Proposition 7 montre que le rang de la Jacobienne est invariant sous le flot de gradient ; ainsi, une trajectoire ne peut pas passer d'un point régulier à un point singulier.

3. Élagage Différentiable via la Régularisation

Puisque les singularités sont inaccessibles via le flot de gradient standard, les auteurs proposent d'utiliser la régularisation pour les induire.

• Régularisateur de Norme Nucléaire : En pénalisant la norme nucléaire de la Jacobienne, la dynamique d'entraînement est encouragée à converger vers des configurations singulières, effectuant ainsi un élagage différentiable et agnostique à la structure.
• Observation Empirique : Des expériences numériques sur des MLP montrent que ce régularisateur parvient à déconnecter une partie significative des neurones cachés (par exemple, 18 sur 20). Étonnamment, la régularisation L1 standard (généralement associée à la parcimonie des poids) induit empiriquement un comportement similaire et un élagage efficace sans perte, suggérant un lien profond et inexpliqué entre la parcimonie L1 et l'induction de singularités.

Résultats

• Théoriques : L'article établit que la topologie de l'ensemble invariant est dictée par la structure du graphe du réseau (spécifiquement les goulots d'étranglement) et par le vecteur d'équilibre $c$ dépendant de l'initialisation. Il prouve que la déconnexion empêche l'accessibilité de l'optimisation globale dans certaines topologies.
• Singularités : Il est prouvé que les singularités correspondent à des sous-réseaux « tués ». Bien qu'elles fassent théoriquement partie de la variété, elles sont dynamiquement inaccessibles sous un entraînement standard, à moins que l'initialisation ne soit pathologique ou qu'une régularisation spécifique ne soit appliquée.
• Expérimentations :
  • Dans un DAG de type « jouet » avec un goulot d'étranglement de sortie, les auteurs démontrent que si l'initialisation viole la condition d'équilibre, le réseau échoue à apprendre une fonction cible nécessitant un basculement de signe dans le poids du goulot d'étranglement.
  • Sur le jeu de données de cancer du sein (Breast Cancer), la régularisation par norme nucléaire parvient à faire chuter le rang de la Jacobienne, déconnectant les neurones. La régularisation L1 produit des résultats comparables, tandis que la régularisation L2 et l'entraînement non régularisé maintiennent une connectivité totale.
  • Les expériences d'élagage confirment que les réseaux poussés vers des singularités permettent un élagage sans perte (suppression des neurones déconnectés sans dégradation des performances), alors que les réseaux régularisés par L2 souffrent de baisses de performance lors de la suppression de neurones.

Signification et Revendications

L'article affirme apporter un éclairage sur l'interaction entre la topologie du réseau et la géométrie de l'optimisation. En caractérisant l'ensemble invariant comme une variété algébrique contrainte par des conditions d'équilibre quadratiques, les auteurs fournissent un cadre rigoureux pour comprendre pourquoi certains chemins d'entraînement sont bloqués (déconnexion) et comment les singularités sont liées aux sous-réseaux.

La signification primaire réside dans l'offre d'une voie structurée pour la conception de mécanismes d'élagage. Plutôt que de s'appuyer uniquement sur des contraintes de parcimonie heuristiques, les auteurs suggèrent d'exploiter la structure de l'espace d'optimisation (spécifiquement, pousser le système vers les singularités) pour parvenir à une compression de modèle efficace et sans perte. L'observation selon laquelle la régularisation L1 favorise implicitement ces configurations singulières suggère que les méthodes de parcimonie standard exploitent déjà ces propriétés géométiques, même si le mécanisme n'était auparavant compris qu'en termes de parcimonie des poids.

Les auteurs restent modestes quant aux limites, notant que leurs garanties théoriques reposent sur le flot de gradient et des fonctions d'activation homogènes avec des pertes non régularisées. Ils reconnaissent que les optimiseurs à temps discret (comme Adam) et les termes de régularisation explicites peuvent violer les lois de conservation dérivées, et que l'application pratique du régularisateur de norme nucléaire est actuellement limitée par des contraintes de calcul.