Towards Understanding Gradient Flow Dynamics of Homogeneous Neural Networks Beyond the Origin

Résumé Technique : Vers la compréhension de la dynamique du flux de gradient des réseaux de neurones homogènes au-delà de l'origine

Énoncé du Problème
Les réseaux de neurones profonds modernes entraînés via des méthodes basées sur le gradient présentent souvent une forte capacité de généralisation malgré la sur-paramétrisation, un phénomène attribué à une régularisation implicite induite par l'algorithme d'entraînement. Bien que des progrès significatifs aient été réalisés dans la compréhension de la dynamique d'entraînement dans le régime du Noyau de Tangente Neuronale (NTK) (initialisation large) et lors des phases tardives de l'entraînement, le régime de « petite initialisation » reste moins bien compris. Dans ce régime, les réseaux opèrent en mode d'apprentissage de caractéristiques (feature-learning mode), mais l'évolution hautement non linéaire des poids pose des défis analytiques.

Des travaux antérieurs (par exemple, Maennel et al., 2018 ; Kumar et Haupt, 2024, 2025) ont établi que pour les réseaux de neurones homogènes avec une petite initialisation, les poids restent proches de l'origine pendant une période prolongée. Durant cette phase, les poids convergent en direction vers un point de Karush-Kuhn-Tucker (KKT) d'une Fonction de Corrélation Neuronale (NCF), un phénomène connu sous le nom de « convergence directionnelle précoce ». De plus, ces points KKT de phase précoce présentent souvent une parcimonie (sparsity). Cependant, le comportement du flux de gradient après que les poids s'échappent de l'origine et la préservation de la structure de parcimonie émergente durant cette transition n'ont pas été pleinement caractérisés. Cet article traite cette lacune en analysant la dynamique du flux de gradient des réseaux de neurones homogènes immédiatement après leur échappement de l'origine, jusqu'au premier point de selle rencontré.

Méthodologie et Configuration
L'article étudie les réseaux de neurones homogènes $H(x; w)$ qui sont $L$-positivement homogènes ($L \ge 2$), signifiant que $H(x; cw) = c^L H(x; w)$ pour $c \ge 0$. L'analyse suppose que le réseau possède des gradients localement lipschitiens, ce qui inclut les réseaux linéaires profonds et les réseaux avec des activations polynomiales ReLU ($p \ge 2$), mais exclut explicitement les réseaux ReLU standards ($p=1$) en raison de la non-différentiabilité à l'origine, bien que des résultats empiriques suggèrent des extensions potentielles.

L'objectif d'entraînement est la minimisation d'une fonction de perte $\mathcal{L}(w)$ via le flux de gradient :
$$\dot{w} = -\nabla \mathcal{L}(w)$$
L'auteur s'appuie sur le concept de la Fonction de Corrélation Neuronale (NCF), définie par $N(u) = \bar{e}_y^\top H(X; u)$, où $\bar{e}_y = -\ell'(0, y)$. L'analyse porte sur l'optimisation contrainte de $N(u)$ sur la sphère unité.

La méthodologie centrale implique :

1. Construction de la Trajectoire Limite : Définir une solution limite $p(t)$ qui représente le chemin du flux de gradient après l'échappement de l'origine. Ceci est réalisé en décalant temporellement la solution $\psi(t, \delta w_0)$ (où $\delta$ est l'échelle d'initialisation) par un terme dépendant de $\ln(1/\delta)$ et en prenant la limite lorsque $\delta \to 0$.
2. Analyse de Stabilité : Utiliser les propriétés des points KKT positifs de second ordre $\Delta$ de la NCF contrainte. Les auteurs supposent que la direction initiale des poids se situe dans l'ensemble stable d'un tel point KKT.
3. Sous-ensembles Préservant le Zéro : Introduire le concept de « sous-ensemble préservant le zéro » des poids — des poids initialisés à zéro qui restent à zéro tout au long de l'entraînement sous le flux de gradient. Ceci est utilisé pour analyser la préservation de la parcimonie.

Contributions Clés et Résultats

1. Dynamique du Flux de Gradient Post-Échappement (Théorèmes 4 et 10)
L'article établit que pour une initialisation suffisamment petite, la trajectoire du flux de gradient après l'échappement de l'origine suit étroitement un chemin limite spécifique $p(t)$, indépendamment de l'échelle d'initialisation spécifique $\delta$, à condition que la direction initiale des poids s'aligne avec un ensemble stable d'un point KKT positif de second ordre de la NCF.

• Réseaux de deux homogènes ($L=2$) : Le Théorème 4 montre qu'après un changement d'échelle temporelle de $O(\ln(1/\delta))$, la trajectoire $\psi(t, \delta w_0)$ converge vers $p(t)$ avec une borne d'erreur de $O(\delta^{\frac{\Delta}{\Delta + 8N(w^*)}})$.
• Réseaux Homogènes Profonds ($L > 2$) : Le Théorème 10 étend cela aux réseaux $L$-homogènes. Le temps d'échappement suit une échelle de $O(\delta^{-(L-2)})$, et la trajectoire converge de la même manière vers un chemin limite $p(t)$ avec une borne d'erreur spécifique.
• Implication : Le comportement du flux de gradient immédiatement après l'échappement de l'origine est principalement déterminé par le point KKT de la NCF auquel les poids se sont approchés pendant la proximité de l'origine.

2. Caractérisation du Premier Point de Selle (Corollaires 5, 6, 11, 12)
Les auteurs démontrent que la trajectoire limite $p(t)$ converge vers un point stationnaire (point de selle) de la perte d'entraînement. Par conséquent, pour une petite initialisation, la trajectoire réelle du flux de gradient $\psi(t, \delta w_0)$ s'approche de ce même point de selle après l'échappement de l'origine.

• L'article distingue les cas où le point de selle est fini (trajectoire bornée) et les cas où il est à l'infini (trajectoire non bornée, commune avec la perte logistique).
• Les résultats impliquent que le flux de gradient suit une trajectoire « de selle à selle », caractérisant spécifiquement le premier point de selle rencontré après l'origine.

3. Préservation de la Parcimonie dans les Réseaux de Propagation Avant (Section 4 et Théorème 18)
Une contribution critique est la preuve que la structure de parcimonie émergeant durant la phase « proche de l'origine » est préservée après l'échappement de l'origine, jusqu'au premier point de selle.

• Sous-ensembles Préservant le Zéro : Les auteurs prouvent que pour les réseaux homogènes de propagation avant (feed-forward), les lignes et colonnes des matrices de poids correspondant aux entrées de magnitude nulle dans un point KKT de la NCF forment un « sous-ensemble préservant le zéro ». Si ces poids sont initialisés à zéro, ils restent à zéro tout au long de l'entraînement sous le flux de gradient.
• Préservation de la Parcimonie : Puisque le flux de gradient avec une petite initialisation converge en direction vers un point KKT possédant une parcimonie spécifique (où certains poids sont nuls), et que ces poids nuls forment un sous-ensemble préservant le zéro, la structure de parcimonie est maintenue alors que le réseau s'échappe de l'origine et approche le premier point de selle.
• Théorème 18 : Formalise le fait que pour les réseaux $L=2$ et $L>2$, la magnitude des poids dans le sous-ensemble préservant le zéro reste négligeable ($O(\delta^{\text{exposant}}$) même après le temps d'échappement, préservant ainsi efficacement le schéma de parcimonie.

Validation Expérimentale
L'article fournit des expériences numériques (Figures 1, 4, 5, 6) utilisant des fonctions d'activation carrées ($L=2$) et des activations polynomiales ReLU.

• Activation Carrée : Les expériences confirment que les poids deviennent parcimonieux avant de s'échapper de l'origine et que cette parcimonie est préservée au point de selle suivant.
• Activation ReLU : Bien que le cadre théorique exclue le ReLU standard ($L=1$), les expériences sur les réseaux ReLU montrent que, bien que les poids ne deviennent pas parfaitement parcimonieux (plus d'entrées non nulles que dans le cas polynomial), la structure de parcimonie relative (où les petits poids restent petits) est préservée. Cela suggère que les conclusions peuvent s'étendre empiriquement aux réseaux ReLU, malgré l'absence de gradients localement lipschitiens à l'origine.

Signification et Revendications
L'article affirme fournir une caractérisation rigoureuse d'un segment spécifique de la dynamique d'entraînement : la transition de la phase « proche de l'origine » vers le premier point de selle.

• Mécanisme de Régularisation Implicite : Il lie la régularisation implicite observée dans les régimes de petite initialisation à la géométrie de la NCF et aux points KKT spécifiques vers lesquels le réseau converge.
• Stabilité de la Parcimonie : Il offre une explication théorique à la raison pour laquelle les schémas de parcimonie observés tôt dans l'entraînement persistent, en les attribuant à la nature « préservant le zéro » de sous-ensembles de poids spécifiques dans les architectures de propagation avant.
• Limites : Les auteurs déclarent explicitement la modestie de leur portée. Les résultats sont limités à :
  1. Les réseaux homogènes avec des gradients localement lipschitiens (excluant le ReLU standard).
  2. La dynamique uniquement jusqu'au premier point de selle rencontré après l'échappement de l'origine. Le comportement au-delà de ce point (par exemple, l'échappement du point de selle vers un minimum global) n'est pas couvert et est identifié comme une direction pour les travaux futurs.
  3. L'hypothèse selon laquelle la direction initiale se situe dans l'ensemble stable d'un point KKT positif de second ordre.

En résumé, l'article comble la lacune entre la convergence directionnelle de phase précoce et la phase d'entraînement suivante, démontant que les propriétés structurelles (spécifiquement la parcimonie) établies lorsqu'on est proche de l'origine dictent la trajectoire et la stabilité du réseau lorsqu'il commence à apprendre des caractéristiques et à approcher le premier point de selle.