Résumé Technique : Espaces de Variation des Réseaux de Neurones Profonds

Énoncé du Problème

La compréhension théorique de la profondeur dans les réseaux de neurones profonds demeure incomplète. Bien que les preuves empiriques suggèrent que la profondeur améliore la capacité de représentation, les cadres théoriques existants reposent largement sur des mesures de complexité basées sur les paramètres (par exemple, la largeur, le nombre total de paramètres ou la somme des carrés des poids). Ces mesures échouent souvent à capturer la complexité effective des prédicteurs appris, particulièrement dans les régimes de surparamétrage où le nombre de paramètres excède la taille des données. De plus, les théories existantes sur l'espace des fonctions pour les réseaux profonds sont fragmentées, souvent spécialisées pour les activations homogènes (comme ReLU), et utilisent des notions de complexité disparates qui sont difficiles à comparer. Une perspective unifiée est nécessaire pour distinguer la complexité fonctionnelle découlant de la composition répétée de non-linéarités de la complexité découlant simplement d'un rescalage linéaire composé à travers les couches.

Méthodologie

Les auteurs développent une théorie unifiée des espaces de fonctions pour les réseaux de neurones entièrement connectés profonds, nommée Espaces de Variation de Neurones Profonds ($V_L$). La méthodologie centrale implique les étapes suivantes :

1. Fonctions d'Activation Normalisées : Pour traiter uniformément les activations homogènes (ex. ReLU) et non-homogènes (ex. GELU, SiLU), les auteurs introduisent une famille de fonctions d'activation normalisées $\sigma_s(t) = \sigma(st)/s$ (ou $\sigma(st)/s^m$ pour les fonctions homogènes de degré-$m$). Cela sépare la « forme » de la caractéristique de sa « taille », garantissant que les caractéristiques avec des échelles différentes incorrent un coût de norme proportionnel à leur constante de Lipschitz.
2. Construction Récursive : Les espaces de fonctions sont définis de manière récursive. La couche de base $B_1$ consiste en un dictionnaire de fonctions affines. Les couches suivantes $B_L$ sont définies comme l'enveloppe convexe absolument fermée des compositions $\sigma_s \circ f$, où $f \in B_{L-1}$.
3. Normes Variationnelles : L'espace $V_L$ est équipé d'une norme atomique (ou de jauge) $\|f\|_{V_L}$, définie comme l'infimum de $c > 0$ tel que $f \in cB_L$. Cette norme mesure le « coût » de la représentation d'une fonction comme une combinaison convexe de fonctions activées de la couche précédente.
4. Représentations Intégrales : Les auteurs établissent que les fonctions dans $V_L$ admettent des représentations intégrales par rapport à des mesures finies sur l'espace des fonctions de la couche précédente et des paramètres d'échelle. Cela connecte les espaces profonds aux espaces de Barron généralisés et aux espaces d'arbres neuronaux.
5. Comparaison avec les Coûts Existants : La norme proposée est comparée à d'autres coûts de représentation, incluant la somme des carrés des poids (SOSW) et diverses normes de groupe ($\ell_{2,1}$, $\ell_{1,1}$). Les auteurs démontrent que leur norme est une véritable norme de Banach sur l'espace des fonctions, alors que beaucoup de coûts existants agissent comme des quasi-normes ou des pénalités additives qui ne tiennent pas compte de l'amplification exponentielle du résultat de la fonction due au rescalage par couche.

Contributions Clés

1. Cadre Unifié pour des Activations Générales : L'article fournit un cadre unique d'espace de fonctions applicable à une large famille de fonctions d'activation continues, incluant les non-homogènes. Il prouve que pour de nombreuses activations de type « ReLU » (Leaky ReLU, GELU, SiLU, etc.), les espaces de fonctions induits sont norm-équivalents à l'espace ReLU, avec des bornes d'équivalence explicites dépendant de la profondeur.
2. Nouveau Théorème de Représentant : Les auteurs proument un théorème de représentant montrant que les solutions aux problèmes d'ajustement de données pénalisés par la norme sur $V_L$ sont réalisées par des réseaux de neurones à largeur bornée. Spécifiquement, pour les activations homogènes, la solution est un réseau de largeur finie ; pour les activations non-homogènes, la solution peut impliquer des atomes limites ($\sigma_0, \sigma_\infty$) mais reste à largeur bornée.
3. Bornes de Complexité de l'Espace de Fonctions : De nouvelles bornes sont dérivées pour la complexité de Rademacher empirique du pire cas et les entropies métriques $L_p(\mu)$ des boules unitaires $B_L$. Ces bornes croissent seulement modérément avec la profondeur (souvent de manière polynomiale ou linéaire en $L$, et dans de nombreux cas indépendamment de $L$ pour les activations 1-Lipschitziennes), contrastant avec la croissance exponentielle souvent impliquée par les analyses basées sur le nombre de paramètres.
4. Résultat de Saturation de la Profondeur : Dans le cas univarié de ReLU, les auteurs prouvent un théorème de « saturation de la profondeur » : les boules unitaires profondes satisfont $B_2 \subset B_L \subset 2B_2$ pour tout $L \ge 2$. Cela implique que la profondeur n'ajoute aucune nouvelle diversité fonctionnelle au-delà d'un rescalage constant de la classe peu profonde.
5. Contrôle de la Fréquence : En conséquence du résultat de saturation univarié, les auteurs montrent que les fonctions multivariées dans les classes ReLU à norme profonde ne peuvent pas présenter de hautes fréquences le long de n'importe quelle direction individuelle du domaine d'entrée.

Résultats Clés

• Équivalence de Norme : Pour une large gamme d'activations (Leaky ReLU, GELU, SiLU, Mish, etc.), les espaces de variation profonds $V_L^\sigma$ sont norm-équivalents à l'espace ReLU $V_L^{\text{ReLU}}$. Cependant, les constantes d'équivalence peuvent croître avec la profondeur pour les activations non-homogènes.
• Bornes de Complexité :
  • Complexité de Rademacher : La complexité croît au plus en $\sqrt{L}$ (ou $L$ pour les activations non-1-Lipschitziennes) à des facteurs polylogarithmiques près, et est indépendante de la largeur du réseau.
  • Entropie Métrique : L'entropie métrique des boules unitaires $B_L$ est bornée de manière similaire, croissant modérément avec la profondeur. Les bornes inférieures dérivées des classes peu profondes ($B_2$) montrent que l'écart entre les bornes supérieures et inférieures est faible pour des dimensions d'entrée élevées.
• Saturation de la Profondeur (ReLU Univarié) : L'article prouve que pour les réseaux ReLU univariés, augmenter la profondeur n'élargit pas l'ensemble des fonctions représentables au-delà d'un facteur constant (spécifiquement, un facteur de 2) de la classe peu profonde $B_2$. Des fonctions comme la fonction en dents de scie de Telgarsky, souvent citées comme preuve de la puissance de la profondeur, nécessitent des poids exponentiellement grands (dans la norme de l'espace des fonctions) pour être représentées, annulant ainsi l'avantage de la profondeur lorsque la complexité est contrôlée par la norme plutôt que par le nombre de neurones.
• Contraintes de Fréquence : Les fonctions dans les classes ReLU profondes multivariées doivent présenter des basses fréquences le long de toute droite dans le domaine d'entrée. Si la restriction d'une fonction à une droite dépasse une variation totale de la dérivée seconde spécifique, elle ne peut pas être représentée dans aucune classe ReLU à norme profonde.

Signification et Revendications

L'article affirme qu'une perspective d'espace de fonctions offre de nouvelles intuitions structurelles sur la relation entre profondeur et complexité. La signification primaire réside dans la démonstration que de nombreux résultats de « séparation de profondeur » — où les réseaux profonds sont affirmés capables de représenter des fonctions à haute fréquence ou complexes plus efficacement que les réseaux peu profonds — reposent sur des mesures de coût de représentation (comme le nombre de paramètres ou la SOSW) qui échouent à pénaliser le rescalage composé des poids à travers les couches.

Lorsque la complexité est contrôlée par une véritable norme d'espace de fonctions (qui prend en compte la magnitude de la sortie de la fonction), les auteurs soutiennent que les avantages structurels de la profondeur sont bien plus limités qu'on ne le pensait auparavant. Spécifiquement :

• La profondeur ne génère pas intrinsèquement de nouvelles formes fonctionnelles dans le cas ReLU univarié ; elle permet seulement un rescalage.
• La capacité des réseaux profonds à représenter des fonctions à haute fréquence est contingente sur l'autorisation de laisser les poids croître exponentiellement avec la profondeur, ce qui est pénalisé par la norme proposée.
• Le biais inductif des réseaux profonds contrôlés par la norme est un contrôle de fréquence le long de toutes les directions, plutôt que la capacité de générer des oscillations de haute fréquence arbitraires.

Les auteurs concluent que bien que la profondeur puisse offrir des avantages dans des contextes spécifiques, ces avantages disparaissent lorsque la complexité d'un réseau est mesurée par une norme qui contrôle proprement la magnitude de la fonction, suggérant que l'« expressivité » de la profondeur est souvent un artefact d'un passage non contraint des paramètres plutôt que de l'application répétée de la non-linéarité.