Résumé Technique : Au-delà de ReLU : L'influence des activations sur les noyaux neuronaux et les réseaux larges aléatoires

1. Problématique

La théorie moderne de l'apprentissage profond s'appuie largement sur l'étude des limites de largeur infinie des réseaux de neurones, caractérisées par deux objets mathématiques : le Neural Tangent Kernel (NTK) (qui régit la dynamique d'entraînement) et le Neural Network Gaussian Process (NNGP) (qui décrit le comportement du réseau à l'initialisation).

Cependant, la compréhension théorique de ces noyaux est jusqu'à présent très fragmentée. La plupart des résultats existants se limitent soit aux fonctions d'activation de type ReLU (ou ses puissances), soit à des fonctions infiniment lisses. Il existe un vide théorique concernant les fonctions d'activation couramment utilisées en pratique (comme SELU, ELU, ou LeakyReLU) qui présentent une non-linéarité ou une non-régularité spécifique en un point (généralement zéro). L'objectif de l'article est de caractériser l'espace de Hilbert à noyau reproduisant (RKHS) associé à ces noyaux pour une classe beaucoup plus large d'activations.

2. Méthodologie

Les auteurs adoptent une approche analytique rigoureuse basée sur la théorie des noyaux de produit scalaire sur la sphère ($S^d$). Leur méthodologie repose sur plusieurs piliers :

• Analyse de la régularité aux frontières : Ils utilisent le concept de "dual activation function" (introduit par Daniely et al.) pour transformer le problème de la structure du noyau en un problème d'étude du comportement asymptotique des fonctions d'activation aux points de non-différentiabilité (notamment en $0$).
• Décomposition en fonctions de référence : Ils décomposent les fonctions d'activation en une somme de fonctions de référence $s_k(x) = \frac{1}{2k!} \text{sgn}(x)x^k$ (qui capturent la non-régularité d'ordre $k$) et d'un reste lisse.
• Calcul de la décroissance des valeurs propres : En utilisant les travaux de Bietti et Bach, ils relient la décroissance des valeurs propres ($\mu_l$) de l'opérateur intégral associé au noyau à la régularité de la fonction d'activation. La décroissance des valeurs propres détermine directement la nature de l'espace RKHS (équivalence avec les espaces de Sobolev $H^s$).
• Analyse de la parité : Ils étudient l'impact de l'absence de biais (bias-free) et de la parité (fonctions paires/impaires) de l'activation sur la structure des noyaux.

3. Contributions Clés

L'apport majeur est le Théorème 9, qui fournit une caractérisation complète de l'espace RKHS pour le NTK et le NNGP. Les contributions se divisent en trois axes :

1. Caractérisation des RKHS pour les activations à régularité finie : Ils prouvent que pour une activation de régularité $s$ (où la non-régularité est en zéro), les RKHS sont équivalents à des espaces de Sobolev :
   • Pour le NNGP : $H^{d/2 + s + 1/2}(S^d)$
   • Pour le NTK : $H^{d/2 + s - 1/2}(S^d)$
2. Analyse des cas polynomiaux et infiniment lisses : Ils distinguent les activations polynomiales (dont l'espace RKHS est fini et dépend de la profondeur) des activations infiniment lisses mais non polynomiales (comme GELU ou Sigmoid), qui génèrent des noyaux universels.
3. Lien avec la régularité des trajectoires (Sample Paths) : Ils démontrent que les fonctions échantillonnées à partir du processus gaussien NNGP gagnent un "demi-ordre" de régularité par rapport à l'espace RKHS (Théorème 14).

4. Résultats Principaux

• Indépendance de la profondeur : Pour une large classe d'activations (non infiniment lisses, comme ReLU ou ELU), les RKHS sont équivalents quelle que soit la profondeur du réseau (pour $L \geq 3$). Cela suggère que, dans le régime des noyaux, la profondeur n'augmente pas la capacité d'approximation de l'espace fonctionnel.
• Cas des activations polynomiales : Contrairement aux autres, les activations polynomiales voient leur espace RKHS dépendre de la profondeur, la complexité des fonctions pouvant croître exponentiellement avec $L$.
• Effet du biais : L'absence de biais peut restreindre l'espace RKHS à des sous-espaces de fonctions paires ou impaires, modifiant ainsi la capacité du réseau.
• Régularité des réseaux à l'initialisation : Ils quantifient précisément la régularité des fonctions représentées par un réseau large à l'initialisation, confirmant que ces fonctions sont plus lisses que ce que l'on pourrait intuitivement penser.

5. Signification et Implications

Ce travail a des implications profondes pour la théorie de l'apprentissage profond :

• Généralisation : En identifiant les RKHS comme des espaces de Sobolev, les auteurs permettent d'appliquer les théories existantes sur l'overfitting et la généralisation (comme le "benign overfitting") à une vaste gamme d'architectures et d'activations.
• Biais spectral : Les résultats suggèrent que le choix de l'activation influence directement le biais spectral (la capacité du réseau à apprendre les basses fréquences avant les hautes fréquences).
• Modélisation théorique : L'étude montre que le régime des noyaux (NTK/NNGP) est un modèle robuste pour comprendre les propriétés de régularité, mais qu'il peut échouer à capturer les bénéfices de la profondeur pour les activations polynomiales.
• Physique et Optimisation : La caractérisation de la régularité est cruciale pour les réseaux de neurones informés par la physique (PINNs), où la capacité à calculer des dérivées d'ordre élevé est essentielle.