Résumé technique : Comment l'apprentissage de caractéristiques redéfinit l'espace des fonctions

1. Énoncé du problème

Les réseaux de neurones modernes (RN) se distinguent des méthodes à noyau fixe (telles que les modèles de caractéristiques aléatoires ou les régimes d'entraînement paresseux) par leur capacité à effectuer un apprentissage de caractéristiques — l'adaptation des représentations internes à la structure des données durant l'entraînement. Bien que le succès des RN soit souvent attribué à ce mécanisme, l'impact précis de l'apprentissage de caractéristiques sur l'espace des fonctions induit reste mal compris. Les caractérisations existantes des noyaux et des réseaux de neurones sont largement statiques ; elles décrivent l'espace des fonctions à l'initialisation ou dans la limite de la largeur infinie, mais échouent à expliquer comment les algorithmes d'entraînement, spécifiquement la descente de gradient, redessinent dynamiquement cet espace.

Ce travail aborde la question suivante : Comment le noyau (et l'espace des fonctions associé) évolue-t-il sous les mises à jour de gradient, et quelles informations sont progressivement apprises ? Les auteurs se concentrent sur les premières étapes de l'entraînement d'un réseau de neurones à deux couches sur un modèle à indice unique gaussien, un cadre connu pour capturer la classe la plus générale de fonctions apprenables dans le régime proportionnel de haute dimension.

2. Méthodologie

Les auteurs analysent l'évolution de l'espace des fonctions suite à une seule grande étape de descente de gradient sur les poids de la première couche d'un réseau à deux couches. La configuration implique :

• Modèle de données : Un modèle à indice unique gaussien $y_i = g(\langle w^*, x_i \rangle) + \epsilon_i$, où $x_i \sim \mathcal{N}(0, I_d)$.
• Architecture du réseau : Un réseau à deux couches $f(x) = \frac{1}{\sqrt{m}} \sum_{j=1}^m a_j \sigma(w_j^\top x)$ avec des activations ReLU ou générales lipschitziennes.
• Régime d'entraînement : Le « régime proportionnel » où le nombre d'échantillons $n$, le nombre d'unités cachées $m$ et la dimension $d$ tendent vers l'infini à des ratios fixes ($\alpha = n/d, \beta = m/d$). La taille de pas $\eta$ évolue comme $\Theta(d^\zeta)$ avec $\zeta \in [1/2, 1)$, permettant des mises à jour de poids significatives.
• Entraînement en deux étapes :
  1. Apprentissage de caractéristiques : Une seule étape de gradient met à jour les poids de la première couche $W$ tout en maintenant la deuxième couche $a$ fixe.
  2. Lecture linéaire : Les poids de la deuxième couche sont optimisés par régression ridge sur un nouvel ensemble d'échantillons.

L'approche analytique centrale consiste à caractériser la distribution des caractéristiques post-mise à jour et à déduire le noyau adaptatif aux données résultant. Les auteurs utilisent la théorie des matrices aléatoires, l'analyse spectrale d'opérateurs intégraux et des développements de type Taylor pour relier le noyau mis à jour au noyau isotrope initial.

3. Contributions et résultats clés

A. Approximation par un pic gaussien dépendant de la cible

L'article démontre qu'après une grande étape de gradient, la distribution des caractéristiques apprises est bien approximée par un pic gaussien dépendant de la cible. Plus précisément, la matrice de covariance des poids des caractéristiques se transforme d'une forme isotrope en :
$$\Gamma = A I_d + B w^* (w^*)^\top$$
où $A$ et $B$ sont des constantes dépendant de la taille de pas, des dimensions des données et de la fonction de lien $g$. Cela conduit à un noyau adaptatif aux données $k_1$ qui peut s'exprimer comme suit :
$$k_1(x, x') = k_0(\Gamma^{1/2}x, \Gamma^{1/2}x')$$
Cette formulation interprète l'apprentissage de caractéristiques comme une transformation distributionnelle soit dans l'espace des paramètres (déplaçant la distribution des poids), soit dans l'espace d'entrée (transformant la représentation des données).

B. Développement spectral et déformation du noyau

Les auteurs effectuent un développement de Taylor du nouveau noyau $k_1$ autour du noyau isotrope initial $k_0$. Ils démontrent que le « pic » (la mise à jour de rang un alignée avec $w^*$) introduit des termes d'ordre supérieur qui s'annulent à mesure que la dimension croît, laissant une perturbation dominante du premier ordre.

• Résultat : Le processus d'apprentissage de caractéristiques impose effectivement un composant de noyau supplémentaire dépendant de la cible.
• Mécanisme : Ce composant amplifie sélectivement les valeurs propres alignées avec la direction de la cible $w^*$ et mélange les fonctions propres principales.

C. Caractérisation explicite pour les activations ReLU

Pour le cas spécifique des activations ReLU, les auteurs fournissent une analyse spectrale précise :

1. Espace propre linéaire : La fonction linéaire alignée avec la cible, $\psi^*(x) = \langle x, w^* \rangle$, reçoit un boost sélectif de sa valeur propre. Les fonctions linéaires orthogonales à $w^*$ restent inchangées.
2. Mélange de l'espace propre principal : La fonction propre principale de l'opérateur mis à jour n'est pas purement l'harmonique constant (comme dans le noyau initial) mais devient une superposition du mode radial constant ($Y_0$) et d'un harmonique quadratique aligné avec la cible ($Y_2$).
3. Couplage : Cela révèle que l'apprentissage de caractéristiques couple le mode radial principal avec un harmonique quadratique aligné avec le signal, redessinant efficacement la géométrie de l'espace des fonctions pour privilégier les directions contenant le signal.

D. Validation numérique

Des expériences sur des données synthétiques confirment les résultats théoriques :

• Alignement : Le vecteur propre dominant du noyau mis à jour ($k_1$) montre un alignement croissant avec la caractéristique quadratique $Y_2$ à mesure que la force du pic $B$ augmente, tandis que le noyau initial ($k_0$) ne montre aucun tel alignement.
• Généralisation : Les réseaux de neurones entraînés avec une seule étape de gradient convergent vers la performance du noyau pic $k_1$, surpassant le noyau fixe $k_0$ dans l'apprentissage de la fonction cible, en particulier lorsque la cible contient des composantes non linéaires.

4. Signification et affirmations

L'article fournit une perspective précise de l'espace des fonctions sur l'apprentissage de caractéristiques en phase précoce. Sa revendication principale est que la descente de gradient ne se contente pas de redimensionner un noyau fixe ; elle induit une déformation adaptative aux données de l'espace des fonctions.

• Mécanisme d'apprentissage : L'apprentissage de caractéristiques est caractérisé comme une transformation qui améliore préférentiellement les directions de l'espace des fonctions alignées avec le signal dans les données.
• Dépendance à la taille de pas : L'ampleur de cette transformation est modulée par la taille de pas ; des pas plus grands induisent des déformations plus fortes et augmentent la contribution des caractéristiques non linéaires linéaires et d'ordre supérieur.
• Pont théorique : Les résultats comblent le fossé entre les noyaux adaptatifs aux données et les réseaux de neurones, suggérant que la « magie » de l'apprentissage de caractéristiques peut être comprise à travers le prisme de la manière dont la structure spectrale du noyau est modifiée pour s'aligner avec la fonction cible.

Les auteurs concluent que la compréhension de ces décalages distributionnels offre une voie potentielle pour « sauter » les phases d'entraînement précoces en initialisant directement les réseaux avec ces noyaux adaptés, bien qu'ils notent cela comme une direction pour des recherches futures plutôt que comme une application démontrée dans le présent travail.