📊 statistics

Revisiting the Neural Tangent Kernel: the role of large width and depth

Cet article remet en question la vue conventionnelle selon laquelle le noyau tangentiel neural (NTK) échoue à décrire les réseaux surparamétrés complexes en démontrant que, contrairement au régime d'« entraînement paresseux », les écarts d'activation agrégés des neurones persistent et qu'une mise à l'échelle appropriée de la profondeur et du temps d'entraînement produit des sorties non triviales et généralisables, même dans des réseaux infiniment larges et profonds.

Auteurs originaux : William St-Arnaud, Margarida Carvalho, Golnoosh Farnadi

Publié 2026-06-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : William St-Arnaud, Margarida Carvalho, Golnoosh Farnadi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un orchestre géant où chaque musicien est un minuscule neurone d'un cerveau informatique. Pendant des années, les scientifiques ont cru que si vous rendiez cet orchestre infiniment grand (en ajoutant une infinité de musiciens), la musique deviendrait ennuyeuse et statique. Ils pensaient que les musiciens joueraient leurs notes initiales pour toujours, sans jamais changer de mélodie, peu importe leur entraînement. C'était ce qu'on appelait le « régime paresseux ».

Cet article, « Revisiting the Neural Tangent Kernel », remet en question cette conclusion ennuyeuse. Les auteurs soutiennent que, si les musiciens individuels bougent à peine, l'orchestre tout entier est en train de danser et d'évoluer de manière complexe. Ils montrent également que si vous ajoutez trop de couches de musiciens (en rendant l'orchestre très profond), la musique peut s'effondrer en une note unique et répétitive — à moins de savoir exactement comment la diriger.

Voici une décomposition de leurs découvertes en utilisant des analogies simples :

1. L'orchestre « paresseux » est en fait en train de danser (Le problème de la largeur)

L'ancienne idée : Si vous avez une chorale massive (largeur infinie), chaque chanteur reste figé dans sa position de départ. Comme ils ne bougent pas, ils ne peuvent pas apprendre de nouvelles chansons ou de nouveaux motifs. Ils sont « paresseux ».

La nouvelle découverte : Les auteurs affirment que cette vision est trop étroite. C'est comme regarder une seule fourmi dans une colonie massive. La fourmi ne bouge peut-être pas beaucoup, mais la colonie dans son ensemble construit un château complexe.

L'analogie : Imaginez un stade rempli de gens tenant des cartes colorées. Si vous regardez une seule personne, sa carte bouge à peine. Mais si vous regardez toute la foule, le motif des couleurs change et évolue de manière spectaculaire pour former une image.
Le résultat : Même si les neurones individuels (les musiciens) restent proches de leur point de départ, l'effet combiné de millions d'entre eux crée un ensemble de caractéristiques dynamiques et évolutives. L'étiquette « paresseux » est trompeuse car le groupe apprend des motifs complexes même si les individus semblent statiques.

2. Le problème de la Tour de Babel (Le problème de la profondeur)

L'ancienne idée : Si vous continuez à empiler des couches de neurones (en rendant le réseau de plus en plus profond), les mathématiques suggèrent que le réseau finit par oublier totalement les données. Il devient un prédicteur « indépendant des données ».

L'analogie : Imaginez jouer au jeu du « téléphone arabe » avec 1 000 personnes. Si vous transmettez un message le long de la ligne, au moment où il atteint la fin, le message a été tellement déformé qu'il ressemble à un bruit aléatoire ou à un bourdonnement unique et dénué de sens. Le réseau perd sa capacité à distinguer différents signaux.

La nouvelle découverte : Les auteurs ont trouvé un moyen d'empêcher le message de se transformer en bruit. Vous n'avez pas besoin de laisser le jeu se dérouler indéfiniment.

L'analogie : Pensez au réseau comme à un coureur. S'il court indéfiniment (temps infini), il se perd. Mais si vous lui dites de s'arrêter au moment parfait (arrêt précoce) et que vous ajustez la longueur de la piste (profondeur) en fonction du nombre de coureurs sur la piste (taille du jeu de données), il peut encore délivrer un message significatif.
Le résultat : En équilibrant soigneusement la profondeur du réseau, la quantité de données qu'il voit et le moment où l'on arrête l'entraînement, le réseau reste stable et expressif. Il ne s'effondre pas en une réponse monotone et constante ; il peut toujours distinguer différents signaux.

3. La zone « Goldilocks » (Ni trop chaud, ni trop froid)

L'article suggère que le « régime paresseux » n'est pas une impasse. C'est au contraire une zone « Goldilocks » :

Pas trop peu profond : Il a besoin d'assez de largeur pour créer des motifs complexes.
Pas trop profond (sans contrôle) : S'il devient trop profond sans contrôle, il s'effondre.
Juste ce qu'il faut : Si vous modulez la profondeur et arrêtez l'entraînement au bon moment, le réseau se comporte comme un instrument bien accordé capable de se généraliser à de nouvelles données, même s'il est théoriquement « paresseux ».

Résumé

Les auteurs nous disent : Ne rejetez pas encore la théorie de la « paresse ».

Individu vs Groupe : Ce n'est pas parce que les parties individuelles changent peu que le système entier ne peut pas apprendre. La dynamique de groupe est riche et complexe.
Contrôle de la profondeur : Les réseaux profonds n'ont pas à échouer. Si vous gérez la profondeur et arrêtez l'entraînement au bon moment, ils peuvent rester puissants et précis.

Essentiellement, ils réécrivent le manuel sur la compréhension de ces cerveaux informatiques massifs et surpuissants, montant qu'ils sont plus dynamiques et utiles qu'on ne le pensait auparavant, à condition de comprendre la mathématique de leur taille et de leur profondeur.

Résumé technique : Revoir le Noyau de Tangente Neuronale (Neural Tangent Kernel)

Énoncé du problème

Le cadre du Noyau de Tangente Neuronale (NTK) décrit la dynamique d'apprentissage des réseaux de neurones surparamétrés entraînés par descente de gradient, postulant que dans la limite d'une largeur infinie, le réseau se comporte comme une méthode à noyau avec un noyau fixe. Ce régime est souvent qualifié d'entraînement « paresseux » (lazy training) car les activations des neurones cachés individuels restent arbitrairement proches de leurs valeurs d'initialisation. Cependant, cette caractérisation présente deux défis théoriques majeurs :

L'axe de la largeur (Width) : Le régime « paresseux » implique que les caractéristiques (activations des neurones cachés) sont statiques et aléatoires, échouant ainsi à expliquer l'apprentissage de caractéristiques (feature learning) observé dans les réseaux profonds pratiques. Des travaux antérieurs suggèrent que si le NTK capture des dépendances complexes, il le fait sans extraire de caractéristiques significatives, créant un paradoxe entre son succès de généralisation et son absence d'évolution des caractéristiques.
L'axe de la profondeur (Depth) : À mesure que la profondeur du réseau augmente dans la limite de largeur infinie, le NTK converge vers un prédicteur indépendant des données (une matrice constante), rendant le modèle incapable de distinguer les points de données non présents dans l'ensemble d'entraînement. Cela suggère une impasse théorique pour les réseaux profonds sous le passage à l'échelle NTK standard, où le modèle perd son expressivité et ses capacités de généralisation.

Cet article conteste les conclusions selon lesquelles le NTK est purement « paresseux » concernant l'apprentissage de caractéristiques et que les NTK profonds dégénèrent inévitablement en prédicteurs triviaux.

Méthodologie

Les auteurs emploient une combinaison d'analyse asymptotique théorique et de validation empirique sur des réseaux ReLU entièrement connectés avec une initialisation gaussienne standard et une perte de l'erreur quadratique moyenne (MSE).

Cadre théorique

Notation et définitions : L'article utilise les définitions récursives du NTK ( $\Theta^{(L)}_\infty$ ) et de la covariance des neurones ( $\Sigma^{(L)}$ ) établies par Jacot et al. (2018a) et Arora et al. (2019b). Il se concentre sur la limite de largeur infinie où le NTK converge vers un noyau déterministe.
Analyse des caractéristiques (Largeur) : Les auteurs analysent le comportement agrégé des couches cachées plutôt que celui des neurones individuels. Ils dérivent une solution en forme fermée pour le produit scalaire des activations des couches cachées au cours du temps, $\langle h_t(x), h_t(x') \rangle$ , pour démontrer que si les déviations des neurones individuels s'annulent, la norme agrégée des déviations ne le fait pas.
Analyse de la profondeur : L'article étudie la limite lorsque $L \to \infty$ . Il introduit un noyau normalisé $\bar{\Theta}^{(L)}_\infty$ et analyse ses propriétés de convergence. Les auteurs dérivent des bornes asymptotiques sur les valeurs propres de la matrice du noyau et la fonction de prédiction $f_t(x)$ .
Stratégie de mise à l'échelle (Scaling) : Pour traiter la dégénérescence de la profondeur, l'article propose un régime de mise à l'échelle spécifique où la profondeur $L$ , le temps d'arrêt $t$ et la taille du jeu de données $n$ sont couplés. Plus précisément, il évite l'hypothèse de $t \to \infty$ ou $L \to \infty$ de manière isolée, exigeant plutôt que $L$ soit mis à l'échelle de manière appropriée par rapport à $n$ et $t$ pour rester dans la « phase ordonnée » de la dynamique du noyau.

Validation empirique

Modèles simplifiés et jeux de données : Les expériences sont menées sur des données synthétiques, le jeu de données text8 (utilisant des encodages one-hot) et MNIST.
Métriques : Les auteurs mesurent la déviation de la dernière couche cachée par rapport à son initialisation ( $\|h_t - h_0\|_2$ ) et les taux de convergence des valeurs et des valeurs propres du noyau à mesure que la profondeur augmente.

Contributions clés

1. Réévaluation du « régime paresseux » (Axe de la largeur)

L'article réfute la distinction binaire entre régimes « paresseux » (caractéristiques statiques) et d'« apprentissage de caractéristiques » (caractéristiques dynamiques).

Dynamique agrégée : Bien que les activations des neurones individuels convergent vers leurs valeurs d'initialisation à mesure que la largeur augmente, la norme agrégée des déviations dans la dernière couche cachée ne s'annule pas.
Preuve théorique (Proposition 4) : Les auteurs prouvent que pour les réseaux ReLU possédant au moins deux couches cachées, le produit scalaire des activations des couches cachées pour des entrées distinctes, $\langle h_t(x), h_t(x') \rangle$ , est une fonction strictement non constante de l'étape d'entraînement $t$ . Cela démontre que les corrélations statistiques entre les points de données évoluent pendant l'entraînement, même dans la limite de largeur infinie.
Implication : Le « régime paresseux » n'exclut pas l'apprentissage de caractéristiques ; plutôt, les caractéristiques évoluent d'une manière qui est capturée par la dynamique globale de la couche, et non par le suivi des neurones individuels.

2. Résolution de l'expressivité dans les réseaux profonds (Axe de la profondeur)

L'article traite de l'effondrement du NTK en un prédicteur indépendant des données à mesure que la profondeur augmente.

Convergence vers une constante : Les auteurs confirment que le noyau normalisé $\bar{\Theta}^{(L)}_\infty(x, x')$ converge vers $1/4$ pour $x \neq x'$ lorsque $L \to \infty$ (Théorème 2).
Stabilisation par mise à l'échelle (Théorème 3) : L'article démontre que la fonction de prédiction $f_t$ $f_{t}$ peut rester stable et expressive si la profondeur $L$ $L$ est mise à l'échelle par rapport à la taille du jeu de données $n$ $n$ et si le temps d'arrêt $t$ $t$ est choisi de manière appropriée (arrêt précoce).
- En fixant $t \in o(1/\lambda_n)$ (où $\lambda_n$ est la plus petite valeur propre) et en mettant à l'échelle $L$ de manière à ce qu'il soit suffisamment grand pour stabiliser le noyau mais pas trop grand pour induire l'indépendance vis-à-vis des données, le modèle conserve sa capacité à distinguer les points de données.
- Les auteurs fournissent une borne sur $L$ dépendant de la séparation des points de données : $L \in O\left(\frac{1}{\sqrt{1-\rho^{(2)}(x_i^\top x_j)}}\right)$ .
Généralisation : Ces résultats s'appliquent à des jeux de données arbitraires sur la sphère sans supposer que les données sont générées à partir d'une distribution de probabilité possédant une fonction de densité, relaxant ainsi les contraintes trouvées dans la littérature antérieure (ex. Xiao et al., 2020).

Résultats

Évolution des caractéristiques : Les résultats empiriques sur text8 montrent que bien que les déviations des neurones individuels soient faibles (cohérent avec un comportement « paresseux »), la déviation agrégée de la dernière couche cachée croît avec l'entraînement, confirmant la prédiction théorique de caractéristiques non statiques.
Convergence du noyau : Les expériences sur des données synthétiques et MNIST confirment que les valeurs du noyau convergent vers $1/4$ à un taux de $O(1/L)$ .
Stabilité : En appliquant les lois de mise à l'échelle dérivées (Théorème 3), les auteurs montrent que la norme de l'opérateur de projection dans la solution en forme fermée reste bornée ( $O(n)$ ) et que le modèle maintient son expressivité même pour de grandes profondeurs, à condition que la profondeur ne soit pas excessivement grande par rapport à la séparation des données.

Signification et affirmations

L'article affirme fournir une compréhension théorique plus nuancée de la mise à l'échelle dans les réseaux de neurones :

Nuance du « régime paresseux » : Il soutient que le descripteur de « régime paresseux » est incomplet. Bien que les neurones individuels soient statiques, la dynamique collective des couches permet l'apprentissage de caractéristiques, réconciliant le succès de généralisation du NTK avec le concept d'extraction de caractéristiques.
Viabilité des NTK profonds : Il conteste l'idée que les NTK de profondeur infinie sont des impasses théoriques. En mettant correctement à l'échelle la profondeur et le temps d'arrêt, le NTK peut produire des sorties non triviales et bien comportementées pour de grands jeux de données.
Alignement pratique : Les conclusions suggèrent que la zone « Goldilocks » (juste milieu) pour l'analyse du NTK réside dans les régimes où la profondeur est grande mais finie, et où l'arrêt précoce est employé, reflétant les réglages expérimentaux pratiques où $L \ll n$ .
Généralisation : Les auteurs fournissent un ensemble de propriétés clés (dominance diagonale, positivité définie à une profondeur suffisante) qui permettent de généraliser ces résultats à d'autres noyaux et architectures, telles que les CNN, bien qu'ils notent explicitement que leur analyse ne couvre pas les fluctuations stochastiques présentes dans les régimes où la profondeur dépasse largement la largeur (Hanin et Nica, 2020).

L'article conclut que le NTK reste un outil précieux pour analyser les réseaux surparamétrés, à condition de dépasser l'hypothèse de caractéristiques statiques et de temps d'entraînement/profondeur infinis sans mise à l'échelle.