🔬 condensed matter

Weak Correlations as the Underlying Principle for Linearization of Gradient-Based Learning Systems

Cet article propose que la linéarisation de l'apprentissage basé sur le gradient dans les réseaux de neurones profonds, particulièrement dans la limite de largeur infinie, découle de faibles corrélations entre les premières dérivées et les dérivées d'ordre supérieur de la fonction d'hypothèse, un principe utilisé pour dériver des bornes sur les écarts d'entraînement et caractérisé via une nouvelle méthode d'analyse des tenseurs aléatoires.

Auteurs originaux : Ori Shem-Ur, Khen Cohen, Aviv Orly, Yaron Oz

Publié 2026-08-13

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ori Shem-Ur, Khen Cohen, Aviv Orly, Yaron Oz

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de comprendre un orchestre massif et chaotique. Dans le monde de l'intelligence artificielle, cet orchestre est un « réseau de neurones », un programme informatique conçu pour apprendre à partir de données. Ces réseaux sont composés de millions de petites parties (appelées paramètres) qui communiquent toutes entre elles. Habituellement, lorsqu'ils apprennent, ils se comportent comme une tempête sauvage et non linéaire — changeant de manières complexes et imprévisibles, ce qui les rend incroyablement difficiles à cartographier.

Cependant, les scientifiques ont découvert un tour de passe-passe étrange : si vous rendez l'orchestre assez grand (en ajoutant tellement de musiciens qu'il approche l'infini), le chaos se calme soudainement. Le réseau commence à se comporter comme une ligne simple et droite. C'est ce qu'on appelle la limite du « Neural Tangent Kernel » (NTK). Imaginez cela comme une pelote de laine emmêlée qui, lorsqu'elle est étirée à une taille massive, ressemble soudainement à une corde parfaitement droite. Pendant des années, les chercheurs ont su que cela se produisait, mais ils se demandaient pourquoi. Est-ce de la magie ? Est-ce simplement un effet secondaire des mathématiques ? Et pourquoi ce comportement de « ligne droite » échoue-t-il parfois à prédire comment les réseaux réels, de taille finie, se comportent sur des tâches complexes ?

Ce document, intitulé « Neural Tangent Kernel Perspective on Parameter-Space Symmetries », plonge dans ce mystère. Les auteurs, une équipe de l'Université de Tel Aviv, proposent une nouvelle façon d'aborder le problème. Ils suggèrent que la raison pour laquelle ces réseaux géants deviennent des lignes droites est due à des « corrélations faibles ». Imaginez les parties du réseau comme un groupe d'amis. Dans un réseau normal et désordonné, tout le monde bavarde et influence les décisions des autres. Mais dans ces réseaux géants et linéaires, les amis se parlent à peine. Le papier soutient que ce manque de connexion (faible corrélation) entre les différentes parties du réseau est la cause fondamentale du comportement en ligne droite. Ils n'ont pas seulement deviné cela ; ils ont construit une nouvelle boîte à outils mathématiques pour le prouver et ont montré que lorsque ces corrélations sont faibles, le réseau doit se comporter de manière linéaire. Ils ont également utilisé des simulations informatiques pour montrer que cette théorie tient la route en pratique, aidant ainsi à expliquer pourquoi certains réseaux apprennent mieux que d'autres et pourquoi la théorie de l'« infini » rate parfois sa cible dans le monde réel.

L'histoire de l'orchestre silencieux

Pour comprendre ce que les auteurs ont trouvé, revenons à notre orchestre. Lorsqu'un réseau de neurones apprend, il ajuste ses boutons internes (paramètres) pour devenir meilleur dans une tâche, comme reconnaître un chat sur une photo. Habituellement, tourner un bouton affecte beaucoup d'autres de manière complexe et non linéaire. C'est comme si le fait pour le batteur de changer de rythme faisait soudainement changer la hauteur de la voix du violoniste, ce qui poussait ensuite le bassiste à changer d'instrument. C'est un désordre.

Mais les auteurs ont remarqué quelque chose de spécial concernant les réseaux « infinis ». Ils ont réalisé que pour que le réseau agisse comme une ligne droite simple, les « boutons » doivent cesser de s'influencer mutuellement de manière profonde et emmêlée. Ils appellent cela des corrélations de dérivées faibles.

Voici une façon simple de l'illustrer : Imaginez que vous essayiez de prédire la météo.

Corrélation forte (Le réseau désordonné) : Vous regardez le vent, et il vous indique la température. Mais la température indique aussi le vent, et l'humidité indique les deux. Tout est connecté dans une toile géante et emmêlée. Changer une seule chose crée des répercussions dans tout le système selon une courbe sauvage et imprévisible.
Corrélation faible (Le réseau linéaire) : Vous regardez le vent, et il vous indique la température. Mais la température ne se soucie plus vraiment du vent. Ils sont principalement indépendants. Si vous changez le vent, la température change d'une manière simple et prévisible, en ligne droite.

Le papier prouve que la linéarité est exactement la même chose que d'avoir ces corrélations faibles. Si les parties du réseau sont « faiblement corrélées » (elles ne se parlent pas beaucoup), l'ensemble du système devient linéaire. Si elles sont fortement corrélées, le système reste désordonné et non linéaire.

Le mystère de « l'œuf ou la poule »

Cette découverte résout un grand puzzle. Pendant longtemps, on a pensé que le réseau devenait linéaire simplement parce qu'il était immense. Mais ce papier suggère que c'est en réalité parce que la manière spécifique dont ces grands réseaux sont construits rend leurs parties indépendantes les unes des autres.

Les auteurs abordent également une question délicate : cette indépendance est-elle une bonne ou une mauvaise chose ?

La vue « Statique » : Certains pourraient penser que, puisque les parties ne se parlent pas, le réseau est « statique » et se contente de mémoriser les choses de manière simple.
La vue du « Biais » : Les auteurs suggèrent une idée plus profonde. Ils soutiennent que ces corrélations faibles sont en fait une forme de suppression du biais. Si les parties du réseau sont trop connectées, elles pourraient forcer le réseau à apprendre un motif spécifique et étrange qui n'est pas réellement présent dans les données. En gardant les corrélations faibles, le réseau reste « ouvert d'esprit » et apprend les données elles-mêmes.

Cependant, le papier souligne un paradoxe. Bien que ce comportement « statique » et linéaire soit mathématiquement beau et facile à étudier, les réseaux de neurones du monde réel (qui sont finis, et non infinis) surpassent souvent ces modèles linéaires. Pourquoi ? Les auteurs suggèrent que peut-être les réseaux réels ont besoin d'une certaine connexion (une certaine corrélation) pour apprendre les motifs complexes et non linéaires du monde réel. Si vous forcez le réseau à être trop linéaire (trop décorrélé), il pourrait passer à côté de la « saveur » des données.

Ce qu'ils ont réellement fait

Les auteurs ne se sont pas contentés de parler de cela ; ils ont construit un nouveau langage mathématique pour le décrire. Ils ont introduit une façon de mesurer le « comportement asymptotique » des tenseurs aléatoires (qui sont juste des grilles de nombres multidimensionnelles sophistiquées qui changent à mesure que le réseau croît). Considérez cela comme une nouvelle règle qui peut mesurer à quel point un réseau est « sauvage » ou « calme » à mesure qu'il grandit.

En utilisant cette nouvelle règle, ils ont :

Prouvé la connexion : Ils ont démontré mathématiquement que si les corrélations sont faibles, le réseau doit devenir linéaire. C'est une relation « si et seulement si ».
Vérifié les mathématiques avec des simulations : Ils ont mené des expériences informatiques sur de vrais ensembles de données (comme MNIST et CIFAR10) avec différentes tailles de réseaux et vitesses d'apprentissage. Ils ont mesuré à quel point le réseau réel déviait de la prédiction de la « ligne droite ».
Trouvé les limites : Ils ont découvert que la prédiction de la « ligne droite » fonctionne très bien lorsque le réseau est immense et que le taux d'apprentissage est bien réglé. Mais si vous rendez le taux d'apprentissage trop rapide ou le réseau trop petit, la « corrélation faible » se brise, et le réseau redevient désordonné et non linéaire.

Ce qu'il faut retenir

Le papier suggère que la « magie » des réseaux de neurones larges n'est pas de la magie du tout. C'est le résultat du fait que les parties du réseau deviennent si nombreuses qu'elles cessent de s'interférer les unes avec les autres. Ce « silence » entre les parties est ce qui permet au réseau de se comporter comme une ligne droite simple.

Mais voici le rebondissement : les auteurs suggèrent que ce silence pourrait être la raison pour laquelle ces réseaux infinis perdent parfois face aux réseaux réels et finis. La vie réelle est désordonnée et connectée. Peut-être que les meilleurs réseaux ne sont pas ceux qui sont parfaitement silencieux et linéaires, mais ceux qui trouvent un juste milieu — où ils sont principalement linéaires mais possèdent encore juste assez de « commérages » (corrélation) pour apprendre les secrets complexes et non linéaires du monde.

En bref, le papier nous offre un nouveau prisme pour comprendre pourquoi les grands réseaux de neurones se comportent comme ils le font. Il nous dit que la clé de leur simplicité est leur manque de connexion, mais il nous avertit aussi qu'un excès de simplicité pourrait nous faire passer à côté de l'essentiel.

Résumé technique : Perspective du noyau tangent neural sur les symétries de l'espace des paramètres

Énoncé du problème

Les modèles d'apprentissage profond, particulièrement les réseaux de neurones sur-paramétrés, sont souvent modélisés comme des systèmes dynamiques non linéaires possédant de nombreux degrés de liberté en interaction. Bien que le cadre du Noyau Tangent Neural (NTK) ait établi que les réseaux de neurones à largeur infinie se comportent de manière linéaire par rapport à leurs paramètres dans la limite de largeur infinie, les mécanismes fondamentaux pilotant cette linéarisation restent partiellement compris. La littérature existante a débattu du « paradoxe de l'infériorité du NTK », où l'apprentissage basé sur le NTK sous-performe souvent par rapport aux réseaux de largeur finie sur des données réelles. De plus, les analyses théoriques précédentes de la linéarisation ont souvent été restreintes à des architectures spécifiques, reposaient sur la moyenne des valeurs de corrélation plutôt que sur leur comportement asymptotique, ou n'ont pas réussi à fournir une équivalence unifiée entre la linéarisation et les propriétés structurelles sous-jacentes. Ce document cherche à identifier la cause fondamentale de la linéarisation dans les systèmes d'apprentissage basés sur la descente de gradient et à fournir un cadre rigoureux et général pour analyser les écarts par rapport à la linéarité pendant l'entraînement.

Méthodologie

Les auteurs introduisent un nouveau cadre analytique centré sur les corrélations de dérivées faibles et un nouvel outil mathématique pour caractériser le comportement asymptotique des tenseurs aléatoires.

Comportement asymptotique des tenseurs aléatoires : Le document définit une « Norme de Tenseur Subordonnée » combinée à une « Notation Grand-O Stochastique » pour caractériser le comportement asymptotique des tenseurs aléatoires lorsque la taille du système (paramètre limite $n$ ) tend vers l'infini. Cette notation permet de borner rigoureusement les séquences de tenseurs aléatoires, répondant aux défis liés à la stochasticité et à la complexité des composantes. Les auteurs prouvent l'existence et l'unicité de bornes asymptotiques définies pour ces tenseurs en utilisant le lemme de Zorn.
Corrélations de dérivées : Les auteurs définissent un ensemble de fonctions de corrélation, $C_{D,d}(\theta)$ , qui mesurent la corrélation entre la première dérivée de la fonction d'hypothèse et ses dérivées d'ordre supérieur (spécifiquement, l'interaction entre la dérivée d'ordre $D$ et $d$ copies de la première dérivée). Ces corrélations sont normalisées par le taux d'apprentissage et les termes factoriels.
Théorèmes d'équivalence : La contribution théorique centrale est l'établissement d'une équivalence entre la linéarité de la dynamique d'apprentissage et la faiblesse de ces corrélations de dérivées à l'initialisation.
- Théorèmes 3.1 & 3.2 : Le document prouve que pour un apprentissage basé sur la descente de gradient, le système présente un comportement linéaire (où la fonction d'hypothèse et ses dérivées évoluent linéairement) si et seulement si les corrélations entre la première et les dérivées d'ordre supérieur décroissent à un taux spécifique (par exemple, $O(1/\sqrt{n})$ ou $O(1/n)$ ) lorsque $n \to \infty$ .
- Les preuves utilisent des développements en série de Taylor de la fonction d'hypothèse et de ses dérivées, démontant que l'évolution du système est gouvernée par une combinaison linéaire de ces corrélations.
Application aux réseaux de neurones : En utilisant le formalisme des « Programmes de Tenseurs » (étendant les travaux de Yang & Littwin), les auteurs appliquent leur cadre aux réseaux entièrement connectés (FCNN). Ils démontrent par induction que les FCNN larges avec une initialisation et des fonctions d'activation appropriées satisfont la condition d'être « faiblement corrélés », prouvant ainsi qu'ils sont des systèmes PGDML (Properly Normalized Gradient Descent-based Machine Learning).

Principales contributions

Équivalence Fondamentale : Le document établit que la linéarisation observée dans les réseaux de neurones larges est fondamentalement équivalente à l'existence de corrélations de dérivées faibles entre la première et les dérivées d'ordre supérieur de la fonction d'hypothèse à l'initialisation. Cela fournit une condition nécessaire et suffisante pour la linéarisation, allant au-delà des conditions suffisantes trouvées dans les travaux antérieurs.
Cadre Général : Contra%irement aux preuves précédentes restreintes à des architectures spécifiques, cette approche s'applique à tout système pouvant être décrit comme une composition d'opérations linéaires globales et de fonctions non linéaires point par point (incluant ceux qui sont en dehors du formalisme strict des Programmes de Tenseurs, tels que les réseaux avec des fonctions d'activation distinctes par neurone).
Bornes d'Écart : Les auteurs dérivent une borne sur l'écart par rapport à la linéarité pendant l'entraînement par Descente de Gradient Stochastique (SGD) au cours du temps. Cela généralise les résultats précédents pour la descente de gradient déterministe, montrant que pour les systèmes exponentiellement faiblement corrélés, l'écart reste borné par $O(s^0/m(n))$ sur $s$ étapes.
Nouvel Outil Analytique : L'introduction du formalisme du « Comportement Asymptotique des Tenseurs Aléatoires » fournit une méthode robuste pour analyser le comportement limite des tenseurs aléatoires, que les auteurs soutiennent être applicable au-delà de l'apprentissage profond à divers cadres mathématiques et physiques.

Résultats

Validation Théorique : Le document prouve que les réseaux de neurones larges sont $\sqrt{n}$ -faiblement corrélés et de corrélation de puissance (power-weakly correlated), confirmant que leur comportement linéaire émerge de la composition structurelle de sous-modèles faibles (les neurones devenant indépendants dans la limite de largeur infinie).
Sensibilité à l'Architecture : L'analyse révèle comment les modifications architecturales affectent les taux de linéarisation. Par exemple, la $n$ -ième dérivée de la fonction d'activation $\phi^{[n]}$ doit satisfaire $\phi^{[n]} \le O((n+1)!)$ pour garantir que le système reste faiblement corrélé.
Support Empirique : Des expériences numériques sur les jeux de données MNIST, CIFAR10 et FMNIST valident les prédictions théoriques. Les expériences comparent la dynamique d'entraînement des réseaux non linéaires contre leurs approximations linéaires (NTK). Les résultats montrent que l'erreur de linéarisation varie avec la largeur du réseau et l'échelle du taux d'apprentissage, avec des pentes de loi de puissance observées cohérentes avec (bien que légèrement plus plates que) les bornes supérieures théoriques.
Dynamique SGD : Les bornes dérivées confirment que, bien que la linéarisation tienne, l'écart par rapport à la limite linéaire s'accumule au cours des étapes d'entraînement, fournissant une explication théorique de la raison pour laquelle les réseaux de largeur finie peuvent diverger des prédictions NTK sur de longs horizons d'entraînement.

Signification et Revendications

Le document pose que les corrélations de dérivées faibles sont la cause fondamentale des attributs de linéarisation prévalents dans les réseaux de neurones larges. Les auteurs soutiennent que cette perspective recadre la compréhension du « paradoxe de l'infériorité du NTK » : l'apprentissage linéaire peut sous-performer les réseaux de neurones de largeur finie non pas parce que la linéarité est intrinsèquement supérieure, mais parce que les réseaux de largeur finie conservent des « biais » bénéfiques sous forme de corrélations de dérivées non nulles qui leur permettent de prioriser des structures de données réalistes par rapport à la limite linéaire « trop impartiale ».

La signification de ce travail réside dans sa capacité à :

Fournir un critère universel pour la linéarisation applicable à des systèmes d'apprentissage génériques, pas seulement aux réseaux de neurones.
Offrir une explication unifiée de pourquoi les réseaux larges se linéarisent, en les liant directement à l'indépendance statistique des paramètres à l'initialisation.
Permettre l'analyse de la dynamique d'entraînement (écart au cours du temps) dans des contextes stochastiques, ce qui est crucial pour les applications pratiques où la SGD est l'optimiseur standard.
Suggérer que l'introduction de corrélations spécifiques (non-linéarités dans la structure du biais) pourrait être une stratégie viable pour améliorer l'apprentissage dans les scénarios où la linéarisation stricte (limite NTK) est sous-optimale.

Les auteurs concluent que leur cadre offre une compréhension plus profonde et plus générale de la transition de l'« apprentissage de caractéristiques » (feature learning) vers la limite NTK, comblant le fossé entre les limites théoriques de largeur infinie et le succès empirique de l'apprentissage profond à largeur finie.