📊 statistics

Quantitative Gaussian-Process limits of Tensor Programs

Cet article établit une théorie de convergence quantitative pour les limites de processus gaussiens à largeur infinie des réseaux de neurones aléatoires aux architectures arbitraires, incluant les schémas de partage de poids, en fournissant des bornes d'erreur explicites de largeur finie de l'ordre de $O(1/\sqrt{N})$ dans la distance de Wasserstein en utilisant le cadre du programme tensoriel.

Auteurs originaux : Andrea Agazzi, Eloy Mosig García, Dario Trevisan

Publié 2026-07-08

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Andrea Agazzi, Eloy Mosig García, Dario Trevisan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes en train de cuisiner un gâteau géant et complexe. Dans le monde de l'intelligence artificielle, ce « gâteau » est un réseau de neurones, un programme informatique conçu pour apprendre des motifs. Les « ingrédients » sont des nombres appelés poids, et les « couches » du gâteau sont l'endroit où la magie opère.

Habituellement, pour faire un gâteau, vous avez besoin d'une quantité spécifique et finie de farine et de sucre. En IA, cela s'appelle un réseau à largeur finie. Il possède un nombre défini de neurones (comme un nombre défini de bols mélangeurs) dans chaque couche.

Mais les mathématiciens adorent se demander : « Que se passe-t-il si nous rendons le gâteau infiniment large ? » Et si nous avions une infinité de bols mélangeurs ?

La Grande Idée : La Limite du « Gâteau Infini »

Le papier d'Agazzi, García et Trevisan porte sur la compréhension de la relation entre le vrai gâteau fini (celui que nous pouvons réellement construire et faire fonctionner sur un ordinateur) et le gâteau infini théorique (un objet mathématique parfait et lisse appelé Processus Gaussien).

Pendant longtemps, nous savions que plus vous ajoutiez de couches ou plus vous rendiez les couches plus larges, plus le réseau fini commençait à ressembler à cet objet mathématique lisse et infini. C'est comme une image pixelisée qui semble floue et dentelée de près, mais qui devient une image parfaite et lisse lorsqu'on dézoome suffisamment.

Le Problème : Les études précédentes nous disaient qu'ils convergeaient, mais elles ne nous disaient pas à quelle vitesse ni à quel point ils étaient proches à une taille spécifique. C'était comme dire : « Votre gâteau finira par avoir le goût du gâteau parfait », sans vous dire si vous aviez besoin de 10 œufs supplémentaires ou de 1 000.

La Solution : Ce papier fournit une recette quantitative. Il donne une formule précise pour l'« erreur » (la différence de goût) entre le réseau fini et l'idéal infini.

Le Prisme du « Programme Tensoriel »

Pour résoudre cela, les auteurs utilisent un outil appelé Programmes Tensoriels. Considérez cela comme un traducteur universel.

L'Analogie : Imaginez que vous avez différents types de sets LEGO : une maison simple, un vaisseau spatial complexe et un robot. Ils sont tous différents, mais ils sont tous construits en utilisant les mêmes règles de base : emboîter des blocs (Multiplication de Matrices) et les peindre (fonctions non linéaires).
L'Astuce du Papier : Au lieu d'analyser chaque set LEGO individuellement, les auteurs ont créé un « langage maître » (les Programmes Tensoriels) qui décrit n'importe quelle structure de réseau — qu'il s'agisse d'un simple réseau de propagation avant (feed-forward), d'un réseau récurrent (comme une boucle de mémoire), ou même de parties d'un Transformer (la technologie derrière les chatbots d'IA modernes).
Pourquoi c'est important : Cela leur permet de prouver un grand théorème qui couvre toutes ces différentes architectures à la fois, plutôt que d'écrire une nouvelle preuve pour chaque nouveau type de réseau inventé.

Le Résultat Principal : La Règle de la « Racine Carrée »

La découverte la plus importante du papier est une règle spécifique concernant l'erreur.

Si vous avez un réseau d'une largeur de $n$ (le nombre de neurones dans une couche), la différence entre votre réseau fini et l'idéal infini diminue à un taux de $1/\sqrt{n}$ .

La Métaphore : Imaginez que vous essayez de deviner la taille moyenne des habitants d'une ville.
- Si vous interrogez 4 personnes, votre estimation pourrait être très erronée.
- Si vous en interrogez 100, vous êtes beaucoup plus proche.
- Si vous en interrogez 10 000, vous êtes très proche.
- Le papier prouve que pour ces réseaux de neurones, la « proximité » s'améliore exactement aussi vite que la racine carrée du nombre de neurones augmente. Si vous quadruplez la taille de votre réseau, vous réduisez l'erreur de moitié.

Gérer les « Parties Délicates »

Le papier traite également de deux complications spécifiques qui rendent les réseaux du monde réel désordonnés :

Partage de Poids : Dans certains réseaux (comme ceux qui se souviennent des choses au fil du temps, ou les « Réseaux de Neurones Récurrents »), le même ensemble de poids est réutilisé plusieurs fois, comme l'utilisation de la même cuillère pour mélanger différents bols. Les auteurs montrent que leur mathématique fonctionne parfaitement même lorsque la même « cuillère » est utilisée encore et encore.
Mécanismes d'Attention : L'IA moderne (comme les modèles qui écrivent des essais ou du code) utilise l'« Attention » pour se concentrer sur des parties spécifiques de l'entrée. Cela implique le calcul de « noyaux » (essentiellement, à quel point une partie des données se soucie d'une autre). Les auteurs ont étendu leur mathématique pour inclure ces variables « scalaires », prouvant que même ces architectures modernes et complexes suivent la même règle de $1/\sqrt{n}$ .

La Stratégie de « Preuve » : Construire Ligne par Ligne

Comment ont-ils prouvé cela ? Ils n'ont pas essayé de regarder tout le gâteau géant d'un coup. À la place, ils l'ont regardé ligne par ligne.

Imaginez que le réseau est une chaîne de montage.

Ils commencent au début (l'entrée).
Ils prouvent que si la première étape est proche de l'idéal, la deuxième étape sera également proche.
Ils utilisent une technique appelée couplage. Imaginez que vous avez deux boulangers : l'un faisant le vrai gâteau (fini) et l'autre faisant le gâteau parfait (infini). Les auteurs montrent comment les faire utiliser exactement les mêmes ingrédients aléatoires (bruit) à chaque étape. Parce qu'ils utilisent le même bruit aléatoire, toute différence dans le gâteau final est purement due à la taille du réseau, et non à la chance aléatoire.

Ce Qu'Ils Ont Testé (Les Expériences)

Pour s'assurer que leurs mathématiques n'étaient pas seulement théoriques, ils ont réalisé des simulations informatiques. Ils ont construit des réseaux de différentes tailles (peu profonds, profonds, récurrents et résiduels) et ont mesuré à quel point la sortie était proche de l'idéal théorique.

Ils ont constaté qu'à mesure qu'ils rendaient les réseaux plus larges, la « distance » entre la sortie réelle et la sortie parfaite chutait exactement comme leurs mathématiques le prédisaient. Les graphiques montraient une ligne claire sur une échelle logarithmique, confirmant que la règle de $1/\sqrt{n}$ est vérifiée même pour les structures d'IA modernes et complexes.

Résumé

En bref, ce papier est une garantie mathématique. Il nous dit que peu importe la complexité de l'architecture de votre réseau de neurones (tant qu'elle respecte les règles de leur « Programme Tensoriel »), si vous le rendez plus large, il se rapprochera d'un objet mathématique parfait et lisse. Et ils vous disent exactement à quel point vous devez l'élargir pour obtenir un niveau de précision spécifique. Cela transforme une promesse vague de « plus grand est meilleur » en une règle précise et calculable.

Résumé Technique : Limites Quantitatives des Programmes de Tenseurs par Processus Gaussien

Énoncé du Problème
Le papier traite de la convergence des réseaux de neurones aléatoires vers des processus gausiens (GP) dans la limite de largeur infinie. Bien que des résultats qualitatifs de type Théorème Central Limite (TCL) pour les réseaux entièrement connectés et le régime du Noyau de Tangente Neurale (NTK) soient bien établis, il existe un besoin de résultats de convergence quantitatifs et rigoureux pour une classe plus large d'architectures. Plus précisément, les auteurs visent à fournir des bornes d'erreur explicites pour la largeur finie des réseaux impliquant des schémas de partage de poids (par exemple, réseaux récurrents, transformeurs) et des graphes de calcul complexes, allant au-delà des simples structures de type feed-forward. L'objectif est de quantifier la distance entre les exécutions de réseaux à largeur finie et leurs homologues de processus gaussiens à largeur infinie dans la métrique de Wasserstein.

Méthodologie
Les auteurs utilisent le formalisme des Programmes de Tenseurs, spécifiquement le langage Netsor, pour abstraire les architectures de réseaux de neurones. Ce cadre traite les réseaux comme des séquences d'opérations élémentaires (MatMul et NonLin) agissant sur des variables de types spécifiques (variables H pour les états cachés, variables A pour les poids et variables G pour les pré-activations).

La méthodologie centrale comprend :

Règles d'Exécution Duales : Définir deux modes d'exécution pour un programme Netsor :
- Largeur finie : Multiplication matrice-vecteur standard avec des poids initialisés selon une loi gaussienne ( $W_{ij} \sim N(0, 1/m)$ ).
- Largeur infinie : Une limite où les multiplications matricielles sont remplacées par leurs approximations de la limite centrale gaussienne, traitant les variables G comme des variables aléatoires conjointement gaussiennes avec des covariances définies par des noyaux récursifs.
Couplage Quantitatif : La preuve emploie une induction ligne par ligne sur la structure du programme. Les auteurs construisent un couplage explicite entre les exécutions à largeur finie et à largeur infinie.
- Pour les opérations NonLin, l'erreur est contrôlée via la continuité de Lipschitz des fonctions d'activation.
- Pour les opérations MatMul, les deux exécutions sont conditionnellement gaussiennes étant donné les états cachés précédents. Les auteurs couplent ces lois conditionnelles en utilisant le même bruit gaussien standard. L'erreur résultante est réduite à l'estimation de la différence entre les moyennes conditionnelles et les racines carrées des covariances conditionnelles.
Lemmes Structurels : La preuve repose sur des lemmes de structure montrant que les moyennes et covariances conditionnelles sont des fonctions de dimension finie des matrices de Gram des variables parentes. Les auteurs utilisent la différentiabilité de ces fonctions au point de largeur infinie (après réduction des cas dégénérés) et appliquent une loi des grands nombres (LGN) quantitative des noyaux pour borner les déviations.
Extension à NetsorK : Pour couvrir les mécanismes d'attention et les couches de normalisation, le cadre est étendu à NetsorK, qui introduit des variables de noyau scalaires et des non-linéarités paramétriques scalaires. Cela nécessite de gérer les conditions de Lipschitz local et de garantir la non-dégénérescence des limites gaussiennes.

Contributions Clés

TCL Quantitative pour les Programmes de Tenseurs : Le résultat principal (Théorème 1.2) établit que pour un programme Netsor avec $L$ lignes, la distance de Wasserstein ( $W_p$ ) entre l'exécution à largeur finie mise à l'échelle et le processus gaussien à largeur infinie est bornée par $O(\sum_{m \in n_{hidd}} m^{-1/2})$ , où $n_{hidd}$ représente les largeurs des couches cachées. Cela fournit un taux de convergence explicite en inverse racine carrée.
Cadre Agnostique à l'Architecture : Les résultats s'appliquent à toute architecture exprimable comme un programme Netsor, incluant les réseaux feed-forward, les réseaux de neurones récurrents (RNN) avec partage de poids, et les réseaux évalués simultanément sur plusieurs entrées.
LGN de Noyau : Le papier dérive une loi des grands nombres quantitative pour les noyaux empiriques (Corollaire 1.3), montrant que les produits scalaires empiriques des états cachés convergent vers leurs espérances à largeur infinie avec le même taux $O(n^{-1/2})$ .
Extension à l'Attention : L'introduction du langage NetsorK et du Théorème 2.4 étend ces garanties quantitatives aux architectures impliquant des variables de noyau scalaires (scores d'attention) et des non-linéarités paramétriques scalaires (LayerNorm, Softmax), sous réserve de satisfaire des conditions spécifiques de non-dégénérescence et de Lipschitz.

Résultats

Taux de Convergence : Les bornes théoriques confirment que l'erreur entre les réseaux à largeur finie et leurs limites GP évolue selon l'inverse de la racine carrée des largeurs des couches cachées.
Validation Numérique : La section 5 présente des expériences numériques sur des MLP (Perceptrons Multicouches), des RNN déroulés dans le temps et des réseaux résiduels. En utilisant la distance de Wasserstein-1 découpée (Sliced Wasserstein-1), les auteurs observent des taux de convergence (pentes log-log) strictement plus raides que $-0.5$ (le plancher de bruit d'échantillonnage), confirmant que le signal de convergence architecturale est visible. Par exemple, les MLP profonds ont montré une pente de $-0.916$, et les réseaux résiduels de $-0.797$.
Gestion de la Dégénérescence : Le papier démontre comment réduire les lignes MatMul dégénérées (où la variance conditionnelle s'annule) en lignes NonLin, assurant la validité des bornes quantitatives sous les hypothèses de non-dégénérescence.

Signification et Revendications
Les auteurs positionnent ce travail comme un contrepartie quantitative de la théorie de limite qualitative fournie par le "Master Theorem" de Yang pour les programmes de tenseurs. Alors que le théorème de Yang offre une description qualitative large des limites de largeur infinie, ce papier fournit des bornes d'erreur explicites et vérifiables pour une riche classe d'architectures.

La signification réside dans :

Analyse Rigoureuse de la Largeur Finie : Passer des énoncés asymptotiques à des estimations d'erreur concrètes pour des réseaux de neurones pratiques à largeur finie.
Gestion du Partage de Poids : Adresser les limitations des TCL couche par couche indépendantes en capturant la structure gaussienne conditionnelle essentielle pour les architectures récurrentes ou à poids partagés.
Fondation pour des Travaux Futurs : En établissant un cadre quantitatif pour Netsor et NetsorK, ce papier pose les bases de l'analyse d'architectures modernes plus complexes (comme les Transformeurs) et potentiellement de l'extension de ces bornes à la dynamique d'entraînement, bien que le présent travail se concentre strictement sur le régime d'initialisation (passe avant).

Le papier reste modeste dans ses revendications, notant que le langage Netsor ne couvre pas encore toutes les opérations des architectures modernes sans extension, et que les bornes quantitatives reposent sur des hypothèses de régularité spécifiques (continuité de Lipschitz) et des conditions de non-dégénérescence.