📊 statistics

Kernel Renormalization in Bayesian Deep Neural Networks: the Equivalent Wishart Ansatz in the Proportional Regime

Ce papier introduit une approche approximative efficace utilisant un Ansatz de Wishart équivalent pour prédire les performances de généralisation des réseaux de neurones profonds bayésiens dans le régime proportionnel, capturant avec succès l'apprentissage de représentations par l'intermédiaire de noyaux renormalisés et de paramètres d'ordre auto-cohérents qui s'alignent bien avec les expériences d'échantillonnage empiriques.

Auteurs originaux : Paolo Baglioni, Christian Keup, Vincenzo Zimbardo, Rosalba Pacelli, Alessandro Vezzani, Raffaella Burioni, Pietro Rotondo

Publié 2026-05-29

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Paolo Baglioni, Christian Keup, Vincenzo Zimbardo, Rosalba Pacelli, Alessandro Vezzani, Raffaella Burioni, Pietro Rotondo

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de comprendre comment une machine géante et complexe (un Réseau de Neurones Profond) apprend à reconnaître des motifs, comme distinguer des images de chats et de chiens. Habituellement, les scientifiques tentent de comprendre ces machines en faisant semblant qu'elles sont infiniment grandes. Dans ce monde « infini », la machine se comporte de manière très prévisible, comme une courbe simple et lisse. C'est ce qu'on appelle le régime « paresseux ».

Cependant, les machines du monde réel ne sont pas infinies. Elles ont une taille spécifique et finie. Lorsque le nombre de points de données que vous alimentez dans la machine est à peu près de la même taille que le nombre de neurones qu'elle contient (une situation que les auteurs appellent le « régime proportionnel »), les choses deviennent désordonnées. La machine commence à apprendre de manière complexe et non linéaire, ce que les théories « infinies » ne peuvent pas expliquer.

Cet article présente une nouvelle façon de prédire le comportement de ces machines de taille finie sans avoir à exécuter des millions de simulations informatiques coûteuses. Voici la décomposition de leur découverte en utilisant des analogies simples :

1. Le Problème : La « Boîte Noire » de la Taille Finie

Imaginez un réseau de neurones profond comme un immeuble de plusieurs étages où chaque étage traite l'information.

La Vue Infinie : Si l'immeuble était infiniment large, l'information qui y circulerait serait comme de l'eau dans un tuyau parfaitement lisse. Vous pourriez facilement prédire la sortie.
La Vue Réelle : Dans un immeuble réel et fini, les tuyaux sont plus étroits. L'eau (les données) crée de la turbulence, des éclaboussures et des tourbillons. Ces « effets de largeur finie » sont en fait ce qui rend l'apprentissage profond puissant, mais ils sont incroyablement difficiles à calculer mathématiquement car les interactions entre les couches sont chaotiques.

2. La Solution : L'« Ansatz de Wishart Équivalent » (EWA)

Les auteurs proposent un raccourci astucieux. Au lieu d'essayer de suivre chaque goutte d'eau (l'état exact de chaque neurone), ils suggèrent d'examiner la forme statistique de la turbulence.

L'Analogie : Imaginez que vous essayez de décrire la météo dans une ville orageuse. Au lieu de suivre chaque goutte de pluie individuellement, vous réalisez que le motif global de la pluie suit une forme statistique spécifique et connue (comme une courbe en cloche, mais pour des matrices).
La « Magie » Wishart : Les auteurs ont découvert que même si le réseau est non linéaire et complexe, la « turbulence » (les fluctuations dans la façon dont le réseau traite les données) se comporte mathématiquement comme si elle suivait une distribution spécifique et bien comprise appelée distribution de Wishart.
L'« Ansatz » : Ce n'est qu'un mot compliqué pour une « hypothèse intelligente ». Ils ont supposé : « Faisons semblant que le chaos dans chaque couche du réseau suit ce motif spécifique de Wishart. »

3. Le Résultat : Une Recette Simple pour un Comportement Complexe

En faisant cette hypothèse, ils ont pu réduire un problème massif et impossible à résoudre à un problème minuscule et gérable.

Avant : Pour comprendre le réseau, vous deviez résoudre des équations impliquant des millions de variables (une pour chaque connexion).
Après : L'EWA vous permet de décrire le comportement de l'ensemble du réseau en utilisant seulement quelques nombres (appelés « paramètres d'ordre »).
- Pensez-y ainsi : Au lieu d'avoir besoin d'une carte de chaque rue d'une ville pour prédire le trafic, vous avez seulement besoin de connaître la vitesse moyenne sur l'autoroute principale et le nombre de voitures.
- Pour un réseau avec $L$ couches, ils ont découvert que vous n'avez besoin que de $L$ nombres simples pour prédire la performance d'apprentissage du réseau. Ces nombres vous disent dans quelle mesure la « turbulence » amplifie ou atténue le signal alors qu'il traverse l'immeuble.

4. Tester la Théorie

Les auteurs n'ont pas seulement fait des mathématiques ; ils l'ont testé contre la réalité.

Ils ont construit de véritables réseaux de neurones (avec environ 10 couches et quelques centaines de neurones) et les ont entraînés sur de vrais jeux de données (comme les chiffres MNIST et les images CIFAR-10).
Ils ont utilisé de puissantes méthodes d'échantillonnage informatique (comme une version high-tech de lancer des dés des millions de fois) pour voir ce que les réseaux faisaient réellement.
Le Verdict : Leur « hypothèse intelligente » (EWA) correspondait incroyablement bien aux résultats du monde réel, même pour des réseaux allant jusqu'à 10 couches. Elle était bien plus précise que les anciennes théories « infinies », qui échouaient à capturer les nuances des réseaux de taille finie.

5. Une Découverte Surprenante : Le Piège « Métastable »

Lors des tests, ils ont découvert quelque chose d'étrange. Lorsque les réseaux devenaient très profonds et que la charge de données était élevée, les simulations informatiques se retrouvaient parfois « coincées » dans un état temporaire.

L'Analogie : Imaginez une bille qui roule sur une colline. Habituellement, elle roule directement jusqu'en bas. Mais parfois, elle reste coincée dans une petite dépression à mi-chemin. Elle semble s'être stabilisée, mais si vous attendez assez longtemps (ou si vous secouez la colline), elle finira par sortir de la dépression et atteindre le vrai fond.
Les auteurs ont constaté que les simulations informatiques standard se coinçaient souvent dans ces « dépressions » (états métastables), donnant l'impression que le réseau avait cessé d'apprendre, alors qu'en réalité, il avait simplement besoin de plus de temps pour trouver la vraie solution.

Résumé

L'article fournit une nouvelle « règle empirique » pour comprendre les réseaux de neurones profonds qui ne sont pas infiniment grands. En réalisant que le chaos à l'intérieur de ces réseaux suit un motif statistique prévisible (la distribution de Wishart), ils ont créé un outil mathématique simple qui prédit avec précision comment ces réseaux apprennent, comblant ainsi le fossé entre la théorie simple et la réalité complexe.

Titre : Renormalisation du noyau dans les réseaux de neurones profonds bayésiens : l'Ansatz de Wishart équivalent dans le régime proportionnel

Énoncé du problème
Les réseaux de neurones profonds (RNP) sont centraux dans l'apprentissage automatique moderne, pourtant leur compréhension théorique reste difficile, en particulier pour les architectures multicouches et non linéaires. Bien que la limite « paresseuse » de largeur infinie (Processus Gaussien de Réseau de Neurones ou NNGP) fournisse des descriptions exactes pour les réseaux larges, elle échoue à capturer les effets de largeur finie responsables de la supériorité des RNP par rapport aux méthodes à noyau. À l'inverse, le régime d'apprentissage « riche », où les caractéristiques s'adaptent de manière significative, nécessite souvent des paramètres d'ordre de haute dimension (par exemple, des matrices de noyau $P \times P$ ) qui sont computationnellement intraitables.

Le vide spécifique comblé par ce travail est l'absence d'une théorie effective de faible dimension pour les RNP bayésiens dans le régime proportionnel, où le nombre d'échantillons d'entraînement $P$ et la largeur du réseau $N$ évoluent proportionnellement vers l'infini ( $P, N \to \infty$ avec $\alpha = P/N$ fixe). Dans ce régime, les fluctuations de largeur finie ne sont pas négligeables, et les théories existantes reposent soit sur des corrections perturbatives (qui échouent pour les réseaux profonds), soit sur la résolution d'équations couplées de haute dimension qui n'offrent aucune réduction de dimensionnalité.

Méthodologie : l'Ansatz de Wishart équivalent (EWA)
Les auteurs proposent une théorie approximative mais effective basée sur l'Ansatz de Wishart équivalent (EWA). L'idée centrale est de modéliser les fluctuations stochastiques des noyaux empiriques hiérarchiques dans un réseau non linéaire profond comme si elles suivaient une distribution de Wishart, similaire au comportement exact observé dans les réseaux linéaires profonds.

Hiérarchie des noyaux : La loi a priori de la sortie du réseau est décrite par une hiérarchie de noyaux empiriques $K^{(\ell)}_E$ à chaque couche $\ell$ . Dans la limite proportionnelle, les auteurs supposent que la distribution conditionnelle d'un noyau à la couche $\ell$ , étant donné le noyau à la couche $\ell-1$ , se comporte comme une distribution de Wishart :
$K^{(\ell)}_E | K^{(\ell-1)}_E \sim \mathcal{W}_P\left( \frac{\Theta^{L-\ell+1}(K^{(\ell-1)}_E)}{N_\ell}, N_\ell \right)$
où $\Theta$ est la fonction de noyau NNGP et $N_\ell$ est la largeur.
Réduction de dimensionnalité : En exploitant les propriétés des matrices de Wishart (spécifiquement la propriété de contraction où les formes quadratiques suivent une distribution $\chi^2$ ), les auteurs réduisent l'intégrale complexe sur l'espace des paramètres à une intégrale de faible dimension sur $L$ paramètres d'ordre scalaires $q_\ell$ (ou des matrices $q_\ell$ pour les CNN).
- Pour les réseaux entièrement connectés (FC), l'action effective dépend d'un produit scalaire $Q = \prod q_\ell$ .
- Pour les réseaux de neurones convolutifs (CNN), un Ansatz de Wishart équivalent empilé est introduit, conduisant à un paramètre d'ordre matriciel de faible dimension $Q$ qui capture les corrélations entre patchs.
Action effective : La fonction de partition est exprimée via un principe de grande déviation, produisant une action effective $S(q)$ qui dépend uniquement de ces paramètres d'ordre et de l'ensemble de données. Le noyau renormalisé est donné par $K^{(R)}_Q = Q \Theta^L(C)$ , où $C$ est la matrice de Gram d'entrée.
Gestion des moyennes non nulles : Les auteurs démontrent que pour le régime proportionnel, la distinction entre les distributions de Wishart centrales et non centrales (provenant de fonctions d'activation à moyenne non nulle comme ReLU) est asymptotiquement négligeable. L'EWA à moyenne nulle reste une description effective valide.

Contributions clés

Théorie de faible dimension pour les RNP non linéaires : L'article fournit la première description approximative de faible dimension des perceptrons multicouches (MLP) et des CNN bayésiens dans le régime proportionnel, capturant les effets non perturbatifs de largeur finie sans recourir à des équations d'auto-cohérence $P \times P$ .
Ansatz de Wishart équivalent : Il introduit l'EWA comme un mécanisme pour capturer les fluctuations stochastiques dominantes des noyaux empiriques hiérarchiques, réduisant le problème à la recherche de $L$ (ou d'une petite matrice) paramètres d'ordre.
Extension aux CNN : Le cadre est étendu aux architectures convolutives, identifiant un mécanisme hiérarchique de renormalisation de noyau local qui rend compte des effets de largeur finie dans les données corrélées spatialement.
Validation dans le régime proportionnel : La théorie est testée contre des expériences numériques extensives (échantillonnage MCMC) sur des ensembles de données réels (MNIST, CIFAR-10) et des données synthétiques, couvrant des profondeurs allant jusqu'à $L \sim 10$ et diverses fonctions d'activation (Erf, ReLU).

Résultats

Accord quantitatif : Les prédictions de l'EWA pour la perte d'entraînement et l'erreur de généralisation montrent un « accord global très bon » avec les expériences d'échantillonnage numérique pour des réseaux de profondeurs allant jusqu'à $L \sim O(10)$ et diverses tailles d'ensemble de données. La théorie suit avec succès le comportement des réseaux de largeur finie là où la limite NNGP de grande largeur échoue.
Déviations systématiques : Deux types de déviations sont observés lorsque la profondeur $L$ $L$ et la charge $\alpha$ $α$ sont toutes deux grandes :
1. Dérive progressive : Dans les expériences sur des données gaussiennes à haut $\alpha$ , l'erreur de l'EWA croît régulièrement avec la profondeur, probablement due à l'accumulation d'erreurs dans la largeur de la fonction de taux ou à des inhomogénéités directionnelles négligées.
2. Métastabilité : Pour les réseaux ReLU sur CIFAR-10 avec $L > 5$ et $\alpha \approx 2.5$ , une chute abrupte et nette de l'erreur d'entraînement et de test est observée dans les simulations MCMC. Ce phénomène, interprété comme une transition métastable dans la distribution a posteriori, n'est pas capturé par la prédiction lisse de l'EWA, suggérant un effondrement de l'ansatz dans des régimes extrêmes.
Paramétrisation champ moyen vs paramétrisation standard : La théorie prédit avec succès la performance de généralisation dans les paramétrisations standard (SP) et champ moyen ( $\mu$ P). Dans le régime d'apprentissage riche ( $\mu$ P), l'amélioration de la généralisation est trouvée être principalement pilotée par une suppression de la variance du prédicteur plutôt que par une forte adaptation du biais du prédicteur, ce qui est cohérent avec la vision de noyau renormalisé de l'EWA.

Signification et affirmations
Les auteurs affirment que l'EWA fournit une théorie effective traitable qui comble le vide entre la limite paresseuse de largeur infinie et le régime complexe d'apprentissage de caractéristiques de haute dimension. En réduisant la description de l'apprentissage de largeur finie à quelques paramètres d'ordre scalaires (ou de matrice de faible rang), l'article soutient que l'échelle relative de la taille des données et de la largeur ( $\alpha = P/N$ ) est un principe organisateur plus fondamental pour l'apprentissage de largeur finie que la dichotomie traditionnelle « paresseux vs riche ».

Le travail suggère que pour des profondeurs et des charges modérées, l'adaptation complexe des caractéristiques dans les RNP non linéaires peut être efficacement capturée par une simple renormalisation globale (ou locale, pour les CNN) du noyau. Cela offre une base pour comprendre l'apprentissage de caractéristiques, indiquant que le grand écart entre les prédictions de largeur infinie et la phénoménologie de largeur finie est largement capturé par cette renormalisation directionnellement homogène. L'article conclut que bien que l'EWA soit une approximation, son succès dans la prédiction des courbes d'apprentissage empiriques à travers diverses architectures et ensembles de données l'établit comme un outil puissant pour analyser l'apprentissage profond bayésien dans le régime proportionnel.