📊 statistics

On the Epistemic Uncertainty of Overparametrized Neural Networks

Cet article remet en cause la vision conventionnelle selon laquelle l'incertitude épistémique disparaît avec davantage de données en démontrant que, dans les réseaux de neurones surparamétrés, la non-identifiabilité due aux symétries et aux représentations redondantes entraîne une incertitude paramétrique persistante même lorsque la fonction sous-jacente est entièrement identifiée, un phénomène que les auteurs analysent théoriquement et valident empiriquement dans des réseaux à une couche cachée avec des fonctions d'activation ReLU.

Auteurs originaux : David Rügamer

Publié 2026-05-26

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : David Rügamer

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'Idée Principale : Le Problème de la « Beaucoup de Clés, Une Seule Porte »

Imaginez que vous avez une serrure très complexe (le problème du monde réel) et un énorme trousseau de clés avec des milliers de clés (le réseau de neurones). Habituellement, nous pensons que si nous avons suffisamment de données, nous pouvons trouver la seule clé parfaite qui ouvre la serrure, et nous serons à 100 % sûrs de l'avoir trouvée.

Ce papier soutient que pour les réseaux de neurones modernes « surparamétrés » (des réseaux avec beaucoup plus de clés que nécessaire), ce n'est pas vrai. Même avec des données infinies, vous ne saurez peut-être jamais exactement quelle clé spécifique vous tenez. Vous savez seulement que la porte est ouverte.

Les auteurs appellent cela l'Incertitude Épistémique (l'incertitude sur ce que nous savons). Ils montrent que même lorsque le réseau connaît parfaitement la réponse, il reste confus quant à comment il est arrivé à cette réponse, car il existe de nombreuses façons différentes de construire la même solution.

Analogie 1 : Le Chef d'Orchestre (Symétrie de Permutation)

Imaginez un chef d'orchestre dirigeant un orchestre. La musique (la prédiction) est parfaite.

Le Problème : La section des violons compte 100 musiciens. Si le Musicien n°1 échange sa place avec le Musicien n°50, la musique sonne exactement de la même manière.
La Confusion : Si vous demandez au chef, « Qui joue du premier violon ? » et qu'il répond, « C'est le Musicien n°1 », vous pourriez penser qu'il est sûr à 100 %. Mais en réalité, le Musicien n°50 aurait pu jouer ce rôle, et la musique serait toujours parfaite.
La Découverte du Papier : Dans les statistiques classiques, nous supposons qu'avec suffisamment de pratique (de données), le chef saura exactement qui est assis où. Mais dans ces réseaux géants, le chef ne peut jamais être sûr du plan de salle, même si la musique est sans faille. L'incertitude sur qui joue (les paramètres) persiste, même si la chanson (la fonction) est connue parfaitement.

Analogie 2 : La Partage de la Pizza (Non-Identifiabilité Continue)

Maintenant, imaginez que le réseau est encore plus grand que nécessaire. Il possède des « neurones » supplémentaires (des chefs supplémentaires) qui ne sont pas strictement nécessaires.

Le Scénario : Vous devez cuire une pizza qui nécessite exactement 100 grammes de fromage.
La Confusion :
- Scénario A : Un chef met les 100 g sur la pizza.
- Scénario B : Deux chefs mettent 50 g chacun.
- Scénario C : Dix chefs mettent 10 g chacun.
- Scénario D : Le Chef A met 99 g, le Chef B met 1 g.
La Découverte du Papier : Le réseau peut obtenir exactement la même pizza (la même prédiction) en répartissant le « fromage » (le poids) parmi les chefs supplémentaires de manière infiniment différente.
- Contrairement à l'orchestre où les gens échangent simplement leurs places, ici les chefs se disputent constamment la façon de partager le fromage.
- Le papier prouve que même avec des données infinies, le réseau ne se fixe pas sur une façon spécifique de partager le fromage. Au lieu de cela, il erre sur une « variété » (une surface lisse de possibilités) où la quantité totale de fromage est toujours de 100 g, mais les quantités individuelles continuent de changer.

Pourquoi Cela Importe-t-il ? (La Section « Pourquoi les Mesures Courantes Échouent »)

Habituellement, lorsque les scientifiques mesurent à quel point un modèle est « incertain », ils regardent dans quelle mesure la sortie change.

L'Ancienne Vue : « Si le modèle donne la même réponse à chaque fois, il n'est pas incertain. »
La Vue du Papier : « C'est faux. Le modèle peut donner la même réponse, mais les engrenages internes (les poids) tournent follement dans des directions différentes. »

Les auteurs montrent que si vous ne regardez que la réponse finale (la pizza), vous manquez le fait que la machinerie interne est chaotique. Cela importe si vous devez savoir comment le modèle fonctionne (pour des choses comme le débogage, la compression ou la compréhension des caractéristiques importantes), et pas seulement quelle est la réponse.

Qu'Ont-ils Fait ?

La Théorie : Ils ont utilisé les mathématiques pour prouver que pour les réseaux de neurones simples (réseaux ReLU), ce « partage » et cet « échange » créent un brouillard permanent d'incertitude à l'intérieur du cerveau du modèle, même lorsque le modèle est parfait dans son travail.
Les Mathématiques : Ils ont décrit ce brouillard en utilisant des formes appelées variétés. Imaginez une feuille de papier lisse et plate flottant dans une pièce en 3D. Les poids du modèle peuvent glisser n'importe où sur cette feuille sans changer le résultat.
Les Expériences : Ils ont construit ces réseaux et les ont exécutés sur des ordinateurs. Ils ont observé le mouvement des « poids » (les nombres internes).
- Résultat 1 : Les réseaux sont devenus meilleurs dans la prédiction à mesure qu'ils voyaient plus de données.
- Résultat 2 : Mais les poids internes n'ont jamais cessé de bouger. Ils ont continué à glisser le long de ces « feuilles » (variétés) et à échanger leurs places, prouvant que l'incertitude sur la structure interne n'a jamais disparu.
Le Problème de l'Échantillonnage : Ils ont également examiné comment les ordinateurs tentent d'« explorer » ces réseaux (en utilisant une méthode appelée MCMC). Ils ont découvert que si vous lancez une simulation informatique dans une « disposition de places » spécifique (une permutation), elle reste généralement coincée là et ne saute jamais vers les autres arrangements équivalents, même s'ils sont tous valides. Cela signifie que les méthodes informatiques standard pourraient manquer l'image complète de l'incertitude.

La Conclusion

Le papier affirme que les réseaux de neurones surparamétrés possèdent une incertitude cachée et permanente concernant leur propre structure interne.

Espace des Fonctions (La Sortie) : Le modèle devient certain. Il connaît la réponse.
Espace des Paramètres (Les Poids Internes) : Le modèle reste incertain. Il ne sait pas quelle combinaison spécifique de nombres il utilise pour obtenir cette réponse, car il existe des millions de combinaisons également bonnes.

C'est comme un chef maître qui peut cuisiner un plat parfait, mais si vous lui demandez, « Avez-vous utilisé 2 cuillères à café de sel ou 1 cuillère à café de sel et 1 cuillère à café de sauce soja ? », il ne peut pas vous le dire, car les deux recettes ont exactement le même goût. Le papier soutient que nous devons arrêter de faire semblant que le chef connaît la recette exacte simplement parce que la nourriture a bon goût.

Résumé Technique : Sur l'incertitude épistémique des réseaux de neurones surparamétrés

Énoncé du Problème

L'incertitude épistémique en apprentissage automatique est traditionnellement définie comme une incertitude réductible qui disparaît à mesure que la taille des données augmente, souvent assimilée à la variabilité prédictive. Cette perspective repose sur l'hypothèse de l'identifiabilité des paramètres, où la distribution a posteriori se concentre autour d'un vecteur de paramètres unique (ou d'une masse ponctuelle) lorsque $n \to \infty$ . Cependant, dans les réseaux de neurones surparamétrés, les paramètres sont généralement non identifiables en raison de symétries (par exemple, l'invariance par permutation) et de représentations redondantes.

Le problème central abordé est que, bien que la fonction sous-jacente $f^*$ puisse être entièrement identifiée, l'espace des paramètres contient une incertitude substantielle qui persiste même avec des données infinies. Les décompositions classiques de l'incertitude, qui se concentrent sur la variance prédictive, échouent à capturer cette incertitude « résiduelle » car elles sont invariantes par rapport aux variations de paramètres qui laissent la fonction inchangée. Par conséquent, il existe un décalage entre les propriétés structurelles des modèles surparamétrés (où l'a posteriori ne s'effondre pas en un point dans l'espace des paramètres) et les méthodes standard de quantification de l'incertitude.

Méthodologie

Les auteurs analysent l'incertitude épistémique à travers le prisme de la non-identifiabilité en utilisant une architecture de réseau ReLU à une couche cachée :
$f_w(x) = w_2^\top \phi(W_1 x)$
où $\phi(\cdot) = \max(0, \cdot)$ . L'étude suppose un objectif de perte régularisé équivalent à un a posteriori bayésien avec un prior gaussien.

La méthodologie procède en trois étapes :

Caractérisation Théorique : Les auteurs distinguent deux sources de non-identifiabilité :
- Symétrie de Permutation : Dans les modèles correctement spécifiés ( $M = M^*$ ), la non-identifiabilité découle de la permutation des neurones cachés. L'a posteriori converge vers un mélange de mesures de Dirac sur ces permutations.
- Division Continue (Assignation de Variété) : Dans les modèles surparamétrés ( $M > M^*$ ), les vrais neurones peuvent être représentés par des combinaisons continues de plusieurs neurones redondants. Cela induit une « variété de division » $\mathcal{M}_\varsigma$ où les poids peuvent être redistribués de manière continue tout en maintenant la même fonction et le même coût de régularisation.
Déduction de l'A Posteriori : L'article dérive la forme exacte de l'a posteriori induit sur ces variétés. Il établit que pour une carte d'assignation fixe $\varsigma$ (mappant les neurones du modèle vers les vrais neurones), les coefficients de division suivent une distribution de Dirichlet symétrique. Les auteurs définissent l'a posteriori sur la variété comme la limite faible de l'a posteriori ambiant conditionné à un tube $\epsilon$ autour de la variété lorsque $\epsilon \to 0$ .
Validation Empirique : Les résultats théoriques sont validés à l'aide de réseaux de neurones bayésiens (BNN) avec des priors et des vraisemblances gaussiens. L'inférence est réalisée à l'aide de la dynamique de Langevin par gradient stochastique (SGLD) et de l'échantillonneur No-U-Turn (NUTS). L'étude analyse les échantillons de l'a posteriori pour vérifier les propriétés de convergence, les taux de commutation entre les chambres de permutation et la distribution des coefficients de division.

Contributions Clés

Recadrage de l'Incertitude Épistémique : L'article soutient que l'incertitude épistémique dans les modèles surparamétrés inclut une composante persistante due à la non-identifiabilité qui ne disparaît pas avec l'augmentation des données, même lorsque la fonction prédictive est parfaitement identifiée.
Caractérisation de l'Incertitude Résiduelle :
- Source Discrète : Dans les modèles correctement spécifiés, l'incertitude se manifeste comme un mélange de mesures de Dirac sur les orbites de permutation.
- Source Continue : Dans les modèles surparamétrés, l'incertitude se manifeste comme une distribution non dégénérée sur les variétés de division. Les auteurs démontrent que les coefficients de division suivent une distribution de Dirichlet $\text{Dir}(\alpha, \dots, \alpha)$ avec $\alpha = (p+1)/2$ .
Moments de l'A Posteriori et Géométrie : Les auteurs dérivent des formules explicites pour les moments de l'a posteriori des poids sous surparamétrisation. Ils montrent que, bien que la contribution totale d'un groupe de neurones redondants reste fixe, la contribution individuelle de chaque neurone diminue ( $O(M^{-1/2})$ en moyenne, $O(M^{-1})$ en covariance) à mesure que la largeur du réseau $M$ augmente.
Dynamique d'Échantillonnage : L'article démontre que les échantillonneurs MCMC standards (sous certaines hypothèses de continuité) sont presque sûrement confinés à une seule chambre de permutation ou à l'intérieur d'une seule variété d'assignation. Ils ne traversent pas naturellement les frontières entre les différentes régions liées par symétrie, ce qui signifie qu'une seule chaîne n'explore qu'un sous-ensemble du support complet de l'a posteriori.

Résultats

Convergence vs Variance : Les résultats empiriques confirment que, bien que la performance prédictive (RMSE, LPPD) converge vers la fonction vraie lorsque $n$ augmente, la trace de la matrice de covariance des poids reste non nulle en raison des symétries de permutation et de division.
Structure de la Variété : Dans les contextes surparamétrés ( $M > M^*$ ), les échantillons de l'a posteriori s'alignent avec la prédiction théorique selon laquelle les coefficients de division suivent une distribution bêta (marginal de Dirichlet). Les distributions empiriques des contributions des poids correspondent étroitement aux marginales théoriques de Dirichlet.
Comportement d'Échantillonnage : Les expériences avec NUTS et SGLD montrent que les chaînes restent confinées à des chambres de permutation uniques. Le « taux de commutation » entre les chambres est négligeable, et le « minimum de marge moyen » indique que les chaînes résident profondément à l'intérieur de chambres spécifiques, traversant rarement les frontières de mesure nulle où les neurones deviennent échangeables.
Impact Pratique : L'article illustre que l'ignorance de la non-identifiabilité peut conduire à des estimations déformées dans des tâches en aval. Dans l'apprentissage continu (EWC), la variance induite par la non-identifiabilité peut faussement gonfler l'importance des paramètres, conduisant à des mises à jour excessivement restrictives. La correction de cette variance améliore l'adaptation. De même, les diagnostics de convergence standards (comme $\hat{R}$ ) dans l'espace des paramètres peuvent rester gonflés en raison de directions non identifiables, même lorsque la convergence dans l'espace des fonctions est atteinte.

Signification et Revendications

L'article revendique fournir une correction nécessaire à la vision standard de l'incertitude épistémique en apprentissage profond. Il affirme que :

L'Incertitude des Paramètres Persiste : Contrairement à la vision classique où l'incertitude disparaît avec les données, l'incertitude des paramètres dans les réseaux surparamétrés est irréductible en raison des symétries structurelles.
Espace des Fonctions vs Espace des Paramètres : Bien que travailler dans l'espace des fonctions atténue ces problèmes, les procédures opérant directement sur les poids (par exemple, l'interprétabilité, la compression de modèles, l'apprentissage continu ou l'inférence basée sur l'échantillonnage) doivent tenir compte de cette incertitude résiduelle pour éviter des conclusions trompeuses.
Limites des Heuristiques Actuelles : Les heuristiques pratiques comme les ensembles profonds peuvent « lisser » certains effets de la non-identifiabilité, mais elles n'éliminent pas la structure géométrique sous-jacente de l'a posteriori. L'article suggère que la compréhension de la géométrie de l'a posteriori (spécifiquement les variétés induites par la surparamétrisation) est cruciale pour une quantification précise de l'incertitude dans l'espace des paramètres.

Les auteurs restent modestes quant à la portée, notant que leurs résultats formels sont dérivés pour des réseaux ReLU à une couche cachée avec des priors gaussiens. Ils reconnaissent que les réseaux plus profonds introduisent des non-identifiabilités supplémentaires par couche non couvertes par leur théorie, et que la loi spécifique de division de Dirichlet dépend du choix du prior gaussien/régularisation L2. Cependant, ils soutiennent que les mécanismes de symétrie de permutation et de division sont fondamentaux pour les modèles surparamétrés et s'étendent probablement à des architectures plus larges.