📊 statistics

Ghosts in Neural Networks: Existence, Structure and Role of Infinite-Dimensional Null Space

Cet article établit une méthode directe pour résoudre l'équation de synthèse de réseau neuronal dans les réseaux de profondeur deux à largeur continue en exploitant l'analyse de Fourier et les transformées de ridgelets pour caractériser l'espace nul de dimension infinie, identifier des solutions de norme minimale uniques, et démontrer comment la non-unicité des paramètres peut être discrétisée et exploitée pour révéler l'information encodée.

Auteurs originaux : Sho Sonoda, Isao Ishikawa, Masahiro Ikeda

Publié 2026-07-21

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sho Sonoda, Isao Ishikawa, Masahiro Ikeda

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de construire une machine capable de prédire l'avenir, ou peut-être simplement de reconnaître un chat sur une photo. Vous construisez un « réseau de neurones », qui est essentiellement un immense réseau de minuscules interrupteurs mathématiques appelés neurones. Chaque neurone reçoit une entrée, effectue un petit calcul et transmet le résultat. La magie opère lorsque vous ajustez les « boutons » (appelés paramètres) de ces neurones pour que la machine donne la bonne réponse.

Mais voici une chose étrange à propos de ces machines : parfois, vous pouvez tourner les boutons d'une manière complètement différente, et la machine donne exactement la même réponse. C'est comme si vous prépariez un gâteau et que vous découvriez qu'ajouter une tasse de sucre ou une tasse de sel (dans une recette très spécifique et bizarre) rendait le gâteau au goût exactement identique. En mathématiques, nous appelons cela la « non-unicité ». Cela signifie qu'il n'existe pas un seul réglage parfait des boutons pour obtenir un résultat ; il en existe une infinité.

Ce document plonge au cœur de ce mystère. Il demande : si de multiples façons de régler les boutons permettent d'obtenir le même résultat, à quoi ressemblent ces réglages « erronés » ? Disparaissent-ils simplement dans le néant, ou cachent-ils quelque chose ? Les auteurs traitent le réseau de neurones comme une gigantesque onde continue plutôt que comme un ensemble d'interrupteurs séparés. En utilisant un outil mathématique appelé « transformée de Fourier » (pensez à une façon de décomposer un son complexe en ses notes de musique individuelles), ils déterminent exactement comment ces réglages supplémentaires et cachés fonctionnent. Ils découvrent que ces réglages cachés forment un gigantesque espace « fantôme » invisible. Vous pouvez ajouter ces fantômes à votre machine, et cela ne changera pas du tout le résultat, mais cela pourrait changer la façon dont la machine se comporte si vous la sollicitez ou si vous l'observez différemment.

Les Fantômes dans la Machine

Le papier, intitulé « Ghosts in Neural Networks » (Les Fantômes dans les Réseaux de Neurones), est une plongée profonde dans les secrets cachés des réseaux de neurones à deux couches. Les auteurs, Sho Sonoda, Isao Ishikawa et Masahiro Ikeda, sont essentiellement en train de résoudre un puzzle géant : si un réseau de neurones peut produire un résultat spécifique de plusieurs manières différentes, quelles sont toutes ces différentes manières ?

Ils ont découvert que la réponse n'est pas simplement du « bruit aléatoire ». Au contraire, il existe un espace « fantôme » mathématique structuré (appelé l'espace nul ou null space) où vous pouvez cacher une quantité infinie d'informations sans changer le résultat final.

L'analogie du « Fantôme »

Imaginez que vous avez une machine à peinture magique. Vous lui donnez une commande : « Peindre un cercle rouge. »

La méthode standard : Vous dites à la machine de mélanger de la peinture rouge et de dessiner un cercle.
La méthode fantôme : Vous pourriez dire à la machine de mélanger de la peinture rouge, de dessiner un cercle, puis d'ajouter une couche secrète et invisible de peinture « anti-rouge » qui s'annule parfaitement, ou d'ajouter une volute secrète d'encre invisible qui ne fait absolument rien à l'image finale.

Dans le monde des réseaux de neurones, ces « couches invisibles » sont les fantômes. Le papier prouve que ces fantômes ne sont pas de simples erreurs aléatoires ; ils ont une forme et une structure très spécifiques. Les auteurs appellent cela l'espace nul de dimension infinie. C'est une immense pièce invisible où vous pouvez stocker des variations infinies des réglages de la machine, et tant que vous restez dans cette pièce, le résultat de la machine (le cercle rouge) ne change jamais.

Comment ils ont trouvé les fantômes

Les auteurs n'ont pas seulement deviné ; ils ont construit une carte mathématique directe pour trouver ces fantômes.

La décomposition : Ils ont utilisé une technique appelée « séparation des variables ». Imaginez que vous avez une recette complexe. Au lieu d'essayer de goûter tout le plat à la fois, vous séparez les ingrédients : « Cette partie est la farine, cette partie est le sucre. » Ils ont séparé les mathématiques du réseau de neurones en deux parties : la partie qui crée réellement l'image (la cible) et la partie qui ne fait rien (le fantôme).
La solution Ridgelet : Ils ont trouvé une formule mathématique spécifique, appelée ridgelet, qui agit comme une clé pour déverrouiller ces fantômes. C'est comme avoir une clé de maître capable d'ouvrir n'importe quelle porte dans la « chambre des fantômes ».
La solution de norme minimale : Parmi toutes les façons infinies de régler les boutons, il existe une façon « parfaite » qui utilise le moins d'énergie (mathématiquement, la « norme minimale »). Les auteurs ont montré comment trouver ce réglage spécifique, le plus efficace. Tout le reste n'est qu'un « fantôme » ajouté par-dessus.

Ce que cela signifie pour les réseaux réels

Le papier ne s'arrête pas à la théorie ; il montre comment ces fantômes se comportent dans le monde réel.

Largeur finie : Les réseaux de neurones réels ne sont pas infinis ; ils ont un nombre limité de neurones (une « largeur finie »). Les auteurs ont montré que même avec un nombre limité de neurones, on peut toujours approximer ces fantômes. Si vous prenez un réglage « fantôme » et que vous le décomposez en un nombre fini de neurones, le résultat de la machine sera presque nul (très proche du fantôme), avec une erreur qui diminue à mesure que vous ajoutez des neurones. C'est comme essayer de dessiner un cercle parfait avec un nombre limité de points ; plus vous utilisez de points, plus vous vous rapprochez d'un cercle parfait.
Preuve numérique : Ils ont réellement exécuté des simulations informatiques pour le prouver. Ils ont créé un réglage « fantôme » et l'ont injecté dans un réseau fini. Le résultat ? Le résultat du réseau était incroyablement proche de zéro, confirmant que les fantômes existent même dans de petits réseaux réels.
Lire les fantômes : Voici la partie la plus fascinante. Les auteurs ont montré que même si ces fantômes ne changent pas le résultat dans des conditions normales, vous pouvez les « lire » si vous changez légèrement les règles. Si vous modifiez la fonction d'activation de la machine (la règle suivie par les neurones) ne serait-ce qu'un tout petit peu, vous pouvez faire apparaître l'information cachée du fantôme et la rendre visible. C'est comme avoir un message secret écrit à l'encre invisible qui n'apparaît que si vous tenez le papier sous un certain type de lumière.

Ce qu'ils ne prétendent pas

Il est important de savoir ce que ce papier ne dit pas.

Il ne dit pas que chaque réseau fini possède un immense espace vide de fantômes. Parfois, si les neurones sont disposés d'une manière spécifique et rigide, les fantômes peuvent disparaître totalement. Le papier précise que la « chambre des fantômes » est une propriété de la version continue (infinie) du réseau, et que les réseaux finis n'en font qu'une approximation.
Il ne dit pas que les algorithmes d'apprentissage (comme ceux qui entraînent l'IA) trouvent automatiquement ces fantômes. Le papier prouve que les fantômes existent et montre comment les trouver mathématiquement, mais il ne prétend pas qu'un ordinateur apprenant à jouer aux échecs va naturellement tomber dessus. C'est une question distincte pour des recherches futures.

La conclusion principale

Ce papier est un tour de force mathématique qui transforme un problème confus (« Pourquoi y a-t-il tellement de façons de régler les boutons ? ») en une carte claire et structurée. Il prouve que les réglages « supplémentaires » dans un réseau de neurones ne sont pas de simples bruits aléatoires ; ils sont une bibliothèque structurée et infinie de possibilités cachées.

En trouvant la clé « Ridgelet », les auteurs nous ont montré comment :

Trouver le réglage le plus efficace (la solution de norme minimale).
Comprendre les réglages « fantômes » infinis qui ne changent pas le résultat.
Approcher ces fantômes dans des réseaux réels et finis.
Potentiellement lire l'information cachée si nous savons comment solliciter le système de la bonne manière.

En résumé, le papier révèle que les réseaux de neurones sont bien plus flexibles et mystérieux que nous ne le pensions. Ils ne sont pas de simples calculateurs ; ce sont de vastes espaces multidimensionnels où l'on peut cacher des secrets infinis, et avec les bons outils mathématiques, on peut tous les trouver.

Résumé Technique : Les Fantômes dans les Réseaux de Neurones

Énoncé du Problème

L'article traite du problème de la non-unicité des paramètres dans les réseaux de neurones entièrement connectés de profondeur deux à largeur continue. Plus précisément, il cherche à résoudre l'« équation du réseau de neurones » $S[\gamma] = f$ , où $S$ est l'opérateur de synthèse faisant correspondre une distribution de paramètres $\gamma$ (sur les poids $a$ et les biais $b$ ) à une fonction de réseau $f$ .

Bien que la linéarité de l'application $\gamma \mapsto S[\gamma]$ permette l'étude des paramètres neuronaux via la théorie des opérateurs, elle implique également une redondance : des distributions de paramètres distinctes peuvent représenter exactement la même fonction. Le défi central consiste à caractériser l'ensemble complet des solutions, y compris le noyau (ou « fantômes ») de l'opérateur, et à identifier une solution canonique de norme minimale. Des travaux antérieurs avaient identifié que des fonctions de type ridgelet orthogonales à l'activation génèrent des éléments nuls, mais une caractérisation rigoureuse et exhaustive de l'ensemble du noyau ainsi qu'une méthode directe pour résoudre l'équation sans postuler de transformée faisaient défaut.

Méthodologie

Les auteurs emploient une méthode directe d'expression de Fourier combinée à l'analyse fonctionnelle dans les espaces de Hilbert. L'approche procède en trois étapes logiques :

Séparation de Variables de Fourier :
Au lieu de supposer une transformée de ridgelet, les auteurs partent de l'expression de Fourier de l'intégrale du réseau. En effectuant l'inversion de Fourier sur la variable de pré-activation et en séparant la fréquence cible $\xi$ de la fréquence unidimensionnelle $\omega$ , ils dérivent une formule de paramètre. Cette séparation suggère une structure spécifique pour la distribution de paramètres $\gamma$ qui inverse l'opérateur de synthèse, menant naturellement à une solution de type ridgelet.
Reconstruction Abstraite et Géométrie :
Pour rigoriser le calcul formel de Fourier, l'article isole le mécanisme algébrique sous-jacent : une factorisation unitaire de l'opérateur de synthèse. Les auteurs prouvent un théorème de reconstruction abstrait pour les factorisations unitaires, établissant l'existence d'un adjoint, d'une pseudo-inverse droite normalisée et d'une décomposition orthogonale de l'espace de solution. Ce cadre définit la géométrie de toutes les solutions comme une somme directe d'une solution particulière et du noyau.
Spécialisation dans les Espaces de Hilbert :
La théorie abstraite est spécialisée pour les réseaux de neurones en construisant des espaces de Hilbert compatibles pour l'activation, les coefficients et les paramètres.
- Espace d'Activation ( $A_{s,t}$ ) : Un espace de Sobolev pondéré accueillant des distributions tempérées (ex: ReLU, sigmoïde) à croissance polynomiale.
- Espace de Coefficients ( $H_{s,t}$ ) : Un espace garantissant que la fonctionnelle d'activation est bornée et continue.
- Espace de Paramètres ( $G_{s,t}$ ) : Un espace de graphe défini par la transformée de coordonnées unitaire, assurant que l'opérateur de synthèse $S: G_{s,t} \to L^2(\mathbb{R}^m)$ est borné.
  Cette construction permet de justifier analytiquement les étapes formelles de Fourier, prouvant que l'opérateur de synthèse est borné et que les limites peuvent passer à travers l'intégrale.

Contributions Clés et Résultats

1. Solution Directe et Caractérisation du Noyau

La contribution principale est une dérivation directe de la solution ridgelet à partir de l'expression de Fourier de l'équation du réseau de neurones.

Solution Particulière : La méthode produit une transformée de ridgelet spécifique $R[f; \rho_0]$ qui résout $S[\gamma] = f$ .
Noyau Complet : L'article prouve que le noyau est épuisé par une expansion en base de Hilbert de fonctions ridgelet $R[e_i; \rho_j]$ où le couplage $\langle \sigma, \rho_j \rangle = 0$ .
Solution Générale : Chaque solution $\gamma$ est représentée de manière unique comme la somme de la solution particulière de norme minimale et d'un élément arbitraire du noyau.

2. Solution Canonique de Norme Minimale

En construisant l'adjoint de Hilbert $S^*$ et la pseudo-inverse de Moore-Penrose $S^\dagger$ , les auteurs identifient une distribution de paramètres de norme minimale unique pour toute fonction cible $f$ . Cette solution est donnée par $S^\dagger f = c_\sigma^{-1} R[f; \sigma^*]$ , où $\sigma^*$ est la fonction ridgelet de l'adjoint (le représentant de Riesz de la fonctionnelle d'activation).

3. Fonctions Ridgelet Adjointes Explicites

L'article fournit des formules concrètes pour la fonction ridgelet de l'adjoint $\sigma^*$ pour les activations standards (ReLU, tanh, CDF gaussienne et densité gaussienne) au sein de géométries de Hilbert spécifiques. Celles-ci sont dérivées comme solutions de problèmes de résolvante unidimensionnelle dans le domaine de Fourier.

4. Approximation de Largeur Finie et Discrétisation

Les auteurs étudient comment les éléments nuls continus se rapportent aux réseaux de largeur finie :

Noyaux Approximatifs : Ils prouvent que tout élément nul non nul peut être discrétisé en un réseau de largeur finie $N$ avec une erreur de sortie de $O(N^{-1/2})$ . Cela établit que la redondance des paramètres n'est pas seulement une pathologie de largeur infinie, mais laisse une trace dans les réseaux de largeur finie.
Noyaux Exacts : Il est montré que les relations de noyau exactes en largeur finie ne proviennent que de symétries algébriques spécifiques de l'activation (par exemple, la parité pour les fonctions impaires/paires ou la annulation affine pour ReLU), plutôt que du noyau continu général.

5. Lecture Perturbative

L'article démontre que l'information encodée dans le noyau (qui est invisible pour l'activation $\sigma$ standard) peut être rendue visible en appliquant une perturbation de paramètre additive spécifique. Cette perturbation, qui est l'unique correction de norme minimale, permet à une activation de « décodeur » de lire les fonctions stockées dans la composante du noyau sans altérer ladite composante.

Signification et Portée

L'article affirme fournir la première solution exhaustive et rigoureuse de l'équation du réseau de neurones pour les réseaux de profondeur deux à largeur continue en utilisant une méthode directe de Fourier. Sa signification réside dans :

Fondation Rigoureuse : Il remplace les constructions de ridgelets heuristiques par un cadre de théorie des opérateurs bornés, prouvant que la méthode de séparation de variables de Fourier est mathématiquement saine pour les activations de distributions tempérées.
Clarté Structurelle : Il sépare explicitement la fonction cible « visible » des composantes « fantômes » du noyau, fournissant une description géométrique complète de l'espace des paramètres.
Sélection Canonique : Il offre un moyen fondé sur des principes pour sélectionner une distribution de paramètres de norme minimale unique, résolvant l'ambiguïté inhérente aux réseaux sur-paramétrés.

Les auteurs précisent explicitement que le travail se concentre sur l'analyse fonctionnelle de l'opérateur de synthèse et la résolution complète de l'équation. Bien que les résultats puissent avoir des implications potentielles pour la théorie de l'apprentissage (ex: bornes de généralisation, noyaux de tangente neuronale), l'article les traite comme des conséquences à investiguer séparément plutôt que comme des revendications de la présente structure de théorème. Les résultats sont formalisés dans Lean 4 pour garantir leur exactitude.