Neural Network Field Theory at Finite Width

Résumé Technique : Théorie des Champs de Réseaux de Neurones à Largeur Finie

Énoncé du Problème
L'article étudie les limites de la représentation de la mécanique quantique (MQ) et des théories quantiques des champs (TQC) à l'aide de réseaux de neurones (NN) avec un nombre fini de paramètres ($N < \infty$). Alors que des travaux antérieurs ont établi que toute MQ ou TQC possédant une mesure non négative admet une représentation exacte via un réseau de neurones avec un nombre dénombrablement infini de paramètres aléatoires, les propriétés de telles représentations lorsqu'elles sont tronquées à une largeur finie restent obscures. La question centrale est la suivante : quelles propriétés fondamentales des TQC euclidiennes conventionnelles (telles que la positivité de la réflexion, la décomposition de cluster et la nature spécifique des configurations de champs) peuvent être préservées exactement à $N$ fini, et lesquelles doivent être violées ?

Une subtilité clé est abordée : via le théorème d'isomorphisme de Borel, un seul paramètre aléatoire peut formellement encoder une quantité infinie d'informations. Par conséquent, les auteurs distinguent entre le caractère « fini » au sens du comptage des paramètres et le caractère « fini » au sens computationnel ou architectural. L'analyse se concentre sur des architectures naturelles à largeur finie, telles que des réseaux à une seule couche avec des caractéristiques fixes ou des poids d'entrée aléatoires, qui ne peuvent pas cacher d'infinies de calculs au sein d'un ensemble fini de paramètres.

Méthodologie
Les auteurs emploient une combinaison d'analyse fonctionnelle, de théorie spectrale et de techniques de TQ constructive pour analyser les ensembles de réseaux de neurones à largeur finie. La méthodologie procède en deux étapes principales :

1. Mécanique Quantique (1D) : Les auteurs analysent des processus stochastiques $x(t)$ représentant des trajectoires quantiques. Ils utilisent l'expansion de Kosambi-Karhunen-Loève (KKL), qui fournit une décomposition orthogonale optimale d'un processus stochastique basée sur les fonctions propres de son opérateur de covariance. Ils comparent la nature de rang infini du noyau de covariance dans la MQ standard (dérivée des axiomes d'Osterwalder-Schrader) contre la nature de rang fini de tout réseau de neurones à largeur finie.
2. Théorie Quantique des Champs ($d \ge 2$) : L'analyse passe aux champs aléatoires généralisés (distributions de Schwartz). Les auteurs examinent trois obstructions spécifiques :
   • Limites de Points Coïncidents : Ils analysent le comportement des fonctions de deux points lorsque les points coïncident ($x \to y$), ce qui diverge typiquement en TQ en raison des singularités ultraviolettes (UV).
   • Analyse de l'Espace des Moments : Ils étudient le support de la transformée de Fourier des configurations de champs, en utilisant la propriété de décomposition de cluster (mélange/mixing) pour déterminer le contenu en moment des tirages de champs typiques.
   • Neurones Distributionnels : Ils testent si le fait de permettre aux neurones eux-mêmes d'être des distributions de Schwartz (plutement que des fonctions ordinaires) peut résoudre l'incompatibilité entre les réseaux à largeur finie et les configurations de champs de la TQ.

Contributions Clés et Résultats

1. Obstruction en Mécanique Quantique (N Fini)
L'article prouve qu'un réseau de neurones à largeur finie ne peut pas reproduire exactement les fonctions de corrélation d'un système de mécanique quantique conventionnel satisfaisant les axiomes d'Osterwalder-Schrader (OS).

• Argument de Comptage de Dimension : Les intégrales de chemin de la MQ standard sont supportées sur des trajectoires continues et nulle part dérivables (par exemple, le mouvement brownien). Une somme finie de fonctions dérivables par morceaux (neurones standards) génère des trajectoires qui sont dérivables presque partout, échouant ainsi à capturer la nature nulle part dérivable de la mesure réelle.
• Argument d'Optimalité KKL : Le noyau de covariance d'un système de MQ non trivial possède une infinité de valeurs propres strictement positives (rang infini). Un réseau de neurones à largeur finie correspond à une projection sur un sous-espace de dimension finie. Par l'optimalité de l'expansion KKL, toute troncature finie induit une erreur quadratique moyenne non nulle. Plus précisément, les auteurs montrent que pour tout espace de caractéristiques fini, il existe une direction dans l'espace des fonctions où le réseau a une variance nulle, alors que le processus de MQ réel possède une variance strictement positive dans toute direction non nulle (Lemme 2).

2. Obstructions en Théorie Quantique des Champs (N Fini)
Pour $d \ge 2$, les auteurs identifient que les réseaux de neurones à largeur finie violent génériquement au moins un axiome OS.

• Divergences de Points Coïncidents : Les TQ conventionnelles présentant des représentations de Källén-Lehmann non triviales présentent des fonctions de deux points divergentes aux points coïncidents (logarithmiques en $d=2$, suivant une loi de puissance pour $d>2$).
  • Résultat : Toute architecture à largeur finie où les sorties des neurones ont une variance ponctuelle bornée (une condition satisfaite par les activations standard comme ReLU ou les fonctions bornées avec des paramètres à moments finis) produit une variance lissée finie. Par conséquent, ces réseaux ne peuvent pas reproduire les divergences UV requises d'une TQ non triviale.
  • Exception : Les auteurs montrent que si l'on assouplit la condition de variance finie (par exemple, en utilisant des distributions de paramètres à queue lourde ou des amplitudes singulières), un réseau à largeur finie (même de largeur 1) peut reproduire la fonction de deux points correcte et la positivité de la réflexion. Cependant, cela nécessite des statistiques de paramètres « non physiques » pour l'échantillonnage de Monte Carlo pratique.
• Obstruction de l'Espace des Moments (Décomposition de Cluster) :
  • Résultat : Sous l'hypothèse de la décomposition de cluster (mélange), un tirage de champ typique dans une TQ doit avoir un support de Fourier sur tout l'espace des moments $\mathbb{R}^d$.
  • Obstruction : Un réseau de neurones à une seule couche à largeur finie $\phi_\theta(x) = \sum_{i=1}^N w_i \sigma_i(a_i \cdot x + b_i)$ a une transformée de Fourier supportée uniquement sur l'union de $N$ droites (proportionnelles aux poids d'entrée $a_i$). Puisqu'une union finie de droites est un sous-ensemble de mesure nulle de $\mathbb{R}^d$ pour $d \ge 2$, le réseau ne peut pas reproduire le support de moment complet requis par une TQ clustérée. Cela conduit à une violation de la décomposition de cluster ou de la positivité de la réflexion dans les fonctions d'ordre supérieur.
• Neurones Distributionnels : Même si les neurones sont généralisés en tant que distributions de Schwartz (permettant à la sortie du réseau d'être une distribution plutôt qu'une fonction), l'obstruction de rang fini persiste. Une somme finie de distributions laisse toujours un noyau de dimension infinie où le champ est déterministe, contredisant la covariance de Källén-Lehmann non triviale qui exige des fluctuations dans toutes les directions.

Signification et Revendications
L'article conclut que les représentations de la MQ et de la TQ par des réseaux de neurones à largeur finie sont fondamentalement incompatibles avec l'ensemble complet des axiomes d'Osterwalder-Schrader.

• Réalisation Exacte : Pour réaliser exactement une TQ conventionnelle via un réseau de neurones, il faut soit prendre la limite de largeur infinie ($N \to \infty$), soit employer des architectures/densités de paramètres qui violent explicitement les hypothèses physiques standards (par exemple, en utilisant des paramètres à variance infinie ou en sacrifiant la décomposition de cluster).
• Nature des Théories à N Fini : Les théories définies par des réseaux de neurones à $N$ fini ne sont pas de simples « approximations » des TQ standard ; ce sont des théories « exotiques » distinctes qui manquent nécessairement de propriétés telles que la covariance euclidienne, la positivité de la réflexion ou la décomposition de cluster.
• Implications Pratiques : Bien que les réseaux à largeur finie ne puissent pas reproduire exactement les TQ standard, les auteurs notent que des approximations tronquées sont toujours utilisées dans les études numériques (par exemple, théorie de Liouville, théorie de Maxwell). Cependant, les propriétés statistiques de ces approximations ne sont pas garanties de correspondre à la théorie cible, et les erreurs ne sont pas simplement numériques mais structurelles.

Le travail ne propose pas de nouvelles applications expérimentales mais sert de caractérisation théorique rigoureuse des limites des réseaux de neurones à largeur finie en tant que représentations de systèmes quantiques continus. Il suggère que la recherche future devrait se concentrer sur la quantification du degré de violation des axiomes OS en fonction de $N$ et sur la classification des combinaisons d'axiomes pouvant être préservées à largeur finie.