⚛️ phénoménologie

The proton structure one mode at a time: a Neural Tangent Kernel analysis of a DIS fit

Cet article applique l'analyse du noyau tangentiel neuronal (NTK) à l'ajustement de données de diffusion inélastique profonde, révélant que la dynamique d'entraînement des réseaux de neurones pour les fonctions de distribution de partons est régie par l'apprentissage incrémentiel des modes NTK, où les modes principaux reconstruisent la physique cible tandis que les modes sous-dominants capturent le bruit des données, fournissant ainsi un cadre géométrique et analytique pour comprendre la régularisation, l'initialisation et l'interaction entre les données et la méthodologie.

Auteurs originaux : Amedeo Chiefa, Luigi Del Debbio, Richard Kenway

Publié 2026-10-28

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Amedeo Chiefa, Luigi Del Debbio, Richard Kenway

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Au cœur d'un proton, une tempête de particules invisibles appelées quarks et gluons tourbillonne dans une danse chaotique. Pour comprendre comment ces particules se comportent, les physiciens s'appuient sur des cartes mathématiques appelées fonctions de distribution de partons. Ces cartes nous indiquent la probabilité de trouver une particule spécifique à une certaine vitesse et à un certain endroit à l'intérieur du proton. Cependant, ces cartes ne peuvent pas être mesurées directement. Au lieu de cela, les scientifiques doivent les reconstruire en faisant s'entrechoquer des protons dans de gigantesques accélérateurs et en analysant les débris. Ce processus revient à essayer de deviner la forme d'un objet caché en écoutant les échos sonores qui rebondissent dessus ; les données sont incomplètes, et le chemin allant de l'écho vers l'objet est semé d'ambiguïtés. Pour résoudre ce problème, les chercheurs utilisent des modèles informatiques sophistiqués, souvent alimentés par l'intelligence artificielle, pour combler les lacunes. Mais comme le problème est si difficile, la manière dont l'ordinateur est configuré peut parfois influencer l'image finale autant que les données elles-mêmes.

Une équipe de chercheurs de l'Université d'Édimbourg a étudié en profondeur la manière dont ces modèles d'intelligence artificielle apprennent à dessiner ces cartes. Ils se sont concentrés sur un type spécifique de réseau de neurones, un programme informatique inspiré par le cerveau humain, qui est actuellement l'outil standard pour déterminer la structure du proton. Les scientifiques voulaient comprendre la mécanique exacte du processus d'apprentissage : comment l'ordinateur décide-t-il de ce qu'il doit croire dans les données, et comment évite-t-il d'être induit en erreur par le bruit ? Pour ce faire, ils ont développé une nouvelle façon d'observer l'ordinateur réfléchir, non pas en regardant le résultat final, mais en analysant les « muscles » et les « nerfs » internes du réseau pendant son entraînement. Ils ont traité le processus d'apprentissage comme un système physique qui s'écoule au fil du temps, leur permettant de prédire exactement comment l'ordinateur se comporterait sans avoir à lancer la simulation des milliers de fois.

Les chercheurs ont découvert que l'ordinateur n'apprend pas toute la structure du proton d'un seul coup. Au lieu de cela, il apprend par couches, en commençant par les caractéristiques les plus évidentes et les plus importantes avant de passer aux détails plus fins et plus difficiles. Ils ont constaté que le réseau capture d'abord les formes larges et lisses des distributions de particules, qui sont fortement soutenues par les données expérimentales. Ce n'est que plus tard qu'il commence à saisir les détails plus petits et plus flous. Crucialement, ils ont observé que ces détails ultérieurs ne sont souvent que du bruit — des fluctuations aléatoires dans les données qui ne représentent pas une physique réelle. Si l'on laisse l'ordinateur s'entraîner trop longtemps, il commence à mémoriser ce bruit, ce qui rend la carte finale moins précise. Cette découverte confirme que l'arrêt précoce du processus d'entraînement n'est pas seulement une astuce pratique, mais une étape nécessaire pour séparer le véritable signal de la structure du proton du statique de l'expérience.

Une autre découverte majeure concerne le démarrage de l'ordinateur. Les chercheurs ont testé ce qui se passe lorsque les paramètres initiaux de l'ordinateur sont très petits par rapport à lorsqu'ils sont plus grands. Ils ont découvert que si les valeurs de départ sont trop faibles, l'ordinateur reste bloqué dans un mode linéaire simple où il se comporte comme une calculatrice basique. Dans cet état, il ne peut pas apprendre les formes complexes et courbes de l'intérieur du proton. Il reste inactif pendant un long moment, incapable de progresser, jusqu'à ce qu'il accumule enfin assez d'élan pour sortir de cet état simple et commencer à apprendre la véritable complexité. Cela suggère que la configuration initiale de l'ordinateur est critique ; une configuration trop conservatrice peut en réalité ralentir la découverte de nouvelles physiques.

L'équipe a également montré que la capacité d'apprentissage de l'ordinateur est limitée par le nombre de directions indépendantes qu'il peut explorer. Même si le réseau de neurones possède des centaines de réglages ajustables, les données ne lui permettent d'apprendre efficacement que selon quelques dizaines de chemins spécifiques. Le reste des réglages est essentiellement invisible pour les données et ne contribue pas à la réponse finale. Cela signifie que l'ordinateur est bien plus efficace qu'il n'en a l'air, utilisant qu'une infime fraction de son potentiel pour reconstruire le proton. Les chercheurs ont démontré qu'en comprenant ces chemins spécifiques, ils pouvaient prédire le comportement de l'ordinateur avec une grande précision, créant ainsi un véritable plan mathématique de la façon dont la machine apprend.

Ce travail offre une fenêtre claire sur la « boîte noire » de l'apprentissage automatique en physique. Il montre que la fiabilité des cartes de protons dépend fortement de la connaissance du moment où il faut arrêter l'apprentissage de l'ordinateur et de la manière de le configurer dès le départ. En prouvant que le processus d'apprentissage suit un schéma prévisible et par étapes, les chercheurs ont fourni aux physiciens un nouvel outil pour valider leurs résultats. Ils peuvent désormais vérifier si leurs modèles apprennent la véritable physique ou s'ils ne font que mémoriser des erreurs. Ce niveau de contrôle est essentiel à mesure que les expériences deviennent plus précises, garantissant que la prochaine génération de découvertes sur les blocs fondamentaux de l'univers repose sur une base solide et comprise.

Résumé Technique : La Structure du Proton, un Mode à la fois

Énoncé du Problème
La détermination des Fonctions de Distribution de Partons (PDF) à partir des données de Diffusion Inélastique Profonde (DIS) constitue un problème inverse classique mal posé. La quantité finie de données expérimentales ne peut pas déterminer de manière unique la forme fonctionnelle continue des PDF, ce qui nécessite des hypothèses implicites et explicites au sein de la méthodologie pour régulariser la solution. Bien que l'Apprentissage Automatique (ML), spécifiquement les Réseaux de Neurones (NN), soit devenu un outil standard pour la paramétrisation des PDF (par exemple, dans le cadre de NNPDF4.0), la dynamique d'entraînement et le rôle spécifique de la méthodologie dans le façonnage des résultats finaux restent difficiles à distinguer du signal piloté par les données. Des analyses antérieures utilisant les Noyaux de Tangente Neuronale (NTK) étaient limitées à des modèles de test à une seule saveur. Ce travail comble cette lacune en étendant l'analyse NTK à un ajustement de PDF réaliste à plusieurs saveurs, afin de comprendre comment l'optimisation par descente de gradient et la paramétrage interagissent pour régulariser le problème inverse.

Cadre Méthodologique
Les auteurs emploient une approche de « test de clôture » (closure test), générant des données DIS synthétiques à partir d'un ensemble de PDF sous-jacent connu ( $f^{(in)}$ ) pour valider la méthodologie par rapport à une vérité de terrain. L'analyse utilise la méthodologie NNPDF4.0, comprenant :

Jeu de données : 2 968 points de données DIS (courants neutres et chargés) restreints à des observables linéaires en PDF.
Paramétrisation : Un NN de type feed-forward avec deux couches cachées (25 et 20 nœuds) paramétrisant 8 combinaisons de saveurs indépendantes ( $\Sigma, g, V, V_3, V_8, T_3, T_8, T_{15}$ ) à $Q_0 = 1,65$ GeV. Des facteurs de pré-traitement ( $x^{1-\delta}(1-x)^\epsilon$ ) sont inclus.
Entraînement : Des descente de gradient (GD) classique sans stochasticité, sans moment, ni taux d'apprentissage adaptatif, afin de s'aligner sur les dérivations analytiques.
Outil Théorique : Le Noyau de Tangente Neuronale (NTK), $\Theta_t$ , et un opérateur métrique $M = (FK)^T C_Y^{-1} (FK)$ , où $FK$ représente les tables du théorème de factorisation et $C_Y$ la covariance expérimentale.

La contribution théorique centrale est la généralisation de la solution analytique du flux de gradient au cas multi-saveur. En supposant un régime « gelé » où le NTK est approximativement constant (gelé) après une phase transitoire initiale, les auteurs dérivent une expression analytique exacte pour les PDF entraînées $f_t$ en fonction de la condition initiale $f_0$ et des données $Y$ .

Contributions Clés et Résultats

Solution Analytique et Décomposition en Modes :
L'entraînement est montré comme étant régi par l'interaction entre le NTK (encodant l'expressivité de l'architecture) et l'opérateur $M$ (encodant le pouvoir de contrainte des données). La solution est décomposée en modes $q^{(i)}$ des spectres d'un « Hamiltonien d'entraînement » $H_\perp$ . Chaque mode est appris sur une échelle de temps $\tau^{(i)} \propto 1/h^{(i)}$ , où $h^{(i)}$ est l'autovalor de l'indice correspondant.

Résultat : Seuls les $\sim 30$ premiers modes du spectre du NTK sont suffisants pour reconstruire la loi sous-jacente. Les modes de rang inférieur, appris lors des étapes ultérieures, sont faiblement contraints par les données et portent principalement du bruit. Cela fournit une interprétation géométrique de l'arrêt précoce (early stopping) comme un compromis biais-variance : arrêter avant que les modes de rang inférieur ne soient pleinement résolus permet d'éviter l'inflation du bruit.

Interprétations Statistique et Géométrique :

Information de Fisher : L'opérateur $M$ est identifié comme la Matrice d'Information de Fisher (FIM) des PDF.
Valeur de Shapley : Pour les observables linéaires, la valeur de Shapley (utilisée pour attribuer l'importance des données à des saveurs ou régions cinématiques spécifiques) est dérivée directement de la forme quadratique définie par $M$ .
Géométrie : L'entraînement est visualisé comme un flux sur une variété fonctionnelle. Le NTK gelé correspond à un plan tangent ; la solution analytique trace une trajectoire sur le plan affine défini par la condition initiale et l'image du NTK.

Impact de l'Initialisation :
L'étude examine la dépendance de la dynamique d'entraînement vis-à-vis de la largeur de la distribution d'initialisation des paramètres, contrôlée par un exposant d'échelle $\gamma$ appliqué à la variance de la distribution normale de Glorot.

Régime Linéaire ( $\gamma \gtrsim 3$ ) : Les petites initialisations forcent le réseau dans un régime linéaire (approximation de Réseau Linéaire Profond) où le NTK est constant dès le début. La fonction de perte stagne sur un plateau jusqu'à ce que les couches cachées s'saturent, déclenchant une fuite de type « selle-à-selle ». Dans ce régime, le NTK à l'initialisation est un mauvais descripteur de l'entraînement complet car l'image initiale du NTK est trop de faible dimension (limitée à l'espace engendré par $\{1, x, \log x\}$ ) pour capturer la loi sous-jacente.
Régime Gelé ( $\gamma \lesssim 1$ ) : Des initialisations plus larges permettent au réseau d'opérer immédiatement dans un régime non linéaire. Le NTK évolue rapidement au début (phase riche) puis se stabilise. Ici, la solution analytique avec le NTK gelé à l'initialisation fournit une bonne approximation de la dynamique d'entraînement.
Optimalité : Les auteurs trouvent que $\gamma \approx 0,6$ produit la convergence la plus rapide et la perte de validation la plus faible, tout en maximisant le contrôle analytique (accord entre les solutions analytiques et entraînées).

Réseaux Larges vs Petite Initialisation :
Le papier clarifie que l'augmentation de la largeur du réseau (nombre de nœuds) n'est pas équivalente à la diminution de la largeur d'initialisation ( $\gamma$ ). Bien que les deux puissent mener à des distributions de poids initiaux similaires, elles scalent le NTK différemment. Un réseau large maintient une taille de spectre NTK de l'ordre de $O(1)$ , tandis qu'une petite initialisation réduit le spectre de manière géométrique, entraînant des dynamiques d'entraînement distinctes.

Signification et Revendications
Le papier revendique de fournir un cadre quantitatif et analytique pour comprendre la dynamique d'entraînement des réseaux de neurones dans les ajustements de PDF. Sa principale signification réside dans :

Démystification de la Régularisation : Démontrer que la régularisation implicite de la descente de gradient est l'inclusion incrémentale des modes du NTK, où le régime « gelé » permet une description analytique exacte de la manière dont les données et les conditions initiales contribuent à la solution finale.
Séparation du Signal et du Bruit : Montrer que la valeur centrale des PDF est pilotée par les données, tandis que la condition initiale contribue principalement à l'incertitude, particulièrement dans les régions d'extrapolation.
Utilité Diagnostique : Établir le spectre du NTK et l'« époque d'échappement » (transition de la dynamique linéaire à non linéaire) comme outils de diagnostic pour évaluer l'efficacité et la stabilité de l'entraînement.
Rigueur Méthodologique : Fournir un fondement statistique (via la FIM et la valeur de Shapley) pour interpréter les ajustements de PDF et offrir un cadre applicable à d'autres paramétrisations et applications de ML en physique.

Les auteurs concluent que leur cadre affine la compréhension des dynamiques d'entraînement et offre une voie pour tester la robustesse des méthodologies face à des données incohérentes, sans prétendre que ces découvertes spécifiques résolvent immédiatement tous les défis de la détermination des PDF ou que les résultats se généralisent automatiquement à d'autres optimiseurs que la GD classique (ex: Adam) sans investigation supplémentaire.

Articles similaires