EveNet: A Foundation Model for Particle Collision Data Analysis

Le document présente EveNet, un modèle de fondation préentraîné sur 500 millions d'événements de collision simulés qui exploite un objectif d'apprentissage hybride pour surpasser les méthodes de l'état de l'art dans diverses tâches de physique des hautes énergies, démontre une efficacité de données exceptionnelle et valide avec succès sa transférabilité aux données expérimentales réelles pour la physique de précision et la découverte.

L'essentiel

Imaginez que vous essayez de comprendre l'univers en observant des milliards de collisions minuscules et ultra-rapides entre des particules, comme si vous regardiez une partie de billard massive et chaotique où les boules sont des particules subatomiques. Les physiciens font cela depuis des décennies, mais les données sont si vastes et complexes que les analyser revient à essayer de trouver une aiguille spécifique dans une botte de foin de la taille d'une ville, en utilisant une paire de lunettes différente pour chaque aiguille.

Ce document présente EveNet, un nouveau type de « super-cerveau » (un modèle de fondation) conçu pour résoudre ce problème. Voici comment cela fonctionne, expliqué simplement :

Le Problème : Trop de lunettes, trop peu de temps

Traditionnellement, pour étudier un type spécifique de collision de particules, les physiciens construisaient un programme informatique personnalisé (un modèle) dédié uniquement à cette tâche. S'ils voulaient chercher une nouvelle particule lourde, ils construisaient un modèle. S'ils voulaient étudier la désintégration du boson de Higgs, ils en construisaient un autre.

• L'analogie : Imaginez que vous avez une bibliothèque. Pour trouver un livre sur les chats, vous engagez un bibliothécaire qui ne connaît que les chats. Si vous voulez trouver un livre sur les voitures, vous engagez un autre bibliothécariste qui ne connaît que les voitures. Si vous voulez trouver des livres sur les deux, vous devez engager deux personnes et les former de zéro à chaque fois. C'est lent, coûteux et inefficace.

La Solution : EveNet, le « Bibliothécaire Universel »

Les auteurs ont créé EveNet, un modèle unique et massif entraîné sur 500 millions d'événements de collision simulés. Au lieu d'apprendre une seule chose, il a appris la « grammaire » et la « physique » de la manière dont les particules interagissent de façon générale.

• L'analogie : EveNet est comme un super-bibliothécaire qui a lu tous les livres de la bibliothèque. Il comprend la structure des histoires, les règles de grammaire et les thèmes de la physique. Désormais, si vous lui demandez de trouver un livre sur les chats, il n'a pas besoin de repartir de zéro ; il utilise simplement sa compréhension profonde de la bibliothèque pour le trouver instantanément.

Comment a-t-il été entraîné : L'approche « Hybride »

La plupart des modèles d'IA actuels apprennent en devinant et en se corrigeant eux-mêmes (apprentissage auto-supervisé). EveNet fait cela, mais il reçoit également un « aide-mémoire » provenant de simulations physiques.

• L'analogie : Imaginez apprendre à jouer aux échecs.
  • Auto-supervisé : Vous jouez contre vous-même, en devinant les coups et en voyant ce qui se passe.
  • Informé par la physique : Vous avez aussi un entraîneur de haut niveau qui vous dit : « En réalité, dans cette situation, les règles du jeu exigent que tu déplaces le cavalier ici. »
  • EveNet combine les deux. Il apprend les motifs par lui-même, mais utilise aussi la « vérité » des simulations physiques pour apprendre plus vite et plus précisément.

Ce que EveNet peut faire (Les quatre tests)

Les chercheurs ont testé EveNet dans quatre scénarios différents pour voir s'il s'agissait réellement d'un « modèle de fondation » (capable de faire plusieurs choses) :

1. Trouver « l'aiguille dans la botte de foin » (Recherche de résonance lourde) :

   • La tâche : Rechercher une nouvelle particule lourde qui pourrait se désintégrer en d'autres particules. Cela nécessite d'examiner des milliers de possibilités différentes.
   • Le résultat : EveNet a trouvé le signal bien mieux que les anciennes méthodes, même avec très peu de données. C'était comme trouver une aiguille spécifique dans une botte de foin même quand la botte de foin était à moitié vide, là où les anciennes méthodes échouaient.

2. Repérer « l'extraterrestre » (Désintégrations exotiques du Higgs) :

   • La tâche : Chercher un boson de Higgs se désintégrant de manière étrange et jamais vue auparavant (en quatre quarks de fond). Ces données n'étaient pas présentes dans l'ensemble d'entraînement.
   • Le résultat : EveNet a reconnu le motif immédiatement, même s'il n'avait jamais vu ce motif « extraterrestre » spécifique auparavant. Il a généralisé ses connaissances à une nouvelle situation, là où les anciens modèles peinaient.

3. Le « Puzzle Quantique » (Paires de quarks Top) :

   • La tâche : Mesurer les connexions quantiques subtiles entre des paires de quarks top. Cela exige une précision extrême.
   • Le résultat : EveNet a résolu le puzzle avec une grande précision en utilisant très peu de données. Il a pu déduire les parties invisibles de la collision (comme les neutrinos manquants) mieux que les modèles entraînés de zéro.

4. Le test du « Monde Réel » (Détection d'anomalies sur des données réelles) :

   • La tâche : Le test ultime : un modèle entraîné uniquement sur des simulations peut-il fonctionner sur des données réelles du Grand Collisionneur de Hadrons (LHC) ?
   • Le résultat : Oui. Les chercheurs ont utilisé EveNet pour trouver une particule connue (le méson Upsilon) dans les données ouvertes réelles du CMS. Il a si bien fonctionné qu'il a surpassé les méthodes précédentes. Cela a prouvé que le « bibliothécaire universel » peut réellement travailler dans le monde réel et complexe, et pas seulement dans la simulation propre.

Pourquoi cela importe

• Efficacité : Au lieu d'entraîner un nouveau modèle pour chaque expérience, les physiciens peuvent prendre ce seul EveNet pré-entraîné, lui donner un tout petit peu d'entraînement supplémentaire pour leur tâche spécifique, et obtenir des résultats beaucoup plus rapidement.
• Robustesse : EveNet est moins perturbé par le « bruit » ou les erreurs des détecteurs. Il comprend si bien la physique sous-jacente que les petites erreurs dans les données ne le déroutent pas.
• Vitesse : Il apprend de nouvelles tâches beaucoup plus rapidement qu'en partant de zéro.

L'essentiel

EveNet est un « modèle de fondation » pour la physique des particules. C'est un outil unique et puissant qui a appris les règles fondamentales de la collision des particules. En l'utilisant, les scientifiques peuvent cesser de construire des outils personnalisés pour chaque petite tâche et commencer à utiliser un outil polyvalent et performant pour accélérer les découvertes en physique nouvelle.

Note : Le document précise explicitement que, bien qu'il s'agisse d'une étape majeure, le modèle doit encore progresser pour gérer pleinement les incertitudes complexes et pour garantir que ses « pensées » internes (espace latent) soient parfaitement interprétables par les humains. Cependant, il prouve avec succès qu'une approche unifiée et pré-entraînée fonctionne pour la physique des hautes énergies.

Résumé technique

Résumé Technique : EveNet – Un Modèle de Fondation pour l'Analyse des Données de Collisions de Particules

Problématique

Les expériences de physique des hautes énergies (HEP), telles que celles du Grand Collisionneur de Hadrons (LHC), génèrent des pétaoctets de données de collision nécessitant des centaines d'analyses ciblées pour extraire la physique. Les approches actuelles d'apprentissage automatique (ML) reposent généralement sur l'entraînement de modèles distincts et spécifiques à une tâche pour la reconstruction, l'identification et la séparation signal-fond. Ce paradigme fait face à des défis computationnels importants : il exige de vastes quantités de données d'entraînement et de ressources pour chaque nouvelle analyse, peine dans les régimes à faible statistique (par exemple, lors du balayage d'espaces de paramètres multidimensionnels pour la nouvelle physique) et manque souvent de validation sur des données expérimentales réelles. Bien que les modèles de fondation aient montré des promesses pour les tâches au niveau des objets (par exemple, le marquage de jets), les modèles de fondation véritablement au niveau de l'événement, unifiant divers types d'analyses de haut niveau à travers différents états finaux, restent largement inexplorés.

Méthodologie

Les auteurs introduisent EveNet, un modèle de fondation au niveau de l'événement conçu pour apprendre la structure interne des nuages de points irréguliers et non ordonnés représentant les événements de collision reconstruits.

Architecture

• Backbone (Noyau) : EveNet utilise un encodeur Point-Edge Transformer (PET). Cette architecture hybride combine des mécanismes d'attention globale avec une conscience géométrique localisée (via des réseaux de $k$-plus proches voisins) pour modéliser l'organisation hiérarchique des interactions de particules, des résonances et des degrés de liberté invisibles.
• Représentation des Entrées : Les événements sont représentés comme des nuages de points d'objets physiques (jets, leptons, photons) dotés de propriétés cinématiques, de marqueurs de saveur et d'informations de charge.
• Espace Latent Unifié : Le modèle aligne les tâches discriminatives et génératives au sein d'une géométrie latente unique en utilisant deux mécanismes clés :
  1. Paramétrage Partagé sur le Temps de Diffusion : Le réseau est conditionné par un pas de temps de diffusion $t$, créant un continuum allant d'événements propres ($t=0$) à des vues perturbées ($t>0$).
  2. Objectifs Hybrides : Le modèle est entraîné en utilisant une combinaison de :
     • Apprentissage Auto-Supervisé (SSL) : Inpainting masqué d'objets visibles.
     • Supervision Informée par la Physique : Génération supervisée de particules invisibles (ex: neutrinos) et tâches de classification/assignation.

Stratégie d'Entraînement

• Corpus de Préentraînement : Le modèle a été préentraîné sur environ 500 millions d'événements simulés couvrant un large spectre de processus du Modèle Standard (SM) (QCD, $t\bar{t}$, $W/Z$+jets, dibosons, Higgs) générés via MADGRAPH5_aMC@NLO, PYTHIA et Delphes.
• Apprentissage par Curriculum : L'entraînement s'est déroulé en deux étapes :
  1. Étape I (SSL) : Reconstruction masquée entièrement auto-supervisée pour apprendre les structures d'événements latentes.
  2. Étape II (Complète) : Optimisation conjointe de l'objectif SSL avec des têtes de classification, d'assignation et de génération supervisées.
• Affinage (Fine-Tuning) : Pour les tâches en aval, le backbone préentraîné est adapté avec des têtes spécifiques à la tâche (Classification, Assignation, Segmentation, Génération) en utilisant une stratégie de gel partiel pour préserver les représentations tout en permettant l'adaptation à la tâche.

Contributions Clés

1. Modèle EveNet : Le premier modèle de fondation au niveau de l'événement pour la HEP qui unifie les objectifs discriminatifs et génératifs dans un cadre de préentraînement unique informé par la physique.
2. Validation Complète : La première évaluation étendue d'un modèle de fondation sur les données ouvertes CMS (CMS Open Data), démontrant une généralisation robuste de la simulation vers les ensembles de données expérimentales.
3. Ablation Systématique : Une étude détaillée quantifiant l'impact des différentes stratégies de préentraînement (Scratch vs. SSL vs. Full) et des combinaisons de tâches.
4. Publication Ouverte : Publication d'un checkpoint EveNet entièrement préentraîné et prêt à l'emploi pour servir de point de départ aux futures analyses de la HEP.

Résultats

Le modèle a été évalué sur quatre tâches distinctes en aval, surpassant systématiquement les bases de référence de l'état de l'art (incluant XGBoost, TabPFN et SPANet) :

1. Recherche de Résonance Lourde ($X \to Y H_{SM}$) :

   • EveNet a atteint la sensibilité la plus élevée (caractéristique d'amélioration de la significativité, SIC) sur une grille de masse de 121 points.
   • Dans les régimes à faible statistique (1–2k événements de signal), EveNet a convergé 3 fois plus vite que les modèles entraînés de zéro (scratch) et a maintenu une sensibilité robuste là où les modèles "scratch" ont échoué.
   • Il a surpassé XGBoost d'environ 20 % et TabPFN d'environ 10 % en moyenne.

2. Décais Higgs Exotiques ($H_{SM} \to aa \to 4b$) :

   • EveNet a démontré une généralisation hors distribution (OOD) exceptionnelle, atteignant un SIC de 4,1 contre 1,6 pour les modèles scratch et 1,4 pour SPANet.
   • Il a montré une performance supérieure dans les régimes de données limitées (5 % de la taille du dataset), atteignant un SIC plus élevé que les modèles de base entraînés sur des jeux de données complets.
   • Contrairement aux modèles scratch, la représentation préentraînée n'a pas nécessité de têtes d'assignation auxiliaires pour atteindre une performance de classification maximale, suggérant que la topologie de désintégration est implicitement encodée.

3. Corrélations Quantiques dans les Paires Top-Quarks ($t\bar{t} \to 2\ell$) :

   • Dans un régime de précision avec des données abondantes, EveNet a amélioré la précision de l'observable sensible à l'intrication $D$ de 70 % par rapport aux références précédentes.
   • Il a atteint une précision de couplage lepton-quark élevée (48 % avec seulement 1,5 % des données d'entraînement typiques), soit presque le double des modèles scratch.

4. Détection d'Anomalies sur les Données de Collision :

   • En utilisant les données ouvertes CMS, EveNet a redécouvert le méson $\Upsilon$ dans le canal dimuon.
   • Le modèle EveNet–Full calibré a atteint une significativité médiane de $7,6\sigma$, surpassant la référence publiée de CATHODE qui était de $6,4\sigma$.
   • Crucialement, le modèle préentraîné a maintenu sa stabilité sous une calibration cinématique physique, alors que les modèles scratch se sont effondrés, indiquant qu'EveNet a appris une physique réelle plutôt que de mémoriser du bruit.

5. Robustesse Systématique :

   • EveNet a montré une stabilité nettement plus grande face aux variations de l'échelle d'énergie des jets (JES) et aux fluctuations de l'énergie transverse manquante (MET) par rapport aux modèles scratch, avec des écarts plus faibles dans les métriques de performance.

Signification et Revendications

L'article affirme qu'EveNet parvient à encoder la structure physique fondamentale des interactions de particules, offrant un cadre unifié et efficace en ressources pour la physique des collisionneurs. Les implications clés incluent :

• Changement de Paradigme : Ce travail plaide pour l'abandon des modèles personnalisés et spécifiques à une analyse au profit d'un modèle de fondation partagé et performant.
• Efficacité : Un seul backbone préentraîné peut être adapté à diverses tâches (mesures de précision, recherches de nouvelle physique, détection d'anomalies) avec un minimum d'affinage, réduisant ainsi le coût computationnel et les besoins en données pour de nouvelles analyses.
• Transférabilité : Le modèle démontre que les représentations apprises sur des simulations rapides peuvent se transférer efficacement aux simulations complètes de détecteurs et aux données de collision réelles, même pour des processus physiques hors distribution.
• Efficacité des Données : EveNet excelle dans les régimes à faible statistique, une capacité critique pour le balayage de grands espaces de paramètres dans les recherches de nouvelle physique où les données de signal sont rares.

Les auteurs concluent que bien que des défis subsistent concernant la modélisation explicite de l'incertitude et les contraintes de conservation physique, EveNet représente une étape concrète vers des pipelines d'analyse autonomes et basés sur le gradient qui pourraient accélérer les découvertes scientifiques aux collisionneurs actuels et futurs.