EveNet: A Foundation Model for Particle Collision Data Analysis

Het artikel introduceert EveNet, een foundation model dat is voorgetraind op 500 miljoen gesimuleerde botsingsgebeurtenissen en dat gebruikmaakt van een hybride leerdoel om de huidige state-of-the-art methoden te overtreffen in diverse hoogenergetische natuurkunde-taken, uitzonderlijke data-efficiëntie te demonstreren en de succesvolle overdraagbaarheid naar echte experimentele data voor precisienatuurkunde en ontdekking te valideren.

De kern

Stel je voor dat je het universum probeert te begrijpen door miljarden kleine, razendsnelle botsingen tussen deeltjes te observeren, als het kijken naar een massaal, chaotisch potje biljart waarbij de ballen subatomaire deeltjes zijn. Natuurkundigen doen dit al decennia, maar de data is zo groot en complex dat het analyseren ervan lijkt op het proberen te vinden van een specifieke naald in een hooiberg ter grootte van een stad, waarbij je voor elke naald een andere bril nodig hebt.

Dit artikel introduceert EveNet, een nieuw soort "superbrein" (een foundation model) dat ontworpen is om dit probleem op te lossen. Hier is hoe het werkt, eenvoudig uitgelegd:

Het Probleem: Te veel brillen, te weinig tijd

Traditioneel zouden natuurkundigen, om een specifge typen deeltjesbotsing te bestuderen, een op maat gemaakt computerprogramma (een model) bouwen voor die ene specifieke taak. Als ze op zoek wilden naar een nieuw zwaar deeltje, bouwden ze één model. Als ze de verval van het Higgs-boson wilden bestuderen, bouwden ze een ander model.

• De Analogie: Stel je voor dat je een bibliotheek hebt. Om een boek over katten te vinden, huur je een bibliothecaris in die alleen alles weet van katten. Als je een boek over auto's wilt vinden, huur je een andere bibliothecaris in die alleen alles weet van auto's. Als je boeken over zowel katten als auto's wilt vinden, moet je elke keer twee mensen inhuren en hen vanaf nul trainen. Het is traag, duur en inefficiënt.

De Oplossing: EveNet, de "Universele Bibliothecaris"

De auteurs hebben EveNet gecreëerd, één enkel, massaal model dat getraind is op 500 miljoen gesimuleerde botsingsgebeurtenissen. In plaats van slechts één ding te leren, leerde het de "grammatica" en de "fysica" van hoe deeltjes in het algemeen met elkaar interageren.

• De Analogie: EveNet is als een super-bibliothecaris die elk boek in de bibliotheek heeft gelezen. Zij begrijpt de structuur van verhalen, de regels van de grammatica en de thema's van de fysica. Nu, als je hen vraagt om een boek over katten te vinden, hoeven ze niet vanaf nul te beginnen; ze gebruiken simpelweg hun diepe begrip van de bibliotheek om het direct te vinden.

Hoe het werd getraind: De "Hybride" aanpak

De meeste AI-modellen van nu leren door te raden en zichzelf te corrigeren (self-supervised learning). EveNet doet dit ook, maar het krijgt ook een "spiekbriefje" van natuurkundige simulaties.

• De Analogie: Stel je voor dat je leert schaken.
  • Self-Supervised: Je speelt tegen jezelf, raadt zetten en ziet wat er gebeurt.
  • Physics-Informed: Je hebt ook een grootmeester als coach die zegt: "Eigenlijk zeggen de regels van het spel dat je de loper hier moet bewegen."
  • EveNet combineert beide. Het leert patronen op eigen kracht, maar gebruikt ook de "waarheid" uit natuurkundige simulaties om sneller en nauwkeuriger te leren.

Wat EveNet kan (De vier tests)

De onderzoekers hebben EveNet in vier verschillende scenario's getest om te zien of het echt een "foundation model" is (één dat veel dingen kan doen):

1. De "Naald in de Hooiberg" vinden (Heavy Resonance Search):

   • De Taak: Het zoeken naar een nieuw, zwaar deeltje dat mogelijk vervalt in andere deeltjes. Dit vereist het scannen van duizenden verschillende mogelijkheden.
   • Het Resultaat: EveNet vond het signaal veel beter dan oudere methoden, zelfs wanneer er heel weinig data beschikbaar was. Het was also[f] een specifieke naald vinden in een hooiberg, zelfs wanneer de hooiberg half leeg was, terwijl oudere methoden faalden.

2. Het "Aliens" opsporen (Exotic Higgs Decays):

   • De Taak: Het zoeken naar een Higgs-boson die op een vreemde, nog nooit eerder vertoonde manier vervalt (in vier bottom-quarks). Deze data zat niet in de trainingsset.
   • Het Resultaat: EveNet herkende het patroon onmiddellijk, ook al had het dit specifieke "alien" patroon nog nooit gezien. Het generaliseerde zijn kennis naar een nieuwe situatie, terwijl oudere modellen moeite hadden.

3. De "Kwantumpuzzel" (Top Quark Pairs):

   • De Taak: Het meten van subtiele kwantumverbindingen tussen paren top-quarks. Dit vereist extreme precisie.
   • Het Resultaat: EveNet loste de puzzel op met hoge precisie met zeer weinig data. Het kon de onzichtbare delen van de botsing (zoals ontbrekende neutrino's) beter begrijpen dan modellen die vanaf nul getraind zijn.

4. De "Realiteitstest" (Anomaly Detection op echte data):

   • De Taak: De grootste test: Kan een model dat alleen getraind is op simulaties werken op echte data van de Large Hadron Collider (LHC)?
   • Het Resultaat: Ja. De onderzoekers gebruikten EveNet om een bekend deeltje (het Upsilon-meson) te vinden in echte CMS Open Data. Het werkte zo goed dat het eerdere methoden overtrof. Het bewees dat de "universele bibliothecaris" ook in de rommelige, echte wereld kan werken, en niet alleen in de schone simulatie.

Waarom dit ertoe doet

• Efficiëntie: In plaats van voor elk experiment een nieuw model te trainen, kunnen natuurkundigen dit ene, vooraf getrainde EveNet nemen, het een klein beetje extra training geven voor hun specifieke taak, en veel sneller resultaten krijgen.
• Robuustheid: EveNet raakt minder in de war door "ruis" of fouten in de detectoren. Het begrijpt de onderliggende fysica zo goed dat kleine fouten in de data het niet uit het veld slaan.
• Snelheid: Het leert nieuwe taken veel sneller dan wanneer men vanaf nul begint.

De Kernboodschap

EveNet is een "foundation model" voor de deeltjesfysica. Het is een enkel, krachtig instrument dat de fundamentele regels heeft geleerd van hoe deeltjes botsen. Door het te gebruiken, kunnen wetenschappers stoppen met het bouwen van aangepaste tools voor elke kleine taak en beginnen met het gebruik van één veelzijdige, hoogwaardige tool om ontdekkingen in de zoektocht naar nieuwe fysica te versnellen.

Noot: De paper stelt expliciet dat hoewel dit een enorme stap voorwaarts is, het model nog werk moet verzetten om complexe onzekerheden volledig aan te kunnen en om ervoor te zorgen dat zijn interne "gedachten" (latent space) perfect interpreteerbaar zijn voor mensen. Het is echter erin geslaagd te bewijzen dat een verenigde, vooraf getrainde aanpak werkt voor de hoge-energiefysica.

Technische samenvatting

Technische Samenvatting: EveNet – Een Foundation Model voor de Analyse van Deeltjesbotsingsdata

Probleemstelling

Experimenten in de hoge-energiefysica (HEP), zoals die bij de Large Hadron Collider (LHC), genereren petabytes aan botsingsdata die honderden gerichte analyses vereisen om fysica te extraheren. Huidige machine learning (ML)-benaderingen vertrouwen doorgaans op het trainen van afzonderlijke, taakspecifieke modellen voor reconstructie, identificatie en signaal-achtergrondscheiding. Dit paradigma staat voor aanzienlijke computationele uitdagingen: het vereist enorme hoeveelheden trainingsdata en middelen voor elke nieuwe analyse, heeft moeite met regimes met lage statistiek (bijv. het scannen van meerdimensionale parameterruimten voor nieuwe fysica) en mist vaak validatie op echte experimentele data. Hoewel foundation models veelbelovend zijn gebleken voor object-niveau taken (bijv. jet-tagging), blijven werkelijk event-niveau foundation models die diverse hoog-niveau analyses over verschillende eindtoestanden heen verenigen, grotendeels onontgonnen.

Methodologie

De auteurs introduceren EveNet, een event-niveau foundation model ontworpen om de interne structuur te leren van irreguliere, ongeordende puntenwolken die gereconstrueerde collider-events representeren.

Architectuur

• Backbone: EveNet maakt gebruik van een Point-Edge Transformer (PET) encoder. Deze hybride architectuur combineert globale aandachtmechanismen met lokale geometrische bewustheid (via $k$-nearest-neighbour netwerken) om de hiërarchische organisatie van deeltjesinteracties, resonanties en onzichtbare vrijheidsgraden te modelleren.
• Input Representatie: Events worden gerepresenteerd als puntenwolken van fysische objecten (jets, leptonen, fotonen) met kinematische eigenschappen, flavor-tags en ladinginformatie.
• Verenigde Latente Ruimte: Het model brengt onderscheidende en generatieve taken samen binnen één enkele latente geometrie met behulp van twee belangrijke mechanismen:
  1. Gedeelde Parameterisatie over Diffusietijd: Het netwerk is geconditioneerd op een diffusiestap $t$, wat een continuüm creëert van zuivere events ($t=0$) tot verstoorde weergaven ($t>0$).
  2. Hybride Doelstellingen: Het model wordt getraind met een combinatie van:
     • Self-Supervised Learning (SSL): Masked inpainting van zichtbare objecten.
     • Physics-Informed Supervision: Gesuperviseerde generatie van onzichtbare deeltjes (bijv. neutrino's) en classificatie-/toewijzingstaken.

Trainingsstrategie

• Pretraining Corpus: Het model werd gepretrained op ongeveer 500 miljoen gesimuleerde events die een breed spectrum van deeltjesfysica-processen uit het Standaardmodel (SM) dekken (QCD, $t\bar{t}$, $W/Z$+jets, dibosons, Higgs) gegenereerd via MADGRAPH5_aMC@NLO, PYTHIA en Delphes.
• Curriculum Learning: Training vond plaats in twee stadia:
  1. Stadium I (SSL): Volledig zelf-gesuperviseerde gemaskeerde reconstructie om latente event-structuren te leren.
  2. Stadium II (Full): Gezamenlijke optimalisatie van de SSL-doelstelling met gesuperviseerde classificatie-, toewijzings- en gesuperviseerde generatie-heads.
• Fine-Tuning: Voor downstream-taken wordt de gepretrainde backbone aangepast met taakspecifieke heads (Classificatie, Toewijzing, Segmentatie, Generatief) met behulp van een gedeeltelijk bevriezingsstrategie (partial-freeze) om representaties te behouden terwijl taakaanpassing mogelijk blijft.

Belangrijkste Bijdragen

1. EveNet Model: Het eerste event-niveau foundation model voor HEP dat onderscheidende en generatieve doelstellingen verenigt in één enkele physics-informed pretraining framework.
2. Omvattende Validatie: De eerste uitgebreide evaluatie van een foundation model op CMS Open Data, die robuuste generalisatie van simulatie naar experimentele datasets aantoont.
3. Systematische Ablatie: Een gedetailleerde studie die de impact van verschillende pretraining-strategieën (Scratch vs. SSL vs. Full) en combinaties van taken kwantificeert.
4. Open Release: De release van een volledig gepreined, direct bruikbaar EveNet-checkpoint om als startpunt te dienen voor toekomstige HEP-analyses.

Resultaten

Het model werd geëvalueerd over vier verschillende downstream-taken en presteerde consequent beter dan state-of-the-art baselines (inclusclusief XGBoost, TabPFN en SPANet):

1. Zoektocht naar Zware Resonanties ($X \to Y H_{SM}$):

   • EveNet bereikte de hoogste sensitiviteit (Significance-Improvement Characteristic, SIC) over een 121-punts massagrid.
   • In regimes met lage statistiek (1–2k signal events), convergeerde EveNet 3x sneller dan scratch-modellen en behield het een robuuste sensitiviteit waar scratch-modellen faalden.
   • Het presteerde ongeveer 20% beter dan XGBoost en 10% beter dan TabPFN op gemiddelde basis.

2. Exotische Higgs-decays ($H_{SM} \to aa \to 4b$):

   • EveNet vertoonde uitzonderlijke out-of-distribution generalisatie, waarbij het een SIC van 4,1 behaalde vergeleken met 1,6 voor scratch-modellen en 1,4 voor SPANet.
   • Het toonde superieure prestaties in beperkte data-regimes (5% van de datasetgrootte), waarbij het een hogere SIC behaalde dan baselines getraind op volledige datasets.
   • In tegen tegenstelling tot scratch-modellen had de gepretrainde representatie geen hulp-toewijzingsheads nodig om piek classificatieprestaties te bereiken, wat suggereert dat de decay-topologie impliciet gecodeerd was.

3. Kwantumcorrelaties in Top-quark Paren ($t\bar{t} \to 2\ell$):

   • In een precisie-regime met overvloedige data verbeterde EveNet de precisie van de entanglement-gevoelige observabele $D$ met 70% ten opzichte van eerdere benchmarks.
   • Het bereikte een hoge lepton-quark koppelingsnauwkeurigheid (48% met slechts 1,5% van de typische trainingsdata), bijna het dubbele van scratch-modellen.

4. Anomaliedetectie op Botsingsdata:

   • Gebruikmakend van CMS Open Data, herontdekte EveNet succesvol het $\Upsilon$ meson in het dimuon-kanaal.
   • De gekalibreerde EveNet–Full bereikte een mediane significantie van $7,6\sigma$, waarmee het de gepubliceerde CATHODE-benchmark van $6,4\sigma$ overtrof.
   • Cruciaal is dat het gepretrainde model stabiliteit behield onder fysieke kinematische kalibratie, terwijl scratch-modellen instortten, wat aangeeft dat EveNet werkelijke fysica leerde in plaats van ruis te memoriseren.

5. Systematische Robuustheid:

   • EveNet vertoonde aanzienlijk grotere stabiliteit tegen Jet Energy Scale (JES) variaties en Missing Transverse Energy (MET) fluctuaties vergeleken met scratch-modellen, met kleinere afwijkingen in prestatie-indicatoren.

Betekenis en Claims

Het artikel claimt dat EveNet succesvol de fundamentele fysieke structuur van deeltjesinteracties codeert, en een verenigd en efficiënt framework biedt voor collider-fysica. De belangrijkste implicaties zijn:

• Paradigmaverschuiving: Het werk pleit voor een beweging weg van op maat gemaakte, analyse-specifieke modellen naar een gedeeld, hoogwaardig foundation model.
• Efficiëntie: Een enkel gepretrained backbone kan worden aangepast aan diverse taken (precisiemetingen, zoektochten naar nieuwe fysica, anomaliedetectie) met minimale fine-tuning, waardoor de computationele kosten en de datavereisten voor nieuwe analyses worden verminderd.
• Transfereerbaarheid: Het model laat zien dat representaties geleerd op snelle simulaties effectief kunnen worden overgedragen naar volledige detector-simulaties en echte botsingsdata, zelfs voor out-of-distribution fysica-processen.
• Data-efficiëntie: EveNet blinkt uit in regimes met lage statistiek, een cruciale capaciteit voor het scannen van grote parameterruimten in zoektochten naar nieuwe fysica waar signal-data schaars is.

De auteurs concluderen dat hoewel er nog uitdagingen zijn met betrekking tot expliciete onzekerheidsmodellering en fysieke conserveringswetten, EveNet een concrete stap is richting autonome, gradiënt-gebaseerde analyse-pipelines die wetenschappelijke ontdekkingen bij huidige en toekomstige colliders kunnen versnellen.