A Method to Simultaneously Facilitate All Jet Physics Tasks

Dit paper introduceert OmniLearn, een machine learning-foundation model dat door middel van een specifieke trainingsopdracht een universele representatie leert die de nauwkeurigheid, precisie en snelheid van alle andere jet-fysica-taken, variërend van generatie en classificatie tot anomaliedetectie, significant verbetert.

De kern

OmniLearn: De "Alles-kunnen" Superhulp voor de Deeltjesfysica

Stel je voor dat je een gigantische, chaotische berg Lego-blokken hebt. Deze blokken zijn niet zomaar speelgoed; ze zijn de resten van botsingen tussen de kleinste deeltjes in het heelal (zoals protonen). In de deeltjesfysica noemen we deze berg een "jet". De fysici proberen te begrijpen wat er precies gebeurd is door naar deze blokken te kijken. Maar omdat er miljoenen blokken zijn die op heel verschillende manieren kunnen vallen, is het voor een mens bijna onmogelijk om dit handmatig te analyseren.

Vroeger maakten fysici handgemaakte regels om te zeggen: "Als dit blokje hier staat, dan is het een top-quark." Maar de laatste jaren gebruiken ze kunstmatige intelligentie (AI) om dit beter te doen. Het probleem is echter dat ze voor elke nieuwe taak een nieuwe, speciale AI moeten bouwen. Dat is als een timmerman die voor elke schroef een nieuwe hamer moet maken.

Het Nieuwe Idee: De "Alles-kunnen" AI

In dit paper stellen de auteurs, Vinicius Mikuni en Benjamin Nachman, een nieuwe aanpak voor: OmniLearn.

Stel je voor dat je in plaats van een hamer voor elke schroef, een superhandige, veelzijdige robot bouwt. Deze robot heeft een enorm brein dat is getraind op een gigantische hoeveelheid Lego-constructies. Hij heeft niet alleen geleerd hoe je een schroef vastdraait, maar ook hoe je een muur bouwt, een brug maakt en een auto repareert.

De kern van hun idee is dit:

1. Eén groot brein: Ze trainen één enorm AI-model op een specifieke taak (het herkennen en genereren van verschillende soorten deeltjesjets).
2. De "Geest" van de jet: Tijdens het leren bouwt dit model een soort "internale kaart" of "geest" van hoe deeltjes eruitzien en hoe ze zich gedragen.
3. Alles kan: Zodra dit model die "geest" heeft geleerd, kunnen ze die gebruiken voor elke andere taak. Ze hoeven het model niet van nul af aan opnieuw te bouwen. Ze nemen gewoon dat ene, slimme brein en passen het toe op nieuwe problemen.

Hoe werkt dit in de praktijk? (Met Analogieën)

De auteurs laten zien dat OmniLearn werkt als een meesterkok die een recept voor een perfecte soep heeft geleerd.

• Het Oorspronkelijke Recept: Het model is getraind op een specifieke soep (bijvoorbeeld een tomatensoep uit een snelle simulatie).
• Taak 1: Een andere soep (Andere deeltjes): Vraag de kok nu om een champignonsoep te maken. Hij hoeft niet opnieuw te leren hoe je groenten snijdt of hoe je water kookt. Hij gebruikt zijn kennis van de tomatensoep en past het toe. Het resultaat is beter en sneller dan als je een nieuwe kok zou inhuren die alles opnieuw moet leren.
• Taak 2: Een ander keukenapparaat (Andere detectoren): Stel dat je de soep nu moet maken in een keuken met heel andere potten en pannen (een ander deeltjesdetector). De meesterkok past zijn techniek aan zonder dat hij de basis van koken opnieuw moet leren.
• Taak 3: Nieuwe ingrediënten (Andere botsingssystemen): Wat als je de soep moet maken met ingrediënten uit een heel ander land (bijvoorbeeld elektron-proton botsingen in plaats van proton-proton)? De kok herkent de patronen en past zijn kennis aan.
• Taak 4: Het vinden van een vreemd ding (Anomalie detectie): Als er een vreemd, onbekend ingrediënt in de soep zit (een nieuw deeltje dat we nog niet kennen), kan de kok, omdat hij zo goed de "normale" soep kent, direct zeggen: "Hey, dit hoort hier niet!"

Waarom is dit zo belangrijk?

1. Snelheid: Het duurt veel minder tijd om een nieuwe taak te leren. In plaats van weken trainen, duurt het soms maar een paar uur. Het model is al "opgewarmd".
2. Nauwkeurigheid: Omdat het model zo veel heeft geleerd, maakt het minder fouten dan een model dat maar op één ding is getraind.
3. Kostenbesparing: Je bouwt één groot model in plaats van tientallen kleine, specifieke modellen.

De "Geheimen" van de Robot

De robot (het AI-model) heet OmniLearn en het hart ervan is een architectuur genaamd Point-Edge Transformer.

• Point-Edge: Stel je voor dat de robot niet alleen naar de Lego-blokjes kijkt, maar ook naar de lijnen die ze met elkaar verbinden. Hij begrijpt niet alleen wat er is, maar ook hoe het erbij zit.
• Diffusie: Het model leert ook door "ruis" toe te voegen aan de data (alsof je de Lego-blokjes een beetje door elkaar schudt) en dan te proberen ze weer in de juiste vorm te krijgen. Dit helpt het om de echte structuur van de deeltjes te begrijpen, zelfs als de data niet perfect is.

Conclusie

Kortom: OmniLearn is de eerste "fundamentele model" voor de jet-fysica. Het is als een universale sleutel die op bijna alle deuren in het laboratorium past. In plaats van voor elke deur een nieuwe sleutel te smeden, nemen de fysici nu deze ene, super-slimme sleutel en passen deze aan.

Dit betekent dat wetenschappers sneller nieuwe ontdekkingen kunnen doen, zoals het vinden van nieuwe deeltjes of het beter begrijpen van de oorsprong van het heelal, omdat ze niet meer vastzitten aan het opnieuw trainen van hun computers voor elke kleine vraag. De code is zelfs openbaar gemaakt, zodat iedereen in de wereld dit slimme hulpmiddel kan gebruiken!

Technische samenvatting

Titel: Een methode om alle jet-fysica-taken gelijktijdig te faciliteren (OmniLearn)

Auteurs: Vinicius Mikuni en Benjamin Nachman
Publicatie: arXiv:2502.14652v1 [hep-ph] (2025)

---

1. Het Probleem

Jet-fysica, de studie van hadronische eindtoestanden in deeltjesversnellers, staat voor een paradigmaverschuiving door machine learning (ML). Jets bestaan uit vele deeltjes en worden weergegeven in hoge-dimensionale ruimten, wat handmatige analyse bemoeilijkt. Hoewel er grote vooruitgang is geboekt met diep leren voor specifieke taken (zoals het classificeren van top-quark jets of het genereren van jets), ontwikkelen deze innovaties zich parallel aan elkaar.

De kernvraag van het paper is: Kunnen we vooruitgang boeken op alle jet-fysica-taken tegelijkertijd?
Traditionele benaderingen gebruiken vaak "transfer learning" waarbij een model voor taak A wordt getraind en vervolgens wordt aangepast voor taak B. Echter, bestaande foundation-modellen in de deeltjesfysica (vaak gebaseerd op zelftoezicht of taalmodellen) zijn niet altijd optimaal afgestemd op de specifieke doelen van de fysica-analyse, zoals het genereren van data of het schatten van waarschijnlijkheidsverhoudingen. Er is behoefte aan een model dat als een "foundation model" fungeert: een model dat een universele representatie van jets leert en dit kan toepassen op diverse downstream-taken zonder dat er per se een enorme hoeveelheid nieuwe data nodig is.

2. Methodologie: OmniLearn

De auteurs introduceren OmniLearn, een foundation model voor jet-fysica dat is ontworpen om zowel classificatie- als generatietaken te ondersteunen. In plaats van tokens te voorspellen (zoals bij Large Language Models), gebruiken ze een strategie die gebruikmaakt van de beschikbare simulatie-informatie in de deeltjesfysica.

Architectuur: Point-Edge Transformer (PET)

Het hart van OmniLearn is een gedeelde neurale netwerkarchitectuur genaamd Point-Edge Transformer (PET).

• Input: Jets worden behandeld als puntwolken (point clouds) van deeltjes. Het model accepteert een variabele hoeveelheid deeltjes.
• Feature Drop: Om het model robuust te maken voor datasets met verschillende beschikbare deeltjesidentificatie (PID) of vertex-informatie, wordt tijdens het trainen met een kans van 20% PID-informatie "gedropt" (vervangen door nullen).
• Lokale en Globale Context: Het model combineert:
  1. Lokale informatie: Verkregen via Dynamic Graph Convolution (DGCNN) om de geometrische relaties tussen naburige deeltjes te leren.
  2. Globale informatie: Verwerkt via Transformer-blokken met multi-head attention.
  3. Tijdsinformatie: Voor generatieve taken wordt een tijdsparameter gebruikt (diffusieproces), die via een embedding laag wordt gecombineerd met de deeltjesinformatie.
• Shared Backbone: De PET-body leert een gedeelde representatie van de jet-structuur.

Taken en Heads

De gedeelde representatie wordt gevoed aan specifieke "heads" voor verschillende taken:

1. Classifier Head: Voor classificatie (bijv. quark vs. gluon, top-jet vs. QCD). Deze gebruikt een trainbare "class token" om de jet-informatie te samenvatten.
2. Generator Head: Voor generatieve taken (het creëren van nieuwe jets). Dit gebruikt een diffusiemodel (diffusion process) waarbij het model leert de snelheid (velocity) van de data-perturbatie te voorspellen. Het model kan worden geconditioneerd op jet-typen en kinematische variabelen.

Trainingsstrategie

• Dataset: Getraind op 100 miljoen jets van het JetClass-dataset (10 verschillende jet-classes, gesimuleerd met MADGRAPH5, Pythia8 en Delphes).
• Loss Function: Een combinatie van cross-entropy voor classificatie en een MSE-loss voor de generatieve velocity-predicatie. Er is een speciale term toegevoegd om de classificatieprestaties te behouden zelfs wanneer de input data verstoord is (door het diffusieproces).
• Transfer Learning: Voor downstream-taken worden de vooraf getrainde gewichten van de PET-body geladen. Alleen de specifieke head (en soms de laatste lagen) wordt fijngeschaald (fine-tuned).

3. Belangrijkste Bijdragen

1. Eerste Jet-Fysica Foundation Model: OmniLearn is ontworpen als een foundation model dat specifiek is getraind op een gesuperviseerde taak (multiclass classificatie en generatie) en vervolgens succesvol wordt toegepast op een breed scala aan andere taken.
2. Universele Representatie: Het bewijst dat een model getraind op één dataset (JetClass, snelle simulatie) kan generaliseren naar:
   • Andere jet-types (top, quark/gluon).
   • Andere detectors (van snelle simulatie naar volledige CMS Open Data simulaties).
   • Andere botsystemen (van LHC pp naar ep botsingen bij HERA).
   • Complexe taken zoals likelihood-ratio schatting en anomaliedetectie.
3. Efficiëntie: Het model is relatief klein (1,3 miljoen trainbare parameters in de backbone) in vergelijking met grote taalmodellen, maar presteert superieur door de nauwkeurige afstemming van de trainingsopdracht op de fysica-doelen.

4. Resultaten

De auteurs testen OmniLearn op negen verschillende datasets en taken:

• Classificatie (Jet Tagging):
  • Op top-quark en quark/gluon datasets bereikt OmniLearn een hogere nauwkeurigheid en AUC dan modellen die vanaf nul worden getraind, en presteert het vergelijkbaar met of beter dan de beste bestaande modellen (zoals ParT), zelfs zonder extensive fine-tuning.
  • Snelheid: Het model convergeert 3 keer sneller dan training vanaf nul.
• Generalisatie over Detectors:
  • Wanneer getest op echte CMS Open Data (volledige detector simulatie), presteert OmniLearn beter dan een classifier die vanaf nul is getraind op dezelfde data, en convergeert het 2 keer sneller. Dit toont aan dat het model robuust is tegen verschillen in detectorrespons.
• Generalisatie over Botsystemen:
  • Bij toepassing op Deep Inelastic Scattering (DIS) data (ep botsingen), bereikt het model vergelijkbare prestaties als een baseline, maar convergeert het 3,5 keer sneller. Dit is cruciaal voor het testen van ontmantelingsalgoritmen (unfolding).
• Generatie:
  • Op het JetNet-dataset (lichte quarks, gluonen, top, W, Z) levert OmniLearn generaties op die vergelijkbaar zijn met of beter zijn dan state-of-the-art generatieve modellen (zoals FPCD en GANs), gemeten aan de hand van fysica-metrics (Wasserstein distance, etc.).
• Likelihood Ratio Schatting:
  • Bij het herschalen (reweighting) van distributies in hoge dimensies (OmniFold-taak) toont OmniLearn een betere overeenkomst met de "data" dan een baseline classifier, wat resulteert in lagere discriminatiewaarden (triangular discriminator).
• Anomaliedetectie (Weak Supervision):
  • In het kader van "Classification Without Labels" (CWoLa) voor het detecteren van resonante anomalieën, toont OmniLearn een significant hogere gevoeligheid voor zwakke signalen (bij lage signaal-achtergrond verhoudingen) dan eerdere methoden.

5. Betekenis en Conclusie

OmniLearn markeert een belangrijke stap in de toepassing van foundation-modellen in de deeltjesfysica. Het paper demonstreert dat:

1. Eén model voor alles mogelijk is: Een enkel vooraf getraind model kan de prestaties, nauwkeurigheid en snelheid van vrijwel alle jet-fysica-taken verbeteren.
2. Data-efficiëntie: Door gebruik te maken van een sterke, vooraf getrainde representatie, kunnen analyses met minder data of kortere trainingtijd worden uitgevoerd.
3. Toekomstperspectief: Het model is openbaar beschikbaar en biedt een nieuwe basis voor analyses die hoge precisie vereisen, variërend van het vinden van nieuwe fysica (anomaliedetectie) tot het corrigeren van simulaties (reweighting/unfolding).

De auteurs concluderen dat OmniLearn een krachtig hulpmiddel is om de complexiteit van jet-fysica aan te pakken en dat de aanpak mogelijk ook toepasbaar is op andere gebieden binnen de deeltjesfysica met vergelijkbare uitdagingen.