⚛️ phenomenology

OmniLearned: A Foundation Model Framework for All Tasks Involving Jet Physics

Dit artikel introduceert OmniLearned, een geüpgradede fundamentele modelframework voor jet-fysica dat, getraind op meer dan één miljard jets en ondersteund door gedocumenteerde software, state-of-the-art prestaties levert voor diverse taken zoals top-quark tagging, b-tagging en anomaliedetectie, waardoor het ontdekkingspotentieel van collider-experimenten aanzienlijk wordt vergroot.

Oorspronkelijke auteurs: Wahid Bhimji, Chris Harris, Vinicius Mikuni, Benjamin Nachman

Gepubliceerd 2026-03-27

📖 4 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Wahid Bhimji, Chris Harris, Vinicius Mikuni, Benjamin Nachman

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme bibliotheek hebt met miljarden boeken over deeltjesfysica. Elke pagina beschrijft een "jet": een wolkje deeltjes dat ontstaat wanneer quarks en gluons (de bouwstenen van de materie) met enorme kracht tegen elkaar botsen in deeltjesversnellers zoals de LHC.

Vroeger was het voor wetenschappers als een zoektocht in een donkere kamer: ze moesten voor elk specifiek probleem (bijvoorbeeld: "Is dit een top-quark?" of "Is dit een vreemd deeltje?") een nieuwe, slimme computerprogrammatuur bouwen en die trainen met een beperkt aantal voorbeelden. Het was alsof je voor elke nieuwe taal die je wilde leren, een heel nieuw woordenboek moest schrijven.

De oplossing: OmniLearned

De auteurs van dit paper hebben een nieuwe "superleesmeester" bedacht, genaamd OmniLearned. Dit is een foundation model (een fundamenteel model).

Hier is hoe het werkt, in simpele termen:

1. De "Alles-kunnen" Lezing (Pre-training)

Stel je voor dat OmniLearned niet één taal leert, maar alle talen tegelijk. In plaats van te trainen met een paar duizend voorbeelden, heeft dit model meer dan één miljard jets gelezen. Het heeft gekeken naar jets van verschillende experimenten (ATLAS, CMS, H1) en verschillende soorten botsingen.

De Analogie: Het is alsof je een kind niet alleen laat leren lezen met één boek, maar het laat doorbladeren in de hele bibliotheek van de wereld. Het kind leert niet alleen woorden, maar ook hoe zinnen opgebouwd zijn, hoe verhalen werken en wat de logica achter de tekst is.
Het Resultaat: Het model heeft een diep inzicht gekregen in de "structuur" van jets. Het begrijpt nu wat een jet is, ongeacht waar hij vandaan komt.

2. De Slimme Aanpassing (Fine-tuning)

Nu het model alles al weet, hoe gebruiken we het voor een specifiek probleem?
Stel je voor dat je dit supergeleerde kind wilt inzetten om een specifiek raadsel op te lossen, zoals "Vind de top-quark". Je hoeft het kind niet opnieuw te laten leren lezen. Je geeft het alleen een korte uitleg: "Kijk, deze specifieke zinnen zijn belangrijk voor dit raadsel."

De Analogie: Het is alsof je een meesterkok (OmniLearned) die al duizenden gerechten kan maken, vraagt om een specifieke taart te bakken. Je hoeft hem niet te leren hoe je eieren breekt of meel meet; je geeft hem alleen het recept voor die ene taart. Hij leert het in een fractie van de tijd die een beginnende kok nodig zou hebben.
De Winst: Dit gaat veel sneller en is veel nauwkeuriger dan het bouwen van een model van nul af.

3. De Drie Proefballonnen

De auteurs hebben getoond dat hun model in drie verschillende situaties de beste prestaties levert:

De Top-quark Jager: Ze lieten het model zoeken naar top-quarks in een standaard testset. Het was beter dan alle vorige methoden.
De B-Tagger (De Deeltjes-Identificatie): Ze gebruikten het om te onderscheiden tussen jets van verschillende deeltjes (zoals 'b-quarks' versus 'lichte quarks'). Het model kon dit met een precisie doen die de huidige beste methoden van het ATLAS-experiment overtrof.
De Anomalie-Detector (De "Vreemde Vogel" Zoeker): Dit is misschien wel het coolste. Soms willen wetenschappers niet weten wat ze verwachten, maar juist zoeken naar iets onbekends (nieuwe fysica).
- Hoe werkt dat? Het model leert wat "normaal" is (de achtergrond). Als er iets in de data zit dat eruit springt als een "vreemde vogel" (bijvoorbeeld een jet die er heel anders uitziet dan de miljarden die het al heeft gezien), slaat het alarm.
- Ze gebruikten dit om de top-quark opnieuw te "ontdekken" in echte data van het CMS-experiment, puur door te zoeken naar afwijkingen, zonder dat ze eerst wisten dat ze daar naar zochten.

Waarom is dit belangrijk?

Vroeger moest je voor elk nieuw experiment of elk nieuw deeltje een nieuw computermodel bouwen, wat veel tijd en rekenkracht kostte. Met OmniLearned hebben we nu een universeel gereedschap.

Het is schaalbaar: Hoe groter het model (meer "hersenen"), hoe beter het werkt.
Het is flexibel: Het kan worden ingezet voor het ene experiment en morgen voor een heel ander.
Het is open: De auteurs hebben de code en de data openbaar gemaakt, zodat iedereen hiermee kan spelen en nieuwe ontdekkingen kan doen.

Kortom: OmniLearned is als een super-intelligente, universele vertaler en detective in één. Hij heeft de hele bibliotheek van de deeltjesfysica gelezen en kan nu elke specifieke vraag beantwoorden die je hem stelt, sneller en slimmer dan ooit tevoren. Dit opent de deur voor veel snellere ontdekkingen van nieuwe deeltjes en fenomenen in het universum.

Titel: Foundation Model Framework voor Alle Taken Betreffende Jet-fysica

Auteurs: Wahid Bhimji, Chris Harris, Vinicius Mikuni en Benjamin Nachman.

1. Het Probleem

Hadronische jets (bundels van deeltjes voortkomend uit hoge-energie quarks en gluonen) zijn overal aanwezig in botsingsexperimenten zoals die bij de Large Hadron Collider (LHC). Het analyseren van deze jets is cruciaal voor het identificeren van deeltjes (zoals top-quarks of b-quarks) en het zoeken naar nieuwe fysica (anomalie-detectie).

De huidige uitdagingen zijn:

Data-tekort: Het is moeilijk om voldoende gelabelde voorbeelden te verzamelen om state-of-the-art machine learning-modellen te trainen voor elke specifieke taak (bijv. b-tagging, top-tagging, anomalie-detectie).
Beperkingen van bestaande foundation models: Bestaande foundation modellen in de deeltjesfysica gebruiken vaak "ge-tokeniseerde" modellen met zelftoezicht (self-supervised learning), vergelijkbaar met taalkundige modellen (LLMs). Deze benaderingen maken echter geen optimaal gebruik van de continuïteit van de data of de labelinformatie die beschikbaar is via simulaties.
Efficiëntie: Het trainen van modellen van nul af (from scratch) voor elke nieuwe dataset of detectorconfiguratie is computatief duur en tijdrovend.

2. Methodologie: OmniLearned

Het artikel introduceert OmniLearned, een significante upgrade van het eerdere OmniLearn-model. Het is een foundation model dat is ontworpen om een effectieve representatie van jets te leren die direct toepasbaar is op diverse downstream-taken.

Kerncomponenten van de architectuur (PET v2):

Point Edge Transformer (PET) v2: Het model gebruikt een transformer-architectuur gecombineerd met een graph neural network. De input wordt behandeld als een "point cloud" van deeltjes binnen een jet.
Input Features: In plaats van uitgebreide pre-processing, gebruikt het model een minimale set van kinematische variabelen: $(\Delta\eta, \Delta\phi, \log p_T, \log E)$ .
Inclusie van Extra Informatie: Het model kan optionele informatie zoals deeltjesidentificatie (PID) en vertex-informatie verwerken via specifieke embedding-blokken. Deze informatie kan willekeurig worden weggelaten tijdens training (dropout-achtige strategie) om robuustheid te garanderen.
Lokale en Globale Attention:
- Lokale attention: Gebruikt een k-nearest neighbor algoritme met fysica-geïnspireerde interactietermen (zoals invariantie massa en $\Delta R$ ) tussen deeltjes.
- Globale attention: Gebruikt transformer-blokken met een leerbare hyperbolische tangens-normalisatie voor stabiliteit.
Trainingsdoelstellingen (Loss Function): Het model wordt getraind met een combinatie van twee taken:
1. Classificatie: Het voorspellen van het type jet (bijv. top, b-jet, QCD).
2. Generatie: Het gebruik van Flow Matching (in plaats van pure diffusion) om jets te genereren. Dit verbetert de kwaliteit van de generatie en de stabiliteit van het trainingproces.
Dataset: Het model is getraind op een ongeëvenaarde dataset van meer dan 1 miljard jets (10x groter dan het vorige model). Deze dataset combineert openbare datasets zoals JetClass, JetClass2, Aspen Open Jets, ATLAS Top Tagging, H1 DIS en CMS QCD/BSM simulaties. In totaal zijn er 210 klassen gedefinieerd.

3. Belangrijkste Bijdragen

OmniLearned Framework: Een geüpgradede architectuur (PET v2) die schaalbaar is en beter presteert dan eerdere iteraties.
Massale Training: Training op een dataset van >1 miljard jets, wat een mijlpaal is voor de schaalbaarheid van transformer-modellen in de deeltjesfysica.
Open Software en Data: Publicatie van een softwarepakket dat toegang biedt tot alle trainings- en testdatasets in een unificatieformaat, evenals goed gedocumenteerde code voor training en fine-tuning.
Veelzijdigheid: Demonstratie dat het model succesvol kan worden gebruikt voor classificatie, generatie en anomalie-detectie zonder dat de basisarchitectuur fundamenteel hoeft te veranderen.

4. Resultaten

Het model werd getest op drie representatieve taken en overtreft de huidige state-of-the-art (SOTA) in alle gevallen:

Top-quark Jet Tagging (Community Benchmark):
- Op de standaard Delphes-benchmark dataset presteert OmniLearned (zowel de kleine als grote varianten) beter dan eerdere modellen zoals ParT, ParticleNet en L-GATr.
- Bij een signaalefficiëntie van 30%, bereikt het grote model (OmniLearned-l) een achtergrondafstoting van 3486, vergeleken met ~2894 voor de vorige beste fine-tuned modellen.
b-tagging (ATLAS Full Simulatie):
- Getest op openbare ATLAS-simulaties met volledige detectorrespons.
- OmniLearned overtreft de huidige ATLAS "GN2" standaard. Voor b-tagging bij 70% efficiëntie is de afstoting van lichte jets (light-jets) met meer dan 50% verbeterd ten opzichte van GN2.
- Transfer Learning: Het model toont aan dat generatieve koppen (generative heads) kunnen worden hergebruikt voor taak-specifieke taken zoals het voorspellen van de oorsprong van sporen (track origin), zelfs als dit niet de oorspronkelijke trainingsdoelstelling was.
Anomalie Detectie (CMS Open Data):
- Het model werd ingezet om top-quarks te "herontdekken" in CMS-data als een test voor anomalie-detectie (waarbij top-quarks slechts 0,1% van de data uitmaken).
- Strategie 1 (Generatief): Het model genereert de achtergrondverdeling in de "sidebands" en detecteert afwijkingen in het signaalgebied.
- Strategie 2 (Directe Classificatie): Het gebruik van de pre-trained klassen (bijv. 3-prong decays) als anomaly score zonder extra fine-tuning.
- Resultaat: OmniLearned slaagt erin het signaal boven de ontdekkingsthorshold te detecteren (significatie > 5), terwijl modellen die van nul af worden getraind dit niet kunnen. Dit bewijst de generalisatiekracht van het foundation model op echte experimentele data.

5. Betekenis en Toekomstperspectief

Paradigmaverschuiving: OmniLearned bewijst dat foundation modellen, getraind op enorme datasets met diverse taken, superieure representaties leren die beter generaliseren dan modellen die specifiek voor één taak zijn ontworpen.
Efficiëntie: Het gebruik van pre-trained modellen vermindert de noodzaak voor kostbare, volledige simulaties en versnelt de ontwikkeling van nieuwe analysemethoden.
Toekomst: De auteurs suggereren dat deze methodologie en de pre-trained weights ook toepasbaar zijn buiten de jet-fysica, bijvoorbeeld voor volledige event-topologieën of verschillende botsingssystemen.
Reproduceerbaarheid: Door het openbaar maken van de code en data (via GitHub) wordt de drempel voor andere onderzoekers verlaagd om deze geavanceerde technieken toe te passen.

Kortom, dit artikel markeert een belangrijke stap in de integratie van foundation modellen in de deeltjesfysica, waarbij schaalbaarheid, prestaties en veelzijdigheid centraal staan.