Application of a Mixture of Experts-based Foundation Model to the GlueX DIRC Detector

Dit artikel presenteert een op Mixture-of-Experts gebaseerd fundamenteel model dat snelle simulatie, de identificatie van deeltjes en ruisfiltratie voor de GlueX DIRC-detector verenigt door gebruik te maken van een gedeelde transformer-ruggengraat om prestaties te leveren die gelijkwaardig zijn aan of beter zijn dan gevestigde taakspecifieke methoden, terwijl het direct werkt op laag-niveau detectorinvoer.

De kern

Stel je voor dat je probeert een complexe symfonie te begrijpen die wordt gespeeld door een enorm orkest (de GlueX-detector). In het verleden moesten wetenschappers drie verschillende teams van musici inhuren om dezelfde opname te beluisteren: één team om de instrumenten te identificeren (deeltjese identificatie), een ander om de muziek vanaf nul te proberen te reconstrueren (simulatie), en een derde om het hoesten en gescharrel van het publiek eruit te filteren (ruisfiltering). Elk team gebruikte een ander bladmuziek en een andere set regels.

Dit artikel introduceert een nieuwe "Supergeleider" (een Mixture-of-Experts Foundation Model) die al deze drie taken tegelijk kan uitvoeren, met behulp van één gedeeld brein.

Hieronder volgt een uiteenzetting van wat de onderzoekers hebben gedaan, met behulp van eenvoudige analogieën:

1. Het Probleem: Te Veel Gespecialiseerde Hulpmiddelen

In de wereld van de deeltjesfysica, specifiek bij het GlueX-experiment, gebruiken wetenschappers een detector genaamd een DIRC. Het werkt als een gigantisch, met spiegels bekleed zwembad. Wanneer een geladen deeltje (zoals een pion of een kaon) erdoorheen schiet, creëert het een flits van licht (Cherenkov-straling) die rondkaatst en op sensoren terechtkomt.

• De Oude Manier: Om deze lichtflitsen te interpreteren, gebruikten wetenschappers:
  • Geometrische Regels: Alsof je een liniaal en een geodriehoek gebruikt om te raden waar het licht vandaan kwam. Dit werkt goed voor trage deeltjes, maar raakt in de war wanneer deeltjes zeer snel bewegen.
  • Computersimulaties: Alsof je probeert elke enkele watergolf in een zwembad te simuleren. Het is ongelooflijk nauwkeurig, maar vereist een enorme hoeveelheid rekenkracht en tijd.
  • Scheiding AI-modellen: Er werden verschillende AI-modellen gebouwd voor verschillende taken. Eén voor het identificeren van deeltjes, een ander voor het simuleren van licht, en weer een ander voor het opschonen van ruis. Dit was rommelig, duur om te trainen, en liet de modellen niet met elkaar "praten".

2. De Oplossing: Een "Zwitsers Zakmes" AI

De onderzoekers hebben een Foundation Model (een type geavanceerde AI vergelijkbaar met die welke moderne chatbots aandrijven) toegepast op deze detector.

• Het Gedeelde Brein: In plaats van drie verschillende modellen, bouwden ze één groot model met een gedeelde "ruggengraat" (het kernbrein). Dit brein leert de fundamentele taal van de detector: hoe licht de sensoren raakt in ruimte en tijd.
• De Mixture of Experts (MoE): Denk hierbij aan een team van specialisten dat binnen hetzelfde brein werkt. Wanneer de AI een "Pion" ziet, activeert het een specifieke set "experts" (neuronale paden) die getraind zijn voor pions. Wanneer het een "Kaon" ziet, schakelt het over naar een andere set experts. Ze delen dezelfde kennisbasis, maar specialiseren zich in hun specifieke taken.

3. Wat de AI Eigenlijk Doet

Het artikel stelt dat dit enkele model uitblinkt in drie specifieke taken:

• Taak A: Deeltjese Identificatie (De Detective)

  • De Taak: Kijk naar het patroon van lichtinslagen en zeg: "Dit is een pion" of "Dit is een kaon".
  • Het Resultaat: De AI werd de beste detective tot nu toe. Het identificeerde deeltjes 95,2% van de tijd correct (gemeten aan de hand van een score genaamd AUC). Dit is beter dan de oude geometrische regels (87,1%) en beter dan eerdere AI-modellen. Het was vooral goed in het onderscheiden van snel bewegende deeltjes, een taak waarbij de oude methoden meestal falen.

• Taak B: Snelle Simulatie (De Vervalser)

  • De Taak: In plaats van een trage, zware computersimulatie te draaien om te voorspellen hoe het lichtpatroon er zou moeten uitzien, genereert (of "hallucineert") de AI direct een realistisch patroon.
  • Het Resultaat: De AI leerde de lichtpatronen zo nauwkeurig te "tekenen" dat ze bijna identiek lijken aan de echte, trage simulaties.
  • De Bonus: In tegenstelling tot andere methoden die een aparte rekenmachine nodig hebben om te raden hoeveel fotonen (lichtdeeltjes) er zouden moeten zijn, leerde deze AI ze automatisch te tellen als onderdeel van het tekenproces. Het is alsof een kunstenaar precies weet hoeveel verf hij moet gebruiken zonder een aparte maatbeker nodig te hebben.

• Taak C: Ruisfiltering (De Conciërge)

  • De Taak: De detector neemt soms willekeurige "ruis" op (zoals statiek op een radio) die niet van een deeltje komt. De AI moet het echte signaal van het onzin scheiden.
  • Het Resultaat: De AI is hier ongelooflijk goed in, met een 97,1% slagingspercentage in het behouden van het echte signaal terwijl het de ruis weggooit. Het doet dit voor zowel pions als kaons met behulp van hetzelfde netwerk.

4. De Haken (en de Toekomst)

De onderzoekers waren eerlijk over een beperking. Hoewel de AI geweldig is, is het nog niet perfect.

• Het "Schaarste Data"-Probleem: De AI werd getraind op ongeveer 700.000 voorbeelden van elk deeltjestype. Hoewel dat veel klinkt, is het universum van mogelijke deeltjespaden enorm. De AI is zeer goed in veelvoorkomende scenario's, maar wordt iets "onscherp" wanneer deeltjes zich met zeer hoge snelheden bewegen (waar de patronen subtiel en zeldzaam zijn).
• De Analogie: Stel je voor dat je een student leert katten te tekenen. Als je ze 700.000 foto's van katten laat zien, zullen ze 99% van de tijd een perfecte kat tekenen. Maar als je ze vraagt een kat te tekenen in een zeer specifieke, rare houding die ze nog nooit hebben gezien, maken ze misschien een kleine fout.
• De Conclusie: Het artikel betoogt dat dit geen gebrek in het ontwerp van de AI is, maar een gebrek aan trainingsdata. Als ze de AI in de toekomst meer data geven, zal het waarschijnlijk perfect worden.

Samenvatting

Dit artikel bewijst dat je niet een ander hulpmiddel nodig hebt voor elke taak in de deeltjesfysica. Je kunt één universele "Supergeleider" bouwen die de taal van de detector leert. Zodra het die taal heeft geleerd, kan het tegelijkertijd optreden als detective, vervalser en conciërge, en doet het alle drie de taken beter dan de oude, gescheiden methoden. Het is een stap in de richting van het sneller, goedkoper en meer verenigd maken van de analyse in de deeltjesfysica.

Technische samenvatting

1. Probleemstelling

De identificatie van geladen hadronen (specifiek pionen en kaonen) in het GlueX-experiment bij Jefferson Lab is afhankelijk van de Detection of Internally Reflected Cherenkov (DIRC)-detector. Huidige analysepijplijnen staan voor drie primaire uitdagingen:

• Fragmentatie: Bestaande oplossingen maken gebruik van aparte, gespecialiseerde modellen voor verschillende taken: geometrische reconstructie voor deeltjesidentificatie (PID), volledige Geant4-simulaties voor data-generatie met hoge fideliteit (wat rekenkundig duur is) en aparte filters voor ruis. Dit leidt tot hoge trainingskosten en complexiteit bij implementatie.
• Prestatiedegradatie: Traditionele methoden voor geometrische reconstructie (Look-Up Tables) degraderen aanzienlijk bij hoge impulsen ($>3$ GeV/c) omdat de Cherenkov-hoeken van pionen en kaonen convergeren, wat discriminatie moeilijk maakt.
• Simulatiekosten: Volledige Geant4-tracking van Cherenkov-fotonen is te traag voor grootschalige Monte Carlo-studies, wat "snelle simulatie"-surrogaten noodzakelijk maakt die vaak gebrek hebben aan fideliteit of aanvullende componenten vereisen om fotonopbrengsten te modelleren.

2. Methodologie

De auteurs passen een Foundation Model (FM) gebaseerd op een Mixture-of-Experts (MoE) toe, oorspronkelijk ontwikkeld voor de hpDIRC bij de toekomstige Electron-Ion Collider, direct op de GlueX DIRC zonder architecturale wijzigingen.

Data Representatie & Tokenisatie

• Input: Het model verwerkt laag-niveau detectorinputs: ruimtelijke coördinaten $(x, y)$ op het Photomultiplier Tube (PMT)-array en aankomsttijd $(t)$.
• Tokenisatie:
  • Ruimtelijk: Discrete pixelindices worden gemapt naar een vocabulaire van 5.670 unieke locaties.
  • Tijdelijk: Continue tijd wordt gediscretiseerd in bins van 0,06 ns over een bereik van 20–350 ns.
  • Conditionering: Kinematische parameters (impulsgrootte $|\vec{p}|$, polaire hoek $\theta$, azimutale hoek $\phi$) worden geprojecteerd en voorafgeplakt als contextuele tokens aan beide sequenties.

Architectuur

• Ruggengraat: Een gedeelde Transformer-ruggengraat met twee parallelle sequenties (ruimtelijk en tijdelijk).
• Fusie: Een Causal Multi-Head Cross-Attention (CMHCA)-blok fuseert de sequenties. Tijdelijke embeddings fungeren als Queries ($Q$), terwijl ruimtelijke embeddings fungeren als Keys ($K$) en Values ($V$), wat de fysieke intuïtie codeert dat aankomsttijden geldige geometrische locaties bevragen.
• Mixture of Experts (MoE): Om klassen-geconditioneerde generatie te hanteren (onderscheid maken tussen pionen en kaonen), hanteert het model 4 experts (2 per deeltjestype) met vaste routing. Een aanvullende load-balancing loss zorgt voor uniform expertgebruik.
• Taakhoofden: De gedeelde ruggengraat ondersteunt drie downstream taken via lichtgewicht hoofden:
  1. Generatie: Autoregressieve next-token voorspelling over ruimtelijke en tijdelijke vocabulaires.
  2. Deeltjesidentificatie (PID): Een classificatiehoofd dat een CLS-token gebruikt.
  3. Hit-filtering: Een per-token classificatiehoofd om signaal te onderscheiden van ruis.

Trainingsstrategie

• Pre-training: Het model wordt eerst autoregressief getraind om de onderliggende detectorrespons te leren (snelle simulatie).
• Fine-tuning:
  • Voor PID wordt het model gefine-tuned vanuit de vooraf getrainde gewichten.
  • Voor Ruisfiltering wordt het model vanaf nul getraind (willekeurige initialisatie) omdat fine-tuning geen extra voordeel bood.
• Data Augmentatie: Om overfitting op de beperkte dataset (~700k samples per klasse) te voorkomen, pasten de auteurs ruimtelijke perturbatie toe (pixels verplaatsen naar aangrenzende locaties binnen dezelfde PMT) en tijdelijke smearing ($\pm 1$ ns).

3. Belangrijkste Bijdragen

• Gedifferentieerd Kader: Aangetoond dat een enkel Foundation Model tegelijkertijd snelle simulatie, deeltjesidentificatie en ruisfiltering kan uitvoeren, waardoor de behoefte aan gefragmenteerde, taakspecifieke pijplijnen wordt geëlimineerd.
• Directe Opbrengstlering: In tegenstelling tot eerdere snelle simulatiemethoden die aanvullende netwerken vereisen om fotonopbrengsten te reproduceren, leert dit model de fotonopbrengst impliciet via het autoregressieve generatieproces.
• Overdraagbaarheid: Aangetoond dat een modelarchitectuur ontworpen voor één Cherenkov-detector (hpDIRC/EIC) effectief overdraagbaar is naar een andere detector (GlueX DIRC) zonder architecturale wijzigingen.
• MoE-integratie: Succesvolle integratie van MoE om klassen-geconditioneerde generatie mogelijk te maken binnen een uniforme transformer, waardoor het model zich kan specialiseren in het genereren van onderscheidende pionen- en kaonpatronen terwijl het een gemeenschappelijke latente ruimte deelt.

4. Resultaten

Deeltjesidentificatie (PID)

• Prestaties: Het gefine-tunde Foundation Model behaalde een AUC van 0,952, wat beter presteert dan de Swin Transformer (0,932), Normalizing Flow-based DLL (0,933) en de geometrische baseline (0,871).
• Hoge Impuls: Het FM behield superieure discriminatiekracht bij hoge impulsen ($>3$ GeV/c) waar traditionele methoden falen door convergentie van Cherenkov-hoeken.
• Winst: Pre-training zorgde voor een consistente ~2% AUC-verbetering ten opzichte van training vanaf nul.

Snelle Simulatie (Generatieve Kwaliteit)

• Visuele Fideliteit: Het model reproduceerde trouw ruimtelijke hitpatronen en de karakteristieke dubbel-gepiekte Cherenkov-timingstructuur van de Geant4-ground truth.
• Fotonopbrengst: De gegenereerde fotonopbrengst kwam overeen met de Geant4-ground truth over alle 48 staven van de detector, zonder aanvullende opbrengstmodelleren.
• Fideliteitsvalidatie: Wanneer een classifier werd getraind op de snel gesimuleerde data en getest op Geant4-data, behaalde deze een AUC van 0,904 (tegenover 0,935 voor Geant4-getraind). De ~3% prestatiekloof wijst op hoge globale fideliteit, waarbij de degradatie voornamelijk optreedt in hoog-impulsregio's waar fijnkorrelige structurele details kritiek zijn. Dit suggereert dat de beperking statistisch is (datasparsiteit) en niet architecturaal.

Ruisfiltering

• Prestaties: Het model behaalde een AUC van 0,971 voor ruisrejectie voor zowel pionen als kaonen.
• Robuustheid: Het toonde bijna ideale signaalretentie bij hoge niveaus van ruisonderdrukking, met stabiele prestaties over de volledige kinematische fase-ruimte.

5. Betekenis

Dit werk vestigt Foundation Models als een praktische, schaalbare en hoogpresterende alternatief voor traditionele analysepijplijnen in de experimentele kernfysica.

• Efficiëntie: Door simulatie, PID en filtering te verenigen, vermindert het de engineering-omvang van het onderhouden van meerdere gespecialiseerde modellen.
• Schaalbaarheid: De resultaten suggereren dat naarmate pre-training datasets groter en diverser worden, de generatieve fideliteit de nauwkeurigheid van Geant4 zal benaderen, met name in complexe hoog-impulsregimes.
• Paradigmaverschuiving: Het versterkt het opkomende paradigma waarbij een enkel, goed getraind model dient als een algemeen doel representatie van detectordata, in staat om diverse downstream taken te ondersteunen via fine-tuning, en een weg biedt naar meer onderhoudbare en hoog-fideliteits analyseworkflows voor huidige en toekomstige experimenten.