Vision Transformers and Graph Neural Networks for Charged Particle Tracking in the ATLAS Muon Spectrometer

Dit artikel presenteert twee machine learning-benaderingen, namelijk Graph Neural Networks en Vision Transformers, om de reconstructie van geladen deeltjes in het ATLAS Muon Spectrometer te versnellen en robuuster te maken voor de toekomstige High-Luminosity LHC-fase.

De kern

Deel 1: De Grote Uitdaging – Een Zoektocht in een Vuilnisbelt

Stel je voor dat de Large Hadron Collider (LHC) bij CERN een gigantische, hyper-snelle camera is die deeltjes opneemt. De ATLAS-detector is als een enorm, holle cilinder vol met sensoren die elk deeltje proberen te "zien" dat erdoorheen vliegt.

Het probleem? De komende jaren (na 2030) gaat deze camera niet één foto per seconde maken, maar 200 keer zo snel. Het wordt alsof je probeert een paar specifieke, glinsterende edelstenen (de muonen, de deeltjes die we willen bestuderen) te vinden in een storm van vuilnis en rommel die over je hoofd wordt gegooid.

In de huidige situatie is die "rommel" al erg, maar in de toekomst wordt de ruimte zo vol met deeltjes dat het voor de computers bijna onmogelijk wordt om de echte sporen te volgen. Het is alsof je in een drukke treinreis probeert te horen wat je vriend zegt, terwijl er 200 mensen tegelijk schreeuwen. De computer moet nu razendsnel beslissen: "Is dit een belangrijk spoor of gewoon ruis?"

Deel 2: Oplossing 1 – De Slimme Filter (GNN's)

De eerste oplossing die de onderzoekers hebben bedacht, is als het invoeren van een slimme vuilnisman.

Stel je voor dat de sensoren in de detector kleine "bakken" vullen met signalen. Vaak zitten er in één bak veel nuttige signalen, maar ook veel onzin (ruis). De oude computermethode keek naar elk signaal in die bak, wat veel tijd kostte.

De nieuwe methode gebruikt een Grafische Neuronale Netwerk (GNN). Dit is als een super-slimme agent die naar de bak kijkt en direct zegt: "Ah, deze bak zit vol met ruis, weggooien!" of "Deze bak heeft een mooi patroon, houden!"

• Het resultaat: De computer hoeft niet meer naar alle 200 mensen in de trein te luisteren, maar alleen nog naar de 10 die echt iets te zeggen hebben. Hierdoor gaat de verwerking 15% sneller. Het is alsof je de rommel eerst opruimt voordat je begint met zoeken, waardoor je veel sneller de edelstenen vindt.

Deel 3: Oplossing 2 – De Visionaire Zoeker (Vision Transformers)

De tweede oplossing is nog radicaler. In plaats van stap voor stap te zoeken, gebruiken ze een technologie die is ontwikkeld voor kunstmatige intelligentie die foto's herkent (zoals het herkennen van katten op Instagram).

Stel je voor dat je een foto van een drukke stad hebt met honderden auto's, maar je wilt alleen de rode auto's volgen. Een traditionele computer zou elke auto één voor één controleren. De nieuwe methode, een Vision Transformer (ViT), kijkt naar het hele plaatje in één oogopslag.

• Hoe werkt het? De computer neemt alle signalen uit de detector en maakt er een soort "kaart" van. De AI kijkt naar de hele kaart en zegt direct: "Daar is een spoor van een muon, en daar is nog eentje." Het negeert automatisch de rest van de ruis.
• De snelheid: Dit is ongelooflijk snel. Op een gewone, betaalbare computerkaart (zoals die in een gamer-pc) kan dit systeem een heel complex spoor in 2,3 milliseconden reconstrueren. Dat is sneller dan het knipperen van je oog!
• De prestatie: Het vindt 98% van de echte muonen, zelfs als de detector vol zit met ruis. Het is alsof je in een storm van sneeuwvlokken perfect de paden van de vogels kunt volgen.

Deel 4: Waarom is dit belangrijk?

Deze technieken zijn cruciaal voor de toekomst van de natuurkunde.

1. Schaalbaarheid: Zonder deze slimme filters zou de computer van ATLAS het niet halen bij de enorme hoeveelheid data van de toekomst.
2. Kosten: De tweede methode werkt op goedkope hardware. Je hebt geen supercomputer nodig, maar een gewone gaming-kaart. Dit maakt het heel betaalbaar om in te bouwen in het systeem.
3. Toekomst: Het bewijst dat kunstmatige intelligentie (AI) niet alleen goed is voor het herkennen van gezichten, maar ook voor het oplossen van de meest complexe puzzels in de fysica.

Kortom:
De onderzoekers hebben twee nieuwe manieren bedacht om de "ruis" uit de data te halen. De eerste is een slimme filter die de rommel opruimt voordat de zoektocht begint. De tweede is een super-snelle "blik" die het hele plaatje in één keer begrijpt. Beide methoden zorgen ervoor dat we in de toekomst, zelfs als de deeltjesbombarde ment 200 keer zo druk wordt, nog steeds de waarheid over het universum kunnen vinden.

Technische samenvatting

Titel: Vision Transformers en Graph Neural Networks voor geladen deeltjestracking in het ATLAS Muon Spectrometer

Auteur: Jonathan Renusch (namens de ATLAS-samenwerking)
Context: Proceedings van de Connecting the Dots (CTD) 2025 workshop, gepresenteerd in november 2025.

---

1. Het Probleem

De ATLAS-experimenten bij de Large Hadron Collider (LHC) staan voor een enorme uitdaging met de komst van de High-Luminosity LHC (HL-LHC) na 2030.

• Toename van Pile-up: Het aantal proton-proton botsingen per bundelkruising (pile-up, $\langle\mu\rangle$) zal stijgen van ongeveer 60 (Run 3) tot wel 200 (HL-LHC).
• Gegevensdichtheid: Dit leidt tot een extreme bezetting (occupancy) in het Muon Spectrometer, wat de real-time dataverwerking in de trigger-systeem (specifiek de Event Filter) zwaar belast.
• Specifieke Uitdagingen in het Muon Spectrometer:
  • Laag signaal-ruisverhouding: In sommige regio's (zoals de New Small Wheel) is de verhouding tussen signaal en achtergrond zo laag als 0,6%.
  • Heterogene architectuur: Het spectrometer integreert vijf verschillende sub-detector technologieën met verschillende leesnelheden en ruimtelijke precisies.
  • Inhomogeen magnetisch veld: Het 0,5 T veld is verstoord door metaalconstructies, wat de trajectreconstructie bemoeilijkt.
• Huidige prestaties: De bestaande CPU-gebaseerde reconstructieketen duurt ongeveer 255 ms per gebeurtenis bij $\langle\mu\rangle=200$, wat te traag is voor de toekomstige eisen van de trigger.

2. Methodologie

De auteurs presenteren twee verschillende machine learning-benaderingen om de reconstructie te versnellen en robuuster te maken:

A. Graph Neural Networks (GNN) voor Achtergrondrejectie

• Concept: Integratie van GNNs in de bestaande reconstructieketen om achtergrondhits te filteren voordat de track-finding plaatsvindt.
• Datastructuur: In plaats van individuele hits te gebruiken (wat te rekenintensief is), worden "Muon Buckets" (clusters van hits binnen 30 cm) gebruikt als knopen in een graaf.
• Architectuur: Een EdgeConv-gebaseerd model (geïnspireerd door TrackML).
  • De graaf wordt dynamisch gebouwd op basis van ruimtelijke nabijheid tussen buckets.
  • Het model classificeert buckets als signaal (één of meerdere segmenten) of achtergrond.
• Implementatie: Geïntegreerd in het ATLAS Athena-framework (C++) via ONNX, met een aangepaste implementatie van de EdgeConv-operator voor CUDA-ondersteuning.

B. Vision Transformers (ViT) voor End-to-End Tracking

• Concept: Een proof-of-concept voor volledige muon-tracking (van hit tot traject) met behulp van state-of-the-art computer vision-architecturen.
• Architectuur: Een aangepaste versie van Mask2Former.
  • Tokenisatie: Individuele detectorhits worden behandeld als tokens (in plaats van pixels).
  • Attention Mechanism: Gebruik van Windowed Flash Attention om de kwadratische schaalbaarheid van standaard attention te vermijden ($O(W \times N)$ in plaats van $O(N^2)$).
  • Fysica-informatie: Hits worden gesorteerd op het azimutale hoek ($\phi$) om een fysica-prior te creëren (hits binnen een bepaalde $\phi$-afstand kunnen tot hetzelfde traject behoren).
  • Twee fasen:
    1. Hit-filtering: Binary classification om signaal van ruis te scheiden.
    2. Tracking: Object detection en regressie van trajectparameters ($p_T, \eta, \phi, q$) via cross-attention en self-attention.
• Hardware: Getest op consumenten-GPU's (NVIDIA RTX 3090) en high-end GPU's (NVIDIA H100).

3. Belangrijkste Resultaten

GNN Resultaten (Achtergrondrejectie)

• Snelheidswinst: De integratie van de GNN-filter reduceerde de totale reconstructietijd per gebeurtenis met 15% (van 255 ms naar 217 ms) bij $\langle\mu\rangle=200$.
• Efficiëntie: De achtergrondbuckets worden met 97% afgewezen bij $\langle\mu\rangle=60$.
• Fysica-prestatie: Er is geen negatieve bias geïntroduceerd; de signaalreconstructie-efficiëntie en precisie blijven behouden over het volledige kinematische bereik.

ViT Resultaten (End-to-End Tracking)

• Hit-filtering:
  • Het model bereikte een AUC van 0,9997.
  • Bij een werkingspunt van 99% signaalefficiëntie stijgt de hit-puurheid van 0,6% naar 66,5% (achtergrondrejectie van 99,7%).
  • De gemiddelde bezetting daalt van ~6.900 hits naar 55 hits per gebeurtenis.
• Tracking:
  • Signaal-detectie-efficiëntie: 98,0% (voor $p_T \ge 5$ GeV).
  • Fake rate: 5,1%.
  • Double Matching Efficiency: 94,59% (waarbij zowel efficiency als puurheid >50% zijn).
  • Ladingclassificatie: 96,35% nauwkeurigheid.
• Snelheid:
  • Op een consumenten-GPU (RTX 3090) wordt een verwerkingstijd van 2,3 ms per gebeurtenis bereikt (bij een batchgrootte van 200).
  • Op een H100 GPU daalt dit tot 0,9 ms.
  • Opmerking: De regressie van de exacte trajectparameters is nog iets minder nauwkeurig dan de bestaande baseline, maar de patroonherkenning is zeer effectief.

4. Bijdragen en Betekenis

• Versnelling van de Trigger: Beide methoden bieden een oplossing voor de strakke latentie-eisen van de Event Filter in de HL-LHC-er. De GNN-versnelling is direct toepasbaar in de huidige keten, terwijl de ViT een volledig nieuwe, ML-gedreven route biedt.
• Schaalbaarheid: De ViT-benadering toont aan dat Vision Transformers, oorspronkelijk ontwikkeld voor computer vision, uitstekend geschikt zijn voor de complexe, combinatorische problemen van deeltjestracking in hoge-ruisomgevingen.
• Kosteneffectiviteit: De ViT-oplossing werkt op betaalbare hardware (consumenten-GPU's), wat de kosten voor real-time verwerking drastisch kan verlagen vergeleken met traditionele CPU-berekeningen.
• Toekomstperspectief: Hoewel de parameterregressie nog verder geoptimaliseerd moet worden, bewijst dit werk dat ML-methoden (GNN en ViT) competitief kunnen zijn met traditionele algoritmen in termen van snelheid en patroonherkenning, en dat ze minder afhankelijk zijn van specifieke sub-detector timing-informatie.

Conclusie:
Dit onderzoek demonstreert dat machine learning, specifiek GNNs voor filtering en Vision Transformers voor end-to-end tracking, cruciaal zal zijn om de ATLAS-experimenten klaar te maken voor de extreme data-dichtheid van de HL-LHC. De combinatie van snelle achtergrondreductie en efficiënte patroonherkenning maakt deze methoden veelbelovend voor de toekomstige trigger-systemen.