Using Line Segment Tracking to enable ML-based Track Reconstruction in CMS

Technische Samenvatting: Gebruik van Line Segment Tracking voor ML-gebaseerde Track-reconstructie in CMS

Probleemstelling
In het High-Luminosity LHC (HL-LHC) tijdperk zal het CMS-experiment te maken krijgen met gemiddelde pileup-condities van $\langle\mu\rangle \approx 200$ gelijktijdige proton-proton interacties per bunch crossing. Onder deze hoge bezettingsgraad wordt de reconstructie van geladen deeltjes-tracks de meest rekenintensieve stap in de event-reconstructie. Traditionele Kalman-filter gebaseerde algoritmen zijn inherent sequentieel, waardoor de computationele kosten sterk toenemen met de hit-dichtheid. Dit vormt een aanzienlijke uitdaging voor het voldoen aan het latentiebudget van de Phase-2 High-Level Trigger (HLT), wat vraagt om patroonherkenningsmethoden die zowel computationeel goedkoper als van nature paralleliseerbaar zijn. Bovendien, hoewel machine learning (ML) veelbelovend is gebleken voor event-reconstructie, richten bestaande benaderingen zich vaak op het bouwen van tracks direct vanuit ruwe detector-hits. Dit dwingt modellen om complexe fysieke effecten (zoals de afbuiging door het magnetisch veld en de detectorgeometrie) vanaf nul te leren, zonder gebruik te maken van vooraf bekende fysica-informatie.

Methodologie
Dit werk introduceert een hybride aanpak die Line Segment Tracking (LST) objecten gebruikt als input-tokens voor een deep learning model, in plaats van individuele detector-hits. De methodologie verloopt als volgt:

1. Tokenisatie via LST Triplets: Het model gebruikt LST-triplets (T3) als input-tokens. Deze objecten worden geconstrueerd via een bottom-up hiërarchie in de Phase-2 Outer Tracker (OT):

   • Mini-doublets (MD): Verbinden hits binnen een enkele $p_T$ module.
   • Line Segments (LS): Verbinden twee MD's in naburige lagen.
   • Triplets (T3): Fuseren twee LS's die een middelste MD delen.
     In tegenstelling tot ruwe hits dragen T3's een rijke lokale structuur met zich mee, inclusief positie, richting en een lokale transversale momentum ($p_T$) schatting afgeleid van de gecorreleerde hit-paren. Dit voorziet het model van sterke fysica-priors vanaf het begin.

2. Transformer Encoder met Geometrische Sparse Attention:

   • Architectuur: Een Transformer encoder verwerkt de ongeordende verzameling van T3-tokens. De input-features (49 per triplet, inclusief coördinaten, hoeken en $p_T$) worden geprojecteerd naar een 256-dimensionale verborgen ruimte, door zes self-attention blokken (elk met 8 heads) geleid, en gemapt naar een 128-dimensionale latente ruimte.
   • Sparse Attention: Om de kwadratische schaling van standaard attention met $\sim 10^4$ tokens per event te beheersen, maakt het model gebruik van een geometrisch gemaskeerde sparse self-attention. Een token $i$ let alleen op buren $j$ waar $\Delta R_{ij} \leq 0.1$ geldt in de $\eta-\phi$ ruimte. Dit vermindert de computationele complexiteit van $O(N^2)$ naar $O(Nk)$, waarbij $k$ het aantal dichtstbijzijnde buren is, terwijl de fysiek relevante context behouden blijft.

3. Object Condensatie en Clustering:

   • Doel: Het netwerk wordt getraind met een object condensatie loss-functie. Deze functie wijst aan elk token een "condensatie lading" ($\beta \in [0,1]$) toe, die de waarschijnlijkheid vertegenwoordigt dat het een representatief punt is voor een object. De loss bevat aantrekkingskracht-termen (die constituenten naar een condensatiepunt trekken), afstotingskracht-termen (die verschillende objecten scheiden) en een term die ladingen onderdrukt voor ruis (fake triplets).
   • Inference: De geleerde embeddings worden geclusterd met behulp van DBSCAN (Density-Based Spatial Clustering of Applications with Noise). Dit dichtheidsgebaseerde algoritme vereist geen vooraf gespecificeerd aantal clusters, waardoor het kan adapteren aan de variabele track-multipliciteit van elk event. Een drempelwaarde op de condensatie-waarschijnlijkheid ($\beta \geq 0.005$) wordt toegepast vóór de clustering om low-confidence fake triplets te filteren.

Belangrijkste Bijdragen

• Eerste CMS ML Track-reconstructie: Dit artikel presenteert de eerste demonstratie van een track-reconstructiemodel in CMS dat LST-objecten als tokens gebruikt, waarmee de brug wordt geslagen tussen traditionele combinatorische algoritmen en moderne ML-architecturen.
• Physics-Informed Tokenization: Door LST-triplets te gebruiken in plaats van ruwe hits, incorporeert het model detector-niveau informatie (geometrie, $p_T$ schattingen) direct in de input-representatie, wat de leerlast van het netwerk vermindert.
• Schaalbare Architectuur: De implementatie van geometrisch gemaskeerde sparse attention maakt het mogelijk om events met een hoge multipliciteit ($\sim 10^4$ tokens) te verwerken op moderne GPU's, wat de schaalbaarheidsproblemen van standaard Transformers in omgevingen met hoge pileup aanpakt.
• Single-Step Inference: De pipeline assembleert volledige tracks in één enkele inference-stap met behulp van object condensatie en DBSCAN, waardoor de sequentiële aard van traditionele track-building wordt vermeden.

Resultaten
De aanpak werd geëvalueerd op gesimuleerde $t\bar{t}$ events bij $\langle\mu\rangle = 200$ met de Phase-2 detectorgeometrie, waarbij de "Transformer OC" model werd vergeleken met de standaard LST quintuplet (T5) baseline:

• Reductie van Fake Rate: Het model bereikt een fake rate die ongeveer drie keer lager is dan de T5 baseline over de meeste acceptatiegebieden (bijv. dalend naar $\sim 0.05$ bij hoge $p_T$ vergeleken met de $\sim 0.18$ van de baseline).
• Onderdrukking van Duplicaten: De duplicate rate is consistent met nul over alle kinematische regio's. In contrast hiermee vertoont de T5 baseline duplicate rates die stijgen van 0.04 naar 0.15, omdat de combinatorische aard van LST overlappende quintuplets voor één enkel deeltje kan produceren.
• Efficiëntie:
  • Onder een strikte eis van minimaal 5 lagen ($N_L \geq 5$), vertoont het model een bescheiden efficiëntie-tekort (ongeveer 10 procentpunten lager) vergeleken met de T5 baseline in de kern-acceptatie.
  • Wanneer de eis echter wordt versoepeld naar $N_L \geq 4$ om kortere trajecten te herstellen, matcht of overtreft het model de efficiëntie van de T5 baseline (bereikt 0.80–0.87 vs. 0.70–0.80) over de volledige acceptatie, met name in de forward regio ($1 \lesssim |\eta| \lesssim 2$).
• Fake Rejection: De condensatie-waarschijnlijkheid scheidt echte triplets effectief van fakes, waarbij ~80% van de ware triplets behouden blijft terwijl slechts ~2% van de fakes wordt geaccepteerd (ROC AUC = 0.93).

Betekenis en Claims
Het artikel claimt dat dit werk de belof factieert van geavanceerde ML-architecturen voor de volgende generatie particle tracking onder de zware condities van de HL-LHC. Door gebruik te maken van LST-objecten als een "physics-rich tokenization", slaagt het model erin om detectorgeometrie en momentum-restricties direct te integreren, waardoor het in staat is om state-of-the-art combinatorische algoritmen te evenaren of te overtreffen in zuiverheid en duplicate-onderdrukking.

De auteur stelt expliciet dat dit een zelfstandige algoritmische demonstratie is en onafhankelijk van officiële CMS tracking benchmarks moet worden beschouwd. De betekenis ligt in het bewijs dat een physics-informed ML-model effectief kan omgaan met omgevingen met hoge pileup. De door de auteur geïdentificeerde volgende natuurlijke stappen zijn het integreren van dit model in de CMS-reconstructie en trigger-software naast LST, het meten van de throughput ten opzichte van het Phase-2 HLT latentiebudget, en het uitbreiden van de aanpak van de Outer Tracker naar het volledige tracking-volume.