B-jet Tagging Using a Hybrid Edge Convolution and Transformer Architecture

Titel: B-jet Tagging met een Hybride Edge Convolutie en Transformer Architectuur

Auteurs: Diego F. Vasquez Plaza en Vidya Manian (Universiteit van Puerto Rico, Mayagüez)
Doel: Verbetering van de identificatie van bottom-quark jets (b-jets) in proton-proton botsingen bij de LHC door een hybride deep learning-model te introduceren.

---

1. Het Probleem

In de deeltjesfysica, specifiek bij de Large Hadron Collider (LHC), is het nauwkeurig identificeren van de "flavor" (soort) van een jet essentieel voor precisiemetingen van het Standaardmodel en het zoeken naar nieuwe fysica.

• Uitdaging: Het onderscheiden van jets die ontstaan uit bottom-quarks ($b$) van die welke ontstaan uit charm-quarks ($c$) is extreem moeilijk. Beide soorten hadronen hebben een eindige levensduur en produceren verplaatste secundaire vertices.
• Huidige beperkingen: Bestaande methoden zoals ParticleNet (gebaseerd op grafische neurale netwerken) excelleren in het modelleren van lokale topologie, terwijl Transformer-architecturen (zoals Particle Transformer of ParT) goed zijn in het vangen van globale correlaties. Echter, geen van beide benaderingen combineert deze sterktes optimaal voor de specifieke taak van $b$- versus $c$-discriminatie, wat vaak de beperkende factor is in fysica-analyses.
• Eisen: Het model moet niet alleen hoge nauwkeurigheid bieden, maar ook voldoen aan de strenge latentie-eisen (< 1 ms per jet) voor real-time trigger-systemen op de LHC.

2. Methodologie: De Edge Convolution Transformer (ECT)

De auteurs stellen een hybride architectuur voor, genaamd ECT, die de voordelen van Edge Convoluties (EdgeConv) en Transformer Self-Attention combineert.

Data en Features:

• Dataset: ATLAS-simulatiegegevens ($\sqrt{s} = 14$ TeV, $t\bar{t}$-evenementen).
• Input:
  • Track-niveau: 7 features per deeltje (transversale impuls $p_T$, impactparameters $d_0, z_0$ en hun significances, 3D impactparameter).
  • Jet-niveau: 8 globale observables (jet $p_T$, massa, aantal tracks, aantal secundaire vertices, etc.).
• Preprocessing: Features worden genormaliseerd (Z-score, log-transformatie) en jets worden gepadded tot een maximum van 40 tracks.

Architectuur:
De ECT verwerkt de data in zes fasen:

1. Feature Embedding: Track- en jet-features worden via MLP's (Multi-Layer Perceptrons) gemapt naar een embedding-dimensie van 128.
2. Lokale Feature Extractie (EdgeConv): Drie EdgeConv-blokken aggregeren informatie van $K$-Nearest Neighbors ($K=16$) in de $(\eta, \phi)$-ruimte. Dit is cruciaal voor het modelleren van de lokale geometrie van verplaatste vertices.
3. Globale Interactie (Transformer): Vier zelf-attentie lagen (met 8 heads) vangen globale correlaties tussen deeltjes over de hele jet.
4. Aggregatie: Een geleerde "class token" verzamelt informatie van alle deeltjesrepresentaties.
5. Fusie: De class token wordt elementsgewijs opgeteld met de jet-level feature embedding (die vertex-statistieken bevat).
6. Classificatie: Een Feed-Forward Network (FFN) voert de uiteindelijke classificatie uit ($b$ vs. niet-$b$).

Training:

• Geoptimaliseerd met de Adam-optimizer en Cross-Entropy loss.
• Gebruik van Automatic Mixed Precision (AMP) voor efficiëntie.
• Drie classificatietaken: $b$ vs. $c$, $b$ vs. light, en $b$ vs. $c$ + light.

3. Belangrijkste Bijdragen

• Hybride Architectuur: Introductie van de ECT die EdgeConv (voor lokale vertex-topologie) en Transformer (voor globale jet-patronen) combineert in één model.
• Superieure Prestaties: Het model overtreft zowel pure grafische netwerken (ParticleNet) als pure transformer-modellen (ParT) in de meest uitdagende taak: het onderscheiden van $b$-jets van $c$-jets.
• Efficiëntie: Het model behoudt een inferentie-tijd van minder dan 0,060 ms per jet, wat het geschikt maakt voor High-Level Triggers (HLT) op de LHC.
• Inzicht in Fysica: Het paper demonstreert dat EdgeConv-blokken essentieel zijn voor het onderscheid tussen $b$ en $c$ (vanwege de kleine verschillen in vervaltijden), terwijl attention-mechanismen uitstekend zijn voor het onderdrukken van light-jets.

4. Resultaten

De prestaties werden vergeleken met ParticleNet en Particle Transformer (ParT) op een testset van 325.290 jets.

Taak	Model	AUC (Area Under Curve)	Opmerkingen
$b$ vs. $c$ (Charm-rejectie)	ECT	0.8853	+8.3% t.o.v. ParticleNet (0.8023) +2.2% t.o.v. ParT (0.8634)
$b$ vs. Light	ECT	0.9883	Vergelijkbaar met ParT (0.9876), veel beter dan ParticleNet (0.9451)
$b$ vs. $c$ + Light	ECT	0.9333	+3.7% t.o.v. ParticleNet, +1.3% t.o.v. ParT

• Latentie: ECT heeft een inferentie-tijd van 0,060 ms per jet (op een NVIDIA RTX A5000), wat vergelijkbaar is met ParT (0,146 ms) en aanzienlijk sneller is dan ParticleNet (12,231 ms).
• Efficiëntie bij Medium Working Point (1% foutmelding): Voor $b$ vs. $c$ bereikt ECT een signaalefficiëntie van 65%, vergeleken met 52% voor ParticleNet en 60% voor ParT.

5. Betekenis en Conclusie

Het paper concludeert dat hybride architecturen die lokale en globale features combineren, superieur zijn voor complexe jet-classificatietaken.

• Kerninzicht: EdgeConv-blokken zijn onmisbaar voor het onderscheiden van $b$- en $c$-jets omdat ze de fijne lokale verschillen in vertex-verplaatsing (gebaseerd op de verschillende levensduur van $b$- en $c$-hadronen) kunnen modelleren. Transformer-attention is daarentegen superieur voor het onderscheiden van light-jets, waar het ontbreken van secundaire vertices een globale signatuur is.
• Toepassing: De ECT biedt een nieuwe standaard voor heavy-flavor tagging bij de LHC, met name voor Run 3 en de toekomstige High-Luminosity LHC, waar snelle en nauwkeurige real-time selectie van gebeurtenissen cruciaal is. Het model biedt een uitstekende balans tussen prestaties en rekentijd.