Transforming jet flavour tagging at ATLAS

De ATLAS Collaboration introduceert GN2, een nieuw transformer-gebaseerd algoritme dat de prestaties van de identificatie van heavy-flavour jets aanzienlijk verbetert door low-level trackingdata end-to-end te verwerken, waardoor cruciale natuurkundige analyses zoals Higgs-bosonstudies worden verbeterd.

De kern

Stel je de Large Hadron Collider (LHC) voor als de krachtigste deeltjesvergruizer ter wereld. Wanneer deze protonen op elkaar afvuurt, exploderen ze in duizenden kleinere deeltjes, wat een chaotische storm creëert. In deze storm zoeken natuurkundigen naar specifieke "smaken" van deeltjes—met name deeltjes gemaakt van zware quarks (zoals bottom- en charmquarks)—omdat dit de sleutels zijn tot het begrijpen van het Higgs-boson en het zoeken naar nieuwe fysica.

Het probleem is dat deze zware deeltjes niet in nette, gelabelde doosjes komen. In plaats daarvan veranderen ze in "jets"—sproeiers van kleinere deeltjes die erg lijken op de sproeiers die door veelvoorkomende, lichte deeltjes worden gemaakt. Het is alsof je probeert een specif kind type zeldzaam fruit te vinden in een enorme berg gemengde fruitsalade waar alles een waas van rood en groen is.

De Oude Manier: De Detective met Twee Stappen

Jarenlang gebruikte het ATLAS-experiment een "twee-stappen" detectivemethode om deze jets te sorteren.

1. Stap 1: Gespecialiseerde tools keken naar individuele aanwijzingen (zoals de sporen die deeltjes achterlaten) om specifieke tekenen te vinden, zoals een "secundaire vertex" (een plek waar een zwaar deeltje een klein stukje verwijderd van de hoofdcrash uiteenviel).
2. Stap 2: Een computerbrein nam al die aanwijzingen en maakte een definitieve gok: "Is dit een heavy-flavor jet of een lichte jet?"

Dit werkte goed, maar het was als een detective die eerst een specialist vraagt om vingerafdrukken te controleren, dan iemand anders vraagt om schoenafdrukken te controleren, en vervolgens een derde persoon vraagt om de rapporten te combineren. Het was effectief, maar het leunde op mensen die handmatig regels ontwierpen voor elke specialist.

De Nieuwe Manier: GN2, de "Transformer" Detective

Dit artikel introduceert GN2, een nieuw algoritme dat het spel verandert. In plaats van het twee-stappenproces is GN2 een end-to-end systeem. Denk aan het als een enkele, superintelligente detective die naar de gehele plaats delict tegelijk kijkt, zonder de noodzaak om het eerst in aparte taken op te splitsen.

GN2 gebruikt een technologie genaamd een Transformer (dezelfde AI-architectuur die moderne taalmodellen aandrijft). Hier is hoe het werkt in eenvoudige termen:

• Het hele verhaal lezen: In plaats van aanwijzingen één voor één te bekijken, bekijkt GN2 de jet en alle deeltjes erin gelijktijdig. Het begrijpt hoe de deeltjes zich tot elkaar verhouden, net zoals jij een zin begrijpt door de hele zin te lezen, en niet alleen woord voor woord.

• Physics-Informed Training: Om ervoor te zorgen dat de AI niet alleen de data uit het hoofd leert maar ook daadwerkelijk de natuurkunde begrijpt, hebben de wetenschappers het extra huiswerk gegeven. Ze vroegen de AI om twee zij-taken te doen:

  1. Track Origin: "Waar kwam dit specifieke deeltje vandaan?" (Kwam het uit de hoofdcrash, of kwam het van een zwaar deeltje dat uiteenviel?)
  2. Vertex Grouping: "Bij welke groep horen deze deeltjes?" (Kun je de cluster deeltjes vinden die van hetzelfde vervalpunt afkwamen?)

  Door de AI te dwingen deze fysische concepten te leren, wordt het beter in de hoofdtaken: het identificeren van de flavor van de jet. Het is als het onderwijzen van een student om niet alleen een toets te halen, maar om de onderliggende wiskunde te begrijpen, zodat hij elk probleem kan oplossen.

De Resultaten: Een Enorme Sprong Voorwaarts

Het artikel vergelijkt GN2 met het vorige beste algoritme (genaamd DL1d). De resultaten zijn spectaculair:

• Beter in Filteren: Als je 70% van de zware "bottom" jets wilt vangen, is GN2 3,5 keer beter in het negeren van de valse "charm" jets en 1,8 keer beter in het negeren van de veelvoorkomende "lichte" jets vergeleken met de oude methode.
• Bewijs uit de Praktijk: Ze hebben dit niet alleen getest op computersimulaties; ze hebben het getest op echte data van de LHC. De verbetering hield stand, wat bewees dat de AI werkt in de rommelige, echte wereld.
• Veelzijdigheid: Omdat GN2 de natuurkunde direct leert, kan het gemakkelijk worden hertraind om andere dingen te herkennen, zoals "tau"-deeltjes (een type zwaar elektron), zonder dat het hele systeem vanaf nul opnieuw moet worden opgebouwd.

Waarom het Er Toe Doet

Dit is niet zomaar een kleine upgrade; het is een fundamentele verschuiving in hoe experimenten in de deeltjesfysica machine learning gebruiken. Door over te stappen van een "handmatig ontworpen" twee-stappenproces naar een "geleerd" end-to-end systeem, heeft ATLAS zijn instrumenten aanzienlijk aangescherpt.

Deze verbetering is cruciaal voor toekomstige ontdekkingen. Het zal bijvoorbeeld wetenschappers helpen bij het meten van hoe het Higgs-boson met charmquarks interacteert en bij het zoeken naar de productie van Higgs-boson paren. Het artikel suggereert dat deze verbeteringen de gevoeligheid van deze toekomstige metingen met wel 30% kunnen vergroten.

Kortom, GN2 is een slimmere, flexibelere en krachtigere manier om de "naalden" (zware quarks) in de "hooiberg" (deeltjesbotsingen) te vinden, waardoor natuurkundigen dieper in de geheimen van het universum kunnen kijken.

Technische samenvatting

Technische Samenvatting: Transformatie van Jet Flavour Tagging bij ATLAS

Probleemstelling
Jet flavour tagging is een cruciaal onderdeel van het ATLAS-fysica-programma bij de Large Hadron Collider (LHC), wat de identificatie mogelijk maakt van jets die afkomstig zijn van zware-flavours quarks ($b$ en $c$), hadronische $\tau$-lepton-vervallen, of lichte quarks of gluonen. Traditionele ATLAS flavour-tagging algoritmen, zoals het state-of-the-art DL1d, vertrouwen op een tweestapsbenadering: gespecialiseerde laag-niveau algoritmen extraheren informatie uit geladen-deeltjes-tracks (bijv. het reconstrueren van displaced vertices), en een hoog-niveau multivariate classifier combineert deze outputs. Hoewel effectief, leunt dit paradigma op handmatig geoptimaliseerde laag-niveau stappen en maakt het mogelijk de correlaties binnen de laag-niveau tracking-data niet volledig uit te buiten. Bovendien vereist de toenemende complexiteit van fysica-analyses, zoals metingen van Higgs-boson paarproductie en $c$-quark Yukawa-koppelingen, algoritmen met hogere afwijzingscapaciteiten voor achtergrondjets ($c$, licht, en $\tau$), terwijl de hoge signalefficiëntie behouden blijft.

Methodologie
Dit artikel introduceert GN2, een nieuw flavour-tagging algoritme dat afwijkt van het traditionele tweestaps-paradigma door een end-to-end transformer-gebaseerde architectuur te gebruiken. In tegenstelling tot eerdere benaderingen die voorbewerkte laag-niveau features verwerken, neemt GN2 direct ruwe laag-niveau tracking-informatie (tracks) en jet-kinematische eigenschappen in.

• Architectuur: De kern van GN2 is een Transformer encoder. Jet-features worden geconcateneerd met een array van vaste grootte met track-feature vectoren (tot 40 tracks per jet). Deze gecombineerde vectoren worden verwerkt door een per-track initialisatie netwerk, gevolgd door een vierlaagse Transformer encoder met acht attention heads. Dit stelt het model in staat om relaties tussen tracks binnen een jet te leren, waardoor de complexe topologie van heavy-flavour vervallen effectief wordt gevangen.
• Fysica-geïnformeerde hulpdoelen (Auxiliary Objectives): Om interpreteerbaarheid en prestaties te verbeteren, bevat GN2 twee hulpdoelen naast de primaire jet-classificatietaak:
  1. Track Origin Prediction: Het netwerk voorspelt de fysieke oorsprong van elke track (bijv. primaire interactie, $b$-hadron verval, $c$-hadron verval, $\tau$-verval, of pile-up).
  2. Vertex Grouping: Het netwerk bepaalt welke paren tracks afkomstig zijn van een gemeenschappelijke vertex, wat de reconstructie van secundaire vertices mogelijk maakt zonder expliciete vertex-zoekalgoritmen.
     Deze doelen zijn ingebed in een gecombineerde loss-functie, waardoor simultane optimalisatie mogelijk is.
• Training en Implementatie: Het model wordt getraind op een mix van gesimuleerde $t\bar{t}$ en $Z'$ events bij $\sqrt{s}=13$ TeV en $13.6$ TeV. Een 4-voudige cross-validatie strategie wordt toegepast om data leakage te voorkomen. Het algoritme wordt geïmplementeerd met OnnxRuntime binnen het ATLAS softwareframework.

Belangrijkste Bijdragen

• End-to-End Learning: GN2 vertegenwoordigt een verschuiving van feature-engineered, tweestaps algoritmen naar een verenigd, end-to-end deep learning model dat laag-niveau track-data direct verwerkt.
• Toepassing van Transformers: Het is de eerste implementatie van een Transformer-model voor jet flavour tagging bij ATLAS, ter vervanging van de Graph Neural Network (GNN) die werd gebruikt in de demonstrator GN1.
• Interpreteerbaarheid via Hulpdoelen: Door het netwerk expliciet te trainen om vertex-structuren en track-oorsprong te reconstrueren, laten de auteurs zien dat fysica-geïnformeerde beperkingen de hoofdclassificatietaak verbeteren en een mechanisme bieden om de interne representaties van het model te interpreteren.
• Verenigde $\tau$-tagging: In tegenstelling tot DL1d bevat GN2 een toegewezen output-node voor hadronische $\tau$-lepton vervallen, wat simultane $b$, $c$, $\tau$, en lichte-jet classificatie mogelijk maakt.

Resultaten
De prestaties van GN2 worden gevalideerd in zowel Monte Carlo simulaties als collision data van Run 2 ($\sqrt{s}=13$ TeV) en Run 3 ($\sqrt{s}=13.6$ TeV).

• Simulatie Prestaties: In $t\bar{t}$ events, voor een standaard 70% $b$-jet tagging efficiëntie, verbetert GN2 de afwijzing van $c$-jets met een factor 3 en lichte jets met een factor 1.6 vergeleken met DL1d. In high-$p_T$ $Z'$ events zijn de verbeteringen nog prominenter, waarbij de $c$-jet afwijzing met een factor 3 en de lichte jet afwijzing met een factor 4 verbetert. De inclusie van de $\tau$-output node levert een $\tau$-jet afwijzingsverbetering op van wel een factor 8–9.
• Data Prestaties: Gebruikmakend van 140 fb$^{-1}$ aan Run 2 collision data, bevestigt de gekalibreerde prestatie de simulatie resultaten. Voor een 70% $b$-jet tagging efficiëntie, verbetert de gemeten $c$-jet afwijzing in data met een factor 3.5, en de lichte jet afwijzing met een factor 1.8, relatief aan DL1d.
• Robuustheid: Het algoritme vertoont minimale afhankelijkheid van de keuze van de Monte Carlo event generator (bijv. Powheg Box, Herwig, Sherpa), waarbij de prestatieratio's tussen alternatieve generators en de nominale setup binnen 1–2% blijven voor $b$-jets en binnen 10% voor $c$-jets.
• Prestaties van Hulpdoelen: De track origin classificatie bereikt 84% efficiëntie en zuiverheid voor heavy-flavour tracks. De vertex-vindende capaciteit reconstrueert succesvol secundaire vertices met een transversale verplaatsingsdistributie en massa die consistent zijn met truth-level referenties, ondanks dat er niet expliciet op vertex-massa is getraind.

Betekenis
Het artikel claimt dat GN2 substantiële voordelen biedt voor fysica-analyses waarbij heavy-flavour jets betrokken zijn. Specifiek worden de verbeterde afwijzingscapaciteiten geprojecteerd om de sensitiviteit van flagship analyses, zoals de zoektocht naar Higgs-paarproductie en de meting van de $c$-quark Yukawa-koppeling, met tot wel 30% te verhogen bij de High-Luminosity LHC. Het werk demonstreert de succesvolle integratie van geavanceerde machine learning methoden (Transformers) en fysica-geïnformeerde hulpdoelen in experimentele deeltjesfysica, wat een flexibel framework biedt dat snel kan worden bijgesteld voor alternatieve experimentele condities of fysica-doelen. De auteurs benadrukken dat de hulpdoelen niet alleen de prestaties verbeteren, maar ook nieuwe wegen openen voor interpreteerbaarheid en toekomstige toepassingen in jet substructuur en reconstructie.