Machine learning-based b-jet tagging in $pp$ collisions at $\sqrt{s}=13$ TeV

Stel je het universum voor als een gigantische, razendsnelle racebaan waar minuscule deeltjes rondrazen met bijna de snelheid van het licht. Wanneer twee protonen tegen elkaar botsen, is dat als een microscopisch auto-ongeluk, maar in plaats van verwrongen metaal exploderen ze in een wolk van nieuwe, vluchtige deeltjes. Wetenschappers noemen dit "heavy-flavor" fysica omdat sommige van deze deeltjes zwaar en kortstondig zijn, zoals de "heavy hitters" van de subatomaire wereld. Om orde te scheppen in deze chaos, gebruiken onderzoekers zoiets als "jets" — denk aan ze als de spetters puin die uit de botsing vliegen. Sommige van deze jets zijn speciaal omdat ze een zware "beauty" quark bevatten (vaak een "b-quark" genoemd). Het vinden van deze beauty-jets is als het spotten van een specifieke, zeldzame kleur confetti in een enorme, veelkleurige explosie. Het helpt wetenschappers om te controleren of hun theorieën over hoe het universum werkt correct zijn en dient als een referentiepunt voor het begrijpen van nog extremere botsingen, zoals die waarbij de omstandigheden van het vroege universum worden nagebootst. De grote uitdaging? Deze beauty-jets lijken veel op de algemene, "light-flavor" jets, en het onderscheid maken tussen hen is als het proberen te vinden van een specifieke naald in een hooiberg gemaakt van andere naalden.

Dit artikel gaat over het bouwen van een super-slimme digitale detective om dat naald-in-een-hooibergprobleem op te lossen. De auteurs, werkend met data gesimuleerd van protonbotsingen bij een energie van 13 TeV, besloten de oude "regelgebaseerde" methoden te laten varen om deze beauty-jets te vinden. In plaats daarvan trainden ze een machine learning-model — een type kunstmatige intelligentie — om te fungeren als een ervaren detective die niet alleen naar één aanwijzing kijkt, maar tientallen kleine details tegelijkertijd verbindt. Ze voedden hun AI met een enorme dataset van 160 miljoen gesimuleerde botsingen, waarbij ze de AI leerden de unieke "vingerafdruk" van een beauty-jet te herkennen. Deze vingerafdruk is niet slechts één ding; het is een complex patroon dat te maken heeft met hoe de deeltjes binnen de jet bewegen, waar ze lijken te ontstaan en hoe ver ze reizen voordat ze vervallen.

De belangrijkste bevinding van dit artikel is dat deze AI-detective aanzienlijk beter is in zijn werk dan de traditionele methoden. Waar oude technieken vertrouwden op het controleren van één enkele variabele — zoals het meten van de afstand die een deeltje aflegde voordat het uit elkaar viel — gebruikt het nieuwe model een "convolutional neural network" (een chique term voor een AI die erg goed is in het herkennen van patronen, vergelijkbaar met hoe jouw brein een gezicht herkent). Dit model bekijkt de jet als geheel en analyseert de banen van individuele deeltjes en de "secundaire vertices" (kleine punten waar zware deeltjes vervallen) tegelijkertijd. Het resultaat? De AI bereikte een nauwkeurigheid van bijna 90% bij het identificeren van beauty-jets, en vergeleken met de oude methoden zorgde het voor een verbetering van 30% in zuiverheid bij hetzelfde efficiëntieniveau. In simpelere termen: voor elke 100 jets die de AI als "beauty" markeerde, had hij veel vaker gelijk dan de oude regels zouden hebben gedaan.

Het is echter belangrijk om op te merken dat dit succes voortkomt uit een simulatie, en nog niet uit een echt experiment. De auteurs gebruikten een computerprogramma genaamd PYTHIA8 om de botsingsdata te genereren en "vervaagden" vervolgens de getallen om de imperfecties van een echte detector na te bootsen (specifiek de ALICE-detector bij de Large Hadron Collider). Ze hebben dit nog niet op echte data van de deeltjesversneller gedraaid; ze hebben bewezen dat de methode werkt in een gecontroleerde, gesimuleerde omgeving. Het artikel voert expliciet aan dat de idee dat single-variable cuts (het kijken naar slechts één meting) de beste weg vooruit zijn, onjuist is, en laat in plaats daarvan zien dat het combineren van vele variabelen via machine learning de superieure aanpak is. Hoewel de resultaten veelbelovend zijn, benadrukken de auteurs voorzichtig dat er toekomstig werk nodig is om te garanderen dat het model even goed werkt op echte experimentele data, waar de omstandigheden iets anders kunnen zijn dan in de simulatie.

Het verhaal van hoe ze deze detective bouwden, is een ware reis. Eerst simuleerden ze de botsing. Ze namen de ruwe data van geladen deeltjes en pasten "smearing" toe, wat lijkt op het toevoegen van een beetje statische ruis aan een radiosignaal om het realistischer te laten klinken, waarmee de manier wordt nagebootst waarop een echte detector de snelheid of positie van een deeltje lichtelijk verkeerd zou kunnen registreren. Vervolgens groepeerden ze deze deeltjes in jets met behulp van een specif kind algoritme genaamd "anti-kT". Zodra de jets gevormd waren, begonnen ze aan het extraheren van aanwijzingen. Ze keken naar de energie van de jet, de hoek en het aantal deeltjes binnen de jet. Maar de echte goudmijn zat in de details: ze keken naar de "impact parameter" (hoe dicht het pad van een deeltje bij het centrum van de botsing komt) en de "secundaire vertices" (waar zware deeltjes vervielen).

Het AI-model dat ze bouwden, is een beetje als een driekoppig monster, maar dan op een goede manier. Twee van de "koppen" zijn Convolutional Neural Networks (CNN's), die uitstekend zijn in het verwerken van afbeeldingen of datareeksen. Eén kop keek naar de top 10 deeltjesbanen in de jet, en de andere keek naar de top 10 secundaire vertices. Deze twee koppen verwerkten de lokale details en gaven hun bevindingen vervolgens door aan een "recurrent neural network" (RNN), dat goed is in het begrijpen van hoe zaken in de loop van de tijd of in een sequentie veranderen. De derde "kop" keek naar de globale eigenschappen van de gehele jet. Alle drie de koppen combineerden hun inzichten om tot een definitieve beslissing te komen. Het model werd getraind op 2 miljoen beauty-jets, 2 miljoen charm-jets en 2 miljoen light-flavor jets, waarbij het leerde om onderscheid te maken tussen deze door complexe, multidimensionale patronen te vinden die mensen of eenvoudige regels zouden missen.

De resultaten waren indrukwekkend. Wanneer ze het model testten, produceerde het een "Receiver Operating Characteristic" (ROC) curve met een oppervlakte onder de curve (AUC) van ongeveer 0,977. In de wereld van de statistiek is een AUC van 1,0 perfect, en 0,5 een willekeurige gok. Een AUC van 0,977 is dus een zeer hoge score, wat aangeeft dat het model extreem goed is in het scheiden van het signaal (beauty-jets) van de ruis (de rest). De confusion matrix, die als een rapportcijfer fungeert dat laat zien hoe vaak het model het wel of niet goed had, liet zien dat het model beauty-jets ongeveer 90% van de tijd correct identificeerde. Nog belangrijker was dat, wanneer ze het AI-model vergeleken met de traditionele "impact parameter"-methode, het AI-model veel superieur was. Bijvoorbeeld, als ze 50% van de beauty-jets wilden vangen, deed het AI-model een veel betere job in het negeren van de valse jets (de light-flavor jets) dan de oude methode.

Het artikel onderzocht ook hoe het model presteerde bij verschillende snelheden (momentum). Het werkte het best voor jets met een hoge snelheid, waarbij de deeltjes verder reizen en duidelijkere sporen achterlaten. Bij lagere snelheden nam de prestatie enigszins af omdat er minder deeltjes te analyseren waren, wat het moeilijker maakte om de subtiele verschillen te ontdekken. Dit is logisch: als je een zwak gefluister hebt, is het moeilijker om te bepalen of het een geheime boodschap is of gewoon achtergrondruis. Maar zelfs met deze uitdagingen presteerde de AI over de hele linie beter dan de traditionele methoden.

Uiteindelijk suggereert dit artikel dat de toekomst van het vinden van deze zeldzame beauty-jets in machine learning ligt. Door computers te leren om naar het hele plaatje te kijken in plaats van naar slechts één puzzelstukje, kunnen wetenschappers een veel helderder beeld krijgen van de subatomaire wereld. Hoewel deze specifieke studie een simulatie was, legt het de basis voor het toepassen van deze krachtige instrumenten op echte data van het ALICE-experiment. De auteurs zijn hoopvol dat deze digitale detective in de toekomst zal helpen nieuwe geheimen te ontrafelen over de heavy-flavor deeltjes die ons begrip van het universum vormen, mits de echte data zo nauw mogelijk overeenkomt met de simulatie, zoals zij hopen.