This is SParTA: A modular, efficient and scalable transformer architecture for jet-tagging

In de hoogenergetische botsingen die plaatsvinden in deeltjesversnellers, botsen protonen met zulke kracht op elkaar dat ze uiteenspatten in sproeiers van nieuwe deeltjes. Natuurkundigen noemen deze sproeiers "jets". Om de fundamentele wetten van de natuur te begrijpen, moeten onderzoekers door deze chaotische wolken van puin zoeken om te identificeren welk type deeltje ze heeft gecreëerd. Een jet kan de handtekening zijn van een quark, een fundamenteel bouwsteen van materie, of een gluon, het deeltje dat quarks bij elkaar houdt. Het onderscheid maken tussen deze twee is als proberen het verschil te zien tussen twee soorten rook die opstijgt uit verschillende vuren; de patronen zijn subtiel en de enorme hoeveelheid gegevens maakt handmatige analyse onmogelijk. Jarenlang hebben wetenschappers vertrouwd op complexe computerprogramma's om deze patronen te vinden, maar naarmate de data groeit, zijn deze programma's traag en geheugenvretend geworden, waarbij ze worstelen met het verwerken van de miljoenen deeltjes die betrokken zijn bij een enkel evenement.

Een team van onderzoekers heeft een nieuwe aanpak voor dit probleem ontwikkeld door een systeem genaamd SParTA te creëren. In plaats van te proberen elk afzonderlijk deeltje in een jet met gelijke intensiteit te analyseren, wat rekenkundig duur is, gebruikt het systeem een strategie van prioritering. Het herkent dat in elke jet een klein aantal deeltjes het grootste deel van de energie draagt, terwijl de grote meerderheid bestaat uit deeltjes met een lage energie. De nieuwe architectuur richt haar krachtigste rekenkracht alleen op deze hoogenergetische "harde" deeltjes, waarbij deze met een gedetailleerde, paargewijze analyse wordt behandeld. De overgebleven laagenergetische "zachte" deeltjes worden nog steeds meegenomen, maar ze worden efficiënter verwerkt door ze simpelweg met de harde kern te verbinden. Dit ontwerp stelt het systeem in staat om de essentiële fysica van de jet te vangen zonder vast te lopen in het enorme aantal deeltjes.

De onderzoekers testten deze methode op twee grote uitdagingen: het onderscheiden tussen quark- en gluon-jets, en het identificeren van jets die zijn gecreëerd door zware topquarks. In de quark-versus-gluon-test bereikte het nieuwe systeem een nauwkeurigheidsniveau dat overeenkomt met de prestaties van veel grotere, complexere modellen die vandaag de dag worden gebruikt. Opmerkelijk genoeg deed het dit met slechts één zevende van het computergeheugen en de rekenkracht die door die grotere modellen nodig is. Wanneer het werd getest op de moeilijkere taak van het opsporen van topquarks, presteerde het systeem opnieuw beter dan bestaande methoden die aanzienlijk meer middelen gebruiken. De sleutel tot dit succes ligt in de manier waarop het systeem informatie organiseert. Het sorteert de deeltjes op hun impuls, van hoog naar laag, en gebruikt deze volgorde om te beslissen welke deeltjes een diepe analyse nodig hebben en welke eenvoudiger kunnen worden afgehandeld.

Door de taak op te splitsen in deze twee regimes, vermijdt het systeem een veelvoorkomende bottleneck waarbij het computergeheugen te snel volloopt naarmate het aantal deeltjes toeneemt. Het berekent de relaties tussen de belangrijkste deeltjes direct, terwijl de minder belangrijke deeltjes via een lichtere, snellere verbinding in het uiteindelijke beeld worden geïntegreerd. Het systeem leert ook van de algehele vorm en energie van de gehele jet, waarbij het deze globale context gebruikt om het begrip van hoe individuele deeltjes zich tot elkaar verhouden te verfijnen. Dit stelt het systeem in staat om subtiele structurele verschillen te ontdekken die eenvoudigere methoden mogelijk zouden missen. De resultaten laten zien dat door selectief te zijn over waar het zijn rekenkracht aan besteedt, het systeem zowel sneller als net zo nauwkeurig kan zijn als zijn zwaardere tegenhangers.

De studie omvatte het trainen van het systeem op miljoenen gesimuleerde deeltjesbotsingen, een standaardpraktijk in dit vakgebied waar echte gegevens vaak te zeldzaam of te moeilijk perfect te labelen zijn. De onderzoekers draalden tientallen verschillende versies van het systeem om het beste evenwicht tussen snelheid en nauwkeurigheid te vinden. Ze ontdekten dat het toevoegen van meer verwerkingslagen voorbij een bepaald punt de resultaten niet verbeterde, en dat het breder maken van het systeem ook niet hielp. In plaats daarvan waren de meest effectieve configuraties diegene die zich richtten op het verwerken van een specifiek aantal van de hardste deeltjes, terwijl het algemene ontwerp compact werd gehouden. Dit suggereert dat de efficiëntie van het systeem niet voortkomt uit brute kracht, maar uit een slimme taakverdeling.

Uiteindelijk demonstreert dit werk dat voor complexe taken zoals het identificeren van deeltjesjets, een kleiner, slimmer model vaak beter kan presteren dan een massief model. De nieuwe architectuur bewijst dat het mogelijk is om het hoge niveau van detail dat nodig is voor wetenschappelijke ontdekkingen te behouden, terwijl de computationele kosten drastisch worden verminderd. Dit is een belangrijke stap voorwaarts voor het vakgebied, omdat het een manier biedt om gegevens sneller en met minder energie te analyseren, wat potentieel toekomstige experimenten in staat stelt om meer botsingen te verwerken en nieuwe fysica sneller te ontdekken. De onderzoekers hebben hun code en modellen beschikbaar gesteld aan de gemeenschap, in een uitnodiging aan anderen om voort te bouwen op dit efficiënte fundament.