Event Tokenization and Masked-Token Prediction for Anomaly Detection at the Large Hadron Collider

Dit artikel stelt een nieuwe ongesuperviseerde methode voor anomaliedetectie voor de Large Hadron Collider die gebruikmaakt van lichtgewicht, op encoders gebaseerde LLM-achtige netwerken getraind op het voorspellen van gemaskeerde tokens om nieuwe natuurkundige signalen, zoals vier-top-quark productie, te identificeren door afwijkingen in de reconstructie van achtergrondgebeurtenissen te detecteren zonder voorafgaande kennis van signaalkarakteristieken.

De kern

Stel je de Large Hadron Collider (LHC) voor als een enorme, hogesnelheid auto-botsingensimulator. Elke seconde laat hij deeltjes op elkaar botsen, wat een chaotische explosie van puin creëert. Natuurkundigen zoeken naar een zeer specifiek, zeldzaam type botsing — zoals het vinden van een specifieke, ongewone kras op een auto die alleen voorkomt als er een geheime, onzichtbare kracht in het spel is. Dit is het "signaal".

Het probleem is dat de meeste botsingen erg veel op elkaar lijken. Dit is de "achtergrondruis". In dit artikel proberen de auteurs een naald in een hooiberg te vinden zonder van tevoren precies te weten hoe de naald eruitziet.

Dit is hoe ze het deden, met een slimme truc geleend van de manier waarop computers leren lezen en schrijven.

1. Natuurkunde omzetten in een taal

De auteurs realiseerden zich dat de gegevens van deze deeltjesbotsingen behandeld konden worden als een zin in een taal.

• De "Woorden": In plaats van letters zijn de "woorden" (of tokens) de deeltjes die uit de botsing vliegen. Sommige zijn jets van energie, andere zijn elektronen, sommige zijn muonen.
• De "Zin": Een enkel botsingsgebeurtenis is een zin bestaande uit ongeveer 18 van deze "woorden", plus een paar extra getallen die de totale ontbrekende energie beschrijven (zoals een ontbrekend stukje van de puzzel).

Om dit werkbaar te maken voor een computer, moesten ze deze fysieke deeltjes vertalen naar een code die de machine begrijpt. Ze creëerden een systeem waarbij elk deeltjestype en zijn snelheid/richting een specifieke waarde krijgt, waardoor een complexe natuurkundige gebeurtenis wordt omgezet in een eenvoudige lijst met getallen, zoals [3, 1, 5, 2, ...].

2. Het "Invul-de-blanks"-spel

Het team gebruikte een type Kunstmatige Intelligentie genaamd een Large Language Model (LLM) — dezelfde technologie die chatbots aandrijft. Ze hebben het echter niet geleerd om verhalen te schrijven. In plaats daarvan leerden ze het om een spel van "Invul-de-blanks" te spelen met alleen de "achtergrond"-botsingen (de gewone, saaie varianten).

• De Training: Ze lieten de AI duizenden normale botsingen zien, maar verborgen één "woord" (deeltje) in elke zin. De AI moest raden welk deeltje er ontbrak op basis van de rest van de zin.
• Het Doel: De AI leerde de "grammatica" van normale deeltjesbotsingen. De AI leerde bijvoorbeeld: "Als ik hier een zware jet zie, verwacht ik meestal een specifiek type elektron daar."

3. Het opsporen van de anomalie

Zodende de AI een expert was geworden in het voorspellen van de "normale" botsingen, testten ze het op nieuwe gegevens, inclusioneel de zeldzame "vier-top-quark"-botsingen waar ze naar op zoek waren.

• De Test: Ze verborgen een deeltje in een botsingsgebeurtenis en vroegen de AI om het te raden.
• Het Resultaat: Wanneer de AI naar een normale botsing keek, gokte hij meestal correct. Maar wanneer de AI naar de zeldzame, vreemde "vier-top-quark"-botsing keek, raakte hij in de war. Omdat deze zeldzame gebeurtenis niet de "grammatica" van de normale achtergrond volgde, waren de gokken van de AI fout.
• Het Alarm: Hoe vaker de AI het fout had, hoe groter de kans dat de gebeurtenis een anomalie was (het signaal dat ze zochend waren).

4. Hoe goed werkte het?

De auteurs testten deze methode bij een zoektocht naar "vier-top-quark"-productie (een zeer zeldzame gebeurtenis waarbij vier zware deeltjes tegelijk worden gecreëerd).

• De Score: Ze maten hoe goed de AI de "normale" botsingen van de "zeldzame" kon scheiden. Ze behaalden een score (genaamd ROC-AUC) van 0,67.
• De Vergelijking: Ze vergeleken hun methode met andere gevestigde manieren om anomalieën te vinden.
  • Het versloeg niet de allerbeste bestaande methode (genaamd DDD).
  • Het deed echter beter dan twee andere veelvoorkomende methoden (DeepSVDD en DROCC).

De Kernboodschap

Het artikel beweert dat het behandelen van deeltjesfysica-gegevens als een taal en het gebruik van een "invul-de-blanks" AI een veelbelovende nieuwe manier is om zeldzame, onbekende natuurkundige gebeurtenissen te vinden. Hoewel het nog geen perfecte oplossing is, identificeerde het succesvol subtiele verschillen in de gegevens die andere methoden misten, wat suggereert dat deze "taalgebaseerde" aanpak een waardevol instrument kan zijn voor toekomstige ontdekkingen bij de LHC.

Technische samenvatting

Technische Samenvatting: Event Tokenisatie en Masked-Token Voorspelling voor Anomaliedetectie bij de Large Hadron Collider

Probleemstelling
Het artikel behandelt de uitdaging van het identificeren van zeldzame, Beyond the Standard Model (BSM) signaturen in experimentele data van hoge energie zonder voorafgaande kennis van de signaalkarakteristieken. Specifiek richten de auteurs zich op de zoektocht naar simultane vier-top-quark ($t\bar{t}t\bar{t}$) productie bij de Large Hadron Collider (LHC). Dit proces is moeilijk te isoleren omdat de eindtoestand (0–4 leptonen, 4–12 jets, inclusief vier $b$-jets) sterk lijkt op complexe Standard Model (SM) achtergronden zoals $t\bar{t}WW$, $t\bar{t}W$, $t\bar{t}Z$ en $t\bar{t}H$. De auteurs stellen voor om Large Language Models (LLMs) te gebruiken als ongesuperviseerde anomaliedetectoren om de distributie van achtergrondevents te leren en afwijkingen te signaleren die op nieuwe fysica kunnen duiden.

Methodologie
De voorgestelde aanpak maakt gebruik van een lichtgewicht, encoder-gebaseerd transformer-netwerk dat getraind is via masked-token voorspelling, een techniek aangepast uit natuurlijke taalverwerking (specifiek BERT).

1. Dataset en Preprocessing:

   • De studie gebruikt gesimuleerde $pp$-botsingsdata bij $\sqrt{s} = 13$ TeV uit de Dark Machines challenge, gegenereerd met MG5_aMC@NLO, gehadroniseerd met Pythia 8, en verwerkt door Delphes 3.
   • Events worden gerepresenteerd als sequenties van maximaal 18 deeltjesobjecten (jets, leptonen, fotonen) plus ontbrekende transversale energie ($E_T^{\text{miss}}$) en de azimuthale hoek ($\phi_{E_T^{\text{miss}}}$).
   • Achtergrondprocessen ($t\bar{t}H, t\bar{t}W, t\bar{t}WW, t\bar{t}Z$) vormen de trainingsset, terwijl $t\bar{t}t\bar{t}$ dient als signaal voor evaluatie.

2. Tokenisatiestrategie:

   • Een cruciaal onderdeel van de methode is de conversie van continue kinematische variabelen naar discrete tokens.
   • Deeltjestypes worden toegewezen aan 7 vooraf gedefinieerde categorieën.
   • Kinematische variabelen ($p_T, \eta, \phi, E_T^{\text{miss}}, \phi_{E_T^{\text{miss}}}$) worden gebinned. De optimale configuratie verdeelt $p_T, \eta$ en $E_T^{\text{miss}}$ in 4 bins (elke bin bevat 25% van de achtergronddata) en $\phi$ en $\phi_{E_T^{\text{miss}}}$ in 4 bins met een breedte van $\pi/4$.
   • Deze bins worden gecombineerd in een unieke integer token voor elk deeltje ($token_{part} \in [1, 448]$) en voor de ontbrekende energiecomponenten ($token_{E_T^{\text{miss}}} \in [449, 452]$, $token_{\phi_{E_T^{\text{miss}}}} \in [453, 456]$).
   • Events worden gepadded naar een vaste sequentielengte van 18 deeltjes plus de energie-tokens.

3. Modelarchitectuur en Training:

   • Het model bestaat uit twee transformer-lagen met elk vier self-attention heads, gevolgd door een lineaire projectie en een softmax-laag.
   • Training: Het model wordt uitsluitend getraind op achtergrondevents met een masked-token voorspellingsdoel. Eén token per event wordt willekeurig gemaskeerd, en het model leert deze te reconstrueren met behulp van Sparse Categorical Cross-Entropy loss.
   • Inference: Tijdens de testfase worden alle tokens in een event gemaskeerd en één voor één gereconstrueerd. De gemiddelde reconstructiescore (loss) wordt voor elk event berekend.

Belangrijkste Bijdragen

• Nieuwe Toepassing: Het artikel introduceert het gebruik van LLM-achtige architecturen voor ongesuperviseerde anomaliedetectie in collider-fysica, waarbij deeltjesevents worden behandeld als sequenties van tokens.
• Tokenisatiemethode: Het stelt een specifieke binning- en coderingstrategie voor om continue deeltjesfysica-data te transformeren naar een formaat dat geschikt is voor transformer-gebaseerde modellen.
• Modelonafhankelijke Zoektocht: De methode werkt zonder kennis van het signaal en vertrouwt enkel op de reconstructieprestaties van achtergrondevents om anomalieën te identificeren.

Resultaten

• Prestaties op de Vier-Top Zoektocht: Wanneer toegepast op het $t\bar{t}t\bar{t}$ signaal, behaalde het model een Receiver Operating Characteristic Area Under the Curve (ROC-AUC) van 0,67.
• Distributie Overlap: De reconstructiescore-distributies van achtergrond- en signalevents vertoonden een gemeenschappelijk gebied van 70,85%, wat wijst op een mate van overlap maar ook op het vermogen van het model om de twee klassen tot op zekere hoogte van elkaar te onderscheiden.
• Vergelijking: De voorgestelde methode werd vergeleken met gevestigde ongesuperviseerde methoden (DDD, DeepSVDD en DROCC) uit de Dark Machines challenge. De resultaten geven aan dat hoewel de LLM-gebaseerde aanpak niet de DDD-gebaseerde technieken heeft overtroffen, het wel verbeterde prestaties liet zien ten opzichte van DeepSVDD en DROCC, waardoor het gepositioneerd is als een concurrerende ongesuperviseerde anomaliedetectietechniek.

Betekenis en Claims
De auteurs karakteriseren de resultaten als voorlopig maar veelbelovend. Zij beweren dat de aanpak er succesvol in slaagt subtiele discrepanties in collider-data te vangen en een flexibele, token-gebaseerde representatie biedt voor modelonafhankelijke zoektochten. Het artikel suggereert dat met verdere optimalisatie van de tokenisatiemethode en de modelarchitectuur, deze methode een levensvatbare kandidaat kan worden voor het verbeteren van de gevoeligheid voor zeldzame Standard Model-processen en het ontdekken van nieuwe fysica-signaturen in toekomstige hoog-energetische fysica-analyses. Het werk beweert niet alle bestaande methoden te hebben overtroffen, maar benadrukt het potentieel van het aanpassen van transformer-architecturen aan de specifieke structurele uitdagingen van deeltjesfysica-data.