Event Tokenization and Masked-Token Prediction for Anomaly Detection at the Large Hadron Collider

Dieses Paper schlägt eine neuartige unüberwachte Methode zur Anomalieerkennung für den Large Hadron Collider vor, die leichtgewichtige, auf Encoder-basierten LLM-ähnlichen Netzwerken basiert, welche mittels Masked-Token-Vorhersage trainiert wurden, um neue Physiksignale, wie etwa die Vier-Top-Quark-Produktion, durch das Erkennen von Abweichungen in der Rekonstruktion von Hintergrundereignissen ohne vorheriges Wissen über Signalcharakteristika zu identifizieren.

Das Wesentliche

Stellen Sie sich den Large Hadler Collider (LHC) wie einen riesigen, Hochgeschwindigkeits-Autounfall-Simulator vor. Jede Sekunde lässt er Teilchen zusammenprallen, wodurch eine chaotische Explosion von Trümmern entsteht. Physiker suchen nach einer ganz bestimmten, seltenen Art von Crash – so als würde man nach einem ganz speziellen, ungewöhnlichen Kratzer an einem Auto suchen, der nur vorkommt, wenn eine geheime, unsichtbare Kraft im Spiel ist. Dies ist das „Signal“.

Das Problem ist, dass die meisten Unfälle sehr ähnlich aussehen. Sie sind das „Hintergrundrauschen“. In dieser Arbeit versuchen die Autoren, die Nadel im Heuhaufen zu finden, ohne vorher genau zu wissen, wie die Nadel aussieht.

Hier ist, wie sie es gemacht haben, unter Verwendung eines cleveren Tricks, der davon entlehnt ist, wie Computer lernen zu lesen und zu schreiben.

1. Physik in eine Sprache verwandeln

Die Autoren erkannten, dass die Daten aus diesen Teilchenkollisionen wie ein Satz in einer Sprache behandelt werden können.

• Die „Wörter“: Anstelle von Buchstaben sind die „Wörter“ (oder Token) die Teilchen, die aus dem Crash herausfliegen. Einige sind Energiejets, andere sind Elektronen, manche sind Myonen.
• Der „Satz“: Ein einzelnes Crash-Ereignis ist ein Satz, der aus etwa 18 dieser „Wörter“ besteht, plus einigen zusätzlichen Zahlen, die die gesamte fehlende Energie beschreiben (wie ein fehlendes Teil eines Puzzles).

Um dies für einen Computer funktionsfähig zu machen, mussten sie diese physikalischen Teilchen in einen Code übersetzen, den die Maschine versteht. Sie entwickelten ein System, bei dem jedem Teilchentyp und seiner Geschwindigkeit/Richtung eine spezifische Zahl zugewiesen wird, wodurch ein komplexes physikalisches Ereignis in eine einfache Liste von Zahlen verwandelt wird, wie zum Beispiel [3, 1, 5, 2, ...].

2. Das „Lückentext“-Spiel

Das Team verwendete eine Art von Künstlicher Intelligenz namens Large Language Model (LLM) – dieselbe Technologie, die Chatbots antreibt. Sie haben sie jedoch nicht dazu gebracht, Geschichten zu schreiben. Stattdessen haben sie ihr beigebracht, ein „Lückentext“-Spiel zu spielen, indem sie ausschließlich die „Hintergrund“-Crashs (die gewöhnlichen, langweiligen) verwendeten.

• Das Training: Sie zeigten der KI tausende normale Crashs, verbargen aber in jedem Satz ein „Wort“ (Teilchen). Die KI musste das fehlende Teilchen basierend auf dem Rest des Satzes erraten.
• Das Ziel: Die KI lernte die „Grammatik“ normaler Teilchen-Crashs. Sie lernte zum Beispiel: „Wenn ich hier einen schweren Jet sehe, erwarte ich dort normalerweise ein spezifisches Elektron.“

3. Anomalien aufspüren

Nachdem die KI ein Experte darin geworden war, die „normalen“ Crashs vorherzusagen, testeten sie sie mit neuen Daten, einschließlich der seltenen „Vier-Top-Quark“-Crashs, nach denen sie suchten.

• Der Test: Sie versteckten ein Teilchen in einem Crash-Ereignis und fragten die KI, das Teilchen zu erraten.
• Das Ergebnis: Wenn die KI einen normalen Crash betrachtete, rät sie die meiste Zeit korrekt. Aber wenn sie einen seltenen, seltsamen „Vier-Top-Quark“-Crash betrachtete, wurde sie verwirrt. Da dieses seltene Ereignis nicht der „Grammatik“ des normalen Hintergrunds folgte, waren die Vorhersagen der KI falsch.
• Der Alarm: Je öfter die KI falsch lag, desto wahrscheinlicher war es, dass das Ereignis eine Anomalie war (das Signal, das sie suchten).

4. Wie gut hat es funktioniert?

Die Autoren testeten diese Methode bei der Suche nach der Produktion von „Vier-Top-Quarks“ (einem sehr seltenen Ereignis, bei dem vier schwere Teilchen gleichzeitig entstehen).

• Die Punktzahl: Sie maßen, wie gut die KI die „normalen“ Crashs von den „seltenen“ unterscheiden konnte. Sie erhielten einen Wert (genannt ROC-AUC) von 0,67.
• Der Vergleich: Sie verglichen ihre Methode mit anderen etablierten Wegen, Anomalien zu finden.
  • Sie übertrafen nicht die sehr beste bestehende Methode (genannt DDD).
  • Sie war jedoch besser als zwei andere gängige Methoden (DeepSVDD und DROCC).

Das Fazit

Die Arbeit behauptet, dass die Behandlung von Teilchenphysik-Daten wie einer Sprache und die Verwendung einer „Lückentext“-KI ein vielversprechender neuer Weg ist, um seltene, unbekannte Physik-Ereignisse zu finden. Obwohl es noch keine perfekte Lösung ist, identifizierte sie erfolgreich subtile Unterschiede in den Daten, die andere Methoden übersehen hatten, was darauf hindeutet, dass dieser „sprachbasierte“ Ansatz ein wertvolles Werkzeug für zukünftige Entdeckungen am LHC sein könnte.

Technische Zusammenfassung

Technische Zusammenfassung: Ereignis-Tokenisierung und Maskierte-Token-Vorhersage zur Anomalieerkennung am Large Hadron Collider

Problemstellung
Die Arbeit befasst sich mit der Herausforderung, seltene Signaturen jenseits des Standardmodells (BSM) in Hochenergiephysik-Daten zu identifizieren, ohne über Vorwissen über die Signalcharakteristika zu verfügen. Insbesondere konzentrieren sich die Autoren auf die Suche nach der simultanen Produktion von vier Top-Quarks ($t\bar{t}t\bar{t}$) am Large Hadron Collider (LHC). Dieser Prozess ist schwierig zu isolieren, da sein Endzustand (0–4 Leptonen, 4–12 Jets, einschließlich vier $b$-Jets) den komplexen Hintergründen des Standardmodells (SM) wie $t\bar{t}WW$, $t\bar{t}W$, $t\bar{t}Z$ und $t\bar{t}H$ sehr ähnlich sieht. Die Autoren schlagen vor, Large Language Models (LLMs) als unüberwachte Anomalie-Detektoren einzusetzen, um die Verteilung von Hintergrundereignissen zu erlernen und Abweichungen zu kennzeichnen, die auf neue Physik hindeuten könnten.

Methodik
Der vorgeschlagene Ansatz nutzt ein leichtgewichtiges, Encoder-basiertes Transformer-Netzwerk, das mittels maskierter Token-Vorhersage trainiert wird – eine Technik, die aus der natürlichen Sprachverarbeitung (speziell BERT) adaptiert wurde.

1. Datensatz und Vorverarbeitung:

   • Die Studie verwendet simulierte $pp$-Kollisionsdaten bei $\sqrt{s} = 13$ TeV aus der Dark Machines Challenge, generiert mit MG5_aMC@NLO, hadronisiert mit Pythia 8 und verarbeitet durch Delphes 3.
   • Ereignisse werden als Sequenzen von bis zu 18 Teilchenobjekten (Jets, Leptonen, Photonen) plus fehlender transversaler Energie ($E_T^{\text{miss}}$) und deren Azimutwinkel ($\phi_{E_T^{\text{miss}}}$) dargestellt.
   • Hintergrundprozesse ($t\bar{t}H, t\bar{t}W, t\bar{t}WW, t\bar{t}Z$) bilden den Trainingssatz, während $t\bar{t}t\bar{t}$ als Signal zur Evaluierung dient.

2. Tokenisierungsstrategie:

   • Eine entscheidende Komponente der Methode ist die Umwandlung kontinuierlicher kinematischer Variablen in diskrete Token.
   • Teilchentypen werden auf 7 vordefinierte Kategorien abgebildet.
   • Kinematische Variablen ($p_T, \eta, \phi, E_T^{\text{miss}}, \phi_{E_T^{\text{miss}}}$) werden gebinselt. Die optimale Konfiguration unterteilt $p_T, \eta$ und $E_T^{\text{miss}}$ in 4 Bins (jeweils mit 25 % der Hintergrunddaten) und $\phi$ sowie $\phi_{E_T^{\text{miss}}}$ in 4 Bins der Breite $\pi/4$.
   • Diese Bins werden zu einem eindeutigen Integer-Token für jedes Teilchen kombiniert ($token_{part} \in [1, 448]$) sowie für die Komponenten der fehlenden Energie ($token_{E_T^{\text{miss}}} \in [449, 452]$, $token_{\phi_{E_T^{\text{miss}}}} \in [453, 456]$).
   • Ereignisse werden auf eine feste Sequenzlänge von 18 Teilchen plus den Energietoken aufgefüllt (Padding).

3. Modellarchitektur und Training:

   • Das Modell besteht aus zwei Transformer-Layern mit jeweils vier Self-Attention-Heads, gefolgt von einer linearen Projektion und einer Softmax-Schicht.
   • Training: Das Modell wird ausschließlich auf Hintergrundereignissen unter Verwendung eines Masked-Token-Prediction-Ziels trainiert. Ein Token pro Ereignis wird zufällig maskiert, und das Modell lernt, dieses unter Verwendung des Sparse Categorical Cross-Entropy-Loss zu rekonstruieren.
   • Inferenz: Während des Tests werden alle Token eines Ereignisses maskiert und nacheinander rekonstruiert. Der durchschnittliche Rekonstruktionswert (Loss) wird für jedes Ereignis berechnet.

Wesentliche Beiträge

• Neuartige Anwendung: Die Arbeit führt den Einsatz von LLM-ähnlichen Architekturen für die unüberwachte Anomalieerkennung in der Kollisionsphysik ein, indem sie Teilchenereignisse als Sequenzen von Token behandelt.
• Tokenisierungsschema: Es wird eine spezifische Binning- und Kodierungsstrategie vorgeschlagen, um kontinuierliche Teilchenphysik-Daten in ein Format zu transformieren, das für Transformer-basierte Modelle geeignet ist.
• Modellunabhängige Suche: Die Methode operiert ohne Kenntnis des Signals und stützt sich allein auf die Rekonstruktionsleistung der Hintergrundereignisse, um Anomalien zu identifizieren.

Ergebnisse

• Leistung bei der Vier-Top-Suche: Bei Anwendung auf das $t\bar{t}t\bar{t}$-Signal erreichte das Modell eine Receiver Operating Characteristic Area Under the Curve (ROC-AUC) von 0,67.
• Verteilungüberlappung: Die Rekonstruktions-Score-Verteilungen für Hintergrund- und Signalereignisse zeigten eine gemeinsame Fläche von 70,85 %, was auf eine gewisse Überlappung hindeutet, aber auch die Fähigkeit des Modells zeigt, zwischen den beiden Klassen bis zu einem gewissen Grad zu unterscheiden.
• Vergleich: Die vorgeschlagene Methode wurde gegen etablierte unüberwachte Methoden (DDD, DeepSVDD und DROCC) der Dark Machines Challenge verglichen. Die Ergebnisse zeigen, dass der LLM-basierte Ansatz die DDD-basierten Techniken zwar nicht übertraf, aber eine verbesserte Leistung gegenüber DeepSVDD und DROCC demonstrierte, was ihn als kompetitive unüberwachte Anomalie-Detektionstechnik positioniert.

Bedeutung und Behauptungen
Die Autoren charakterisieren die Ergebnisse als vorläufig, aber vielversprechend. Sie behaupten, dass der Ansatz erfolgreich subtile Diskrepanzen in Kollisionsdaten erfasst und eine flexible, Token-basierte Repräsentation für modellunabhängige Suchen bietet. Das Paper legt nahe, dass dieser Ansatz mit weiterer Optimierung des Tokenisierungsschemas und der Modellarchitektur ein lebensfähiger Kandidat werden könnte, um die Sensitivität gegenüber seltenen Prozessen des Standardmodells zu verbessern und Signaturen neuer Physik in zukünftigen Hochenergiephysik-Analysen aufzudecken. Die Arbeit beansprucht nicht, alle bestehenden Methoden übertroffen zu haben, hebt jedoch das Potenzial hervor, Transformer-Architekturen an die spezifischen strukturellen Herausforderungen von Teilchenphysik-Daten anzupassen.