Optimised neural networks for online processing of ATLAS calorimeter data on FPGAs

Diese Arbeit präsentiert eine Studie zur Optimierung verschiedener neuronaler Netzwerkarchitekturen (Dense, CNN und Dense+RNN) mittels Bayesscher Verfahren und Deep Evidential Regression für den Betrieb auf ATLAS-Kalorimeter-FPGAs, wobei im Vergleich zu aktuellen Methoden unter den beim HL-LHC erwarteten hohen Pile-up-Bedingungen eine überlegene Energieauflösung und eine präzise Unsicherheitsschätzung erreicht wird.

Das Wesentliche

Stellen Sie sich den ATLAS-Detektor am Large Hadron Collider (LHC) wie ein riesiges, hochempfindliches Mikrofon vor, das das Universum belauscht. Alle 25 Nanosekunden prallen zwei Protonenstrahlen aufeinander und erzeugen eine chaotische Sinfonie aus Teilchen. Das „Mikrofon“ (speziell der Flüssig-Argon-Kalorimeter) versucht, die Energie dieser Teilchen zu messen, indem es den elektrischen „Impulsen“ lauscht, die sie erzeugen.

Es gibt jedoch ein Problem: Das Orchester wird immer lauter und voller. In der zukünftigen Erweiterung (genannt HL-LHC) werden so viele Kollisionen gleichzeitig stattfinden (ein Phänomen namens „Pile-up“), dass sich die Signale überlagern wie ein unordentlicher Haufen verhedderter Kopfhörer. Die aktuelle Methode zur Entwirrung dieser Signale (genannt „Optimal Filtering“) ist wie der Versuch, eine einzelne Violine in einem Rockkonzert mit einem sehr alten, langsamen Ohr zu hören – sie wird verwirrt und übersieht das wahre Volumen des Klangs.

Dieses Paper präsentiert eine neue Lösung: dem Gehirn des Detektors beizubringen, wie eine moderne KI zu denken.

Hier ist die Aufschlüsselung dessen, was sie getan haben, unter Verwendung einfacher Analogien:

1. Die Herausforderung: Ein winziges, schnelles Gehirn

Der Detektor verfügt nicht über einen Supercomputer zur Datenverarbeitung. Er muss Entscheidungen sofort treffen, direkt dort, wo die Daten gesammelt werden, mithilfe spezialisierter Chips namens FPGAs (Field-Programmable Gate Arrays). Betrachten Sie diese FPGAs als winzige, ultraschnelle Taschenrechner, die sehr strengen Regeln unterliegen:

• Geschwindigkeit: Sie müssen die Energie eines Teilchens in weniger als der Zeit entscheiden, die ein Kolibri für einen Flügelschlag benötigt (125 Nanosekunden).
• Größe: Sie verfügen über sehr wenig Speicherplatz. Man kann keine massiven, schweren Softwareprogramme auf ihnen installieren.

2. Die Lösung: Neue neuronale Netzwerk-„Rezepte“

Die Forscher versuchten, diese winzigen Taschenrechner darauf zu trainieren, die chaotischen Signale mittels neuronaler Netze (KI-Modellen) zu erkennen. Sie testeten vier verschiedene „Rezepte“ (Architekturen), um zu sehen, welches Rezept das Rauschen am besten entwirren kann, ohne die Geschwindigkeits- oder Größenbeschränkungen zu verletzen:

• Das RNN (Recurrent Neural Network): Stellen Sie sich eine Person vor, die eine Geschichte Wort für Wort liest und das vorherige Wort im Gedächtnis behält, um das aktuelle zu verstehen. Dies ist gut für Sequenzen, aber in dieser überfüllten Umgebung wurde es zu groß und zu langsam.
• Das CNN (Convolutional Neural Network): Stellen Sie sich vor, man betrachtet ein Muster durch ein gleitendes Fenster, wie eine Sicherheitskamera, die einen Flur scannt. Es betrachtet ein Stück des Signals nach dem anderen, um Formen zu finden. Dies funktionierte sehr gut.
• Das Dense Network: Stellen Sie sich ein Team von Experten vor, bei dem jeder mit jedem spricht, um ein Rätsel zu lösen. Auch dies funktionierte sehr gut.
• Das „Dense + RNN“-Hybrid: Eine Mischung aus beiden, die versucht, das Beste aus beiden Welten zu vereinen.

3. Der Tuning-Prozess: Die „schlaue Suche“

Die Forscher haben nicht einfach nur geraten, welches Rezept das beste ist. Sie nutzten einen Bayesian Optimization Prozess.

• Die Analogie: Stellen Sie sich vor, Sie versuchen, die perfekte Temperatur zum Backen eines Kuchens zu finden, haben aber nur wenige Versuche, bevor der Ofen kaputtgeht. Sie raten nicht einfach zufällig; Sie nutzen einen smarten Assistenten, der sagt: „Okay, wir haben 180 °C probiert und es war zu trocken. Versuchen wir es mit 190 °C, aber vielleicht etwas weniger Mehl.“
• Sie nutzten diesen „smarten Assistenten“, um zwei konkurrierende Ziele abzuwägen: Genauigkeit (die Energie richtig zu erfassen) vs. Größe (den Code klein genug für den Chip zu halten). Sie fanden einen „Sweet Spot“, an dem die KI klein genug war, um hineinzupassen, aber klug genug, um die alte Methode zu schlagen.

4. Die Ergebnisse: Ein klareres Bild

Als sie diese neuen KI-Modelle gegen die alte „Optimal Filtering“-Methode testeten:

• Bessere Genauigkeit: Die neuen KI-Modelle (Dense und CNN) konnten die Energie mit einer Präzision von etwa 80 MeV (einer sehr kleinen Energieeinheit) messen. Die alte Methode und das RNN waren weniger präzise (etwa 90 MeV).
• Keine Unterschätzung mehr: Die alte Methode neigte dazu, die Signale „leiser zu drehen“, indem sie dachte, die Energie sei niedriger, als sie tatsächlich war. Die neuen KI-Modelle bekamen das Volumen richtig hin.
• Effizienz: Die Gewinner-Modelle waren winzig (sie nutzten weniger als 500 „Rechenoperationen“), was bewies, dass sie auf die Hardware passen können.

5. Das Bonus-Feature: „Wie sicher bist du dir?“

Normalerweise gibt eine KI eine Antwort, aber keinen Konfidenzwert. Es ist wie eine Wetter-App, die sagt „Es wird regnen“, ohne zu sagen, ob die Chance bei 50 % oder 99 % liegt.

• Die Forscher fügten eine spezielle Technik namens Deep Evidential Regression hinzu.
• Die Analogie: Dies ist vergleichbar mit der Gabe eines „Konfidenz-Messers“ an die KI. Jetzt kann die KI, wenn sie sagt: „Dieses Teilchen hat 50 GeV Energie“, auch sagen: „Ich bin mir zu 95 % sicher“ oder „Ich bin mir etwas unsicher, weil das Rauschen seltsam war“.
• Sie fanden heraus, dass dieser Konfidenz-Messwert genau war. Er machte die KI nicht langsamer oder größer, gab den Wissenschaftern aber eine Möglichkeit zu wissen, welche Messungen vertrauenswürdig sind.

Zusammenfassung

Das Paper zeigt, dass durch den Einsatz smarter, kleiner KI-Modelle (speziell Dense- und CNN-Netzwerke), die mit einer „smarten Suchmethode“ abgestimmt wurden, der ATLAS-Detektor in der Lage ist, das Chaos zukünftiger Hochenergie-Kollisionen zu bewältigen. Diese neuen Modelle sind schneller, genauer und können Wissenschaftlern sogar mitteilen, wie sicher sie sich bei den Daten sind – und das alles, während sie in die winzigen, schnellen Chips auf dem Detektor selbst passen.

Technische Zusammenfassung

Technische Zusammenfassung: Optimierte neuronale Netze für die Online-Verarbeitung von ATLAS-Kalorimeterdaten

Problemstellung
Der High-Luminosity Large Hadron Collider (HL-LHC) wird ein extremes Signal-Pile-up einführen, mit bis zu 200 simultanen Proton-Proton-Kollisionen pro Bunch-Crossing. Diese Umgebung verschlechtert die Leistung des derzeit verwendeten Optimal Filtering (OF)-Algorithmus, der in den ATLAS Liquid-Argon (LAr) Kalorimetern eingesetzt wird, insbesondere bei der Rekonstruktion der Energie, wenn Pulse überlappen. Das Phase-II-Upgrade der LAr-Ausleseelektronik führt neue Hardware auf Basis von INTEL Agilex 7 Field-Programmable Gate Arrays (FPGAs) ein. Diese FPGAs bieten eine erhöhte Rechenleistung, unterliegen jedoch strengen Beschränkungen hinsichtlich der Latenz (unter 125 ns) und der Netzwerkgröße (begrenzt auf etwa 500 Multiply-Accumulate-Operationen, oder MACs, pro Zelle) für die Online-Energierekonstruktion. Die Herausforderung besteht darin, Architekturen für neuronale Netze (NN) zu entwickeln, die das OF-Verfahren unter hohem Pile-up in der Energieresolution übertreffen und gleichzeitig diese strengen Hardwarebeschränkungen einhalten sowie zuverlässige Unsicherheitsschätzungen pro Ereignis liefern.

Methodik
Die Studie evaluiert vier Architekturen für neuronale Netze, die darauf ausgelegt sind, die deponierte transversale Energie in einer Kalorimeterzelle unter Verwendung digitalisierter Puls-Samples als Input vorherzusagen. Die Eingangsdaten umfassen Pre-Deposit-Samples (um Pulsverzerrungen durch vorangegangene Kollisionen zu berücksichtigen) und Post-Deposit-Samples (um die Pulsform der Zielenergie-Deposition zu erfassen).

1. Evaluierte Architekturen:

   • Rekurrentes Neuronales Netz (RNN): Verarbeitet Samples sequenziell. Während Standard-RNNs effizient für Zeitreihendaten sind, benötigen sie große interne Dimensionen, um weitreichende Abhängigkeiten zu erfassen, was oft die FPGA-Ressourcenlimits für lange Sequenzen überschreitet.
   • Convolutional Neural Network (CNN): Nutzt gleitende 1D- und 2D-Filter über die Input-Samples. Es nutzt Weight-Sharing und nutzt Berechnungen aus vorangegangenen Bunch-Crossings wieder, um die Latenz zu reduzieren.
   • Dense+RNN: Ein hybrider Ansatz, bei dem eine Dense-Schicht die Pre-Deposit-Samples verarbeitet, um eine RNN-Sequenz für die Post-Deposit-Samples zu initialisieren, mit dem Ziel, die Vorteile des RNN mit reduzierten Rechenkosten auszubalancieren.
   • Staged Dense: Eine mehrstufige Architektur, die ausschließlich Dense-Schichten verwendet. Pre-Deposit-Samples werden in einer ersten Stufe verarbeitet, um Verzerrungen zu korrigieren, welche dann mit den Post-Deposit-Samples in einer zweiten Stufe kombiniert werden. Dies ermöglicht die Vorberechnung der ersten Stufe, wodurch die Latenz minimiert wird.

2. Optimierungsstrategie
   Es wurde ein Bayessches Optimierungsverfahren angewendet, um Hyperparameter (z. B. Anzahl der Pre-/Post-Deposit-Samples, Schichtdimensionen, Kernel-Größen) abzustimmen. Die Zielfunktion balancierte die Energieresolution gegen die Netzwerkgröße (MAC-Anzahl) aus, wobei Architekturen, die 500 MACs überschritten, bestraft wurden, und bei Überschreitung von 850 MACs schwere Strafen verhängt wurden, um die FPGA-Machbarkeit sicherzustellen.

3. Unsicherheitsschätzung
   Um die Notwendigkeit von Unsicherheiten pro Ereignis ohne die Rechenkosten von Bayesianischen Neuronalen Netzen (die Sampling erfordern) zu adressieren, implementierten die Autoren Deep Evidential Regression (DER). Diese Technik modifiziert die finale Schicht des Dense-Netzwerks so, dass Parameter einer Normal-Inverse-Gamma-Verteilung ausgegeben werden, was die Inferenz sowohl der vorhergesagten Energie als auch der damit verbundenen aleatorischen (Datenrauschen) und epistemischen (Modellunsicherheit) Unsicherheiten ermöglicht.

4. Simulation und Training
   Die Netzwerke wurden auf simulierten Daten unter Verwendung des AREUS-Toolkits trainiert und getestet, welches ein Worst-Case-Pile-up-Szenario ($\langle\mu\rangle = 200$) mit Hard-Scattering-Ereignissen im Bereich von 0 bis 130 GeV simuliert. Ein Datensatz von 13 Millionen Ereignissen wurde für die abschließende Evaluierung verwendet, um statistische Fluktuationen zu minimieren.

Wichtigste Ergebnisse

• Energieresolution: Die optimierten Dense-, CNN- und Dense+RNN-Architekturen erreichten eine transversale Energieresolution von etwa 80 MeV. Dies übertrifft sowohl das aktuelle OF-Verfahren als auch die RNN-Architektur (die ~90 MeV erreichte).
• Genauigkeit der Energieskala: Im Gegensatz zum OF-Verfahren und Standard-RNNs, die die Energie systematisch unterschätzen (das OF ignoriert In-Time-Pile-up, und RNNs scheitern an der Erfassung weitreichender Abhängigkeiten bei begrenzten Inputs), reproduzieren die Dense-, CNN- und Dense+RNN-Netze die Energieskala über den gesamten Dynamikbereich hinweg akkurat.
• Hardware-Machbarkeit: Alle erfolgreichen Architekturen (Dense, CNN, Dense+RNN) wurden so optimiert, dass sie weniger als 500 MAC-Einheiten verwenden, was sie für die Implementierung auf den Agilex 7 FPGAs innerhalb der strengen Latenzvorgaben geeignet macht.
• Unsicherheit-Performance: Die DER-Implementierung fügte minimale Rechenkosten hinzu. Die vorhergesagte Unsicherheit ($\delta_{pred}$) war im Durchschnitt konsistent mit der tatsächlichen Differenz zwischen der wahren und der vorhergesagten Energie. Die Pull-Verteilung $(E_{pred} - E_{true})/\delta_{pred}$ ergab eine Standardabweichung von 0,75, was auf eine leichte Überschätzung der Unsicherheit hindeutet, aber insgesamt eine Zuverlässigkeit zeigt. Die Analyse zeigte, dass die epistemische Unsicherheit dominiert, was auf Verbesserungspotenzial durch größere Datensätze oder verfeinerte Architekturen hindeutet.

Bedeutung und Behauptungen
Das Paper behauptet, nachzuweisen, dass moderne Algorithmen des maschinellen Lernens erfolgreich in die Online-Auslesekette der ATLAS LAr-Kalorimeter eingebettet werden können. Die primäre Bedeutung liegt im erfolgreichen Kompromiss zwischen Auflösung und Hardwarebeschränkungen:

• Die Studie beweist, dass Dense- und CNN-Architekturen die Energieresolution im Vergleich zur herkömmlichen OF-Methode um etwa 8 % verbessern können, während sie innerhalb der strengen MAC-Limits der Phase-II-FPGA-Hardware bleiben.
• Sie stellt fest, dass Pre-Deposit-Samples entscheidend sind, um Pulsverzerrungen zu erfassen, was reine RNN-Ansätze aufgrund ihrer Ressourcenintensität für lange Sequenzen weniger wettbewerbsfähig macht.
• Sie führt eine praktische Methode zur Unsicherheitsschätzung pro Ereignis via Deep Evidential Regression ein, die die Inferenzkosten nicht signifikant erhöht. Diese Fähigkeit wird als Schritt zur verbesserten Auswahl der Zellenergie in Clustering-Algorithmen präsentiert, was eine genauere Rekonstruktion von Physik-Objekten wie Elektronen und Photonen in Umgebungen mit hohem Pile-up ermöglicht.

Die Autoren kommen zu dem Schluss, dass diese optimierten Netzwerke gut für die FPGA-Bereitstellung geeignet sind und einen praktikablen Weg für das ATLAS Phase-II-Upgrade darstellen, indem sie eine überlegene Leistung gegenüber aktuellen Algorithmen bieten, ohne die strengen Latenz- und Ressourcenanforderungen der Trigger- und Auslesesysteme zu gefährden.