Optimised neural networks for online processing of ATLAS calorimeter data on FPGAs

Dit artikel presenteert een studie naar het optimaliseren van diverse neurale netwerkarchitecturen (Dense, CNN en Dense+RNN) met Bayesiaanse procedures en Deep Evidential Regression om te draaien op ATLAS-calorimeter FPGA's, waarbij een superieure energieresolutie en nauwkeurige onzekerheidsschatting worden bereikt vergeleken met huidige methoden onder de hoge pile-up condities die verwacht worden bij de HL-LHC.

De kern

Stel je de ATLAS-detector bij de Large Hadron Collider (LHC) voor als een gigantische, ultrasensitieve microfoon die naar het universum luistert. Elke 25 nanosecond botsen twee protonenbundels tegen elkaar, wat een chaotische symfonie van deeltjes creëert. De "microfoon" (specifiek de vloeibaar-argon calorimeter) probeert de energie van deze deeltjes te meten door te luisteren naar de elektrische "pulsen" die ze creëren.

Er is echter een probleem: het orkest wordt luider en drukker. In de toekomstige upgrade (de HL-LHC) zullen er zoveel botsingen tegelijkertijd plaatsvinden (een fenomeen genaamd "pile-up") dat de signalen overlappen als een rommelige stapel in elkaar getangled hoofdtelefoons. De huidige methode om deze signalen te ontwarren (genaamd "Optimal Filtering") is als proberen een enkele viool te horen in een rockconcert met een heel oud, traag oor — het raakt in de war en mist het werkelijke volume.

Dit artikel presenteert een nieuwe oplossing: het detectorbrein leren denken als een moderne AI.

Hier is de uitsplitsing van wat ze hebben gedaan, met behulp van eenvoudige analogieën:

1. De Uitdaging: Een Minuscuul, Snel Brein

De detector heeft geen supercomputer om gegevens te verwerken. Hij moet direct beslissingen nemen, precies daar waar de gegevens worden verzameld, met behulp van gespecialiseerde chips genaamd FPGA's (Field-Programmable Gate Arrays). Zie deze FPGA's als minuscule, ultrasnelle rekenmachines die zeer strikte regels hebben:

• Snelheid: Ze moeten de energie van een deeltje bepalen in minder tijd dan het duurt voordat een kolibrie zijn vleugels slaat (125 nanoseconden).
• Grootte: Ze hebben zeer weinig geheugenruimte. Je kunt geen massief, zwaar softwareprogramma op hen installeren.

2. De Oplossing: Nieuwe Neurale Netwerk "Recepten"

De onderzoekers probeerden deze kleine rekenmachines te leren om de rommelige signalen te herkennen met behulp van Neurale Netwerken (AI-modellen). Ze testten vier verschillende "recepten" (architecturen) om te zien welke het beste de ruis kon ontwarren zonder de snelheid of de grootte-limieten te overschrijden:

• De RNN (Recurrent Neural Network): Stel je een persoon voor die een verhaal leest, één woord tegelijk, waarbij hij het vorige woord onthoudt om het huidige woord te begrijpen. Dit is goed voor sequenties, maar in deze drukke omgeving werd het te groot en te traag.
• De CNN (Convolutional Neural Network): Stel je voor dat je naar een patroon kijkt door een bewegend venster, zoals een beveiligingscamera die een gang scant. Het kijkt naar een fragment van het signaal tegelijk om vormen te vinden. Dit werkte erg goed.
• Het Dense Netwerk: Stel je een team van experts voor waarbij iedereen met iedereen praat om een puzzel op te lossen. Dit werkte ook erg goed.
• De "Dense + RNN" Hybride: Een mix van de twee, die probeert het beste van beide werelden te krijgen.

3. Het Afstemmingsproces: De "Slimme Zoektocht"

De onderzoekers hebben niet zomaar geraden welk recept het beste was. Ze gebruikten een Bayesian Optimization proces.

• De Analogie: Stel je voor dat je probeert de perfecte temperatuur te vinden om een cake te baken, maar je hebt slechts een paar pogingen voordat de oven kapot gaat. Je gokt niet willekeurig; je gebruikt een slimme assistent die zegt: "Oké, we hebben 180°C geprobeerd en het was te droog. Laten we 190°C proberen, maar misschien met iets minder bloem."
• Ze gebruikten deze "slimme assistent" om twee concurrerende doelen in balans te houden: Nauwkeurigheid (de energie correct meten) versus Grootte (de code klein genoeg houden voor de chip). Ze vonden een "sweet spot" waar de AI klein genoeg was om in te passen, maar slim genoeg om de oude methode te verslaan.

4. De Resultaten: Een Helderder Beeld

Wanneer ze deze nieuwe AI-modellen testten tegenover de oude "Optimal Filtering"-methode:

• Betere Nauwkeurigheid: De nieuwe AI-modellen (Dense en CNN) konden de energie meten met een precisie van ongeveer 80 MeV (een zeer kleine eenheid energie). De oude methode en de RNN waren minder precies (rond de 90 MeV).
• Geen Onderwaardering Meer: De oude methode had de neiging om het volume van de signalen "naar beneden te draaien", denkend dat de energie lager was dan deze in werkelijkheid was. De nieuwe AI-modellen kregen het volume juist goed.
• Efficiëntie: De winnende modellen waren minuscuul (gebruikmakend van minder dan 500 "rekenbewerkingen"), wat bewees dat ze op de hardware pasten.

5. De Bonusfunctie: "Hoe Zeker Weet U Het?"

Meestal geeft AI een antwoord maar geen vertrouwensscore. Het is als een weer-app die zegt "Het gaat regenen" zonder te vertellen of dat een kans van 50% of 99% is.

• De onderzoekers voegden een speciale techniek toe genaamd Deep Evidential Regression.
• De Analogie: Dit is als het geven van een "betrouwbaarheidsmeter" aan de AI. Nu kan de AI, wanneer hij zegt: "Dit deeltje heeft 50 GeV aan energie", ook zeggen: "Ik ben 95% zeker van dit" of "Ik ben wat onzeker over dit omdat de ruis vreemd was".
• Ze ontdekten dat deze betrouwbaarheidsmeter accuraat was. Het maakte de AI niet langzamer of groter, maar gaf wetenschappers een manier om te weten welke metingen betrouwbaar waren.

Samenvatting

Dit artikel laat zien dat door slimme, kleine AI-modellen te gebruiken (specifiek Dense en CNN netwerken) die zijn afgestemd met een "slimme zoektocht"-methode, de ATLAS-detector kan worden geüpgraded om de chaos van toekomstige hoogenergetische botsingen aan te kunnen. Deze nieuwe modellen zijn sneller, nauwkeuriger en kunnen zelfs wetenschappers vertellen hoe zeker ze moeten zijn van de gegevens, terwijl ze toch in de kleine, snelle chips op de detector zelf passen.

Technische samenvatting

Technische Samenvatting: Geoptimaliseerde Neurale Netwerken voor Online ATLAS Calorimeter Dataprocessing

Probleemstelling
De High-Luminosity Large Hadron Collider (HL-LHC) zal extreme signaal-pile-up introduceren, met tot wel 200 simultane proton-proton botsingen per bunch-crossing. Deze omgeving degradeert de prestaties van het huidige Optimal Filtering (OF) algoritme dat wordt gebruikt voor de ATLAS Liquid-Argon (LAr) calorimeters, met name bij het reconstrueren van energie wanneer pulsen overlappen. De Phase-II upgrade van de LAr-readout elektronica introduceert nieuwe hardware gebaseerd op INTEL Agilex 7 Field-Programmable Gate Arrays (FPGA's). Deze FPGA's bieden een verhoogde rekenkracht, maar leggen strikte beperkingen op aan latentie (onder de 125 ns) en netwerkomvang (beperkt tot ongeveer 500 multiply-accumulate operaties, of MAC's, per cel) voor online energiereconstructie. De uitdaging bestaat uit het ontwikkelen van neurale netwerk (NN) architecturen die de OF-algoritme overtreffen in energieresolutie onder hoge pile-up, terwijl ze voldoen aan deze strenge hardwarebeperkingen en betrouwbare per-event onzekerheidsschattingen bieden.

Methodologie
De studie evalueert vier neurale netwerk architecturen die ontworpen zijn om de transversale energie te voorspellen die in een calorimetercel wordt afgezet, gebruikmakend van gedigitaliseerde puls-samples als input. De inputdata bevat pre-deposit samples (om pulsvervormingen door vorige botsingen te compenseren) en post-deposit samples (om de pulsvorm van de doelenergie-afzetting te vangen).

1. Geëvalueerde Architecturen:

   • Recurrent Neural Network (RNN): Verwerkt samples sequentieel. Hoewel efficiënt voor tijdreeksgegevens, vereisen standaard RNN's grote interne dimensies om langetermijnafhankelijkheden te vangen, wat vaak de FPGA-resourcegrenzen overschrijdt voor lange sequenties.
   • Convolutional Neural Network (CNN): Maakt gebruik van glijdende 1D en 2D filters over de input-samples. Het profiteert van gewichtsdeling en hergebruikt berekeningen van vorige bunch-crossings om de latentie te verminderen.
   • Dense+RNN: Een hybride benadering waarbij een dense laag de pre-deposit samples verwerkt om een RNN-sequentie te initialiseren voor de post-deposit samples, met als doel de voordelen van RNN te combineren met een gereduceerde computationele kosten.
   • Staged Dense: Een meerfasige architectuur die uitsluitend dense lagen gebruikt. Pre-deposit samples worden in een eerste fase verwerkt om vervormingen te corrigeren, die vervolgens worden gecombineerd met post-deposit samples in een tweede fase. Dit maakt pre-computatie van de eerste fase mogelijk, waardoor de latentie wordt geminimaliseerd.

2. Optimalisatiestrategie:
   Een Bayesiaanse optimalisatieprocedure werd toegepast om hyperparameters (bijv. aantal pre/post-deposit samples, laagdimensies, kernel-groottes) af te stemmen. De objectieve functie balanceerde energieresolutie tegen de netwerkomvang (MAC-count), waarbij straffen werden toegepast voor architecturen die de 500 MAC overschreden en zware straffen voor alles boven de 850 MAC om de FPGA-haalbaarheid te waarborgen.

3. Onzekerheidsschatting:
   Om te voldoen aan de behoefte aan per-event energie-onzekerheden zonder de computationele kosten van Bayesian Neural Networks (die sampling vereisen), hebben de auteurs Deep Evidential Regression (DER) geïmplementeerd. Deze techniek modificeert de laatste laag van het Dense netwerk om parameters van een Normal-Inverse-Gamma distributie te produceren, waardoor zowel de voorspelde energie als de geassocieerde aleatorische (data-ruis) en epistemische (modelonzekerheid) onzekerheden kunnen worden afgeleid.

4. Simulatie en Training:
   De netwerken werden getraind en getest op gesimuleerde data met behulp van de AREUS toolkit, waarbij een worst-case pile-up scenario ($\langle\mu\rangle = 200$) met hard-scattering events variërend van 0 tot 130 GeV werd gesimuleerd. Een dataset van 13 miljoen events werd gebruikt voor de finale evaluatie om statistische fluctuaties te minimaliseren.

Belangrijkste Resultaten

• Energieresolutie: De geoptimaliseerde Dense, CNN en Dense+RNN architecturen bereikten een transversale energieresolutie van ongeveer 80 MeV. Dit presteert beter dan zowel het huidige OF-algoritme als de RNN-architectuur (die ~90 MeV behaalde).
• Nauwkeurigheid van de Energieschaal: In tegen tegenover het OF-algoritme en standaard RNN's, die de energie systematisch onderschatten (het OF negeert in-time pile-up, en RNN's falen in het vangen van langetermijnafhankelijkheden met beperkte inputs), reproduceren de Dense, CNN en Dense+RNN netwerken de energieschaal nauwkeurig over het volledige dynamische bereik.
• Hardware Haalbaarheid: Alle succesvolle architecturen (Dense, CNN, Dense+RNN) zijn geoptimaliseerd om minder dan 500 MAC-units te gebruiken, waardoor ze geschikt zijn voor implementatie op de Agilex 7 FPGA's binnen de strikte latentiebeperkingen.
• Onzekerheidsprestaties: De DER-implementatie voegde minimale computationele overhead toe. De voorspelde onzekerheid ($\delta_{pred}$) bleek gemiddeld consistent met het werkelijke verschil tussen de ware en de voorspelde energie. De pull-distributie $(E_{pred} - E_{true})/\delta_{pred}$ leverde een standaarddeviatie op van 0,75, wat wijst op een lichte overschatting van de onzekerheid, maar een algehele betrouwbaarheid. De analyse toonde aan dat de epistemische onzekerheid domineert, wat suggereert dat er potentieel is voor verdere verbetering met grotere datasets of verfijnde architecturen.

Significantie en Claims
Het artikel beweert aan te tonen dat moderne machine learning algoritmen succesvol kunnen worden ingebed in de online readout-keten van de ATLAS LAr-calorimeters. De primaire significantie ligt in de succesvolle afweging tussen resolutie en hardwarebeperkingen:

• De studie bewijst dat Dense en CNN architecturen de energieresolutie met ongeveer 8% kunnen verbeteren ten opzichte van de legacy OF-methode, terwijl ze binnen de strikte MAC-limieten van de Phase-II FPGA-hardware blijven.
• Het stelt vast dat pre-deposit samples cruciaal zijn voor het vangen van pulsvervormingen, wat pure RNN-benaderingen minder competitief maakt vanwege hun intensieve hulpbronnenverbruik voor lange sequenties.
• Het introduceert een praktische methode voor per-event onzekerheidsschatting via Deep Evidential Regression, wat de inferentie-kosten niet significant verhoogt. Deze capaciteit wordt gepresenteerd als een stap naar verbeterde cel-energie selectie in clustering-algoritmen, wat leidt tot een nauwkeurigere reconstructie van fysieke objecten zoals elektronen en fotonen in omgevingen met hoge pile-up.

De auteurs concluderen dat deze geoptimaliseerde netwerken goed geschikt zijn voor FPGA-implementatie en een levensvatbaar pad vormen voor de ATLAS Phase-II upgrade, waarbij ze superieure prestaties bieden ten opzichte van huidige algoritmen zonder de strikte latentie- en resource-eisen van de trigger- en readout-systemen in gevaar te brengen.