Real-time graph neural networks on FPGAs for the Belle II electromagnetic calorimeter

Dit artikel beschrijft de ontwikkeling en evaluatie van het eerste op een FPGA geïmplementeerde, real-time Graph Neural Network-systeem voor de trigger van het elektromagnetische calorimeter van het Belle II-experiment, dat een deterministische latentie van 3,168 μs handhaaft terwijl het de positie- en energie-resolutie, clusterzuiverheid en -efficiëntie significant verbetert ten opzichte van de bestaande algoritmen.

De kern

De Slimme Wachter van de Belle II: Een Nieuwe Snelheidskracht voor de Deeltjessneller

Stel je voor dat de Belle II-experiment een enorme, supersnelle camera is die deeltjes vastlegt die botsen in een deeltjesversneller in Japan. Deze camera neemt elke seconde miljoenen foto's. Maar hier is het probleem: de meeste foto's zijn gewoon "ruis" of oninteressante prul. De camera kan niet al die data opslaan; het geheugen zou vollopen en de stroom zou het niet halen.

Daarom heeft de camera een snelheidswachter (een zogenaamde "trigger"). Deze wachter moet binnen een fractie van een seconde (ongeveer 5 microseconden) beslissen: "Is dit een interessante foto die we moeten bewaren, of kan deze weg?"

Tot nu toe gebruikte Belle II een zeer snelle, maar wat "stomme" wachter. Die werkte met vaste regels, alsof het een simpele rekenmachine was. Als er twee deeltjes dicht bij elkaar landden, zag de oude wachter ze vaak als één grote vlek. Of als er veel ruis was, werd de wachter overweldigd en maakte hij fouten.

De Oplossing: Een Slimme AI op een Chip

In dit artikel vertellen onderzoekers over een nieuwe, veel slimmere wachter die ze hebben gebouwd. Ze noemen het GNN-ETM.

1. De "Grafische" Brein:
   De oude wachter keek naar de deeltjes alsof ze losse blokjes waren. De nieuwe wachter gebruikt een Graph Neural Network (GNN). Denk hierbij aan een netwerk van vrienden. In plaats van alleen te kijken naar één persoon, kijkt de nieuwe wachter naar hoe de deeltjes met elkaar verbonden zijn. Als er een groepje deeltjes is die dicht bij elkaar zitten, begrijpt de AI dat dit waarschijnlijk één enkel deeltje is dat uit elkaar is gespat, en niet twee verschillende deeltjes. Het ziet het geheel, niet alleen de losse onderdelen.

2. De Snelheidsuitdaging (De FPGA):
   Normaal gesproken zijn zulke slimme AI's te traag voor zo'n snelle wachter. Ze hebben een zware computer nodig. Maar de onderzoekers hebben deze slimme AI zo klein en efficiënt gemaakt dat hij op een FPGA past.

   • Analogie: Stel je voor dat je een supercomputer (de AI) in een horloge (de FPGA) wilt proppen. Dat klinkt onmogelijk, maar door de software extreem te comprimeren en te "verkleinen" (zoals het verkleinen van een foto zonder dat je het verschil ziet), is het gelukt. De AI draait nu direct op de hardware, net als een raceauto die direct op de startlijn staat.

3. Wat kan deze nieuwe wachter beter?

   • Beter scheiden: Als twee fotonen (lichtdeeltjes) heel dicht bij elkaar landen, zag de oude wachter ze als één grote vlek. De nieuwe AI ziet ze als twee aparte deeltjes. Dit is als het verschil tussen een vlek inkt op papier en twee aparte druppels.
   • Ruis filteren: De deeltjesversneller heeft veel "achtergrondruis" (zoals trillingen of ongewenste deeltjes). De nieuwe AI heeft een ingebouwde "detective" die kan zeggen: "Dit is een interessant deeltje" of "Dit is gewoon ruis". Hierdoor kan hij veel meer ruis weggooien zonder interessante deeltjes te verliezen.
   • Preciezer: Hij kan de positie van een deeltje veel nauwkeuriger bepalen.

De Resultaten in het Dagelijkse Leven

De onderzoekers hebben dit systeem getest in de echte wereld (in december 2024).

• Snelheid: Het systeem werkt razendsnel. Het duurt slechts 3,168 microseconden om een beslissing te nemen. Dat is ongeveer 3 keer sneller dan de tijd die de oude wachter nodig had om überhaupt te beginnen met denken.
• Betrouwbaarheid: Het maakt net zo weinig fouten als de oude wachter als het gaat om het vinden van deeltjes, maar het is veel beter in het onderscheiden van deeltjes en het filteren van ruis.
• Eerste van zijn soort: Dit is de eerste keer ooit dat een zo'n complexe AI (een GNN) in real-time draait op de hardware van een deeltjesversneller. Het is alsof je voor het eerst een zelfrijdende auto in een Formule 1-wedstrijd hebt gereden.

Waarom is dit belangrijk?

De wereld van deeltjesfysica zoekt naar zeldzame gebeurtenissen, zoals het vinden van "donkere materie" of nieuwe deeltjes die we nog niet kennen. Deze gebeurtenissen zijn vaak heel klein en verstoppen zich tussen bergen van ruis.

De oude wachter was als een net met grote gaten: hij liet veel interessante deeltjes vallen of zag ze niet. De nieuwe AI-wachter is als een fijnmazig, slim net dat precies weet wat het moet zoeken. Hierdoor kunnen wetenschappers in de toekomst veel meer interessante deeltjes vinden, wat ons dichter bij het begrijpen van het universum brengt.

Kortom: Ze hebben een slimme, snelle robotwachter gebouwd die past in een horloge, en die nu helpt om de geheimen van het heelal te ontrafelen.

Technische samenvatting

Probleemstelling

De Belle II-experimenten bij de SuperKEKB-collider in Japan genereren enorme hoeveelheden data door een hoge luminositeitsstijging. Dit leidt tot een hoog niveau van achtergrondactiviteit (stralen van de bundel) en een groot aantal valse detector-hits. Het huidige Level-1 (L1) trigger-systeem voor de elektromagnetische calorimeter (ECL) maakt gebruik van een vast algoritme genaamd ICN-ETM (Isolated Cluster Number). Dit systeem heeft ernstige beperkingen:

• Beperkte resolutie: Het kan nauwelijks twee dicht bij elkaar liggende fotonen onderscheiden (bijvoorbeeld van een versnelde neutrale pion).
• Dubbele hits: Het algoritme genereert vaak dubbele cluster-detecties voor hetzelfde fysieke object, wat de telling van clusters verstoort.
• Rigiditeit: Het is gebaseerd op vaste logica en heeft moeite met complexe patronen of hoge achtergrondniveaus, wat leidt tot een verlies aan efficiëntie voor zeldzame fysische processen (zoals donkere materie-zoektochten).
• Schaalbaarheid: Het systeem kan maximaal zes clusters per gebeurtenis verwerken, wat onvoldoende is voor complexe gebeurtenissen.

Het doel is om een flexibeler, nauwkeuriger en real-time algoritme te ontwikkelen dat binnen de strikte latency-eisen van het L1-trigger-systeem (ongeveer 5 µs) werkt.

Methodologie

De auteurs hebben GNN-ETM ontwikkeld, een real-time module gebaseerd op Graph Neural Networks (GNN) die direct op FPGA-hardware (Field-Programmable Gate Array) wordt uitgevoerd.

1. Graph-constructie: De calorimeter "trigger cells" (TC's) worden behandeld als knopen in een graaf. De ruimtelijke correlaties in de energie-deposities worden benut om fysische gebeurtenissen te identificeren, zelfs onder hoge achtergrondcondities.
2. Modelarchitectuur (CaloClusterNet):
   • Het model gebruikt GravNet-blokken om dynamische randen te construeren op basis van geleerde ruimtelijke relaties in plaats van vaste geometrie.
   • Het voert Object Condensation uit: het model voorspelt voor elke knoop een latentere ruimte-coördinaat, een $\beta$-waarde (lading) en een classificatiescore (signaal vs. achtergrond).
   • Een post-processing stap (condensatiepunt-selectie) groepeert de knopen tot clusters op basis van deze voorspellingen.
3. Hardware-implementatie en compressie:
   • Om op een FPGA (AMD Ultrascale XCVU190) te draaien, is het model sterk gecomprimeerd.
   • Quantization-aware training: Alle gewichten en activaties zijn omgezet naar fixed-point representaties (bijv. Q3.5, Q4.12) om rekenkracht te besparen.
   • Pruning: 40% van de lage-magnitude verbindingen is verwijderd.
   • Dataflow Accelerator: De inferentie is vertaald naar een pipelined dataflow-architectuur met parallelle verwerkingselementen (PE's) die de berekeningen (zoals graafbouw en berichtuitwisseling) in hardware uitvoeren.
4. Training: Het model is getraind op gesimuleerde data met een breed scala aan fotonen-energieën en overlappende clusters, overlapt met realistische bundel-achtergrondsimulaties.

Belangrijkste Bijdragen

• Eerste GNN in een L1-trigger: Dit is, voor zover bekend, het eerste gebruik van een op GNN gebaseerd reconstructiesysteem dat operationeel is in de real-time trigger-pijplijn van een collider-experiment.
• End-to-End FPGA Implementatie: Het team heeft een volledige systeemarchitectuur ontworpen, inclusief pre-processing, de GNN-dataflow-accelerator, post-processing en de Belle2Link-subsystem voor data-uitlezing.
• Dynamische Clustering: In tegenstelling tot het statische ICN-algoritme, kan GNN-ETM dynamisch beslissen hoeveel clusters er zijn en deze nauwkeuriger scheiden, zelfs bij overbelasting.
• Signaal-classificatie: Het model levert een extra "signaal-classifier" score, wat het mogelijk maakt om achtergrond onderdrukking toe te passen zonder de signaal-efficiëntie te verliezen.

Resultaten

De prestaties zijn geëvalueerd met gesimuleerde data en echte botsingsdata (Run A, december 2024):

• Latentie en Doorvoer: Het systeem behaalt een end-to-end latency van 3,168 µs en ondersteunt een doorvoer van 8 MHz, wat compatibel is met de Belle II L1-trigger-eisen (hoewel het nog net boven de strikte 5 µs limiet voor de beslissing ligt, wordt het momenteel parallel gebruikt voor validatie).
• Positie-resolutie: De positie-resolutie voor hoog-energetische clusters verbetert met tot 18% in het centrale detectorgebied (barrel) ten opzichte van het baseline-systeem.
• Scheiding van clusters: Voor overlappende clusters (bijv. twee dicht bij elkaar liggende fotonen) verbetert de cluster-efficiëntie met tot 20%. De zuiverheid (purity) van geïsoleerde clusters bij lage energieën neemt met tot 20% toe.
• Energie-resolutie: De energie-resolutie is vergelijkbaar met het baseline-systeem.
• Achtergrondonderdrukking: Met de ingebouwde signaal-classifier kan het systeem tot 72% van de achtergrondclusters verwerpen terwijl 97,5% van de signaalclusters behouden blijft. Dit leidt tot een aanzienlijke reductie van de trigger-rate bij hoge achtergrondniveaus.
• Validatie: De resultaten van de hardware-implementatie komen uitstekend overeen met C-simulaties en kosmische data, wat de betrouwbaarheid van de FPGA-implementatie bevestigt.

Betekenis

Dit werk markeert een mijlpaal in de high-energy physics (HEP). Het bewijst dat complexe, niet-lineaire machine learning-modellen (GNN's) binnen de strikte tijd- en resource-beperkingen van een real-time trigger-systeem op FPGA's kunnen worden uitgevoerd.

De succesvolle implementatie van GNN-ETM biedt Belle II de mogelijkheid om:

1. Minder waardevolle gebeurtenissen (achtergrond) vroeger in de keten te filteren.
2. Zeldzame fysische processen met complexe topologieën (zoals donkere materie of axion-achtige deeltjes) beter te detecteren door betere scheiding van dicht bij elkaar liggende deeltjes.
3. De schaalbaarheid van toekomstige trigger-systemen te vergroten, wat essentieel is voor de hogere luminositeitsdoelen van de SuperKEKB-collider.

Het opent de deur voor de integratie van geavanceerde ML-technieken in de hardware van toekomstige deeltjesfysica-experimenten.