Hardware-Aware Design of a GNN-Based Hit Filtering Algorithm for the Belle II Level-1 Trigger

Deze studie presenteert een hardware-bewuste comprimeringsworkflow voor een GNN-gebaseerd hit-filteringsalgoritme voor de Belle II Level-1 trigger, die door middel van model- en grafverkleining, 4-bit vaste-klempunten en ongestructureerde pruning de hardwarekosten met meer dan twee orde van grootte verlaagt terwijl de prestaties op echte data behouden blijven.

De kern

Stel je voor dat het Belle II-experiment een gigantische, supersnelle camera is die deeltjesbotsingen fotografeert. Het doel is om zeldzame, nieuwe natuurwetten te ontdekken. Maar er is een groot probleem: de camera neemt niet alleen de interessante foto's, maar ook een enorme hoeveelheid "ruis" (achtergrondgeluid) op.

Als deze camera alle data direct zou opslaan, zou het geheugen van de hele wereld vollopen in een seconde. Daarom hebben ze een Level-1 Trigger nodig: een super-snelle portier die beslist welke foto's bewaard blijven en welke weggegooid worden. Deze portier moet binnen 5 microseconden (dat is 0,000005 seconde!) een oordeel vellen. Dat is sneller dan het menselijk brein een knipoog kan maken.

Hier komt dit paper om de hoek kijken. Het vertelt het verhaal van hoe wetenschappers een slimme, kunstmatige intelligentie (een GNN of Graph Neural Network) hebben getransformeerd van een zware, trage "supercomputer" naar een lichtgewicht, supersnelle "racefiets" die past in een klein elektronisch chipje (een FPGA).

Hier is de uitleg, stap voor stap, met een paar creatieve vergelijkingen:

1. Het Probleem: De Zware Trucker

In het begin hadden ze een heel slim algoritme (een AI) dat perfect kon zien welke deeltjes belangrijk waren en welke ruis waren. Maar dit algoritme was als een grote, zware vrachtwagen.

• Het had veel "hersenen" (parameters) nodig.
• Het deed veel ingewikkelde berekeningen (met hoge precisie, alsof je met een liniaal tot op de micrometer meet).
• Deze vrachtwagen paste niet in de kleine garage (het FPGA-chipje) en was te traag voor de 5-microseconde deadline.

2. De Oplossing: De Kunst van het Versmallen

De auteurs hebben een "compressie-pipeline" bedacht om deze vrachtwagen om te bouwen tot een snelle, wendbare racefiets, zonder dat hij minder goed gaat rijden. Ze deden dit in drie stappen:

• Stap 1: De Lijfoperatie (Modelverkleining)
  Ze hebben de AI "afgevlakt". In plaats van drie lagen zware hersenen, hebben ze er maar één overgehouden en de grootte van de neuronen verkleind.

  • Vergelijking: Het is alsof je een zware winterjas uit elkaar haalt en er een lichtgewicht regenjack van maakt. Je hebt nog steeds bescherming, maar het weegt veel minder.
  • Resultaat: Het aantal "hersencellen" (parameters) daalde van 495 naar 211.

• Stap 2: De Scherpte-vermindering (Quantisatie)
  De AI rekende oorspronkelijk met heel precieze getallen (zoals 3,14159265...). Voor de chip is dat niet nodig. Ze hebben de AI geleerd om te rekenen met hele korte getallen (slechts 4 bits, dus heel grove schetsen).

  • Vergelijking: Stel je voor dat je eerst een foto maakt in 4K-resolutie, maar voor de snelle beslissing volstaat een schets op een post-it briefje. Het beeld is nog steeds herkenbaar, maar het kost veel minder ruimte en tijd om te verwerken.
  • Techniek: Ze gebruikten een speciale trainingstechniek (Quantization-Aware Training) zodat de AI leerde omgaan met deze "grove" getallen zonder gekke fouten te maken.

• Stap 3: De Schoonmaak (Pruning)
  Ze hebben de AI laten "vastslapen" op de delen die hij nauwelijks gebruikte. Ongebruikte verbindingen werden eruit gesneden.

  • Vergelijking: Het is alsof je een oude bibliotheek opruimt. Je gooit 65% van de boeken weg die niemand leest. De bibliotheek is nu veel kleiner, maar de belangrijkste boeken (de kennis die telt) staan er nog steeds.

3. De Test: De Race

Hoe goed werkt deze nieuwe, lichte AI?

• De Prestaties: De oorspronkelijke "vrachtwagen" had een score van 97,4% om de goede foto's te kiezen. De nieuwe "racefiets" scoort 96,8%. Dat is een heel klein verschil! De AI is bijna net zo slim, maar veel sneller.
• De Snelheid: De berekeningskosten (gemeten in "bit-operaties") zijn met meer dan 100 keer gedaald.
  • Vergelijking: Het is alsof je een auto hebt die eerst 100 liter benzine per 100 km verbruikte, en nu slechts 1 liter. Je komt nog steeds op dezelfde bestemming, maar je bent veel zuiniger en sneller.

4. Het Eindresultaat: De Chip

Uiteindelijk hebben ze dit ontwerp getest op een echt chipje (een AMD Ultrascale FPGA).

• Het past perfect in de ruimte.
• Het verbruikt weinig energie.
• Het doet zijn werk in 632 nanoseconden (dat is nog sneller dan de 5 microseconden die nodig waren!).

Conclusie

Dit paper laat zien hoe je een zware, complexe kunstmatige intelligentie kunt "verkleinen" tot een klein, supersnel ding dat direct in de hardware van een deeltjesdetector past. Ze hebben bewezen dat je niet hoeft te kiezen tussen "slim" en "snel": met de juiste techniek kun je beide hebben.

Kortom: Ze hebben de AI van een zware olifant getransformeerd tot een wendbare muis, die precies weet waar hij moet springen, terwijl hij door een heel klein gaatje moet passen.

Technische samenvatting

Titel

Hardware-bewust ontwerp van een op GNN gebaseerd hit-filtering algoritme voor de Level-1 trigger van Belle II.

1. Het Probleem

Het Belle II-experiment aan de SuperKEKB-versneller opereert bij een hoge luminositeit, wat leidt tot een toenemende achtergrond van straling veroorzaakt door de bundel. Dit stelt strenge eisen aan het hardwarematige Level-1 (L1) triggersysteem:

• Strakke Latentie: Het systeem moet binnen een strakke tijdslimiet van 5 µs beslissingen nemen.
• Bandbreedte: Het moet de datastroom naar de detector-uitlezing drastisch verminderen door alleen fysisch relevante gebeurtenissen te selecteren.
• Huidige Uitdaging: De Central Drift Chamber (CDC) trigger, die spoorinformatie levert, wordt negatief beïnvloed door de achtergrond. Dit verlaagt de efficiëntie en zuiverheid van spoorreconstructie. Er is behoefte aan een snelle en effectieve filtering van "hits" (detectiesignalen) voordat de spoorzoeking plaatsvindt.
• Beperkingen: De oplossing moet draaien op FPGA's (Field-Programmable Gate Arrays) met beperkte middelen, terwijl de fysieke prestaties (reconstructie-accuraatheid) behouden moeten blijven.

2. Methodologie

De auteurs presenteren een software-hardware co-design workflow om een Graph Neural Network (GNN) geschikt te maken voor implementatie op FPGA. Het proces verloopt in de volgende stappen:

• Basismodel: Het uitgangspunt is een lichtgewicht GNN gebaseerd op het Interaction Network-architectuur, geïmplementeerd in PyTorch Geometric. Het model bestaat uit drie MLP-blokken (edge update, node update, edge classificatie) en werkt op een graafstructuur van detector-hits.
• Compressie-pipeline: Om het model op de FPGA te laten passen, worden drie hoofdtechnieken toegepast:
  1. Model- en Graafverkleining:
     • Het aantal verborgen lagen in de MLP-blokken wordt gereduceerd (van 2 naar 1).
     • De breedte van de lagen wordt verkleind (van 8 naar 6 neuronen).
     • Het aantal trainbare parameters daalt van 495 naar 211.
     • De graafstructuur wordt vereenvoudigd van bidirectionele naar unidirectionele randen, wat de rekenlast halveert.
  2. Quantization-Aware Training (QAT):
     • Het model wordt getraind met 4-bit fixed-point arithmetiek voor gewichten en inputs.
     • Activaties worden verwerkt met 6-bit precisie, biases met 16-bit en outputs met 8-bit.
     • Er wordt gebruikgemaakt van de Brevitas-bibliotheek voor differentieerbare quantisatielagen.
     • De sigmoid-activatie aan het einde wordt verwijderd na training, omdat classificatie puur op drempelwaarden (thresholding) van de scores gebeurt.
  3. Pruning:
     • Er wordt unstructured pruning toegepast op basis van magnitude. De sparsiteit wordt lineair verhoogd tot 65% aan het einde van het trainingsproces.
• Hardware-metriek: In plaats van alleen naar parameters te kijken, gebruiken de auteurs het aantal Bit Operations (BOPs) als maatstaf voor de computatiecomplexiteit. Dit is een hardware-bewuste metriek die rekening houdt met de bit-breedte van de bewerkingen.

3. Belangrijkste Bijdragen

• Iteratief Ontwerp: In tegenstelling tot eerdere werken die zich richtten op de uiteindelijke hardware-implementatie, focust dit werk op het iteratieve ontwerpproces waarbij hardwarebeperkingen (precisie, resources) de modelarchitectuur sturen.
• Hardware-bewuste Compressie: De combinatie van architecturale verkleining, lage precisie (4-bit) en pruning is specifiek ontworpen om de BOPs drastisch te verlagen zonder de fysieke prestaties te compromitteren.
• Validatie op Real Data: Het model is getraind en geëvalueerd op zowel gesimuleerde data als echte Belle II botsingsdata uit 2024.
• FPGA Validatie: Het uiteindelijke ontwerp is geverifieerd via een "out-of-context" implementatie op een AMD Ultrascale XCVU190 FPGA, wat de haalbaarheid voor de L1-trigger bevestigt.

4. Resultaten

De resultaten tonen aan dat de compressie succesvol is zonder significante verlies in prestatie:

• Rekencomplexiteit (BOPs):
  • Het volledige precisie-model vereiste 116,6 MBOPs (Mega Bit Operations) per CDC-sector.
  • Het geoptimaliseerde, gecomprimeerde model vereist slechts 1,8 MBOPs.
  • Dit is een reductie van meer dan twee orde van grootte (>100x), wat het model binnen het gestelde hardware-bereik (1,0 - 2,5 MBOPs) brengt.
• Fysieke Prestaties:
  • AUC Score (Area Under Curve): Daalde slechts marginaal van 0,974 (volledige precisie) naar 0,968 (gecomprimeerd).
  • Efficiëntie en Rejection: Bij een hit-efficiëntie van 95% daalde de achtergrondrejectie van 94,2% naar 90,9%. Dit wordt beschouwd als een bescheiden degradatie.
• Hardware Prestaties:
  • De implementatie op de XCVU190 bereikte een pipeline-latentie van 632,4 ns bij 128 MHz, wat ruimschoots binnen de vereiste sub-microseconde limiet valt.
  • Het gebruik van DSP's (Digital Signal Processors) was 0%, wat cruciaal is omdat deze middelen vaak schaars zijn.
  • Het gebruik van LUTs en Flip-Flops bedroeg respectievelijk 35,65% en 29,75%.

5. Betekenis en Conclusie

Dit werk demonstreert dat Graph Neural Networks, vaak gezien als te complex voor eerste-niveau triggers, succesvol kunnen worden ingezet in de Belle II L1-trigger door middel van een zorgvuldig ontworpen hardware-bewuste compressiestrategie.

De belangrijkste conclusie is dat het mogelijk is om de rekenlast met meer dan 98% te verminderen (via BOPs-reductie) terwijl de prestaties van het model voor het filteren van detector-hits bijna gelijk blijven aan die van het volledige precisie-model. Dit opent de deur voor het gebruik van geavanceerde machine learning-algoritmen in real-time triggersystemen met strikte latentie- en resource-beperkingen, wat essentieel is voor het beheersen van de hoge luminositeit van toekomstige deeltjesfysica-experimenten.