Deploying a Hybrid PVFinder Algorithm for Primary Vertex Reconstruction in LHCb's GPU-Resident HLT1

Dit artikel beschrijft de implementatie van een hybride PVFinder-algoritme voor de reconstructie van primaire vertices in LHCb's GPU-resident HLT1-triggersysteem, waarbij specifieke aandacht wordt besteed aan het overbruggen van data-uitdagingen en het plannen van toekomstige prestatieverbeteringen via mixed-precision computing.

De kern

Stel je voor dat de Large Hadron Collider (LHC) een gigantische, supersnelle filmcamera is die deeltjesbotsingen vastlegt. Maar deze camera maakt niet één foto per seconde, maar 30 miljoen foto's per seconde. Dat is zo snel dat het menselijk brein (en zelfs de meeste computers) er volledig van in de war zouden raken.

Deze tekst vertelt het verhaal van hoe wetenschappers van het LHCb-experiment een slimme, nieuwe manier hebben bedacht om de belangrijkste momenten in die chaos te vinden, zonder dat het systeem vastloopt.

Hier is de uitleg, vertaald naar alledaagse taal:

1. Het Probleem: Een overvolle feestzaal

Stel je voor dat je in een enorme zaal staat waar elke seconde 30 miljoen mensen binnenstormen. In deze zaal botsen mensen tegen elkaar aan en ontstaan er kleine groepjes (de "botsingen"). Je taak is om direct te zien waar de belangrijkste groepjes ontstaan zijn, zodat je die kunt fotograferen en de rest kunt negeren.

• De uitdaging: Je hebt maar een fractie van een seconde (minder dan 400 microseconden) om dit te doen. Als je te lang zoekt, mis je de volgende golf van mensen.
• De oude manier: De computer keek met simpele regels (zoals "kijk naar de dichtstbijzijnde mensen") naar de groepjes. Dat was snel, maar niet altijd accuraat genoeg.
• De nieuwe manier: Ze wilden een "super-intelligente assistent" (een kunstmatige intelligentie of AI) gebruiken die veel beter kan zien wie bij wie hoort. Maar deze AI is zwaar en traag voor de huidige computer.

2. De Oplossing: De Slimme Vertaler (PVFinder)

De onderzoekers hebben een nieuwe AI ontwikkeld genaamd PVFinder. Deze AI is een hybride monster:

• Deel 1 (De Snelle Schatting): Een snel deel dat snel kijkt naar de basisinformatie.
• Deel 2 (De Slimme Analyse): Een diep neurale netwerk (een soort "herkenningssysteem") dat patronen zoekt, net zoals je gezicht herkent in een menigte.

Het probleem? De computer van het LHC (genaamd Allen) werkt op een heel specifieke, strenge manier:

• Het mag geen nieuwe geheugens opeisen terwijl het werkt (geen "dynamisch geheugen").
• Het werkt met één enkele stroom van gegevens (geen multitasking).
• Het moet voorspelbaar zijn: elke foto moet binnen exact dezelfde tijd worden verwerkt.

De standaard AI-software (cuDNN) werkt juist anders: het is flexibel, vraagt om extra geheugen en werkt met meerdere stromen tegelijk. Dit is als proberen een luxe, zware limousine in een smalle, oude steeg te parkeren waar alleen fietsen mogen.

3. De Innovatie: De "Vertaallayer"

Om dit op te lossen, hebben de onderzoekers een vertaallayer gebouwd.

• De Analogie: Stel je voor dat de AI een spreker is die alleen Engels spreekt (de standaard AI-formaat), en de LHC-computer alleen Nederlands spreekt (het eigen formaat).
• In plaats van de hele AI te herschrijven (wat jaren zou duren), hebben ze een tolk gebouwd die de gegevens direct "vertaalt" terwijl ze voorbij komen, zonder dat de gegevens eerst op een tijdelijke opslagplek hoeven te worden neergezet.
• Dit zorgt ervoor dat de AI kan praten met de computer, zonder dat de computer zijn strenge regels (zoals "geen extra geheugen vragen") hoeft te schenden.

4. De Huidige Situatie: Te traag, maar veelbelovend

Toen ze dit systeem voor het eerst testten, was het resultaat gemengd:

• De kwaliteit: De AI was fantastisch! Hij vond de juiste groepjes in 97% van de gevallen en maakte heel weinig fouten.
• De snelheid: Hij was echter te traag. De AI nam 75% van de totale tijd in beslag. De computer deed nu 4 keer zo lang over een foto als voorheen. Dit is te lang voor 30 miljoen foto's per seconde.

Het probleem zat hem vooral in het "denkende" deel van de AI (het CNN-deel). Het was als een superintelligente detective die te langzaam werkt omdat hij te veel tijd besteedt aan het zoeken in zijn eigen notitieboekjes.

5. De Toekomst: De "Snelheids-Upgrade"

De onderzoekers hebben een plan om dit op te lossen tegen 2030. Ze willen de snelheid met een factor 24 verhogen. Hoe?

1. Kleiner rekenen (FP16): In plaats van met enorme, precieze getallen te rekenen (zoals met een rekenmachine tot 10 decimalen), gaan ze werken met iets minder precieze getallen (tot 5 decimalen). Voor dit doel maakt dat niet uit, maar het gaat 2 keer zo snel.
2. De AI verkleinen: Ze hebben ontdekt dat de AI te groot is. Het is alsof je een vrachtwagen gebruikt om een postzegel te bezorgen. Ze gaan een kleinere, slimmere versie bouwen (van 64 "kanalen" naar 32). Dit maakt de AI 4 keer sneller.
3. Beter parkeren: Ze gaan de gegevens in het geheugen zo ordenen dat de computer ze sneller kan oppakken, zonder dat er ruzie ontstaat over wie waar mag zitten.

Het einddoel:
Als ze deze drie dingen combineren, hopen ze dat de AI weer net zo snel werkt als de oude, simpele methode, maar dan met de superkracht van de slimme AI.

Conclusie

Dit artikel is een bewijs van concept. Het laat zien dat je slimme AI kunt laten werken in een zeer strak en snel systeem zoals de deeltjesversneller, mits je slimme vertalers en aanpassingen maakt. Het is de eerste stap naar een toekomst waarin computers in real-time de diepste geheimen van het universum kunnen ontrafelen, zonder vast te lopen in de chaos van 30 miljoen botsingen per seconde.

Technische samenvatting

Probleemstelling

Het LHCb-experiment bij de Large Hadron Collider (LHC) is overgestapt naar een volledig software-gedreven trigger-systeem (HLT1) dat draait op GPU's tijdens Run 3. Dit systeem moet een botsingsfrequentie van 30 MHz verwerken, met gemiddeld 5,6 primaire vertexen (PV's) per gebeurtenis. De uitdaging ligt in het integreren van geavanceerde Machine Learning (ML) algoritmen, zoals het hybride diepe neurale netwerk PVFinder voor het reconstrueren van deze vertexen, binnen de strikte randvoorwaarden van het Allen-framework:

• Deterministische uitvoering: Geen dynamische geheugenallocatie tijdens runtime (gebruik van vaste geheugenpools).
• Enkele stream: Alle bewerkingen moeten plaatsvinden binnen één GPU-stream om serialisatie te voorkomen.
• Latenstijd: Een verwerkingstijd van minder dan 400 µs per gebeurtenis.

Standaard ML-inferentiemodellen (zoals die van cuDNN) gebruiken vaak dynamische allocatie, multi-stream uitvoering en NCHW-tensorformaten, wat in conflict staat met Allen's Structure-of-Arrays (SoA) data-indeling en vaste resource-modellen.

Methodologie

De auteurs hebben een inferentie-engine ontwikkeld om PVFinder te integreren in Allen. De aanpak omvat de volgende technische stappen:

1. Architectuur van PVFinder:

   • Het model is een hybride netwerk dat track-parameters (9 features per track) verwerkt via drie fasen:
     • Fully Connected (FC) laag: Uitgevoerd in native CUDA, verwerkt tracks naar een histogram.
     • Convolutional Neural Network (CNN): Een UNet-achtige architectuur (5 lagen, 64 kanalen) voor ruimtelijke patroonherkenning.
     • Peak Finding: Heuristische detectie van lokale maxima om de vertexposities te bepalen.
   • Het huidige model bereikt >97% efficiëntie met 0,03 valse positieven per gebeurtenis.

2. De "Translation Layer" (Vertaallaag):

   • Om de incompatibiliteit tussen Allen's SoA-data en cuDNN's tensorformaat op te lossen, is een vertaallaag ontwikkeld die zero-copy semantics handhaaft.
   • Fase 1 (Prepare): Het creëren van niet-bezittende tensorweergaven (views) die Allen's buffers interpreteren als cuDNN-compatibele tensoren. Omdat de FC-uitvoer al in het vereiste [B, C, L] formaat is, is data-herordening minimaal.
   • Fase 2 (Execute): Het uitvoeren van cuDNN-convoluties op de Allen-stream. Een vast werkruimte-gebied (16 MB) is vooraf gealloceerd om dynamische allocatie te voorkomen.
   • Fase 3 (Extract): Het direct lezen van de output door het peak-finding algoritme zonder extra conversie, wat cache-vervuiling minimaliseert.

Belangrijkste Resultaten

De prestaties zijn gemeten op NVIDIA RTX 2080 Ti GPU's:

• Doorvoer Impact: De integratie van het volledige hybride model (FC + CNN) reduceerde de totale HLT1-doorvoer tot 25% van de basislijn (een daling van 75%).
• Bottleneck: De CNN-fase is verantwoordelijk voor de overweldigende meerderheid van de overhead. De FC-fase alleen nam slechts ~5% van de budgetten in beslag.
• Oorzaken van prestatieverlies:
  1. Saturatie van geheugenbandbreedte door de gecombineerde last van tracking en inferentie.
  2. Cache-interferentie tussen de werkset van PVFinder en andere algoritmen.
  3. Suboptimale SM-occupancy (<50%) door niet-geoptimaliseerde kernel-launch parameters.
• Fysica Performance: Ondanks de integratie bleef de reconstructie-efficiëntie boven de 97% met een lage valse-positief-ratio, vergelijkbaar met standalone implementaties.

Optimalisatie Roadmap (Doel 2030)

Om de doorvoerregressie terug te brengen naar <5%, stellen de auteurs een gefaseerde optimalisatiestrategie voor die een totale snelheidswinst van ongeveer 24x belooft:

1. Mixed-Precision (FP16): Overschakelen van FP32 naar FP16, wat gebruikmaakt van Tensor Cores. Dit biedt een 2x snelheidswinst door verdubbeling van de rekenintensiteit en hardware-versnelling. Fysica-validatie toont <0,5% verlies in efficiëntie.
2. Modelcompressie: Vermindering van het UNet van 64 naar 32 kanalen. Omdat convolutiekosten kwadratisch schalen met het aantal kanalen, levert dit een 4x snelheidswinst op.
3. Geheugen- en Kernel-optimalisatie:
   • Fusie van data-layouts om conversie-overhead te elimineren.
   • Herstructurering van thread-blokken om de SM-occupancy te verhogen van ~45% naar 75-80%, waardoor geheugenlatentie beter wordt verborgen.

De gecombineerde effecten van deze maatregelen moeten de CNN-overhead reduceren van 75% naar ongeveer 3-5%, waardoor de implementatie in de reguliere dataverzameling rond 2030 haalbaar wordt.

Significantie

Dit werk vormt een proof-of-concept voor het integreren van state-of-the-art ML-algoritmen in strikte, real-time HEP-trigger-systemen.

• Het bewijst dat het mogelijk is om complexe deep learning-modellen (zoals UNet) te draaien binnen een deterministisch, single-stream GPU-framework zonder dynamische geheugenallocatie.
• De ontwikkelde translation layer dient als een template voor toekomstige ML-integraties in Allen (bijv. voor track fitting en deeltijidentificatie).
• Het benadrukt dat succesvolle ML-deployments in real-time systemen een zorgvuldige co-design vereisen van dataformaten, geheugenbeheer en uitvoeringsmodellen, waarbij vroege integratie in het doelkader cruciaal is om systeemproblemen te identificeren die bij geïsoleerde ontwikkeling over het hoofd worden gezien.