A converged architecture for processing 32 Tbps of physics data in real-time at the LHCb experiment

Stel je een gigantische, hogesnelheidscamera voor die geen foto's maakt van zonsondergangen of puppy's, maar van de kleinste bouwstenen van het universum die tegen elkaar aan botsen. Dit is de wereld van de deeltjesfysica, waar wetenschappers enorme machines genaamd colliders gebruiken om deeltjes miljarden keren per seconde op elkaar af te vuren. Wanneer deze deeltjes botsen, creëren ze een chaotische explosie van nieuwe deeltjes, zoals het verbrijzelen van een vaas om te zien wat erin zit. Het doel is om een glimp op te vangen van iets zeldzaams en nieuws dat verborgen zit in dat puin. Maar hier is de crux: de camera is zo snel en de botsingen zo frequent dat hij een berg data produceert—zoveel dat het miljoenen harde schijven per seconde zou vullen. Als wetenschappers elke stukje data zouden proberen op te slaan, zouden hun computers smelten en zou hun opslag direct vol raken.

Om dit op te lossen, gebruiken natuurkundigen een "filter" of een "trigger". Denk aan een filter als een uitsmijter bij een zeer exclusieve club. De uitsmijter moet in een fractie van een seconde beslissen welke botsingen interessant genoeg zijn om te bewaren en welke gewoon saaie achtergrondruis zijn om weg te gooien. Decennialang waren deze uitsmijters een mix van gespecialiseerde hardware en computersoftware. Maar naarmate de machines sneller werden, konden de oude uitsmijters het niet meer bijbenen. Ze waren te traag en te rigide, waardoor interessante gebeurtenissen vaak werden weggegooid simpelweg omdat ze er niet uitzagen zoals de hardware hen verwachtte. De grote vraag werd: Hoe bouwen we een filter die snel genoeg is om een vloedgolf aan data te verwerken, slim genoeg is om naar het hele plaatje te kijken, en flexibel genoeg is om ter plekke van gedachten te veranderen?

Dit artikel vertelt het verhaal van hoe het LHCb-experiment bij de Large Hadron Collider dit probleem heeft opgelost met een enorme upgrade. Het team heeft een nieuw systeem gebouwd dat werkt als een superefficiënte, alles-in-één fabriek. In plaats van een traag proces met meerdere stappen waarbij verschillende teams verschillende delen van de klus afhandelen, hebben ze een "geconvergeerde architectuur" gecreëerd. Dit betekent dat ze de gegevensverzameling, het sorteren en het filteren hebben gecombineerd in één gestroomlijnd proces dat draait op krachtige grafische kaarten (GPU's) die normaal gesproken in gaming-computers worden gevonden. Ze slaagden erin om in realtime een verbluffende 32 terabit aan data per seconde te verwerken. Dat is de hoogste datasnelheid die ooit door software in een natuurkundig experiment is afgehandeld. Door de oude, rigide hardwarefilters te verwijderen en te vervangen door een slim, flexibel softwaresysteem, zijn ze niet alleen het tempo bijgehouden, maar hebben ze ook de kwaliteit van de wetenschap die ze kunnen bedrijven verbeteren, waardoor wordt gegarandeerd dat geen enkele zeldzame, opwindende gebeurtenis door de mazen van het net glipt.

Het Probleem: Een Vloedgolf aan Data

De Large Hadron Collider (LHC) laat deeltjes miljarden keren per seconde op elkaar botsen. Elke keer dat ze botsen, wordt dat een "event" genoemd. In het verleden gebruikte het LHCb-experiment een tweestaps filtersysteem. Eerst maakte een "low-level trigger", bestaande uit gespecialiseerde, op maat gemaakte elektronica, een snelle scan van de data en gooide de meeste saaie botsingen weg. Alleen de meest veelbelovende werden doorgegeven aan een "high-level trigger" (software) voor een diepere blik.

Dit oude systeem had echter een gebrek. Omdat de hardwarefilter slechts naar een paar specifieke sensoren keek, miste het soms interessante gebeurtenissen die elders in de detector plaatsvonden. Bovendien was het moeilijk om de regels te wijzigen zodra de hardware gebouwd was. Het LHCb-team besloot de eerste, op hardware gebaseerde filter volledig af te schaffen. Dit betekende dat hun systeem 40 keer meer data moest verwerken dan voorheen. Ze moesten een ruwe datastroom van 32 terabit per seconde (Tbps) verwerken en deze in realtime filteren tot de meest interessante gebeurtenissen. Als ze faalden, zou de data voor altijd verloren gaan.

De Oplossing: Een Geconvergeerde Fabriek

Het team bouwde een nieuw systeem met behulp van 164 servers (computers) die fungeren als één enkele, enorme machine. Hier is hoe ze het werkend hebben gekregen:

1. De "Zero-Copy" Snelweg
Normaal gesproken, wanneer data beweegt van een netwerkkaart naar het geheugen van een computer en vervolgens naar een processor, moet het meerdere keren worden gekopieerd. Dit is als het verplaatsen van een doos van een vrachtwagen naar een magazijn, dan naar een plank, en dan naar een vitrinekast. Dat kost tijd en energie. Het LHCb-team gebruikte een "zero-copy" techniek. Stel je een lopende band voor die rechtstreeks van de vrachtwagen, door het magazijn, direct de vitrinekast in loopt zonder ooit te stoppen om met de hand te worden verplaatst. Hierdoor konden ze data ongelooflijk snel verplaatsen zonder de computer te vertragen.

2. De GPU Krachtcentrale
In plaats van standaard computerprocessoren (CPU's) te gebruiken voor het zware werk, gebruikten ze Graphics Processing Units (GPU's). Dit zijn de chips die meestal in gaming-computers zitten, ontworpen om duizenden taken tegelijkertijd af te handelen. Het team realiseerde zich dat het reconstrueren van de paden van deeltjes veel lijkt op het renderen van een complexe 3D-videogamescène. Door het gehele filterproces op GPU's te plaatsen, konden ze duizenden botsingen gelijktijdig verwerken.

3. Slimmer Plannen
Eén uitdaging was dat niet alle botsingen even groot of complex zijn. Sommige zijn snel te analyseren; andere duren langer. Als het systeem probeerde ze één voor één te verwerken, zou het vastlopen. Het team ontwikkelde een slimme "scheduler" die gebeurtenissen samenvoegt in batches. Het is als een chef-kok die een maaltijd bereidt: in plaats van één gerecht tegelijk te koken, bereiden ze eerst alle groenten voor, snijden dan al het vlees, en koken dan alles samen. Dit houdt de GPU's bezig en efficiënt. Ze gebruikten ook een "multi-event scheduler" die naar de hele batch kijkt en de beste volgorde bepaalt om de stappen uit te voeren, waardoor wordt gewaarborgd dat de meest rekenintensieve berekeningen alleen worden uitgevoerd op de gebeurtenissen die ze daadwerkelijk nodig hebben.

4. Het Netwerk
Om alle 164 servers met elkaar te verbinden, bouwden ze een aangepast netwerk met behulp van InfiniBand, een technologie die vaak in supercomputers wordt gebruikt. Ze ontwierpen het netwerk zo dat elke server efficiënt met elke andere server kon communicen, om verkeersopstoppingen (een probleem dat bekend staat als "incast") te vermijden. Dit stelde hen in staat om de stukjes van elke botsing uit verschillende delen van de detector samen te stellen en ze naar de GPU's te sturen voor filtering zonder knelpunten.

De Resultaten: Records Breken

Het team testte hun systeem en stelde vast dat het precies werkte zoals gepland.

• Snelheid: Ze verwerkten succesvol de volledige 32 Tbps aan inkomende data in realtime.
• Filtering: Het systeem paste een filter toe die de data met een factor 30:1 verminderde. Dit betekent dat voor elke 30 botsingen er slechts 1 werd bewaard voor verder onderzoek.
• Schaalbaarheid: Toen ze het systeem testten met meer servers, schaalde het perfect mee. Het systeem kon de volledige ontwerpcapaciteit van de LHC aan, wat 30 miljoen botsingen per seconde is.
• Efficiëntie: Het systeem gebruikte 164 servers uitgerust met 328 GPU's (twee per server). De totale rekenkracht was enorm, maar het ontwerp was efficiënt genoeg zodat ze niet, zoals in het verleden, duizenden machines nodig hadden.

Het artikel bevestigt dat dit systeem in staat is om de hoogste datasnelheid te verwerken die ooit door software in de natuurkunde is bereikt. Het bewees dat je de oude, rigide hardwarefilters kunt verwijderen en kunt vervangen door een flexibel, op software gebaseerd systeem dat sneller en slimmer is.

Waarom het ertoe doet

Dit gaat niet alleen over het verwerken van meer data; het gaat over het meer zien van het universum. Door de hardwarefilter te verwijderen, kan het LHCb-experiment nu de volledige detector bekijken op interessante gebeurtenissen, en niet alleen de delen die de oude hardware geprogrammeerd was om te bewaken. Dit betekent dat ze zeldzame deeltjes of nieuwe fysica kunnen vinden die voorheen onzichtbaar waren. Het succes van deze "geconvergeerde architectuur" zet een nieuwe standaard voor hoe toekomstige deeltjesfysica-experimenten gebouwd zullen worden, en laat zien dat met de juiste mix van kant-en-klare technologie en slimme software, we de grenzen van wat mogelijk is in de wetenschap kunnen verleggen.