A Scalable Two-Stage Back-End Architecture for 400GbE Data Acquisition Systems

In het hart van Europa, onder de grens tussen Frankrijk en Zwitserland, ligt de Large Hadron Collider, een machine die zo groot is dat hij de aardkorst cirkelt om deeltjes met bijna de snelheid van het licht op elkaar te laten botsen. Wanneer deze botsingen plaatsvinden, genereren ze een vloedgolf aan gegevens, een stroom informatie die gevangen, gesorteerd en geanalyseerd moet worden voordat deze verdwijnt. Deze taak komt toe aan het data-acquisitiesysteem, een complex netwerk van elektronica dat fungeert als het zenuwstelsel van het experiment. Het moet signalen verzamelen van duizenden kleine sensoren die verspreid liggen over een enorme detector, waarbij elke sensor spreekt in een gespecialiseerde, stralingsbestendige taal. De uitdaging is niet alleen om naar deze fluisteringen te luisteren, maar om ze uit elke hoek van de machine te verzamelen en ze samen te voegen tot een enkele, brullende informatiestroom die door computers kan worden verwerd. Terwijl de machine zich voorbereidt op zijn volgende, krachtigere fase, staat het volume van deze gegevens op het punt te exploderen, wat dreigt de draden en chips die ze moeten vervoeren, te overbelasten.

Decennialang hebben wetenschappers vertrouwd op krachtige, dure computerchips die field-programmable gate arrays worden genoemd om dit zware werk te verrichten. Deze chips zijn als universele vertalers, in staat om de unieke signalen van de sensoren te decoderen en ze om te zetten in een formaat dat standaardcomputers kunnen begrijpen. Echter, naarmate de datasnelheden klimmen naar honderden terabits per seconde, wordt de traditionele aanpak van het gebruiken van de krachtigste, duurste chips voor elke individuele verbinding te kostbaar en fysiek moeilijk te beheren. De draden binnen deze enorme chips raken uitgeput qua ruimte, en de energie die nodig is om ze koel te houden, wordt een beperkende factor. De onderzoekers bij CERN, specif जुist het team dat werkt aan het LHCb-experiment, werden geconfronteerd met een toekomst waarin het aantal datalinks zou verdrievoudigen, wat een nieuwe manier vereist om na te denken over hoe data van de detector naar de computerfarm beweegt.

Om dit op te lossen, stelde het team een tweestapsarchitectuur voor die de werklast weglegt van de duurste componenten. In plaats van één enkele, massieve chip alles te laten afhandelen, ontwierpen ze een systeem dat de taak opdeelt in twee duidelijke fasen. In de eerste fase neemt een mid-range computerchip, die minder duurzaam en meer algemeen beschikbaar is, de inkomende signalen van de sensoren over. Deze chip fungeert als een lokale verzamelaar, die tientallen van deze individuele stromen verzamelt en ze samenvoegt tot enkele snellere verbindingen. Hij probeert niet alles tegelijk te doen; hij organiseert simpelweg het verkeer en bereidt het voor op het volgende deel van de reis.

De tweede fase is waar de innovatie echt schittert. De gebundelde datastromen arriveren bij een gespecialiseerd netwerkcomponent, een apparaat dat specifiek is ontworpen om meerdere hogesnelheidskanalen samen te voegen tot één massale snelweg. Dit component, bekend als een Ethernet physical layer device, neemt drie afzonderlijke datastromen en versmelt ze tot één enkele, ongelooflijk snelle verbinding die in staat is om 400 gigabits aan informatie per seconde te vervoeren. Deze aanpak stelt het systeem in staat om standaard netwerktechnologie te gebruiken, die in enorme hoeveelheden wordt geproduceerd voor het wereldwijde internet en datacentra, in plaats van te vertrouwen op aangepaste, op maat gemaakte oplossingen die zeldzaam en duur zijn. Door het decodeertaken te scheiden van de uiteindelijke aggregatie, vermijdt het ontwerp de knelpunten die oudere systemen teisteren.

De onderzoekers bouwden een werkend prototype om te testen of dit idee standhield onder realistische omstandigheden. Ze zetten een testomgeving op die de datastroom van de detector nabootste, waarbij ze drie afzonderlijke informatiestromen genereerden, die elk met 100 gigabits per seconde bewogen. Deze stromen werden gevoed aan hun nieuwe tweestapsysteem, dat ze vervolgens combineerde tot een enkele 400-gigabitstroom. De resultaten waren nauwkeurig en bemoedigend. Gedurende de testperiode verwerkte het systeem meer dan 610 miljoen datapakketten, wat in totaal vijf terabytes aan informatie betekende. Tijdens deze massale overdracht liet het systeem geen enkel pakket vallen en verloor het ook niet de volgorde van de data. De snelheid bleef constant en kwam overeen met de doelstellingen zonder tekenen van congestie of vertraging. De metingen toonden aan dat de foutmarge zo laag was dat deze voor praktische doeleinden effectief nul was, wat bewees dat de hardware de immense druk van de datastroom kon weerstaan zonder te wankelen.

Naast de technische prestaties bood het nieuwe ontwerp een aanzienlijk financieel voordeel. De onderzoekers berekenden de kosten voor het afhandelen van elke individuele datalink en ontdekten dat hun tweestapsbenadering aanzienlijk goedkoper was dan de traditionele methoden. Door de dure, hoogwaardige chips en complexe netwerkswitches te vervangen door hun gestroomlijnde architectuur, verminderden ze de kosten per verbinding met bijna 29 procent vergeleken met de standaardoplossing. Deze besparing komt voort uit het gebruik van mid-range chips die goedkoper in aanschaf zijn en een gespecialiseerd netwerkapparaat dat de data efficiënter aggregeert, waardoor de noodzaak voor tussenliggende lagen van dure hardware wordt geëlimineerd. De studie suggereert dat deze methode niet slechts een theoretische mogelijkheid is, maar een praktische, schaalbare oplossing die kan worden ingezet naarmate de datavraag in de deeltjesfysica blijft groeien.

Het werk bevestigt dat het mogelijk is om een data-acquisitiesysteem te bouwen dat zowel krachtig als betaalbaar is door gebruik te maken van de massaproductie van moderne netwerktechnologie. Het tweestapsontwerp koppelt de gevoelige, stralingsbestendige front-end succesvol los van de hogesnelheid back-end, waardoor elk deel op zijn optimale efficiëntie kan functioneren. De onderzoekers hebben aangetoond dat standaard datastromen, zonder de noodzaak voor gespecialiseerde protocollen met een hoge latentie, de enorme doorvoer kunnen handhaven die vereist is voor experimenten van de volgende generatie. Deze bevinding biedt een duidelijk pad vooruit voor het LHCb-experiment en andere grootschalige wetenschappelijke ondernemingen, en zorgt ervoor dat naarmate de machines groter worden en de data zwaarder, de systemen die hen moeten vastleggen, het tempo kunnen bijhouden zonder de bank te breken.