A-GHOST: High-rate streaming of trigger-level data to programmable GPU inference

In de wereld van de hogenergetica laten wetenschappers deeltjes tegen bijna de snelheid van het licht op elkaar botsen om de fundamentele bouwstenen van het universum te ontdekken. Deze botsingen vinden plaats met een dergelijke hevigheid en frequentie dat ze een stroom aan gegevens genereren die veel te groot is om permanent op te slaan. Om deze vloed te beheersen, vertrouwen experimenten op een geavanceerd filtersysteem dat een 'trigger' wordt genoemd. Dit systeem fungeert als een poortwachter en neemt beslissingen in een fractie van een seconde over welke botsingsgebeurtenissen interessant genoeg zijn om te bewaren en welke triviale ruis zijn om weg te gooien. Decennialang is dit poortwachterswerk gedaan door gespecialiseerde elektronische circuits die ongelooflijk snel maar rigide zijn; ze moeten beslissingen nemen binnen een vaste, minuscule tijdspanne en kunnen alleen eenvoudige berekeningen uitvoeren. Naarmate experimenten krachtiger worden, groeit de hoeveelheid data die ze produceren sneller dan deze rigide circuits kunnen verwerken, wat een flessenhals creëert waarbij potentieel baanbrekende ontdekkingen simpelweg verloren kunnen gaan omdat het systeem niet kan bijhouden.

Een team van onderzoekers heeft nu een nieuwe manier gedemonstreerd om dit probleem aan te pakken, een methode die de snelle, rigide poortwachter behoudt maar een krachtige, flexibele assistent direct daarachter plaatst. Hun werk, gepresenteerd in een studie genaamd A-GHOST, onderzoekt een methode waarbij de initiële elektronische circuits niet alleen beslissen wat ze bewaren, maar in plaats daarvan een compacte samenvatting van elke botsing streamen naar een moderne grafische processor. Deze processor, hetzelfde type chip dat te vinden is in high-end computers voor gaming en kunstmatige intelligentie, is in staat om veel complexere en creatievere algoritmen uit te voeren dan de rigide circuits die zij kunnen beheren. Door het zware werk van de analyse te verplaatsen naar deze krachtige processor, kunnen wetenschappers data analyseren met snelheden die voorheen onmogelijk waren, wat de deur opent naar het detecteren van subtiele, zeldzame fenomenen die de oude, eenvoudigere systemen gemist zouden hebben.

De onderzoekers bouwden een prototype om dit idee te testen, gebruikmakend van een gespecialiseerde ontwikkelkit die ontworpen is voor high-speed computing. In plaats van direct verbinding te maken met de enorme deeltjesdetectoren van een echt experiment, creëerden zij een gecontroleerde lus waarbij een softwareprogramma de datastroom simuleerde die afkomstig is van een deeltjesbotsing. Deze gesimuleerde stroom werd via een high-speed netwerkkabel verzonden en direct in de grafische processor gevoed. Het systeem was ontworpen om de gebruikelijke computertrajecten die zaken vertragen te omzeilen, door de data rechtstreeks van de netwerkkaart naar het geheugen van de processor te sturen. Dit stelde het team in staat om te zien of de processor de snelheid van de binnenkomende data kon bijhouden, zonder informatie te verliezen of overweldigd te raken.

Om de data bruikbaar te maken, moesten de onderzoekers een lastige puzzel oplossen. De data arriveert in kleine, gefragmenteerde pakketjes, zoals individuele pagina's van een boek die één voor één door een raam worden gegooid. Echter, de modellen voor kunstmatige intelligentie die de data analyseren, moeten de hele pagina, of zelfs een heel hoofdstuk, tegelijkertijd kunnen zien om effectief te kunnen werken. Het team schreef een aangepast programma dat fungeerde als een snelle assembleerder, die deze binnenkomende fragmenten oppakte en ze direct bij aankomst samenvoegde tot volledige, continue blokken data. Deze assemblage gebeurde onmiddellijk binnen het geheugen van de processor, waardoor de data klaar was voor analyse zonder vertraging of de noodzaak om heen en weer te bewegen tussen de processor en de rest van de computer.

Het team testte dit systeem met drie verschillende soorten modellen voor kunstmatige intelligentie, elk ontworpen om ongebruikelijke patronen in de gesimuleerde botsingsdata te spotten. Eén model keek naar individuele gebeurtenissen, terwijl de andere keek naar sequenties van gebeurtenissen in de tijd om complexe, evoluerende anomalieën te vinden. Ze brachten het systeem tot het uiterste door data te verzenden met snelheden variërend van 40 tot 100 gigabit per seconde. Bij de hoogste snelheid ontving het systeem bijna alle data zonder een enkel pakketje te verliezen. De modellen voor kunstmatige intelligentie waren in staat de data te analyseren met een vertraging van minder dan één tiende van een milliseconde, een snelheid die bruikbaar genoeg is voor een echt-tijd experiment. Het systeem draaide urenlang zonder te falen, wat bewees dat de combinatie van high-speed netwerken en krachtige grafische verwerking de enorme informatiestroom van moderne natuurkundige experimenten kan aan.

Wat dit resultaat zo belangrijk maakt, is niet alleen de snelheid, maar ook de flexibiliteit die het biedt. De rigide circuits die momenteel de data bewaken, kunnen hun taak van timing en initiële filtering blijven uitvoeren, maar zij hoeven niet langer het laatste woord te hebben over wat interessant is. Door een compacte samenvatting van de data te streamen naar een programmeerbare processor, kunnen wetenschappers nu veel geavanceerdere algoritmen draaien die patronen over meerdere gebeurtenissen kunnen leren of complexe generatieve modellen kunnen gebruiken om anomalieën op te sporen. Dit zijn de soorten taken die te moeilijk of te traag zijn voor de huidige rigide hardware. De studie toont aan dat deze nieuwe architectuur levensvatbaar is en een pad biedt waarbij de datastroom nooit geblokkeerd wordt door de beperkingen van de hardware-trigger, waardoor natuurkundigen de mogelijkheid krijgen om het universum te verkennen met een veel scherpere en meer aanpasbare blik.