Leveraging Industrial Foundation Models at the Edge of Particle Physics Detectors via Distillation Learning and Hardware Co-design

In de zoektocht naar het begrijpen van de fundamentele bouwstenen van het universum, bouwen wetenschappers machines van verbluffende complexiteit. Deze deeltjesdetectoren fungeren als gigantische, ultragevoelige camera's die de vluchtige sporen van subatomaire deeltjes vastleggen terwijl ze met bijna de snelheid van het licht door de ruimte vliegen. De uitdaging is niet alleen om deze deeltjes te zien, maar om ze te registreren. Moderne experimenten genereren een dergelijke enorme vloedgolf aan gegevens dat het onmogelijk is om alles op te slaan. De machines moeten in een fractie van een seconde beslissingen nemen, waarbij ze het alledaagse wegfilteren en alleen de zeldzame, interessante gebeurtenissen bewaren voordat de informatie voor altijd verloren gaat. Dit filteren gebeurt in realtime, binnen de strikte fysieke en elektrische beperkingen van de detector zelf, een plek die vaak de "edge" van het experiment wordt genoemd. Om dit aan te pakken, wenden onderzoekers zich tot kunstmatige intelligentie, in de hoop machines te leren patronen in de datastromen sneller en nauwkeuriger te herkennen dan ooit tevoren.

Een nieuwe studie door Gia Ancone en collega's aan de Stanford University en het SLAC National Accelerator Laboratory onderzoekt een vernieuwende manier om deze intelligentie naar de "edge" te brengen. In plaats van voor elke specifieke taak vanaf nul een klein, eenvoudig computerprogramma te trainen, begon het team met een massief, vooraf getraind "foundation model". Denk hierbij aan een algemene AI die al heeft geleerd de ritmes en vormen van tijdgebaseerde gegevens te begrijpen uit een enorme bibliotheek van voorbeelden. De onderzoekers namen dit krachtige, algemene model en pasten het zorgvuldig aan voor de specifieke taak van het lezen van signalen van deeltjesdetectoren. Vervolgens krompen ze dit grote model in om de overbodige complexiteit te verwijderen, om zo een minuscule versie te creëren die kon draaien op de gespecialiseerde, energiezuinige chips binnen de detector. Dit proces, bekend als "distillatie", stelde hen in staat om de diepe kennis van het gigantische model over te dragen naar een lichtgewicht pakket dat geschikt is voor de barre, ruimtebeperkte omgeving van een toekomstige deeltjesversneller.

Het team testte deze aanpak op twee verschillende soorten deeltjesdetectoren. De eerste was een driftkamer, die het pad van geladen deeltjes volgt door het tellen van minuscule clusters van elektrische signalen. De tweede was een dual-readout calorimeter, een apparaat dat de energie van deeltjes meet door de specifieke mix van het licht dat ze produceren te analyseren. In beide gevallen was het doel om nauwkeurige fysische informatie te extraheren uit ruwe golfvormen van gegevens. De onderzoekers verfijnden eerst het grote foundation model om als "leraar" te fungeren, waarbij het leerde deze specifieke natuurkundige problemen op te lossen. Vervolgens trainden zij veel kleinere, eenvoudigere modellen, of "studenten", om het gedrag van de leraar na te bootsen. Cruciaal was dat deze studentmodellen vanaf de basis werden ontworpen om compatibel te zijn met field-programmable gate arrays, een type herconfigureerbare hardwarechip die veel wordt gebruikt in snelle elektronica. Het team comprimeerde deze modellen verder door overbodige verbindingen te verwijderen en de gebruikte getallen te vereenvoudigen, om er zeker van te zijn dat ze binnen de strikte geheugen- en snelheidslimieten van de front-end elektronica van de detector zouden passen.

De resultaten van deze simulaties waren opmerkelijk. Het grote, verfijnde foundation model presteerde beter dan alle voorgaande methoden wanneer het de volledige hoeveelheid trainingsgegevens kreeg, wat bewees dat het starten met een vooraf getrainde AI een significante boost in nauwkeurigheid geeft. Nog belangrijker is dat de kleine, gecomprimeerde studentmodellen net zo goed, of zelfs beter presteerden dan de beste bestaande oplossingen die specifiek voor deze taken zijn ontworpen. Misschien wel het meest significant is dat de gedestilleerde studentmodellen veel sneller leerden. Wanneer de onderzoekers de studentmodellen slechts een fractie van de beschikbare gegevens gaven, bereikten ze nog steeds een hoge prestatie, terwijl modellen die vanaf nul werden getraind de volledige dataset nodig hadden om hetzelfde nauwkeurigheidsniveau te bereiken. Sterker nog, een studentmodel dat getraind werd op slechts tien procent van de gegevens, presteerde even goed als een model dat getraind was op honderd procent. Dit suggereert dat voor toekomstige experimenten, waarbij enorme hoeveelheden gelabelde gegevens mogelijk niet beschikbaar zijn tijdens de initiële ontwerpfase, deze methode de tijd en middelen die nodig zijn om betrouwbare datafilters te ontwikkelen, drastisch kan verminderen.

De laatste stap bestond uit het vertalen van deze softwaremodellen naar hardware-instructies. Het team slaagde erin de gecomprimeerde studentmodellen te synthetiseren naar ontwerpen voor FPGA-chips. Deze ontwerpen waren ongelooflijk efficiënt, vereisten geen gespecialiseerde digitale signaalverwerkers en werkten met een latentie van slechts 25 nanoseconden. Deze snelheid is snel genoeg om het tempo van de snelle botsingen in toekomstige deeltjesversnellers bij te houden, waar deeltjes elkaar elke paar tientallen nanoseconden kruisen. De studie bevestigt dat het mogelijk is om de immense kracht van industriële AI te distilleren in een vorm die klein genoeg is om op een detectorchip te passen, en deze vervolgens complexe natuurkundige taken in realtime te laten uitvoeren. Hoewel deze resultaten momenteel gebaseerd zijn op computersimulaties, bieden ze een duidelijke weg vooruit. Door gebruik te maken van vooraf getrainde modellen en slim hardwareontwerp, kunnen wetenschappers detectoren binnenkort uitrusten met intelligente systemen die de chaos van de subatomaire wereld kunnen filteren met ongekende snelheid en precisie.