Large-scale real-time signal processing in physics experiments: The ALICE TPC FPGA pipeline

Voor de LHC Run 3 heeft het ALICE-experiment een volledig FPGA-gebaseerde real-time verwerkingspijplijn ontwikkeld die meer dan 3 TB/s aan ruwe data van de Time Projection Chamber verwerkt door middel van geavanceerde algoritmen zoals common-mode correctie en ion-tail filtering, waardoor de datastroom efficiënt wordt gereduceerd tot ongeveer 900 GB/s onder extreme hoge-occupancy condities.

De kern

De ALICE TPC: Een digitale waterzuiveringsinstallatie voor deeltjesfysica

Stel je voor dat je een gigantische, cilindervormige kamer hebt (de ALICE Time Projection Chamber of TPC) die fungeert als een supergevoelige camera. Deze camera fotografeert niet gewone mensen, maar botsingen tussen zware atoomkernen (lood-lood botsingen) in de Large Hadron Collider (LHC) bij CERN.

Vóór 2021 was deze camera een beetje traag en kon hij maar één foto per seconde maken. Maar voor de nieuwe ronde van experimenten (Run 3) wilden ze de camera razendsnel maken: tot wel 50.000 foto's per seconde. Dat is als een camera die 50.000 keer per seconde flitst, terwijl er tegelijkertijd een storm van deeltjes doorheen waait.

Het probleem? De camera produceert zo veel ruwe data dat het een waterval van 3,3 terabyte per seconde is. Dat is meer data dan wat de hele mensheid in een jaar zou kunnen opslaan op normale harde schijven. Als je dit niet direct verwerkt, stikt je computer in de informatie.

Hier komt het verhaal van dit papier: hoe de wetenschappers een FPGA-pijpleiding (een soort supersnelle, programmeerbare elektronische fabriek) hebben gebouwd om deze waterval te temmen.

1. De Ruwe Data: Een modderige rivier

Wanneer de deeltjes de camera raken, ontstaan er kleine elektrische signalen op duizenden sensoren (paden). Deze signalen worden direct omgezet in digitale getallen. Maar deze data is "modderig":

• De "Gemeenschappelijke Modus" (Common-mode): Stel je voor dat je in een zwembad staat en iemand gooit een grote steen in het water. Het hele wateroppervlak zakt even. Dat is wat er gebeurt in de detector: een signaal op de ene plek verstoort de basislijn van de hele groep.
• De "Ionenstaart" (Ion-tail): Soms blijven er ladingen hangen, zoals een staart die langzaam achter een zwemmer aan blijft drijven. Dit vervormt de volgende meting.
• Ruis: Er is ook gewoon elektronische ruis, als een statisch geluid op een radio.

Als je dit niet schoonmaakt, zie je geen echte deeltjes meer, alleen maar ruis en vervormingen.

2. De Oplossing: De FPGA-Fabriek

In plaats van de data naar een computer te sturen om daar pas te verwerken (wat te langzaam zou zijn), hebben ze een FPGA (Field-Programmable Gate Array) gebruikt. Denk aan een FPGA als een ** Lego-blokkenkast die je in een seconde kunt ombouwen tot elke machine die je wilt**.

Deze machine draait direct naast de detector en doet drie cruciale dingen in real-time:

A. Het "Gemeenschappelijke" probleem oplossen

De machine kijkt naar alle sensoren tegelijk. Als hij ziet dat alle sensoren evenveel extra ruis hebben (zoals de steen in het zwembad), trekt hij dat gemiddelde direct af.

• Analogie: Stel je voor dat je een groep mensen hebt die allemaal een beetje te hard praten omdat er een geluidsdruk in de kamer is. De FPGA is als een slimme geluidstechnicus die direct het achtergrondgeruis weghaalt, zodat je alleen de woorden van de sprekers hoort.

B. De "Ionenstaart" snijden

De machine gebruikt een slim algoritme om die langzame, drijvende staarten van de ladingen te herkennen en te verwijderen.

• Analogie: Het is alsof je een video van een dansende persoon hebt, maar er zit een vervelende "ghosting"-effect op. De FPGA snijdt die geestelijke staart weg, zodat je alleen de scherpe, echte beweging ziet.

C. De "Nul-onderdrukking" (Zero Suppression)

Dit is de belangrijkste stap om ruimte te besparen. De machine kijkt naar elk signaal. Als een signaal te zwak is (alleen maar ruis), gooit hij het direct weg.

• Analogie: Stel je voor dat je een mailtje stuurt naar je vrienden. In plaats van de hele tekst te sturen, zeg je: "Ik heb alleen iets te vertellen als het belangrijk is. Als het niets is, stuur ik niets." Hierdoor wordt de hoeveelheid data enorm kleiner, van 3,3 TB/s naar ongeveer 900 GB/s.

3. De Uitdagingen: Straling en Synchronisatie

Deze machine werkt in een zeer stralingsrijke omgeving (dicht bij de botsingen). Soms raakt een elektronisch kabeltje beschadigd door straling, waardoor de data even uit de pas loopt.

• De oplossing: De machine heeft een "her-synchronisatie" knop. Als de data uit de pas loopt, reset de machine zichzelf razendsnel (binnen een fractie van een seconde) en begint hij opnieuw te tellen. Het is alsof een orkest even stilvalt als een muzikant een noot mist, en dan direct weer samen begint te spelen zonder dat het publiek het merkt.

4. Het Eindresultaat: Een strakke data-pakket

Na al deze bewerkingen wordt de data strak ingepakt in kleine pakketjes (zoals 8 KiB grote dozen) en naar de volgende stap gestuurd: de GPU's (supercomputers die beelden maken).

• De verhouding: De machine neemt 3,3 TB aan ruwe modderige data, wast het schoon, verwijdert het vuil en de overtollige waterdruppels, en levert 900 GB aan schone, bruikbare data op.

Waarom is dit belangrijk?

Vroeger moesten wetenschappers wachten tot de data op een computer werd verwerkt. Nu gebeurt dit direct, terwijl de deeltjes nog maar net zijn gebotst. Dit stelt hen in staat om:

1. Meer botsingen te zien: Ze kunnen de snelheid van de LHC verdubbelen zonder de computers te laten crashen.
2. Beter te meten: Door de ruis direct weg te halen, zien ze deeltjes die anders onzichtbaar zouden zijn.
3. Snel te werken: De data is direct klaar voor analyse, waardoor ze sneller nieuwe ontdekkingen kunnen doen.

Kortom: Dit papier beschrijft hoe de ALICE-experimenten een slimme, onmisbare "digitale wasmachine" hebben gebouwd die direct naast de deeltjesbotsers staat. Zonder deze machine zouden we verdrinken in data; met deze machine zien we de schoonheid van de deeltjeswereld helder en scherp.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Large-scale real-time signal processing in physics experiments: The ALICE TPC FPGA pipeline", geschreven in het Nederlands.

Probleemstelling

Voor de LHC Run 3 (2022-heden) is de ALICE-experiment (A Large Ion Collider Experiment) opgevoerd om een continue readout-modus te ondersteunen. De uitdaging voor de Time Projection Chamber (TPC) is enorm: bij lood-lood (Pb-Pb) botsingen moeten interactie-rotaties van maximaal 50 kHz worden verwerkt.
Dit resulteert in een ruwe datastroom van ongeveer 3,3 TB/s. Traditionele methoden waarbij data eerst wordt opgeslagen en later verwerkt, zijn onmogelijk bij deze snelheden. Er is een oplossing nodig die:

1. De ruwe data in real-time verwerkt (in-stream).
2. De datavolume drastisch reduceert zonder informatieverlies.
3. Correcties toepast voor specifieke detector-effecten (zoals common-mode shifts en ion-tails) die de signaal-kwaliteit beïnvloeden.
4. Functioneert binnen de stralingsomgeving van de LHC en met strikte timing-eisen.

Methodologie

De oplossing bestaat uit een geavanceerde, op FPGA gebaseerde verwerkingspijplijn die is geïmplementeerd in de Common Readout Units (CRU). Deze units bevinden zich direct na de front-end electronics (FEE) en voor de First-Level Processors (FLP).

1. Hardware Architectuur:

• Front-end: De TPC gebruikt 524.160 anode pads die worden gelezen door SAMPA ASIC's (32 kanalen per chip). Deze worden gekoppeld aan GBTx-chips en verzonden via optische links (Versatile Link) naar de CRU's.
• FPGA: De CRU's gebruiken Intel Arria 10 FPGA's. De firmware is verdeeld in "Common Logic" (gedeeld tussen subdetectors) en "User Logic" (specifiek voor de TPC).
• Datastroom: De data wordt continu gestreamd zonder triggers. De verwerking moet deterministisch zijn binnen een vaste latentie om dataverlies te voorkomen.

2. De Verwerkingspijplijn (User Logic):
De firmware voert een reeks complexe algoritmen uit in drie fasen: Invoer, Verwerking en Uitvoer.

• Invoer (Input Stage):

  • GBT Frame Decoder: Ontkoppelt de dataframes en zoekt naar SYNC-patronen om de datastroom te synchroniseren.
  • Global Aligner: Compenseert variabele latentie in de optische links zodat data van verschillende kanalen die tot hetzelfde tijdsvenster (time-bin) behoren, gelijktijdig worden verwerkt.
  • Resync Controller: Handhaaft synchronisatie bij tijdelijke linkverlies (door straling) door periodieke her-synchronisatie.

• Verwerking (Processing Stage):

  • Common-Mode Correctie (CMC): Dit is een kerninnovatie. Door capacitive koppeling in de GEM-structuur ontstaan gemeenschappelijke baselineshiften. Het algoritme identificeert "lege" pads (zonder fysiek signaal) per tijdsvenster, berekent een gemiddelde common-mode waarde (geschaald per pad voor lokale variaties) en trekt deze af. Dit gebeurt volledig parallel op 1600 kanalen.
  • Pedestal Subtraction & Zero Suppression: Trekt de elektronische offset (pedestal) af en onderdrukt waarden onder een drempelwaarde om datavolume te reduceren.
  • Ion-Tail Filter: Een recursief IIR-filter dat de langzame, exponentiële staarten van ionen (die de signaalvorm vervormen) compenseert. Dit vereist hoge numerieke precisie (float-conversie binnen de FPGA).
  • Integrated Digital Currents (IDC): Berekent cumulatieve stromen voor kalibratie van ruimteladingseffecten.

• Uitvoer (Output Stage):

  • Dense Packing: De verwerkte data wordt geoptimaliseerd voor GPU-verwerking op de EPN's (Event-Processing Nodes). Niet-nul waarden worden compact verpakt in 8 KiB-pakketten met minimale padding, gebruikmakend van bitmasks om de aanwezigheid van samples aan te geven.

3. Auxiliary Systems:
Dezelfde FPGA-verwerking controleert ook lasersystemen (voor kalibratie) en pulser-systemen, en leest de High Voltage Current Monitors (HVCM) uit, alles gesynchroniseerd met de detector-timing.

Belangrijkste Bijdragen

1. Schalbaarheid: Implementatie van een volledig parallelle verwerkingspijplijn die 3,3 TB/s aan ruwe data verwerkt en reduceert tot ~900 GB/s voor Pb-Pb botsingen.
2. Geavanceerde Common-Mode Correctie: Een nieuw algoritme dat common-mode effecten per pad corrigeert op basis van statistische analyse van lege pads, zelfs onder extreme bezettingsgraden. Dit voorkomt signaalverlies en ruis.
3. Real-time Ion-Tail Filtering: Implementatie van een recursief filter in hardware om ionenstaarten te verwijderen, wat essentieel is voor de signaalintegriteit in GEM-detectoren.
4. Robuustheid tegen Straling: Ontwikkeling van een mechanisme voor periodieke her-synchronisatie (resync) om tijdelijke linkverlies door straling te mitigeren zonder de data-acquisitie te onderbreken.
5. End-to-End FPGA Oplossing: De eerste keer dat een volledige detector (TPC) een continue readout uitvoert met complexe voorverwerking (correcties, filtering, compressie) volledig in FPGA's, voordat data naar CPU/GPU-systemen gaat.

Resultaten

• Datareductie: De ruwe invoer van 3,3 TB/s wordt succesvol gereduceerd tot minder dan 900 GB/s voor Pb-Pb botsingen bij 50 kHz. De uiteindelijke opslag is ongeveer 130 GB/s.
• Signaalverbetering: Met de common-mode correctie worden de baselineshiften effectief onderdrukt. Zonder correctie zouden negatieve shiften leiden tot verlies van echte signalen; met correctie blijft de baseline stabiel rond 0 ADC-tellingen.
• Stabiliteit: Ondanks waargenomen linkverlies door straling (voornamelijk veroorzaakt door een spanningsregelaar op de FEC), zorgt het periodieke her-synchronisatieprotocol ervoor dat de readout stabiel blijft en geen significante dataverliezen optreedt tijdens de operationele cyclus.
• Resourcegebruik: De implementatie op de Intel Arria 10 gebruikt ongeveer 71% van de beschikbare ALMs (Logic Modules), 52% van het geheugen (M20K) en 16% van de DSP-blokken, wat aantoont dat de complexiteit binnen de hardwarelimieten past.

Significantie

Dit paper markeert een mijlpaal in de data-acquisitie voor hoge-energie fysica. Het bewijst dat het mogelijk is om de enorme datastromen van moderne detectoren (zoals de ALICE TPC in Run 3) in real-time te verwerken met behulp van FPGA's, zonder afhankelijk te zijn van triggers.
De succesvolle implementatie van complexe algoritmen zoals common-mode correctie en ion-tail filtering direct in de verwerkingspijplijn stelt de experimenten in staat om:

• Hoge interactie-snelheden (tot 50 kHz) aan te kunnen.
• De datakwaliteit te maximaliseren door ruis en artefacten direct te elimineren.
• De belasting op de downstream GPU-farmen te verlagen door alleen relevante, voorbewerkte data door te sturen.

De ALICE TPC-pijplijn dient nu als een blauwdruk voor toekomstige experimenten die te maken hebben met extreme data-snelheden en continue readout-eisen.