A Modular Zero-Dead-Time Data Acquisition and Real-Time GPU Processing Platform for High Throughput Physics Experiments

Dit artikel presenteert een modulier, software-gedefinieerd platform dat high-bandwidth PCIe-digitalisatoren integreert met consument-GPU's om continue, dode-tijd-vrije data-acquisitie en real-time verwerking voor high-throughput fysica-experimenten te realiseren, wat succesvol is aangetoond in de WISPLC-donkere-materiezoeke met een volgehouden doorvoer van 1 GB/s en verwaarloosbaar dataverlies.

De kern

Stel je voor dat je probeert een symfonieorkest op te nemen dat met bliksemsnelheid speelt. In de oude tijden, als je de muziek in real-time wilde analyseren, had je een enorme, op maat gebouwde machine nodig (zoals een gespecialiseerde robot) die ongelooflijk snel was, maar zeer duur, moeilijk te programmeren en lastig aan te passen als je naar een ander instrument wilde luisteren.

Dit artikel introduceert een nieuwe manier om deze opname en analyse uit te voeren met een "modulaire" aanpak. In plaats van een op maat gemaakte robot, bouwde het team een systeem met standaard, snelle computeronderdelen (zoals die in gaming-pc's worden gevonden) gecombineerd met een slim computerprogramma. Hier is hoe het werkt, opgesplitst in eenvoudige concepten:

1. Het Probleem: De "Verkeersopstopping"

Bij snelle natuurkunde-experimenten komt data binnen sneller dan een snelweg tijdens de spits.

• De Oude Manier: Traditionele systemen gebruiken gespecialiseerde hardware (FPGA's) om dit te hanteren. Het is alsof je een toegewijde, supersnelle agent hebt die het verkeer regelt. Het werkt perfect, maar het bouwen en wijzigen van de instructies van de agent kost maanden aan gespecialiseerde training en kost een fortuin.
• De Nieuwe Manier: Dit team besefte dat ze de grafische kaart (GPU) van een standaardcomputer konden gebruiken – hetzelfde type dat wordt gebruikt voor het spelen van videospellen – om het zware werk te doen. Het is alsof je een team van duizenden efficiënte, kant-en-klare werknemers huurt in plaats van één dure, op maat gebouwde robot.

2. De Oplossing: Een "Zero-Dead-Time" Pijpleiding

De grootste angst bij het opnemen van snelle data is "dode tijd". Dit is een klein fractie van een seconde waarin het systeem stopt met opnemen om te verwerken wat het zojuist heeft gehoord. Als je een maatje mist, is de data verpest.

De auteurs bouwden een systeem dat beweert nul dode tijd te hebben.

• De Analogie: Stel je een transportband in een fabriek voor. Normaal gesproken stopt de band om een werknemer een doos te laten inpakken, stopt de band en wacht de volgende doos.
• Hun Truc: Ze bouwden een systeem waarbij de transportband nooit stopt. Terwijl één werknemer (de GPU) de huidige doos inpakt, pakt een andere werknemer al de volgende doos, en bereidt een derde de daaropvolgende voor. Ze gebruiken een "callback"-systeem, wat lijkt op een timer die zegt: "Hé, zodra je een volle doos data hebt, verwerk dit direct en ga dan direct terug naar de band."
• Het Resultaat: Ze bewezen dat ze tijdens een 10 minuten durende opname geen enkel "maatje" data misten. Het systeem is zo precies dat als het wel data zou missen, dit minder dan één triljoenste van de totale tijd zou zijn.

3. De Hardware: Een Op Maat Gemaakte "Geluidsdichte Doos"

Omdat ze krachtige computeronderdelen (GPU's) gebruiken die elektrische ruis kunnen veroorzaken, moesten ze voorzichtig zijn.

• Het Schild: Ze bouwden een op maat gemaakt aluminium doos (een Faraday-kooi) om de gevoelige opnamekaart te bevatten. Denk hierbij aan een geluidsdichte cabine voor een zanger. Het houdt de "ruis" van de ventilatoren en voedingen van de computer weg, zodat de delicate natuurkundesignalen die ze proberen te horen niet verstoord worden.
• Koeling: Omdat de doos strak zit, voegden ze ventilatoren en koellichamen toe om te voorkomen dat de elektronica te heet wordt, zodat de opname wekenlang stabiel blijft.

4. Het "Drie-Koppige Monster" (Multi-GPU Setup)

Om de enorme hoeveelheid data te hanteren, gebruikten ze niet één grafische kaart, maar drie.

• De Assemblagelijn: Ze splitsten het werk in drie fasen, zoals een assemblagelijn in een autofabriek:
  1. GPU 1: Zet ruwe cijfers om naar fysieke spanning (zoals het vertalen van een vreemde taal).
  2. GPU 2: Voert de complexe wiskunde uit (Snelle Fourier-transformaties) om het geluid om te zetten in een frequentiespectrum (zoals het omzetten van een lied in een bladmuziekpartituur).
  3. GPU 3: Gemiddelt de resultaten en berekent statistieken.
• De Afweging: Het verplaatsen van data tussen deze drie kaarten kost iets extra tijd (zoals het doorgeven van een auto-onderdeel langs een lange lijn), maar het stelt hen in staat veel meer geheugen te gebruiken dan één kaart zou kunnen bevatten. Hierdoor kunnen ze zeer fijne details in de data zien.

5. Succes in de Wereld van Alledag: De "Donkere Materie"-Jacht

Ze testten dit systeem in een echt experiment genaamd WISPLC, dat op zoek is naar "donkere materie" (onzichtbare deeltjes waar het grootste deel van het universum uit bestaat).

• De Winst: Voor dit systeem zou het experiment zoveel ruwe data hebben gegenereerd dat ze 21 Terabyte per dag hadden moeten opslaan.
• De Oplossing: Omdat hun systeem de data analyseert terwijl deze binnenkomt (en deze direct middelt), hoefden ze alleen de uiteindelijke, samengevatte resultaten op te slaan. Dit verlaagde hun opslagbehoeften van 21 TB per dag naar minder dan 20 TB per maand.
• Stabiliteit: Het systeem draaide een volledige maand continu zonder crashen, oververhitten of data te verliezen.

Samenvatting

Het artikel beweert een flexibeler, goedkoper en makkelijker bij te werken alternatief te hebben gebouwd voor dure, op maat gemaakte wetenschappelijke hardware. Door standaard computeronderdelen en slimme software te gebruiken, creëerden ze een "zero-dead-time" opnamesysteem dat enorme datastromen kan hanteren, deze direct analyseert en alleen de belangrijke bits opslaat. Ze bewezen dat het werkt door succesvol een maandlang donkere-materie-experiment uit te voeren zonder één storing.

Technische samenvatting

Technische Samenvatting: Een Modulier Platform voor Data-acquisitie met Nul Dode Tijd en Realtime GPU-verwerking

Probleemstelling
Moderne hoogdoorvoerende natuurkunde-experimenten genereren toenemende datavolumes die traditionele data-acquisitie (DAQ)-pijplijnen op de proef stellen. Conventionele systemen vertrouwen vaak op offline verwerking, wat ontoereikend is voor flexibele zoektochten naar transient signaal en opslagbeheer. Hoewel hardware-oplossingen met Field Programmable Gate Arrays (FPGA's) of Radio Frequency Systems on a Chip (RFSoC's) deterministische latentie en hoge efficiëntie bieden, vormen ze aanzienlijke ontwikkelingsknelpunten. Deze omvatten de vereiste van gespecialiseerde expertise in hardware-beschrijvingstalen (HDL) (bijv. VHDL, Verilog), lange compilatietijden, complexe debugcycli en hoge instapkosten. Bovendien maakt de starre aard van vaste hardware-architecturen iteratieve algoritme-ontwikkeling moeilijk in experimentele omgevingen.

Methodologie
De auteurs stellen een modulier, software-gedefinieerd DAQ-platform voor dat hoog-breedbandige PCIe-analoog-digitaal-converters (ADC's) integreert met standaard consumenten Graphics Processing Units (GPU's). Het systeem is ontworpen om continue data-acquisitie met nul dode tijd en realtime verwerking met NVIDIA CUDA te realiseren.

• Hardware-architectuur: Het kernsysteem maakt gebruik van Spectrum Instrumentation SPCM-serie digitizers (M4i.4420-x8 en M2p.5941-x8) gekoppeld aan een multi-threaded CPU en meerdere CUDA-compatibele GPU's. Om elektromagnetische interferentie (EMI) van host-componenten te mitigeren, is de ADC-kaart fysiek geïsoleerd in een op maat gemaakte 10 mm dikke aluminium Faraday-kooi met actieve koeling. Het platform ondersteunt een configuratie met drie GPU's (twee NVIDIA RTX 2080 Ti en één RTX A4000) om de VRAM-beperkingen van enkele consumentenkaarten te overwinnen, waardoor hogere resolutiebandbreedtes mogelijk worden.
• Software-architectuur: Het systeem hanteert een multi-threaded C/C++-architectuur met POSIX Threads (pthreads). Het kenmerkt zich door een callback-gedreven ontwerp waarbij een toegewijde ADC-worker-thread het hardware FIFO-ringbuffer beheert. Wanneer beschikbare data een door de gebruiker gedefinieerde drempel overschrijdt, wordt een door de gebruiker aangeleverde callback-functie aangeroepen. Deze abstractie stelt gebruikers in staat aangepaste verwerkingslogica (bijv. FFT's, filtering, statistische middeling) te implementeren zonder laag-niveau geheugenwrapping of hardwarestuurprogramma's te hoeven beheren.
• Verwerkingspijplijn: De realtime verwerkingspijplijn omvat het converteren van verstrengelde int16 ADC-data naar drijvende-kommavoltages, het toepassen van vensterfuncties en het berekenen van Fast Fourier Transforms (FFT's) met de cuFFT-bibliotheek. In de multi-GPU-opstelling wordt de werklast sequentieel over drie GPU's verdeeld: typeconversie op de eerste, FFT-berekening op de tweede (die de grootste VRAM heeft) en statistische middeling op de derde. Deze sequentiële verdeling vermijdt de complexiteit van gestraalde geheugenkopieën over fysieke apparaten, hoewel dit overhead voor host-RAM-overdracht introduceert.

Belangrijkste Bijdragen

1. Modulaire Software-gedefinieerde Architectuur: Realisatie van een DAQ-systeem dat continue data-acquisitie met hoge doorvoer en realtime verwerking mogelijk maakt met standaard PCIe-digitizers en consumenten-GPU's, waardoor de behoefte aan gespecialiseerde FPGA-firmware wordt geëlimineerd.
2. Callback-gedreven Ontwerp: Implementatie van een flexibel raamwerk waarbij gebruikers verwerkingslogica via callbacks definiëren, wat de realtime berekening van afgeleide statistieken (vermogen, variantie, spectrale gemiddelden) en eenvoudige aanpassing aan verschillende signaalverwerkingsalgoritmen mogelijk maakt.
3. Validatie van Nul Dode Tijd: In-situ demonstratie van continu acquisitievermogen, gevalideerd door fasecontinuïteitstests en langetermijnstabiliteitsruns.
4. Werklastverdeling over Meerdere GPU's: Een strategie om FFT- en middelingstaken over meerdere GPU's te verdelen om hoge resolutiebandbreedtes te bereiken ondanks individuele VRAM-beperkingen.

Resultaten

• Prestatiebenchmarks: Het platform handhaaft continue verwerking bij samplefrequenties tot 500 MSa/s, met datadoorstromen van 1 GB/s. Bij het maximumtempo verbruikt de totale realtime verwerking ongeveer 80% van de beschikbare DAQ-tijd, voornamelijk door latenties bij geheugenoverdracht tussen GPU's die via host-RAM worden gerouteerd. Bij het lagere tempo van 124 MSa/s, gebruikt in het WISPLC-experiment, daalt het verbruik voor verwerking naar ongeveer 20%.
• Verificatie van Nul Dode Tijd:
  • Bestandsgrensanalyse: Tests met injectie van sinusoidale signalen op verschillende frequenties (9 Hz tot 19,8 MHz) bevestigden fasecontinuïteit over bestandsgrenzen heen. Statistische vergelijking met Monte Carlo-simulaties toonde overeenstemming met het nul-dode-tijd-model, waardoor dataverlies tijdens buffer-wraparounds werd uitgesloten.
  • End-to-End Validatie: Een 10 minuten durende continue acquisitie van een 3 MHz-signaal beperkte het fractionele dataverlies tot onder $5,6 \times 10^{-12}$ (equivalent aan een hypothetische dode tijd van <3,33 ns), wat minder is dan één sample-interval bij 125 MSa/s.
• Langetermijnstabiliteit: Het systeem draaide een maand lang continu zonder crashes, geheugencorruptie of prestatiedegradatie. De op maat gemaakte koeloplossing hield de ADC-temperaturen stabiel (~48°C), wat thermische drift voorkwam.
• Impact van Toepassing: In het WISPLC-donkere-materie-experiment opereerde het platform op 124 MSa/s met een resolutiebandbreedte van 0,1 Hz. Realtime spectrale middeling verlaagde de dagelijkse opslagvereisten van 21 TB naar minder dan 20 TB per maand.

Betekenis
Het artikel stelt vast dat hoogpresterende, software-gedefinieerde DAQ-platforms die consumenten-GPU's gebruiken, gespecialiseerde, starre hardwarepijplijnen (zoals FPGA's) effectief kunnen vervangen voor middelgrote tot grote laboratoriumopstellingen. Door gebruik te maken van standaard C/C++ en CUDA-programmering, verlaagt het systeem significant de instapdrempel voor hoogdoorvoerende experimenten, waardoor snelle iteratie van signaalverwerkingsalgoritmen mogelijk wordt zonder hardware-herontwerp. De aangetoonde mogelijkheid om bij hoge samplefrequenties nul dode tijd te handhaven terwijl complexe realtime middeling wordt uitgevoerd, biedt een flexibel, kosteneffectief alternatief voor traditionele digitale basebandconverter (DBBC)-systemen en FPGA-gebaseerde oplossingen. De auteurs merken op dat hoewel de huidige implementatie specifieke natuurkundige behoeften adresseert, de architectuur aanpasbaar is voor bredere toepassingen, waaronder signaalsynthese en netwerkanalyse, mits passende RF-hardware wordt geïntegreerd.