A Modular Zero-Dead-Time Data Acquisition and Real-Time GPU Processing Platform for High Throughput Physics Experiments

Dieser Beitrag stellt eine modulare, softwaredefinierte Plattform vor, die hochbandbreite PCIe-Digitizer mit Consumer-GPUs integriert, um eine kontinuierliche, totzeitfreie Datenerfassung und Echtzeitverarbeitung für hochdurchsatzphysikalische Experimente zu ermöglichen, was im Rahmen der WISPLC-Dunkle-Materie-Suche mit einer durchgehenden Durchsatzrate von 1 GB/s und vernachlässigbaren Datenverlusten erfolgreich demonstriert wurde.

Das Wesentliche

Stellen Sie sich vor, Sie versuchen, ein Symphonieorchester aufzuzeichnen, das mit Blitzgeschwindigkeit spielt. In früheren Zeiten benötigten Sie für eine Echtzeitanalyse der Musik eine riesige, maßgeschneiderte Maschine (wie einen spezialisierten Roboter), die zwar unglaublich schnell, aber sehr teuer, schwer zu programmieren und schwierig zu ändern war, falls Sie ein anderes Instrument hören wollten.

Dieser Artikel stellt eine neue Methode zur Aufnahme und Analyse vor, die auf einem „modularen" Ansatz basiert. Anstelle eines maßgeschneiderten Roboters entwickelte das Team ein System aus Standard-Hochgeschwindigkeits-Computerkomponenten (wie sie in Gaming-PCs zu finden sind), kombiniert mit einem cleveren Softwareprogramm. So funktioniert es, aufgeschlüsselt in einfache Konzepte:

1. Das Problem: Der „Stau"

In Hochgeschwindigkeits-Physikexperimenten strömen Daten schneller herein als der Verkehr auf einer Autobahn während der Rushhour.

• Der alte Weg: Herkömmliche Systeme nutzen spezialisierte Hardware (FPGAs), um dies zu bewältigen. Das ist wie ein eingesetzter, superschneller Polizeibeamter, der den Verkehr regelt. Es funktioniert perfekt, doch die Erstellung und Änderung der Anweisungen für diesen Polizeibeamten erfordert Monate spezieller Ausbildung und kostet ein Vermögen.
• Der neue Weg: Das Team erkannte, dass sie die Grafikkarte (GPU) eines Standardcomputers – die gleiche Art, die für Videospiele verwendet wird – für die Schwerstarbeit einsetzen konnten. Das ist wie die Einstellung eines Teams aus Tausenden effizienter, serienmäßiger Arbeiter anstelle eines teuren, maßgeschneiderten Roboters.

2. Die Lösung: Eine „Totzeit-freie" Pipeline

Die größte Angst bei der Aufnahme schneller Daten ist die „Totzeit". Dies ist ein winziger Bruchteil einer Sekunde, in dem das System aufhört aufzuzeichnen, um zu verarbeiten, was es gerade gehört hat. Wenn Sie einen Takt verpassen, ist die Datenmenge ruiniert.

Die Autoren bauten ein System, das totzeitfrei ist.

• Die Analogie: Stellen Sie sich ein Förderband in einer Fabrik vor. Normalerweise, wenn das Band anhält, damit ein Arbeiter ein Paket verpackt, stoppt das Band, und das nächste Paket wartet.
• Ihr Trick: Sie bauten ein System, bei dem das Förderband niemals anhält. Während ein Arbeiter (die GPU) das aktuelle Paket verpackt, greift ein anderer Arbeiter bereits das nächste Paket, und ein dritter bereitet das übernächste vor. Sie verwenden ein „Callback"-System, das wie ein Timer funktioniert, der sagt: „Hey, sobald Sie eine volle Box mit Daten haben, verarbeiten Sie sie sofort, und kehren Sie dann sofort zum Band zurück."
• Das Ergebnis: Sie bewiesen, dass sie über eine 10-minütige Aufnahme hinweg keinen einzigen „Takt" an Daten verpassten. Das System ist so präzise, dass, falls es doch Daten verpasst hätte, dies weniger als ein Billionstel der Gesamtzeit betragen würde.

3. Die Hardware: Ein maßgeschneiderter „Schallschutzkasten"

Da sie leistungsstarke Computerkomponenten (GPUs) verwenden, die elektrisches Rauschen erzeugen können, mussten sie vorsichtig sein.

• Der Schutz: Sie bauten eine maßgeschneiderte Aluminiumbox (einen Faradayschen Käfig), um die empfindliche Aufnahmekarte zu beherbergen. Denken Sie daran wie an eine schallisolierte Kabine für einen Sänger. Sie hält das „Rauschen" von den Lüftern und Netzteilen des Computers fern, damit es die empfindlichen physikalischen Signale, die sie zu hören versuchen, nicht stört.
• Kühlung: Da die Box eng ist, fügten sie Lüfter und Kühlkörper hinzu, um zu verhindern, dass die Elektronik zu heiß wird, und stellen sicher, dass die Aufnahme wochenlang stabil bleibt.

4. Das „Dreiköpfige Monster" (Multi-GPU-Setup)

Um die massive Datenmenge zu bewältigen, verwendeten sie nicht nur eine Grafikkarte, sondern drei.

• Das Fließband: Sie teilten die Arbeit in drei Stufen auf, wie in einer Fließbandproduktion in einer Autofabrik:
  1. GPU 1: Wandelt Rohzahlen in physikalische Spannung um (wie das Übersetzen einer Fremdsprache).
  2. GPU 2: Führt die komplexe Mathematik (Fast-Fourier-Transformationen) durch, um den Klang in ein Frequenzspektrum zu verwandeln (wie das Umwandeln eines Songs in ein Notenblatt).
  3. GPU 3: Mittelt die Ergebnisse und berechnet Statistiken.
• Der Kompromiss: Der Datentransfer zwischen diesen drei Karten nimmt etwas zusätzliche Zeit in Anspruch (wie das Weitergeben eines Autoteils entlang einer langen Linie), ermöglicht es ihnen jedoch, viel mehr Speicherplatz zu nutzen, als eine einzelne Karte halten könnte. Dies erlaubt ihnen, sehr feine Details in den Daten zu erkennen.

5. Erfolg in der Praxis: Die „Dunkle Materie"-Jagd

Sie testeten dieses System in einem echten Experiment namens WISPLC, das nach „dunkler Materie" sucht (unsichtbare Teilchen, die den größten Teil des Universums ausmachen).

• Der Gewinn: Vor diesem System hätte das Experiment so viele Rohdaten erzeugt, dass sie 21 Terabyte jeden einzelnen Tag speichern müssten.
• Die Lösung: Da ihr System die Daten während des Eingangs analysiert (sie sofort mittelt), mussten sie nur die endgültigen, zusammengefassten Ergebnisse speichern. Dies reduzierte ihren Speicherbedarf von 21 TB pro Tag auf weniger als 20 TB pro Monat.
• Stabilität: Das System lief einen ganzen Monat lang kontinuierlich, ohne abzustürzen, überhitzt zu werden oder Daten zu verlieren.

Zusammenfassung

Der Artikel behauptet, eine flexible, günstigere und leichter aktualisierbare Alternative zu teurer, maßgeschneiderter wissenschaftlicher Hardware entwickelt zu haben. Durch die Verwendung von Standard-Computerkomponenten und intelligenter Software schufen sie ein „totzeitfreies" Aufzeichnungssystem, das massive Datenströme bewältigen, sie sofort analysieren und nur die wichtigen Bits speichern kann. Sie bewiesen, dass es funktioniert, indem sie erfolgreich ein einmonatiges Dunkle-Materie-Experiment ohne einen einzigen Fehler durchführten.

Technische Zusammenfassung

Technische Zusammenfassung: Eine modulare Plattform für die datenakquisition ohne tote Zeit und die Echtzeit-GPU-Verarbeitung

Problemstellung
Moderne Hochdurchsatz-Physikexperimente erzeugen steigende Datenmengen, die herkömmliche Datenakquisitions- (DAQ) Pipelines herausfordern. Konventionelle Systeme verlassen sich oft auf eine Offline-Verarbeitung, die für flexible Suchen nach transienten Signalen und das Speichermanagement unzureichend ist. Zwar bieten hardwarebasierte Lösungen mit Field Programmable Gate Arrays (FPGAs) oder Radio Frequency Systems on a Chip (RFSoCs) deterministische Latenz und hohe Effizienz, doch sie weisen erhebliche Entwicklungshemmnisse auf. Dazu gehören die Notwendigkeit spezialisierter Kenntnisse in Hardware-Beschreibungssprachen (HDL) (z. B. VHDL, Verilog), lange Kompilierzeiten, komplexe Debugging-Zyklen und hohe Einstiegskosten. Darüber hinaus erschwert die starre Natur fester Hardware-Architekturen die iterative Entwicklung von Algorithmen in experimentellen Umgebungen.

Methodik
Die Autoren schlagen eine modulare, softwaredefinierte DAQ-Plattform vor, die hochbandbreitige PCIe-Analog-Digital-Wandler (ADCs) mit standardmäßigen Consumer-Grafikprozessoren (GPUs) integriert. Das System ist darauf ausgelegt, eine kontinuierliche Datenakquisition ohne tote Zeit und eine Echtzeitverarbeitung unter Verwendung von NVIDIA CUDA zu erreichen.

• Hardware-Architektur: Das Kernsystem nutzt Digitizer der SPCM-Serie von Spectrum Instrumentation (M4i.4420-x8 und M2p.5941-x8), gekoppelt mit einer multithreadfähigen CPU und mehreren CUDA-fähigen GPUs. Um elektromagnetische Störungen (EMI) von Host-Komponenten zu minimieren, ist die ADC-Karte physikalisch in einem maßgefertigten 10 mm dicken Aluminium-Faradayschen Käfig isoliert, der mit einer aktiven Kühlung ausgestattet ist. Die Plattform unterstützt eine Triple-GPU-Konfiguration (zwei NVIDIA RTX 2080 Ti und eine RTX A4000), um die VRAM-Beschränkungen einzelner Consumer-Karten zu überwinden und höhere Auflösungsbandbreiten zu ermöglichen.
• Software-Architektur: Das System verwendet eine multithreadfähige C/C++-Architektur unter Verwendung von POSIX-Threads (pthreads). Es zeichnet sich durch ein callback-gesteuertes Design aus, bei dem ein dedizierter ADC-Arbeitsthread den Hardware-FIFO-Ringpuffer verwaltet. Wenn verfügbare Daten einen benutzerdefinierten Schwellenwert überschreiten, wird eine vom Benutzer bereitgestellte Callback-Funktion aufgerufen. Diese Abstraktion ermöglicht es Benutzern, benutzerdefinierte Verarbeitungslogik (z. B. FFTs, Filterung, statistische Mittelung) zu implementieren, ohne Low-Level-Speicherumschließungen oder Hardware-Treiber verwalten zu müssen.
• Verarbeitungspipeline: Die Echtzeit-Verarbeitungspipeline umfasst die Umwandlung von interleaved int16-ADC-Daten in schwimmkommafähige Spannungen, die Anwendung von Fensterfunktionen und die Berechnung von Fast Fourier Transforms (FFTs) unter Verwendung der cuFFT-Bibliothek. Im Multi-GPU-Setup wird die Arbeitslast sequenziell auf drei GPUs verteilt: Typkonvertierung auf der ersten, FFT-Berechnung auf der zweiten (die den größten VRAM besitzt) und statistische Mittelung auf der dritten. Diese sequenzielle Verteilung vermeidet die Komplexität von gestreiften Speicherkopien über physische Geräte hinweg, führt jedoch zu einem Overhead bei der Übertragung über den Host-RAM.

Hauptbeiträge

1. Modulare Softwaredefinierte Architektur: Realisierung eines DAQ-Systems, das eine kontinuierliche Hochdurchsatz-Signalerfassung und Echtzeitverarbeitung unter Verwendung standardmäßiger PCIe-Digitizer und Consumer-GPUs ermöglicht und damit die Notwendigkeit spezialisierter FPGA-Firmware eliminiert.
2. Callback-gesteuertes Design: Implementierung eines flexiblen Frameworks, bei dem Benutzer die Verarbeitungslogik über Callbacks definieren, was die Echtzeitberechnung abgeleiteter Statistiken (Leistung, Varianz, spektrale Mittelwerte) und eine einfache Anpassung an verschiedene Signalverarbeitungsalgorithmen ermöglicht.
3. Validierung ohne tote Zeit: In-situ-Nachweis der kontinuierlichen Erfassungsfähigkeiten, validiert durch Phasenkontinuitätstests und Langzeitstabilitätsläufe.
4. Verteilung der Arbeitslast auf mehrere GPUs: Eine Strategie zur Verteilung von FFT- und Mittelungsaufgaben auf mehrere GPUs, um trotz individueller VRAM-Einschränkungen hohe Auflösungsbandbreiten zu erreichen.

Ergebnisse

• Leistungsbenchmarks: Die Plattform hält eine kontinuierliche Verarbeitung bei Abtastraten von bis zu 500 MSa/s aufrecht und verwaltet Datendurchsätze von 1 GB/s. Bei der maximalen Rate verbraucht die gesamte Echtzeitverarbeitung etwa 80 % der verfügbaren DAQ-Zeit, hauptsächlich aufgrund von Latenzen bei der Speicherübertragung zwischen GPUs, die über den Host-RAM geleitet werden. Bei der niedrigeren Rate von 124 MSa/s, wie sie im WISPLC-Experiment verwendet wurde, sinkt die Verarbeitungsbelastung auf etwa 20 %.
• Verifizierung ohne tote Zeit:
  • Dateigrenzen-Analyse: Tests, bei denen sinusförmige Signale verschiedener Frequenzen (9 Hz bis 19,8 MHz) injiziert wurden, bestätigten die Phasenkontinuität über Dateigrenzen hinweg. Der statistische Vergleich mit Monte-Carlo-Simulationen zeigte eine Übereinstimmung mit dem Modell ohne tote Zeit und schloss Datenverluste während Puffer-Umschließungen aus.
  • End-to-End-Validierung: Eine 10-minütige kontinuierliche Erfassung eines 3-MHz-Signals beschränkte den Bruchteil des Datenverlusts auf unter $5,6 \times 10^{-12}$ (entsprechend einer hypothetischen toten Zeit von <3,33 ns), was weniger als ein einzelnes Sample-Intervall bei 125 MSa/s ist.
• Langzeitstabilität: Das System lief einen Monat lang kontinuierlich ohne Abstürze, Speicherkorruption oder Leistungsverschlechterung. Die maßgefertigte Kühllösung hielt die ADC-Temperaturen stabil (~48 °C) und verhinderte thermische Drifts.
• Auswirkung auf die Anwendung: Im WISPLC-Dunkelmaterie-Experiment operierte die Plattform bei 124 MSa/s mit einer Auflösungsbandbreite von 0,1 Hz. Die Echtzeit-Spektralmittelung reduzierte die täglichen Speicheranforderungen von 21 TB auf weniger als 20 TB pro Monat.

Bedeutung
Die Studie belegt, dass leistungsstarke, softwaredefinierte DAQ-Plattformen, die Consumer-GPUs nutzen, spezialisierte, starre Hardware-Pipelines (wie FPGAs) für mittelgroße bis große Laboraufbauten effektiv ersetzen können. Durch die Nutzung von Standard-C/C++ und CUDA-Programmierung senkt das System die Einstiegshürde für Hochdurchsatzexperimente erheblich und ermöglicht eine schnelle Iteration von Signalverarbeitungsalgorithmen ohne Hardware-Neukonfigurationen. Die nachgewiesene Fähigkeit, bei hohen Abtastraten eine tote Zeit von null aufrechtzuerhalten und gleichzeitig komplexe Echtzeit-Mittelungen durchzuführen, bietet eine flexible und kosteneffektive Alternative zu herkömmlichen digitalen Basisband-Konverter- (DBBC) Systemen und FPGA-basierten Lösungen. Die Autoren stellen fest, dass die aktuelle Implementierung zwar spezifische physikalische Bedürfnisse adressiert, die Architektur jedoch für breitere Anwendungen, einschließlich Signalsynthese und Netzwerkanalyse, anpassbar ist, sofern geeignete RF-Hardware integriert wird.