AURORA: A High Performance DAQ Framework for Next-Generation Rare-Event Search Experiments

Das Paper stellt AURORA vor, ein hochleistungsfähiges, modulares und experiment-unabhängiges DAQ-Framework, das speziell für die Bewältigung der extremen Datenraten des PandaX-xT-Experiments entwickelt wurde und dabei eine Skalierbarkeit sowie eine aggregierte Durchsatzleistung von über 3 GB/s ermöglicht.

Das Wesentliche

AURORA: Der Hochgeschwindigkeits-Daten-Express für die Suche nach dem Unsichtbaren

Stellen Sie sich vor, Sie versuchen, den kleinsten Funken in einem riesigen, dunklen Wald zu finden. Das ist im Grunde das, was Wissenschaftler beim PandaX-Experiment tun: Sie suchen nach Dunkler Materie, die sich wie ein unsichtbarer Geist durch das Universum bewegt. Um diese winzigen Signale zu fangen, bauen sie riesige Tanks mit flüssigem Xenon, die mit Tausenden von extrem empfindlichen Kameras (Fotovervielfachern) bestückt sind.

Das Problem? Wenn diese Kameras anfangen zu schauen, produzieren sie eine Datenflut, die so schnell ist, dass normale Computer sie kaum noch verarbeiten können. Es ist, als würde man versuchen, einen Ozean mit einem Eimer aufzufangen.

Hier kommt AURORA ins Spiel.

Was ist AURORA?

AURORA ist kein neuer Detektor, sondern das Gehirn und das Nervensystem, das die Daten von diesen Kameras sammelt, sortiert und sicher aufbewahrt. Man kann es sich wie einen hochmodernen Logistik-Hub vorstellen, der für die schnellsten Lieferungen der Welt gebaut wurde.

Die Herausforderung: Der Daten-Stau

In der nächsten großen Version des Experiments (PandaX-xT) werden über 3.000 Kameras gleichzeitig arbeiten.

• Das Problem: Wenn alle gleichzeitig Daten senden, entsteht ein Datenstrom von bis zu 1,6 Gigabyte pro Sekunde. Das ist so viel, als würde man in jeder Sekunde die gesamte Bibliothek von Wikipedia auf einen USB-Stick kopieren.
• Die Gefahr: Wenn das System auch nur für eine Sekunde hängen bleibt oder Daten verliert, ist das Experiment für diesen Moment wertlos. Es ist wie ein Stau auf einer Autobahn: Wenn ein LKW stehen bleibt, staut sich der ganze Verkehr.

Wie AURORA das Problem löst (Die Analogie)

Stellen Sie sich AURORA als ein intelligentes Postsystem vor:

1. Die Sammelstellen (DAQ-Server):
   Jede Gruppe von Kameras schickt ihre Briefe (Datenpakete) an eine lokale Sammelstelle. Diese Stellen lesen die Daten aus und packen sie in große Umschläge. Sie sind wie die Postboten, die die Briefe vom Haus zur Sammelstelle bringen.

2. Der Express-Transport (Das Netzwerk):
   Statt die Briefe langsam zu transportieren, nutzt AURORA extrem schnelle Glasfaserkabel (wie ein Hochgeschwindigkeitszug), die die Daten direkt zu einer zentralen Sortierhalle bringen.

3. Die intelligente Sortierhalle (Der "Collector"):
   Hier passiert die Magie. Normalerweise würde man versuchen, jeden Brief sofort zu öffnen und abzulegen. Aber bei so viel Post würde das System überlastet werden.

   • Der Trick: AURORA nutzt Puffer-Zonen (Warteschleifen). Die Daten werden erst in große, zeitlich sortierte Fächer (wie Schublade für 100 Millisekunden) geworfen.
   • Die Entkopplung: Die Postboten (Eingangsseite) müssen nicht warten, bis die Sortierer fertig sind. Sie werfen einfach weiter hinein. Die Sortierer arbeiten in ihrem eigenen Tempo, holen sich die Fächer, sortieren die Briefe chronologisch und legen sie in die endgültige Ablage.
   • Das Ergebnis: Selbst wenn plötzlich ein riesiger Sturm an Daten kommt (z. B. durch eine Kalibrierung), fließt alles reibungslos weiter, weil die Warteschleifen den Druck abfedern.

4. Der sichere Archiv-Schrank (Festplatten):
   Am Ende werden die perfekt sortierten Daten auf extrem schnelle Festplatten (NVMe SSDs) geschrieben. AURORA stellt sicher, dass kein einziger Brief verloren geht, egal wie schnell der Sturm tobt.

Warum ist das so wichtig?

• Zuverlässigkeit: Das System wurde getestet und hat über 58 Stunden lang ohne einen einzigen Fehler oder Datenverlust gearbeitet. Das ist wie ein Zug, der 2,5 Tage lang ohne Unterbrechung fährt.
• Geschwindigkeit: Es schafft nicht nur die geforderten 1,6 GB/s, sondern kann theoretisch sogar über 3 GB/s verarbeiten. Das ist mehr als doppelt so schnell wie nötig.
• Flexibilität: Das System ist so gebaut, dass es wie ein Baukasten funktioniert. Wenn in der Zukunft noch mehr Kameras hinzukommen, kann man einfach mehr "Sortierhallen" (Server) hinzufügen, ohne das ganze System umbauen zu müssen.

Fazit

AURORA ist der unsichtbare Held hinter der Suche nach der Dunklen Materie. Ohne dieses hochleistungsfähige Daten-Management-System wären die riesigen Datenmengen der neuen Experimente unbrauchbar. Es sorgt dafür, dass die Wissenschaftler, wenn sie in die Daten schauen, nicht nur Chaos sehen, sondern eine perfekte, zeitlich geordnete Geschichte der Teilchenphysik, die ihnen verrät, wie das Universum wirklich funktioniert.

Kurz gesagt: AURORA ist der Hochgeschwindigkeits-Express, der sicherstellt, dass keine einzige Spur der Dunklen Materie im Daten-Verkehr verloren geht.

Technische Zusammenfassung

1. Problemstellung

Die nächste Generation des PandaX-Experiments (PandaX-xT), das der direkten Suche nach Dunkler Materie dient, wird eine drastische Steigerung der Datenmenge erfordern.

• Skalierung: Das Experiment plant bis zu 8.000 Auslesungskanäle (in der ersten Phase PandaX-20T ca. 3.000 Kanäle).
• Datenrate: Während der normalen Betriebsbedingungen wird eine aggregierte Datenrate von ca. 300–800 MB/s erwartet. Bei Kalibrierungsläufen mit intensiven Quellen oder durch das zusätzliche „Outer Veto"-System kann diese Rate kurzzeitig auf bis zu 1,6 GB/s ansteigen.
• Limitierung des Bestehenden: Das aktuelle DAQ-System von PandaX-4T (eine triggerlose, verteilte Architektur) ist auf eine maximale Durchsatzrate von 800 MB/s ausgelegt. Prototyp-Tests für PandaX-20T zeigten, dass dieses System bei Raten von ca. 600 MB/s an seine Grenzen stieß und keine stabile Datenübertragung gewährleisten konnte.
• Anforderungen: Es wurde ein neues System benötigt, das nicht nur hohe Durchsatzraten (Ziel: >1,6 GB/s, idealerweise bis 3 GB/s) bewältigt, sondern auch Datenintegrität (kein Datenverlust), niedrige Latenz, Skalierbarkeit und eine stabile Dauerbetriebsfähigkeit von mindestens 24 Stunden garantiert.

2. Methodik und Systemarchitektur

Als Lösung wurde AURORA (Adaptable Unified Real-time Online Readout Architecture) entwickelt. Es handelt sich um ein hochperformantes, verteiltes DAQ-Framework, das auf Modularität und modernen I/O-Technologien basiert.

Kernkomponenten der Architektur:

• Frontend (DAQ Server): Jeder Server läuft das Programm daq_reader, das Daten von bis zu 28 Digitisierern (über optische Fasern und SiTCP-Protokoll) empfängt. Die Server sind über 10-Gbit-Verbindungen mit einem Aggregations-Server verbunden.
• Aggregations-Server (Collector): Dies ist das Herzstück des Systems. Das Programm collector empfängt Datenströme von mehreren daq_reader-Instanzen.
• Multi-Level Buffering & Deferred Processing: Um Engpässe zu vermeiden, werden Daten nicht sofort auf die Festplatte geschrieben, sondern durchlaufen eine mehrstufige Pufferung im Speicher:
  1. Eingang: Daten werden über TCP-Verbindungen (Asio-Bibliothek) empfangen.
  2. Zeitbasierte Sortierung (BufferManager): Eingehende Datenblöcke werden basierend auf Zeitstempeln in „Timed Buffers" (Fenster von 100 ms, Kapazität 512 MB) sortiert. Dies entkoppelt die Netzwerkanlieferung von der Schreibgeschwindigkeit der Festplatte.
  3. Synchronisation: Da die Hardware-Uhr der Digitizer und die Systemuhr des Collectors leicht voneinander abweichen, wird eine Korrektur über die Trigger-Board-Hardwareuhr vorgenommen, um eine präzise zeitliche Ordnung zu gewährleisten.
  4. Ausgabe (OutputManager): Sortierte Datenblöcke werden in Ausgabepuffer kopiert und von einem dedizierten Schreib-Thread auf NVMe-SSDs geschrieben.
• Steuerung & Monitoring:
  • Ein zustandsbasierter Maschinen-Protokoll (State Machine) steuert den Zyklus (INIT, START, STOP) zwischen Collector und Readern, um Race Conditions zu vermeiden.
  • Konfigurationen werden aus einer PostgreSQL-Datenbank geladen.
  • Metriken werden an InfluxDB gesendet.
  • Ein Kafka-Messaging-Service publiziert Metadaten bei Abschluss von Dateien, um nachgelagerte Verarbeitungs-Pipelines zu triggern.
  • Eine RESTful HTTP-Schnittstelle ermöglicht die Fernsteuerung und Überwachung.

Datenformat:
Die Rohdaten bestehen aus Blöcken mit einem Header (enthält Protokoll, Größe, Kanal-ID, Zeitstempel) und ADC-Daten (16-bit Unsigned Integer). Die Sortierung erfolgt streng chronologisch nach dem eingebetteten Zeitstempel.

3. Schlüsselbeiträge

• Entwicklung von AURORA: Ein experiment-unabhängiges Framework, das speziell für die Anforderungen von PandaX-xT, aber anpassbar für andere Teilchenphysik-Experimente konzipiert wurde.
• Innovative Pufferstrategie: Die Einführung von „Timed Buffers" und einer asynchronen Producer-Consumer-Architektur ermöglicht es, Datenströme zu puffern, zu sortieren und erst dann zu schreiben. Dies verhindert Datenverluste bei Spitzenlasten und entkoppelt Netzwerkleistung von Festplatten-I/O.
• Hohe Skalierbarkeit: Das System unterstützt verteilte Serverarchitekturen (mindestens 8 DAQ-Server) und kann durch mehrere Collector-Instanzen horizontal skaliert werden, um zukünftige Kanalzahlen zu bewältigen.
• Automatisierung: Vollständige Integration von Konfigurationsmanagement, Echtzeit-Monitoring und automatisierten Datenverarbeitungspipelines via Kafka.

4. Ergebnisse und Leistungsbewertung

Die Leistung wurde auf einem dedizierten Testserver (Dell R7625, AMD EPYC 9554, NVMe SSD) und im realen Experiment getestet:

• Durchsatz-Benchmarks:
  • Der Kopiervorgang in die Zeitpuffer (copydata) erreichte >20 GB/s.
  • Der Kopiervorgang in die Ausgabepuffer (bufferreader) erreichte konstant >3 GB/s.
  • Der Festplattenschreibvorgang (XFS auf NVMe) erreichte 5,47 GB/s.
  • Das System übertrifft damit das Designziel von 1,6 GB/s deutlich.
• Stabilitätstest: Auf der Prototyp-Plattform von PandaX-20T (mit >1400 Kanälen) lief das System 58 Stunden ohne Fehler oder Datenkorruption durch. Dies übertrifft das Designziel von 24 Stunden.
• Validierung in PandaX-4T: Während einer Hochleistungs-Kalibrierungskampagne (AmC- und Rn-Quellen) wurde das System erfolgreich eingesetzt. Es bewältigte durchschnittliche Raten von 800 MB/s und Spitzenraten von 900 MB/s über mehrere Tage hinweg ohne Unterbrechung.

5. Bedeutung und Ausblick

AURORA stellt einen entscheidenden Fortschritt für die Datenakquisition in der Dunkle-Materie-Forschung dar.

• Zuverlässigkeit: Es garantiert die Integrität der physikalischen Daten auch unter extremen Bedingungen, was für seltene Ereignisse (wie Neutrinonachweise) essenziell ist.
• Flexibilität: Das Framework ist nicht an PandaX gebunden. Da der Kern (Pufferung, Sortierung, I/O) datenunabhängig ist, kann es leicht auf andere Experimente übertragen werden, sofern die Rohdaten Zeitstempel enthalten.
• Zukunftssicherheit: Die Architektur ermöglicht eine nahtlose Erweiterung auf noch höhere Kanalzahlen und Datenraten durch horizontale Skalierung. Zudem kann die sortierte Datenströmung für Echtzeit-Analysen (z. B. für Supernova-Neutrino-Bursts) genutzt werden.

Zusammenfassend bietet AURORA eine bewährte, hochperformante Lösung, die die Anforderungen der nächsten Generation von Teilchenphysik-Experimenten erfüllt und als Referenzdesign für zukünftige Großexperimente dienen kann.