AURORA: A High Performance DAQ Framework for Next-Generation Rare-Event Search Experiments

Dit artikel introduceert AURORA, een hoogwaardig, gedistribueerd DAQ-framework dat is ontworpen om de strenge bandbreedte-eisen van het PandaX-xT-experiment aan te kunnen en tegelijkertijd schaalbaar en experiment-agnostisch is voor toepassing in andere grootschalige deeltjes- en kernfysica-experimenten.

De kern

Wat is AURORA?

Stel je voor dat je een gigantische, ultra-gevoelige camera hebt die de diepste donkere hoeken van het universum fotografeert om sporen van donkere materie te vinden. Dit is wat het PandaX-xT-experiment doet.

Het probleem is dat deze camera niet één foto maakt, maar 3.000 verschillende sensoren tegelijkertijd laten werken. Ze schieten continu data af, net als een stroom van miljoenen regendruppels die in een zeer korte tijd op een dak vallen. Als je die stroom niet goed opvangt, loopt het dak over en gaat de data verloren.

AURORA is het nieuwe, superkrachtige "dak" en het "rioolstelsel" dat deze enorme data-stroom opvangt, ordenen en veilig opslaat, zonder dat er ook maar één druppel verloren gaat.

---

Het Probleem: De "Regendruppel"-Stroom

Vroeger (bij het vorige experiment, PandaX-4T) was het regenen al flink, maar het nieuwe experiment wordt een orkaan.

• De oude situatie: Het systeem kon ongeveer 300 MB per seconde aan.
• De nieuwe situatie: Tijdens kalibraties (testen met sterke bronnen) kan de data-stroom oplopen tot 1,6 Gigabyte per seconde. Dat is als een hele film per seconde opslaan, non-stop.
• Het risico: Het oude systeem liep vast bij 600 MB/s. Ze hadden iets nodig dat niet alleen sneller was, maar ook nooit moe werd en nooit de boodschappen vergat.

De Oplossing: Het AURORA-System

AURORA is ontworpen als een slim, verdeeld team van werknemers in plaats van één enkele superster. Hier is hoe het werkt, stap voor stap:

1. De Verzamelaars (De daq_readers)

Stel je voor dat je 8 grote vrachtwagens hebt (de servers). Elke vrachtwagen rijdt naar een groep sensoren (de digitizers) en pakt de data op.

• In plaats van alles zelf te sorteren, doen deze vrachtwagens alleen het ophalen. Ze vullen hun laadruimte en rijden razendsnel naar het centrale depot.
• Ze gebruiken speciale "snelle wegen" (10 Gbps netwerken) om de data over te dragen.

2. Het Centrale Depot (De collector)

Hier komt de echte magie van AURORA. In het oude systeem moesten de vrachtwagens wachten tot alles perfect was gesorteerd voordat ze mochten lossen. Dat veroorzaakte files.
AURORA gebruikt een slimme drie-staps strategie:

• Stap A: De Wachtzaal (Buffering)
  De data komt binnen en wordt direct in tijdsgebonden vakken gegooid. Denk aan een postkantoor waar brieven niet direct worden bezorgd, maar eerst in dozen worden gelegd met het label "09:00 - 09:10", "09:10 - 09:20", etc.

  • Waarom? Soms komt een briefje (data-pakketje) een seconde te laat door de post. Door te wachten op een heel tijdslot (bijv. 100 milliseconden), kan het systeem alle brieven van dat moment bij elkaar halen, zelfs als ze niet in de perfecte volgorde aankwamen.

• Stap B: De Sorteerders (Sorting)
  Zodra een tijdslot vol is, worden de brieven binnen dat vakje op datum en tijdstip gesorteerd. Dit gebeurt in het geheugen van de computer, heel snel.

• Stap C: De Opslag (Writing)
  Pas als alles perfect gesorteerd is, wordt het naar de harde schijf geschreven.

  • Het slimme trucje: Omdat het sorteren en het schrijven gescheiden zijn, kan het systeem blijven binnenkrijgen terwijl het vorige blokje wordt opgeslagen. Het is alsof de vrachtwagens blijven rijden terwijl de magazijnmedewerkers rustig aan het sorteren zijn.

Waarom is dit zo goed?

1. Geen files meer: Door de data eerst in tijdsblokken te stoppen en dan pas te sorteren, blokkeert het systeem niet als er even een vertraging is.
2. Ongebroken werking: Het systeem kan 24 uur lang (en zelfs 58 uur tijdens tests) non-stop werken zonder vast te lopen.
3. Veiligheid: Het systeem controleert elke stap. Als er iets misgaat, wordt het niet genegeerd; het wordt opgelost of de data wordt veilig bewaard.
4. Flexibiliteit: Het is niet alleen voor PandaX. Het is als een Lego-blok. Als je in de toekomst een nog groter experiment hebt, kun je gewoon meer "vrachtwagens" en "depots" toevoegen.

De Test

Tijdens de echte tests in het PandaX-4T experiment, waar de sensoren werden blootgesteld aan intense straling (alsof het regende met kogels), hield AURORA stand.

• Het haalde gemiddeld 800 MB/s.
• Piekmomenten van 900 MB/s werden zonder problemen verwerkt.
• Er ging geen enkele data verloren.

Conclusie

AURORA is als een slimme, onuitputtelijke logistieke manager voor de wetenschap. Het zorgt ervoor dat, hoe hard de sensoren ook "schreeuwen" met data, het systeem rustig blijft, alles netjes op tijd en volgorde opslaat, en wetenschappers later precies kunnen zien wat er in het universum is gebeurd. Het is klaar voor de toekomst, zelfs als de data-stroom nog groter wordt.

Technische samenvatting

Probleemstelling

De volgende generatie van het PandaX-experiment (PandaX-xT), gericht op het detecteren van donkere materie en zeldzame gebeurtenissen, vereist een aanzienlijke schaalvergroting ten opzichte van de huidige PandaX-4T installatie.

• Data-volume: Het toekomstige experiment zal meer dan 3.000 leeskanalen hebben (uiteindelijk tot 8.000), opererend met een bemonsteringssnelheid van 500 MSa/s.
• Bandbreedte-eisen: De verwachte continue data-rate is 300 MB/s, maar tijdens kalibratie met intense bronnen kan dit oplopen tot 1,6 GB/s.
• Beperkingen van bestaande systemen: Het huidige DAQ-systeem van PandaX-4T, gebaseerd op een triggerloze, gedistribueerde architectuur, is ontworpen voor maximaal 800 MB/s. Tijdens prototypes testen voor PandaX-20T faalde dit systeem om data-rates van ongeveer 600 MB/s stabiel te handhaven. Er was dus een dringende behoefte aan een robuuster, schaalbaarder en hoger presterend DAQ-framework dat data-integriteit garandeert zonder verlies, zelfs tijdens piekmomenten.

Methodologie: Het AURORA Framework

AURORA (Adaptable Unified Real-time Online Readout Architecture) is een nieuw, hoogpresterend, gedistribueerd DAQ-framework dat is ontworpen om schaalbaarheid, lage latentie en efficiënt hulpbronnengebruik te combineren.

1. Architectuur en Componenten:

• Gedistribueerde Leeslaag (DAQ Servers): Elke server draait een daq_reader-proces dat data leest van maximaal 28 digitizers (via SiTCP over optische vezels). Deze servers fungeren als TCP-servers.
• Aggregatielaag (Collector): Een centrale server (of meerdere voor schaalbaarheid) draait de collector. Deze ontvangt datastromen via directe 10 Gbps SFP+ verbindingen.
• Multi-stream Verwerking: Het systeem ondersteunt logische datastromen (bijv. TPC en VETO) die onafhankelijk worden verwerkt maar binnen een gemeenschappelijk timingkader vallen.
• Externe Diensten: Configuratie wordt opgehaald uit een PostgreSQL-database, monitoring-metrics worden naar InfluxDB gestuurd, en bestandsmetadata worden gepubliceerd via Kafka voor downstream verwerking.

2. Kerninnovaties in Data-Verwerking:

• Multi-level Buffering & Deferred Processing: In plaats van data direct naar schijf te schrijven, gebruikt AURORA een slimme bufferstrategie:
  • BufferManager: Ontvangen data-blokken worden tijdelijk opgeslagen in "timed buffers" (vensters van 100 ms). Dit compenseert netwerklatentie en asynchrone aankomst.
  • Sortering: Data wordt gesorteerd op basis van ingebouwde tijdstempels (gecorrigeerd met de hardware-klok van de triggerboard) binnen deze buffers.
  • OutputManager: Pas na sortering en validatie worden de data-blokken contigu geschreven naar de schijf.
• Asynchrone I/O: Het framework maakt gebruik van de C++ Asio-bibliotheek voor niet-blokkerende I/O. Data-lezen, bufferen en netwerkverzending worden volledig ontkoppeld via thread-pools en ringbuffers, wat race-conditions voorkomt en de doorvoer maximaliseert.
• State Machine Protocol: Een strikt gedefinieerd protocol (INIT, START, STOP) tussen de collector en de readers zorgt voor synchrone controle en stabiliteit van het gedistribueerde systeem.

3. Netwerk en Bestandsbeheer:

• Data wordt verzonden via een custom TCP-protocol.
• Bestanden worden chronologisch geschreven op NVMe SSD's, met metadata die direct naar een database en Kafka worden gestuurd voor geautomatiseerde workflows.

Belangrijkste Bijdragen

1. Ontwerp van AURORA: Een volledig nieuw, modulair DAQ-framework dat specifiek is ontworpen om de uitdagingen van de volgende generatie xenon-detectoren aan te pakken.
2. Schaalbare Architectuur: Het systeem is experiment-onafhankelijk en kan horizontaal worden geschaald door meerdere collector-nodes te gebruiken als de data-rate de capaciteit van één node overschrijdt.
3. Robuuste Data-Integriteit: Door het gebruik van tijdsgebaseerde buffers en hardware-klokcorrectie wordt gegarandeerd dat data in de juiste chronologische volgorde wordt opgeslagen, zelfs bij variërende netwerklatenties.
4. Volledige Automatisering: Integratie met Kafka, PostgreSQL en een RESTful HTTP-interface maakt een volledig geautomatiseerde workflow mogelijk voor configuratie, monitoring en downstream data-verwerking.

Resultaten en Prestaties

Het framework is uitgebreid getest en gevalideerd:

• Doorvoer (Throughput): Benchmarktests op een dedicated server (AMD EPYC 9554, NVMe SSD) tonen aan dat de kritieke interne fasen (copydata en bufferreader) een doorvoer van meer dan 3 GB/s halen. De schijf-I/O presteerde stabiel op 5,47 GB/s. Dit is ver boven de ontwerpdoelstelling van 1,6 GB/s.
• Stabiliteit: Op het prototype-platform voor PandaX-20T (met >1400 kanalen) draaide het systeem 58 uur continu zonder softwarefouten of data-corruptie, wat de ontwerpdoelstelling van 24 uur ruimschoots overtreft.
• Real-world Validatie: Tijdens hoge-rates kalibratiecampagnes van PandaX-4T (met bronnen zoals AmC en Rn) handhaafde het systeem gemiddelde data-rates van 800 MB/s en pieken tot 900 MB/s zonder onderbrekingen.
• Efficiëntie: Het systeem opereerde stabiel op een aggregatie van 1,4 GB/s met 176 digitizers tijdens tests.

Betekenis en Toekomstperspectief

AURORA biedt een bewezen, hoogpresterende oplossing voor de data-acquisitie van toekomstige grote-scale experimenten in de deeltjes- en kernfysica.

• Toekomstbestendig: Het framework is klaar voor de volledige implementatie van PandaX-xT en kan eenvoudig worden aangepast voor andere experimenten die data-blokken met tijdstempels genereren.
• Online Verwerking: De architectuur ondersteunt het toevoegen van real-time analyse en alert-systemen (bijv. voor supernova-neutrino's) zonder de basisdata-opslag te verstoren.
• Referentieontwerp: Het paper levert een referentieontwerp voor DAQ-systemen die hoge data-rates, data-integriteit en lange-termijn stabiliteit vereisen, wat essentieel is voor de volgende generatie zoektochten naar donkere materie en zeldzame fysische fenomenen.