AURORA: A High Performance DAQ Framework for Next-Generation Rare-Event Search Experiments

O artigo apresenta o AURORA, um framework de aquisição de dados (DAQ) distribuído e de alto desempenho, projetado para atender às exigências de escalabilidade e baixa latência do experimento PandaX-xT, mas com arquitetura modular que o torna adaptável a outras grandes experiências de física de partículas e nuclear.

O essencial

Imagine que você está organizando a maior festa de detetives do universo, onde o objetivo é encontrar "fantasmas" invisíveis chamados Matéria Escura. Para isso, o experimento PandaX construiu um detector gigante cheio de sensores (como milhares de microfones ultra-sensíveis) dentro de um tanque de xenônio.

O problema? Esses sensores estão "gritando" dados o tempo todo. Quando o detector está calibrado ou em momentos de pico, a quantidade de informação é tão absurda que os sistemas antigos de computador não conseguiam acompanhar. Era como tentar encher um balde com uma mangueira de incêndio: a água (dados) transbordava e se perdia.

Aqui entra o AURORA, o novo sistema de "coleta de dados" (DAQ) criado por uma equipe de cientistas para resolver esse caos. Vamos explicar como ele funciona usando analogias do dia a dia:

1. O Problema: A Tempestade de Dados

O novo experimento (PandaX-xT) terá mais de 3.000 sensores. Cada um deles gera dados a uma velocidade incrível. Juntos, eles podem produzir 1,6 Gigabytes de dados por segundo.

• Analogia: Imagine tentar ler 1.600 livros inteiros em um único segundo. Se você tentar ler um por um, vai falhar. Você precisa de uma equipe superorganizada.

2. A Solução: O Sistema AURORA

O AURORA não é apenas um programa; é uma equipe de trabalho distribuída, dividida em duas partes principais: os Coletadores (os "escritores") e o Agente Central (o "editor-chefe").

A. Os Coletadores (Os "Escritores Rápidos")

Em vez de ter um único computador tentando ler tudo, o AURORA usa vários servidores (como vários estagiários rápidos).

• Como funciona: Cada servidor fica responsável por um grupo de sensores. Eles pegam os dados brutos e os enviam imediatamente para o Agente Central.
• A Mágica: Eles não param para organizar nada. Eles apenas pegam o que chega e jogam para frente, como um jogador de beisebol que só joga a bola para o próximo, sem pensar no jogo todo. Isso garante que nada fique parado na mão deles.

B. O Agente Central (O "Editor-Chefe")

Aqui é onde a mágica da organização acontece. Todos os dados chegam bagunçados, vindos de diferentes fontes e em tempos ligeiramente diferentes (como se os estagiários chegassem atrasados ou com pressa).

• A Estrutura de "Caixas de Tempo": O Agente Central tem uma série de caixas (buffers) que representam janelas de tempo de 100 milissegundos.
  • Imagine que você tem 100 caixas numeradas. Quando um dado chega, ele olha o "carimbo de tempo" (timestamp) e é colocado na caixa correta. Se o dado é de 10:00:01, vai para a caixa do segundo 1.
• O Truque da Espera: O sistema espera um pouco (cerca de 6 segundos) antes de começar a organizar. Por quê? Para garantir que todos os dados atrasados da rede tenham chegado. É como esperar que todos os convidados entrem na sala antes de começar a tirar a foto.
• A Organização: Depois de esperar, ele pega a caixa mais antiga, organiza os dados dentro dela em ordem cronológica perfeita e passa para a próxima etapa.

C. O Escritor Final (O "Arquivista")

Uma vez que os dados estão perfeitamente organizados em uma "caixa" de 100 milissegundos, um thread dedicado (um funcionário específico) pega essa caixa e a grava no disco rígido (o HD) de forma contínua e rápida.

• Analogia: É como se você tivesse uma esteira rolante onde os dados chegam bagunçados, são organizados em pilhas perfeitas por um robô, e depois uma máquina de empacotamento grava tudo em um arquivo final sem nunca parar.

3. Por que isso é tão impressionante?

• Velocidade: O sistema consegue processar mais de 3 GB por segundo em testes. Isso é quase o dobro do que o experimento precisa no pior cenário (1,6 GB/s). É como ter uma estrada de 4 pistas quando você só precisa de 2.
• Segurança: O sistema garante que nenhum dado seja perdido. Se a internet oscilar ou um computador travar, o AURORA tem "amortecedores" (buffers) que seguram os dados até que o problema seja resolvido.
• Estabilidade: Eles testaram o sistema por 58 horas seguidas sem um único erro. É como dirigir um carro por 2 dias sem parar para abastecer ou trocar de pneu.

4. O Futuro: Um Sistema "Adaptável"

O AURORA foi feito para o PandaX, mas foi desenhado para ser "agnóstico" (neutro).

• Analogia: Pense nele como um sistema de transporte público. Atualmente, ele está levando passageiros (dados) do experimento PandaX. Mas, se amanhã precisarmos levar passageiros de um novo experimento (ou até de outra cidade), basta trocar o "bilhete de embarque" (o formato dos dados) e o sistema continua funcionando perfeitamente.

Resumo em uma frase

O AURORA é um sistema de coleta de dados inteligente que usa uma equipe de servidores rápidos para pegar informações caóticas, organiza-as em caixas de tempo perfeitas e as salva em disco sem perder nem uma gota de informação, garantindo que os cientistas possam encontrar os "fantasmas" da matéria escura sem se preocupar com a tecnologia.

Resumo técnico

1. Problema e Motivação

O experimento PandaX-xT, a próxima geração da série de experimentos de detecção de matéria escura PandaX, enfrentará desafios significativos de aquisição de dados (DAQ).

• Escala e Volume de Dados: O detector final terá até 8.000 canais de leitura (com a fase inicial, PandaX-20T, operando com cerca de 3.000 canais).
• Taxa de Dados: A taxa de dados sustentada durante operações científicas deve atingir 300 MB/s, mas durante calibrações intensivas (fontes internas/externas) e com a adição do sistema de veto externo, a taxa pode dobrar, atingindo picos de 1,6 GB/s.
• Limitações do Sistema Atual: O sistema DAQ atual do PandaX-4T (arquitetura distribuída sem trigger, com 6 servidores) foi projetado para 800 MB/s. Testes de protótipo para o PandaX-20T revelaram que o sistema existente não conseguia sustentar taxas de aproximadamente 600 MB/s, indicando uma necessidade urgente de uma solução mais robusta, escalável e de alta performance para evitar perda de dados e garantir a integridade das informações físicas.

2. Metodologia e Arquitetura do Sistema

O artigo apresenta o AURORA (Adaptable Unified Real-time Online Readout Architecture), um novo framework de DAQ distribuído e de alto desempenho. A arquitetura é modular e baseada nas seguintes componentes:

• Estrutura Distribuída:

  • Frontend (daq_reader): Roda em servidores de aquisição dedicados. Cada servidor gerencia até 28 digitalizadores (digitizers) via links ópticos. O programa daq_reader lê os dados dos digitalizadores e os encaminha sem modificações.
  • Agregação (collector): Um servidor central (ou múltiplos, conforme escalabilidade) que recebe os fluxos de dados via conexões TCP de 10 Gbps.
  • Armazenamento: Dados são escritos em SSDs NVMe locais de alta velocidade no servidor de agregação.

• Gestão de Dados e Fluxo:

  • Streams Lógicos: O sistema trata dados de diferentes subsistemas (ex: TPC e Veto) como streams lógicos independentes, permitindo processamento concorrente.
  • Estratégia de Buffering Multi-nível: O núcleo da inovação do AURORA reside no servidor collector, que utiliza uma estratégia de buffering deferido e ordenação assíncrona:
    1. Buffer Temporizado (Timed Buffers): Os dados recebidos são organizados em buffers fixos de 100 ms baseados em carimbos de tempo (timestamps) extraídos dos cabeçalhos dos pacotes.
    2. Correção de Relógio: O sistema sincroniza os relógios dos digitalizadores com o relógio de hardware global (via placa de trigger) para corrigir drifts temporais, garantindo a ordem cronológica correta.
    3. Ordenação e Escrita: Após um período de espera (para acomodar latência de rede), os dados dentro de cada buffer são ordenados e transferidos para buffers de saída, onde um thread dedicado realiza a escrita no disco. Isso desacopla a recepção de dados da escrita em disco.

• Comunicação e Controle:

  • Utiliza a biblioteca Asio (C++) para I/O de rede assíncrona de alto desempenho.
  • Protocolo de controle baseado em máquina de estados (IDLE, INITIALIZING, RUNNING, etc.) para garantir consistência entre o collector e os daq_readers.
  • Interface de controle via HTTP RESTful para monitoramento e comando.
  • Integração com serviços externos: PostgreSQL para configurações, InfluxDB para métricas de monitoramento e Kafka para notificações de arquivos prontos (pipeline de processamento downstream).

3. Principais Contribuições

• Framework Agnóstico ao Experimento: Embora desenvolvido para o PandaX, o AURORA é projetado para ser adaptável a qualquer experimento de física de partículas ou nuclear que exija altas taxas de dados e blocos de dados com carimbos de tempo.
• Arquitetura de Alta Performance: A separação clara entre recepção, ordenação em memória e escrita em disco, combinada com o uso de buffers temporizados, resolve gargalos de E/S e garante a integridade dos dados.
• Escalabilidade Horizontal: O sistema suporta a adição de múltiplos servidores collector para lidar com taxas de dados que excedam a capacidade de um único nó, mantendo a alinhamento temporal global através de indexação por número de execução (run) e índice de arquivo.
• Resiliência e Estabilidade: O design de máquina de estados e o tratamento robusto de erros garantem operação contínua sem intervenção manual.

4. Resultados e Desempenho

Os testes de desempenho foram realizados em um servidor dedicado (Dell R7625 com processadores AMD EPYC 9554 e SSD NVMe Micron 7500 Pro):

• Benchmarks de Throughput:
  • Recepção e Cópia (copydata): Atingiu mais de 20 GB/s, não sendo um gargalo.
  • Ordenação e Transferência (bufferreader): Atingiu consistentemente mais de 3 GB/s, superando a meta de projeto de 1,6 GB/s.
  • Escrita em Disco: O subsistema de armazenamento demonstrou uma taxa de escrita estável de 5,47 GB/s.
• Testes de Estabilidade:
  • O sistema operou continuamente por 58 horas no protótipo do PandaX-20T (com mais de 1.400 canais) sem erros de software ou corrupção de dados, superando a meta de 24 horas.
• Validação em Ambiente Real:
  • Durante campanhas de calibração de alta taxa no final do PandaX-4T (com fontes AmC, geradores DD/DT e injeção de 220Rn), o sistema sustentou taxas médias de 800 MB/s e picos de 900 MB/s sem interrupções.

5. Significado e Impacto

O AURORA representa uma solução crítica para a próxima geração de experimentos de matéria escura e física de neutrinos.

• Viabilidade do PandaX-xT: Garante que o experimento possa operar com sua escala completa de canais e taxas de dados previstas, permitindo a coleta de dados de calibração intensiva sem perda de informação.
• Padrão para Futuros Experimentos: Oferece um modelo de referência para sistemas DAQ distribuídos que precisam lidar com volumes massivos de dados, priorizando a integridade temporal e a escalabilidade.
• Flexibilidade Operacional: A capacidade de integrar processamento online, geração de alertas e monitoramento em tempo real através da mesma infraestrutura de dados ordenados abre novas possibilidades para a detecção de eventos raros e transitórios (como explosões de supernovas).

Em resumo, o AURORA é um framework de aquisição de dados robusto, escalável e de alta performance, validado experimentalmente, que resolve os gargalos de throughput e estabilidade necessários para os avanços futuros na física de matéria escura.