A Modular Zero-Dead-Time Data Acquisition and Real-Time GPU Processing Platform for High Throughput Physics Experiments

Este artigo apresenta uma plataforma modular definida por software que integra digitalizadores PCIe de alta largura de banda com GPUs de consumo para alcançar aquisição de dados contínua, sem tempo morto, e processamento em tempo real para experimentos de física de alto rendimento, demonstrada com sucesso na busca por matéria escura WISPLC com vazão sustentada de 1 GB/s e perda de dados negligenciável.

O essencial

Imagine que você está tentando gravar uma orquestra sinfônica tocando em velocidade relâmpago. Nos velhos tempos, se você quisesse analisar a música em tempo real, precisava de uma máquina enorme e construída sob medida (como um robô especializado) que era incrivelmente rápida, mas muito cara, difícil de programar e complicada de alterar se você quisesse ouvir um instrumento diferente.

Este artigo apresenta uma nova maneira de realizar essa gravação e análise usando uma abordagem "modular". Em vez de um robô personalizado, a equipe construiu um sistema usando componentes de computador de alta velocidade padrão (como os encontrados em PCs para jogos) combinados com um programa de software inteligente. Eis como funciona, dividido em conceitos simples:

1. O Problema: O "Engarrafamento"

Em experimentos de física de alta velocidade, os dados chegam mais rápido do que uma rodovia durante o horário de pico.

• O Jeito Antigo: Sistemas tradicionais usam hardware especializado (FPGAs) para lidar com isso. É como ter um policial dedicado e super-rápido dirigindo o tráfego. Funciona perfeitamente, mas construir e alterar as instruções do policial leva meses de treinamento especializado e custa uma fortuna.
• O Jeito Novo: Esta equipe percebeu que poderiam usar a placa gráfica (GPU) de um computador padrão — o mesmo tipo usado para jogar videogames — para fazer o trabalho pesado. É como contratar uma equipe de milhares de trabalhadores eficientes e de prateleira em vez de um robô caro e construído sob medida.

2. A Solução: Um Pipeline de "Tempo Morto Zero"

O maior medo ao gravar dados rápidos é o "tempo morto". Esta é uma fração minúscula de segundo em que o sistema para de gravar para processar o que acabou de ouvir. Se você perder uma batida, os dados ficam arruinados.

Os autores construíram um sistema que afirma ter tempo morto zero.

• A Analogia: Imagine uma esteira rolante em uma fábrica. Geralmente, quando a esteira para para deixar um trabalhador embalar uma caixa, a esteira para e a próxima caixa espera.
• O Truque Deles: Eles construíram um sistema onde a esteira nunca para. Enquanto um trabalhador (a GPU) está embalando a caixa atual, outro trabalhador já está pegando a próxima caixa, e um terceiro está preparando a seguinte. Eles usam um sistema de "callback", que é como um temporizador que diz: "Ei, assim que você tiver uma caixa cheia de dados, processe-a imediatamente, depois volte à esteira instantaneamente."
• O Resultado: Eles provaram que, ao longo de uma gravação de 10 minutos, não perderam uma única "batida" de dados. O sistema é tão preciso que, se tivesse perdido dados, seria menos de um trilionésimo do tempo total.

3. O Hardware: Uma "Caixa à Prova de Som" Personalizada

Como estão usando componentes de computador poderosos (GPUs) que podem criar ruído elétrico, tiveram que ter cuidado.

• O Escudo: Eles construíram uma caixa de alumínio personalizada (uma gaiola de Faraday) para segurar o cartão de gravação sensível. Pense nisso como uma cabine à prova de som para um cantor. Isso mantém o "ruído" dos ventiladores e fontes de alimentação do computador de atrapalhar os sinais de física delicados que eles estão tentando ouvir.
• Resfriamento: Como a caixa é apertada, adicionaram ventiladores e dissipadores de calor para manter a eletrônica de esquentar demais, garantindo que a gravação permaneça estável por semanas seguidas.

4. O "Monstro de Três Cabeças" (Configuração Multi-GPU)

Para lidar com a quantidade massiva de dados, eles não usaram apenas uma placa gráfica; usaram três.

• A Linha de Montagem: Eles dividiram o trabalho em três etapas, como uma linha de montagem em uma fábrica de carros:
  1. GPU 1: Converte números brutos em tensão física (como traduzir um idioma estrangeiro).
  2. GPU 2: Faz a matemática complexa (Transformadas Rápidas de Fourier) para transformar o som em um espectro de frequências (como transformar uma música em uma partitura).
  3. GPU 3: Média os resultados e calcula estatísticas.
• A Troca: Mover dados entre essas três placas leva um pouco mais de tempo (como passar uma peça de carro ao longo de uma linha longa), mas permite que eles usem muito mais memória do que uma única placa poderia conter. Isso permite que eles vejam detalhes muito finos nos dados.

5. Sucesso no Mundo Real: A Caça à "Matéria Escura"

Eles testaram este sistema em um experimento real chamado WISPLC, que está procurando por "matéria escura" (partículas invisíveis que compõem a maior parte do universo).

• A Vitória: Antes deste sistema, o experimento teria gerado tantos dados brutos que teriam necessidade de armazenar 21 Terabytes a cada único dia.
• O Conserto: Como seu sistema analisa os dados conforme eles chegam (média-os imediatamente), eles só precisaram armazenar os resultados finais e resumidos. Isso reduziu sua necessidade de armazenamento de 21 TB por dia para menos de 20 TB por mês.
• Estabilidade: O sistema funcionou continuamente por um mês inteiro sem travar, superaquecer ou perder dados.

Resumo

O artigo afirma ter construído uma alternativa flexível, mais barata e mais fácil de atualizar ao hardware científico caro e construído sob medida. Ao usar componentes de computador padrão e software inteligente, eles criaram um sistema de gravação de "tempo morto zero" que pode lidar com fluxos massivos de dados, analisá-los instantaneamente e armazenar apenas as partes importantes. Eles provaram que funciona executando com sucesso um experimento de matéria escura de um mês sem um único erro.

Resumo técnico

Resumo Técnico: Uma Plataforma Modular de Aquisição de Dados com Tempo Morto Zero e Processamento em Tempo Real em GPU

Declaração do Problema
Experimentos físicos modernos de alto rendimento geram volumes de dados crescentes que desafiam os pipelines tradicionais de aquisição de dados (DAQ). Sistemas convencionais frequentemente dependem de processamento offline, o que é insuficiente para buscas flexíveis de sinais transitórios e gerenciamento de armazenamento. Embora soluções baseadas em hardware, utilizando Arrays de Portas Programáveis em Campo (FPGAs) ou Sistemas de Rádio Frequência em Chip (RFSoCs), ofereçam latência determinística e alta eficiência, elas apresentam gargalos significativos de desenvolvimento. Estes incluem a exigência de expertise especializada em linguagem de descrição de hardware (HDL) (por exemplo, VHDL, Verilog), tempos de compilação longos, ciclos de depuração complexos e custos de entrada elevados. Além disso, a natureza rígida das arquiteturas de hardware fixo torna difícil o desenvolvimento iterativo de algoritmos em ambientes experimentais.

Metodologia
Os autores propõem uma plataforma DAQ modular e definida por software que integra conversores analógico-digitais (ADCs) PCIe de alta largura de banda com Unidades de Processamento Gráfico (GPUs) padrão de nível consumidor. O sistema é projetado para alcançar aquisição de dados contínua com tempo morto zero e processamento em tempo real utilizando NVIDIA CUDA.

• Arquitetura de Hardware: O sistema central utiliza digitalizadores da série SPCM da Spectrum Instrumentation (M4i.4420-x8 e M2p.5941-x8) acoplados a uma CPU multithread e múltiplas GPUs compatíveis com CUDA. Para mitigar a interferência eletromagnética (EMI) de componentes do host, o cartão ADC é fisicamente isolado dentro de uma gaiola de Faraday de alumínio personalizada de 10 mm de espessura, equipada com resfriamento ativo. A plataforma suporta uma configuração de três GPUs (duas NVIDIA RTX 2080 Ti e uma RTX A4000) para superar as limitações de VRAM de placas consumidoras individuais, permitindo larguras de banda de resolução mais altas.
• Arquitetura de Software: O sistema emprega uma arquitetura multithread em C/C++ usando Threads POSIX (pthreads). Apresenta um design orientado a callbacks, onde um thread dedicado de trabalho do ADC gerencia o buffer circular FIFO do hardware. Quando os dados disponíveis excedem um limite definido pelo usuário, uma função de callback fornecida pelo usuário é invocada. Esta abstração permite que os usuários implementem lógica de processamento personalizada (por exemplo, FFTs, filtragem, média estatística) sem gerenciar o encapsulamento de memória de baixo nível ou drivers de hardware.
• Pipeline de Processamento: O pipeline de processamento em tempo real envolve a conversão de dados ADC int16 intercalados para tensões de ponto flutuante, aplicação de funções de janela e computação de Transformadas Rápidas de Fourier (FFTs) usando a biblioteca cuFFT. Na configuração de múltiplas GPUs, a carga de trabalho é distribuída sequencialmente entre três GPUs: conversão de tipo na primeira, computação de FFT na segunda (que possui a maior VRAM) e média estatística na terceira. Esta distribuição sequencial evita a complexidade de cópias de memória com passo (strided) entre dispositivos físicos, embora introduza sobrecarga de transferência de RAM do host.

Principais Contribuições

1. Arquitetura Modular Definida por Software: Realização de um sistema DAQ que permite aquisição contínua de sinais de alto rendimento e processamento em tempo real usando digitalizadores PCIe padrão e GPUs consumidoras, eliminando a necessidade de firmware FPGA especializado.
2. Design Orientado a Callbacks: Implementação de um framework flexível onde os usuários definem a lógica de processamento via callbacks, permitindo o cálculo em tempo real de estatísticas derivadas (potência, variância, médias espectrais) e adaptação fácil a diferentes algoritmos de processamento de sinal.
3. Validação de Tempo Morto Zero: Demonstração in situ de capacidades de aquisição contínua, validada através de testes de continuidade de fase e execuções de estabilidade de longo prazo.
4. Distribuição de Carga de Trabalho Multi-GPU: Uma estratégia para distribuir tarefas de FFT e média entre múltiplas GPUs para alcançar altas larguras de banda de resolução, apesar das restrições individuais de VRAM.

Resultados

• Benchmarks de Desempenho: A plataforma sustenta processamento contínuo em taxas de amostragem de até 500 MSa/s, gerenciando vazões de dados de 1 GB/s. Na taxa máxima, o processamento total em tempo real consome aproximadamente 80% do tempo DAQ disponível, principalmente devido às latências de transferência de memória inter-GPU roteadas através da RAM do host. Na taxa inferior de 124 MSa/s usada no experimento WISPLC, o uso de processamento cai para cerca de 20%.
• Verificação de Tempo Morto Zero:
  • Análise de Limite de Arquivo: Testes injetando sinais senoidais em várias frequências (9 Hz a 19,8 MHz) confirmaram a continuidade de fase através dos limites de arquivo. A comparação estatística com simulações de Monte Carlo mostrou concordância com o modelo de tempo morto zero, descartando perda de dados durante os envoltórios de buffer.
  • Validação de Ponta a Ponta: Uma aquisição contínua de 10 minutos de um sinal de 3 MHz restringiu a perda fracional de dados para abaixo de $5,6 \times 10^{-12}$ (equivalente a um tempo morto hipotético de <3,33 ns), o que é menos que um único intervalo de amostra a 125 MSa/s.
• Estabilidade de Longo Prazo: O sistema operou continuamente por um mês sem falhas, corrupção de memória ou degradação de desempenho. A solução de resfriamento personalizada manteve temperaturas estáveis do ADC (~48°C), prevenindo deriva térmica.
• Impacto na Aplicação: No experimento de matéria escura WISPLC, a plataforma operou a 124 MSa/s com uma largura de banda de resolução de 0,1 Hz. A média espectral em tempo real reduziu os requisitos diários de armazenamento de dados de 21 TB para menos de 20 TB por mês.

Significado
O artigo estabelece que plataformas DAQ de alto desempenho, definidas por software e utilizando GPUs consumidoras, podem substituir efetivamente pipelines de hardware especializados e rígidos (como FPGAs) para configurações laboratoriais de médio a grande porte. Ao aproveitar a programação padrão em C/C++ e CUDA, o sistema reduz significativamente a barreira de entrada para experimentos de alto rendimento, permitindo iteração rápida de algoritmos de processamento de sinal sem redesenhos de hardware. A capacidade demonstrada de manter tempo morto zero em altas taxas de amostragem enquanto realiza média complexa em tempo real oferece uma alternativa flexível e econômica aos sistemas tradicionais de conversor de banda base digital (DBBC) e soluções baseadas em FPGA. Os autores observam que, embora a implementação atual atenda a necessidades físicas específicas, a arquitetura é adaptável para aplicações mais amplas, incluindo síntese de sinal e análise de rede, desde que o hardware RF apropriado seja integrado.