A Modular Zero-Dead-Time Data Acquisition and Real-Time GPU Processing Platform for High Throughput Physics Experiments

Este artículo presenta una plataforma modular definida por software que integra digitalizadores PCIe de alto ancho de banda con GPUs de consumo para lograr adquisición de datos continua sin tiempo muerto y procesamiento en tiempo real para experimentos de física de alto rendimiento, demostrada con éxito en la búsqueda de materia oscura WISPLC con un rendimiento sostenido de 1 GB/s y pérdida de datos insignificante.

Lo esencial

Imagina que intentas grabar una orquesta sinfónica tocando a la velocidad del rayo. En los viejos tiempos, si querías analizar la música en tiempo real, necesitabas una máquina masiva y construida a medida (como un robot especializado) que era increíblemente rápida pero muy costosa, difícil de programar y complicada de modificar si querías escuchar un instrumento diferente.

Este artículo presenta una nueva forma de realizar esta grabación y análisis mediante un enfoque "modular". En lugar de un robot personalizado, el equipo construyó un sistema utilizando componentes informáticos estándar de alta velocidad (como los que se encuentran en las computadoras para juegos) combinados con un programa de software ingenioso. Así es como funciona, desglosado en conceptos simples:

1. El Problema: El "Embotellamiento"

En los experimentos de física de alta velocidad, los datos llegan más rápido que una autopista durante la hora punta.

• La Vieja Forma: Los sistemas tradicionales utilizan hardware especializado (FPGA) para manejar esto. Es como tener un policía dedicado y súper rápido dirigiendo el tráfico. Funciona perfectamente, pero construir y cambiar las instrucciones del policía requiere meses de capacitación especializada y cuesta una fortuna.
• La Nueva Forma: Este equipo se dio cuenta de que podían utilizar la tarjeta gráfica (GPU) de una computadora estándar —el mismo tipo que se usa para jugar videojuegos— para realizar el trabajo pesado. Es como contratar a un equipo de miles de trabajadores eficientes y de producción en masa en lugar de un solo robot costoso y construido a medida.

2. La Solución: Una "Tubería" de "Tiempo Muerto Cero"

El mayor temor al grabar datos rápidos es el "tiempo muerto". Esto es una fracción diminuta de segundo en la que el sistema deja de grabar para procesar lo que acaba de escuchar. Si te pierdes un compás, los datos quedan arruinados.

Los autores construyeron un sistema que afirma tener tiempo muerto cero.

• La Analogía: Imagina una cinta transportadora en una fábrica. Por lo general, cuando la cinta se detiene para que un trabajador empaque una caja, la cinta se detiene y la siguiente caja espera.
• Su Truco: Construyeron un sistema donde la cinta transportadora nunca se detiene. Mientras un trabajador (la GPU) está empacando la caja actual, otro trabajador ya está agarrando la siguiente caja, y un tercero está preparando la siguiente. Utilizan un sistema de "llamada de retorno" (callback), que es como un temporizador que dice: "Oye, en cuanto tengas una caja llena de datos, procesala inmediatamente, luego regresa a la cinta al instante".
• El Resultado: Demostraron que, durante una grabación de 10 minutos, no se perdió ni un solo "compás" de datos. El sistema es tan preciso que, si hubiera perdido datos, sería menos de una billonésima parte del tiempo total.

3. El Hardware: Una "Caja Aislada Acústicamente" Personalizada

Dado que están utilizando componentes informáticos potentes (GPUs) que pueden generar ruido eléctrico, tuvieron que ser cuidadosos.

• El Escudo: Construyeron una caja de aluminio personalizada (una jaula de Faraday) para contener la tarjeta de grabación sensible. Piensa en esto como una cabina insonorizada para un cantante. Mantiene el "ruido" de los ventiladores y las fuentes de alimentación de la computadora lejos de los delicados señales físicas que intentan escuchar.
• Refrigeración: Debido a que la caja es ajustada, añadieron ventiladores y disipadores de calor para evitar que los componentes electrónicos se sobrecalienten, asegurando que la grabación permanezca estable durante semanas a la vez.

4. El "Monstruo de Tres Cabezas" (Configuración Multi-GPU)

Para manejar la enorme cantidad de datos, no utilizaron solo una tarjeta gráfica; utilizaron tres.

• La Línea de Ensamblaje: Dividieron el trabajo en tres etapas, como una línea de ensamblaje en una fábrica de automóviles:
  1. GPU 1: Convierte números crudos en voltaje físico (como traducir un idioma extranjero).
  2. GPU 2: Realiza las matemáticas complejas (Transformadas Rápidas de Fourier) para convertir el sonido en un espectro de frecuencias (como convertir una canción en una partitura musical).
  3. GPU 3: Promedia los resultados y calcula estadísticas.
• El Compromiso: Mover datos entre estas tres tarjetas toma un poco de tiempo extra (como pasar una pieza de automóvil a lo largo de una línea larga), pero les permite utilizar mucha más memoria de la que podría contener una sola tarjeta. Esto les permite ver detalles muy finos en los datos.

5. Éxito en el Mundo Real: La Búsqueda de "Materia Oscura"

Probaron este sistema en un experimento real llamado WISPLC, que busca "materia oscura" (partículas invisibles que componen la mayor parte del universo).

• La Victoria: Antes de este sistema, el experimento habría generado tantos datos crudos que habrían necesitado almacenar 21 Terabytes cada día.
• La Solución: Debido a que su sistema analiza los datos a medida que llegan (promediándolos inmediatamente), solo necesitaban almacenar los resultados finales resumidos. Esto redujo sus necesidades de almacenamiento de 21 TB al día a menos de 20 TB al mes.
• Estabilidad: El sistema funcionó continuamente durante un mes completo sin caerse, sobrecalentarse o perder datos.

Resumen

El artículo afirma haber construido una alternativa flexible, más barata y más fácil de actualizar al hardware científico costoso y construido a medida. Al utilizar componentes informáticos estándar y software inteligente, crearon un sistema de grabación de "tiempo muerto cero" que puede manejar flujos masivos de datos, analizarlos instantáneamente y almacenar solo los bits importantes. Demostraron que funciona ejecutando con éxito un experimento de materia oscura de un mes de duración sin un solo fallo.

Resumen técnico

Resumen Técnico: Una Plataforma Modular de Adquisición de Datos sin Tiempo Muerto y Procesamiento en Tiempo Real con GPU

Enunciado del Problema
Los experimentos físicos modernos de alto rendimiento generan volúmenes de datos crecientes que desafían las pipelines tradicionales de adquisición de datos (DAQ). Los sistemas convencionales suelen depender de un procesamiento fuera de línea, lo cual es insuficiente para búsquedas flexibles de señales transitorias y para la gestión del almacenamiento. Aunque las soluciones basadas en hardware que utilizan Arrays de Puertas Programables en Campo (FPGA) o Sistemas de Radiofrecuencia en un Chip (RFSoC) ofrecen latencia determinista y alta eficiencia, presentan cuellos de botella significativos en el desarrollo. Estos incluyen la necesidad de experiencia especializada en lenguajes de descripción de hardware (HDL) (por ejemplo, VHDL, Verilog), tiempos de compilación prolongados, ciclos de depuración complejos y altos costos de entrada. Además, la naturaleza rígida de las arquitecturas de hardware fijo dificulta el desarrollo iterativo de algoritmos en entornos experimentales.

Metodología
Los autores proponen una plataforma DAQ modular y definida por software que integra convertidores analógico-digitales (ADC) de alto ancho de banda vía PCIe con Unidades de Procesamiento Gráfico (GPU) de grado consumidor estándar. El sistema está diseñado para lograr una adquisición de datos continua, sin tiempo muerto, y un procesamiento en tiempo real utilizando NVIDIA CUDA.

• Arquitectura de Hardware: El sistema central utiliza digitalizadores de la serie SPCM de Spectrum Instrumentation (M4i.4420-x8 y M2p.5941-x8) acoplados a una CPU multinúcleo y múltiples GPUs compatibles con CUDA. Para mitigar la interferencia electromagnética (EMI) de los componentes del host, la tarjeta ADC está físicamente aislada dentro de una jaula de Faraday personalizada de aluminio de 10 mm de espesor, equipada con refrigeración activa. La plataforma soporta una configuración de triple GPU (dos NVIDIA RTX 2080 Ti y una RTX A4000) para superar las limitaciones de VRAM de las tarjetas consumidoras individuales, permitiendo anchos de banda de resolución más altos.
• Arquitectura de Software: El sistema emplea una arquitectura multinúcleo en C/C++ utilizando Hilos POSIX (pthreads). Presenta un diseño impulsado por callbacks donde un hilo trabajador dedicado de ADC gestiona el búfer anillo FIFO del hardware. Cuando los datos disponibles superan un umbral definido por el usuario, se invoca una función de callback proporcionada por el usuario. Esta abstracción permite a los usuarios implementar lógica de procesamiento personalizada (por ejemplo, FFTs, filtrado, promediado estadístico) sin gestionar el envoltorio de memoria de bajo nivel ni los controladores de hardware.
• Pipeline de Procesamiento: El pipeline de procesamiento en tiempo real implica convertir los datos ADC int16 entrelazados a voltajes de punto flotante, aplicar funciones de ventana y calcular Transformadas Rápidas de Fourier (FFTs) utilizando la biblioteca cuFFT. En la configuración de múltiples GPUs, la carga de trabajo se distribuye secuencialmente a través de tres GPUs: conversión de tipos en la primera, cálculo de FFT en la segunda (que posee la mayor VRAM) y promediado estadístico en la tercera. Esta distribución secuencial evita la complejidad de las copias de memoria con pasos a través de dispositivos físicos, aunque introduce sobrecarga en la transferencia de RAM del host.

Contribuciones Clave

1. Arquitectura Modular Definida por Software: Materialización de un sistema DAQ que permite la adquisición continua de señales de alto rendimiento y el procesamiento en tiempo real utilizando digitalizadores PCIe estándar y GPUs de consumidor, eliminando la necesidad de firmware FPGA especializado.
2. Diseño Impulsado por Callbacks: Implementación de un marco flexible donde los usuarios definen la lógica de procesamiento mediante callbacks, habilitando el cálculo en tiempo real de estadísticas derivadas (potencia, varianza, promedios espectrales) y una adaptación sencilla a diferentes algoritmos de procesamiento de señales.
3. Validación de Tiempo Cero Muerto: Demostración in situ de capacidades de adquisición continua, validada mediante pruebas de continuidad de fase y ejecuciones de estabilidad a largo plazo.
4. Distribución de Carga de Trabajo Multi-GPU: Una estrategia para distribuir tareas de FFT y promediado a través de múltiples GPUs para lograr anchos de banda de resolución altos a pesar de las restricciones individuales de VRAM.

Resultados

• Benchmarks de Rendimiento: La plataforma mantiene un procesamiento continuo a tasas de muestreo de hasta 500 MSa/s, gestionando throughputs de datos de 1 GB/s. A la tasa máxima, el procesamiento en tiempo real total consume aproximadamente el 80% del tiempo de DAQ disponible, principalmente debido a las latencias de transferencia de memoria entre GPUs enrutadas a través de la RAM del host. A la tasa inferior de 124 MSa/s utilizada en el experimento WISPLC, el uso de procesamiento desciende a aproximadamente el 20%.
• Verificación de Tiempo Cero Muerto:
  • Análisis de Límites de Archivo: Las pruebas que inyectaban señales sinusoidales a diversas frecuencias (de 9 Hz a 19.8 MHz) confirmaron la continuidad de fase a través de los límites de archivo. La comparación estadística con simulaciones de Monte Carlo mostró acuerdo con el modelo de tiempo cero muerto, descartando la pérdida de datos durante los envoltorios del búfer.
  • Validación de Extremo a Extremo: Una adquisición continua de 10 minutos de una señal de 3 MHz limitó la pérdida fraccional de datos por debajo de $5.6 \times 10^{-12}$ (equivalente a un tiempo muerto hipotético de <3.33 ns), lo cual es menos que un solo intervalo de muestra a 125 MSa/s.
• Estabilidad a Largo Plazo: El sistema operó continuamente durante un mes sin caídas, corrupción de memoria ni degradación del rendimiento. La solución de refrigeración personalizada mantuvo temperaturas estables en el ADC (~48°C), previniendo la deriva térmica.
• Impacto en la Aplicación: En el experimento de materia oscura WISPLC, la plataforma operó a 124 MSa/s con un ancho de banda de resolución de 0.1 Hz. El promediado espectral en tiempo real redujo los requisitos diarios de almacenamiento de datos de 21 TB a menos de 20 TB por mes.

Significancia
El artículo establece que las plataformas DAQ de alto rendimiento definidas por software que utilizan GPUs de consumidor pueden reemplazar efectivamente pipelines de hardware especializados y rígidos (como FPGAs) para configuraciones de laboratorio de tamaño medio a grande. Al aprovechar la programación estándar en C/C++ y CUDA, el sistema reduce significativamente la barrera de entrada para experimentos de alto rendimiento, permitiendo una iteración rápida de algoritmos de procesamiento de señales sin rediseños de hardware. La capacidad demostrada de mantener tiempo cero muerto a altas tasas de muestreo mientras se realiza un promediado complejo en tiempo real ofrece una alternativa flexible y rentable a los sistemas tradicionales de convertidor de banda base digital (DBBC) y a las soluciones basadas en FPGA. Los autores señalan que, si bien la implementación actual aborda necesidades físicas específicas, la arquitectura es adaptable para aplicaciones más amplias, incluyendo síntesis de señales y análisis de redes, siempre que se integre el hardware de RF apropiado.