AURORA: A High Performance DAQ Framework for Next-Generation Rare-Event Search Experiments

El artículo presenta AURORA, un marco de adquisición de datos distribuido de alto rendimiento y arquitectura modular diseñado para satisfacer las exigentes necesidades de ancho de banda y baja latencia del experimento PandaX-xT, logrando una capacidad de procesamiento superior a 3 GB/s y siendo adaptable a otros experimentos de física de partículas y nuclear.

Lo esencial

¡Claro que sí! Imagina que el experimento PandaX es como un gigante detective que busca las partículas más esquivas del universo (como la materia oscura). Para hacer esto, necesita escuchar el "susurro" de miles de sensores a la vez.

El problema es que estos sensores hablan tan rápido y tan fuerte que el sistema antiguo se ahogaba. Para solucionar esto, los científicos crearon AURORA, un nuevo sistema para capturar esos datos.

Aquí te explico cómo funciona AURORA usando analogías de la vida cotidiana:

1. El Problema: La "Fiesta" de Datos

Imagina que tienes una fiesta con 3,000 invitados (los sensores). Cada invitado te está gritando una historia diferente a una velocidad increíble.

• El sistema antiguo: Era como tener un solo camarero que intentaba anotar todas las historias en una libreta pequeña. Se agotaba, se confundía y perdía datos cuando la fiesta se ponía muy animada (como durante una calibración).
• La meta: Necesitamos un sistema que pueda escuchar a los 3,000 invitados simultáneamente, escribir todo lo que dicen sin perder ni una palabra, y guardar los libros en una biblioteca perfecta, incluso si la fiesta se vuelve un caos.

2. La Solución: AURORA (El Sistema de Entregas Inteligente)

AURORA no es una sola persona trabajando duro; es un equipo organizado con una estrategia muy inteligente.

A. Los Repartidores (Los Servidores daq_reader)

En lugar de un solo camarero, tienes 8 camiones de reparto (servidores).

• Cada camión se encarga de un grupo de invitados (sensores).
• Su trabajo es simple: Recogen las historias, las meten en cajas (paquetes de datos) y las envían inmediatamente a la central. No se detienen a pensar ni a ordenar nada; solo corren y entregan.

B. El Centro de Distribución (El Servidor collector)

Aquí es donde ocurre la magia. Todos los camiones llegan a un gran almacén central.

• El problema del desorden: Los camiones llegan a diferentes velocidades. El camión 1 llega con una historia del minuto 10, y el camión 2 llega con una historia del minuto 5. Si las guardamos tal cual, la historia no tendrá sentido.
• La solución de AURORA (El "Buffer" o Almacén de Espera):
  Imagina que el almacén tiene 100 estanterías temporales, cada una etiquetada con un intervalo de tiempo (ej. "Estantería 1: 0-100ms", "Estantería 2: 100-200ms").
  1. Cuando llega una caja, el sistema mira la etiqueta de tiempo y la pone en la estantería correcta, sin importar de qué camión vino.
  2. La trampa: A veces, el reloj del camión y el reloj del almacén no coinciden exactamente (un segundo de diferencia). AURORA tiene un "ajustador de tiempo" que consulta un reloj maestro (el Trigger Board) para corregir esos pequeños errores y asegurar que todo esté en orden perfecto.

C. El Escritor (El OutputManager)

Una vez que una estantería temporal está llena y el tiempo ha pasado (por ejemplo, han pasado 100 milisegundos), un escriba especializado toma todas las historias de esa estantería, las ordena cronológicamente (porque ya están en la estantería correcta) y las escribe en un libro gigante en la biblioteca (el disco duro).

• La ventaja: Mientras el escriba está escribiendo en el libro, los camiones siguen trayendo más cajas a las estanterías vacías. ¡Nadie espera a nadie! Esto hace que el sistema sea rapidísimo.

3. ¿Por qué es tan rápido? (Las Pruebas)

Los científicos probaron AURORA y descubrieron que:

• Velocidad: Puede manejar más de 3 gigabytes por segundo. ¡Es como descargar 600 películas de alta definición en un solo segundo!
• Estabilidad: Funcionó durante 58 horas seguidas sin fallar ni una vez. Imagina que un equipo de trabajo no necesita dormir ni ir al baño durante más de dos días y medio, y sigue trabajando perfecto.
• Resistencia: Incluso cuando los sensores gritaban más fuerte de lo normal (durante pruebas de calibración), el sistema no se rompió.

4. El Futuro: Un Sistema Adaptable

AURORA no es solo para este experimento. Es como un sistema de transporte público modular:

• Si mañana el experimento crece y tiene 10,000 sensores, simplemente agregamos más "camiones" y más "almacenes".
• Si otro laboratorio de física necesita un sistema similar, pueden usar AURORA cambiando solo la "etiqueta" de las cajas (el formato de los datos), pero manteniendo todo el resto del sistema.

En Resumen

AURORA es como un sistema de logística de clase mundial para datos científicos. En lugar de intentar ordenar el caos en tiempo real (lo cual es lento), lo deja fluir libremente, lo organiza en "cajas de tiempo" mientras viaja, y lo guarda perfectamente ordenado al final. Gracias a esto, los científicos de PandaX pueden seguir escuchando los secretos del universo sin perder ni un solo "susurro".

Resumen técnico

A continuación presento un resumen técnico detallado del artículo "AURORA: A High Performance DAQ Framework for Next-Generation Rare-Event Search Experiments" en español, estructurado según los puntos solicitados.

1. Problema y Contexto

El experimento PandaX-xT, la próxima generación de la serie de experimentos PandaX diseñada para la búsqueda de materia oscura y neutrinos, enfrentará desafíos significativos en la adquisición de datos (DAQ) debido a su escala masiva:

• Alto volumen de canales: El detector final tendrá hasta 8,000 canales de lectura (la fase inicial, PandaX-20T, utilizará ~3,000).
• Ancho de banda extremo: Se proyecta una tasa de datos sostenida de 300 MB/s en condiciones normales, pero durante calibraciones intensivas o con fuentes externas, la tasa puede alcanzar picos de 1.6 GB/s.
• Limitaciones del sistema actual: El sistema DAQ actual de PandaX-4T (basado en una arquitectura distribuida con 6 servidores) tiene un límite de diseño de 800 MB/s y falló al intentar sostener tasas de ~600 MB/s durante las pruebas de prototipos en el Instituto Tsung-Dao Lee.
• Necesidad crítica: Se requiere un sistema que garantice integridad de datos (cero pérdida), baja latencia, escalabilidad y capacidad de manejar ráfagas de datos sin interrupciones, superando el límite de 1.6 GB/s.

2. Metodología y Arquitectura

Para abordar estos desafíos, los autores desarrollaron AURORA (Adaptable Unified Real-time Online Readout Architecture), un marco DAQ de alto rendimiento y distribuido.

Arquitectura General

El sistema sigue un modelo cliente-servidor distribuido:

• Frontend (daq_reader): Se ejecuta en múltiples servidores de adquisición (mínimo 8). Cada servidor se conecta a hasta 28 digitizadores (que leen 8 PMT cada uno) mediante enlaces ópticos. El programa daq_reader lee los datos, los bufferiza y los envía sin modificar.
• Nodo de Agregación (collector): Un servidor central (o múltiples en escalado futuro) que recibe los flujos de datos de todos los daq_reader a través de conexiones TCP de 10 Gbps.
• Servicios Externos:
  • PostgreSQL: Almacena configuraciones de digitizadores y lógica de disparo.
  • InfluxDB: Recibe métricas de monitoreo en tiempo real.
  • Kafka: Publica metadatos de archivos y corridas para desencadenar pipelines de procesamiento downstream.

Estrategias Clave de Implementación

1. Bufferización Multinivel y Procesamiento Diferido:
   • El collector organiza los datos entrantes en buffers temporales (Time Buffers) de 100 ms.
   • Utiliza un mecanismo de ordenamiento diferido: los datos se reciben, se colocan en los buffers según su marca de tiempo (timestamp) y se ordenan cronológicamente solo cuando el buffer está listo para ser escrito. Esto desacopla la recepción de datos de la escritura en disco.
2. Sincronización de Relojes:
   • Para corregir la deriva entre el reloj del hardware (trigger board) y el reloj del sistema, el collector consulta periódicamente el reloj de hardware y ajusta las ventanas de tiempo de los buffers (±1 o ±2 ms) para garantizar un ordenamiento preciso.
3. Gestión de Flujos Múltiples (Multi-Stream):
   • El sistema soporta flujos de datos lógicos independientes (ej. TPC, Veto) que pueden provenir de diferentes servidores, manteniendo colas de buffer y ordenamiento separados para cada flujo antes de su almacenamiento.
4. Comunicación Asíncrona:
   • Uso de la librería Asio (C++) para operaciones de I/O asíncronas de alto rendimiento.
   • Protocolo de estado finito (State Machine) para controlar el ciclo de vida (Inicialización, Inicio, Parada) entre el collector y los daq_reader, evitando condiciones de carrera.

3. Contribuciones Clave

• Marco DAQ Escalable y Agnóstico: AURORA no está atado a un hardware específico; su diseño modular permite adaptarlo a otros experimentos de física de partículas siempre que los bloques de datos tengan marcas de tiempo fiables.
• Innovación en Ordenamiento: La estrategia de "ordenamiento diferido" dentro de buffers temporales permite manejar la latencia de red y la desincronización de relojes sin bloquear la recepción de datos, maximizando el rendimiento.
• Interfaz de Control Unificada: Implementación de una API RESTful (HTTP) para la gestión y monitoreo del sistema, separada de la lógica de procesamiento de datos.
• Pipeline Automatizado: Integración nativa con Kafka para notificar inmediatamente la finalización de archivos, permitiendo análisis en línea y transferencia de datos automatizada.

4. Resultados y Evaluación de Rendimiento

El sistema fue probado en plataformas dedicadas y en condiciones reales:

• Pruebas de Rendimiento (Benchmarks):
  • Ancho de banda interno: Las etapas críticas de copia de memoria (copydata y bufferreader) alcanzaron tasas superiores a 3 GB/s (el bufferreader es el cuello de botella, pero aún así supera el objetivo).
  • Escritura en Disco: El subsistema de almacenamiento (NVMe SSD) demostró una tasa de escritura estable de 5.47 GB/s.
  • Objetivo cumplido: El sistema supera el requisito de diseño de 1.6 GB/s, con un objetivo proyectado de >3 GB/s.
• Pruebas de Estabilidad:
  • En la plataforma de prueba de PandaX-20T (1,400+ canales), el sistema operó de manera continua durante 58 horas sin errores de software ni corrupción de datos, superando el objetivo de diseño de 24 horas.
• Validación en PandaX-4T:
  • Se desplegó durante campañas de calibración de alta tasa.
  • Logró sostener tasas promedio de 800 MB/s (durante 11-13 horas) y picos de 900 MB/s durante inyecciones de Radón, sin interrupciones.

5. Significancia e Impacto

• Habilitador para la Próxima Generación: AURORA es fundamental para el éxito de PandaX-xT, permitiendo explotar la sensibilidad de un detector de 40 toneladas de xenón que de otro modo estaría limitado por la capacidad de adquisición de datos.
• Robustez Operativa: La capacidad de manejar ráfagas de datos y mantener la integridad de los datos en entornos de alto ruido (calibración) es crucial para la física de eventos raros.
• Reutilizabilidad: Al ser un marco agnóstico al experimento, AURORA establece un estándar de referencia para futuros experimentos de física nuclear y de partículas que requieran adquisición de datos de alto volumen y baja latencia.
• Eficiencia de Recursos: La arquitectura distribuida permite un escalado horizontal (añadir más nodos collector) si el número de canales aumenta más allá de la capacidad de un solo nodo, asegurando la longevidad de la solución tecnológica.

En resumen, AURORA representa una solución técnica madura y probada que resuelve los cuellos de botella de ancho de banda y latencia, garantizando la recolección fiable de datos para la próxima era de la búsqueda de materia oscura.