Optimised neural networks for online processing of ATLAS calorimeter data on FPGAs

Este artículo presenta un estudio sobre la optimización de diversas arquitecturas de redes neuronales (Dense, CNN y Dense+RNN) mediante procedimientos bayesianos y Regresión Evidencial Profunda para ejecutarse en FPGAs del calorímetro de ATLAS, logrando una resolución de energía superior y una estimación de incertidumbre precisa en comparación con los métodos actuales bajo las condiciones de alta acumulación de colisiones (pile-up) esperadas en el HL-LHC.

Lo esencial

Imagina el detector ATLAS en el Gran Colisionador de Hadrones (LHC) como un micrófono gigante y ultrasensible que escucha al universo. Cada 25 nanosegundos, dos haces de protones chocan entre sí, creando una sinfonía caótica de partículas. El "micrófono" (específicamente, el calorímetro de argón líquido) intenta medir la energía de estas partículas escuchando los "pulsos" eléctricos que crean.

Sin embargo, hay un problema: la orquesta se está volviendo más ruidosa y concurrida. En la futura actualización (llamada HL-LHC), habrá tantos choques ocurriendo al mismo tiempo (un fenómeno llamado "pile-up" o apilamiento) que las señales se superpondrán como un montón desordenado de auriculares enredados. El método actual para desenredar estas señales (llamado Filtrado Óptimo) es como intentar escuchar un solo violín en un concierto de rock usando un oído muy viejo y lento: se confunde y pierde el volumen real.

Este artículo presenta una nueva solución: enseñar al cerebro del detector a pensar como una IA moderna.

Aquí está el desglose de lo que hicieron, utilizando analogías sencillas:

1. El Desafío: Un Cerebro Diminuto y Veloz

El detector no tiene una supercomputadora para procesar los datos. Tiene que tomar decisiones instantáneamente, justo donde se recolectan los datos, utilizando chips especializados llamados FPGAs (Field-Programmable Gate Arrays). Piensa en estos FPGAs como calculadoras diminutas y ultra rápidas que tienen reglas muy estrictas:

• Velocidad: Deben decidir la energía de una partícula en menos tiempo del que tarda un colibrí en batir sus alas (125 nanosegundos).
• Tamaño: Tienen muy poco espacio de memoria. No puedes instalar un programa de software masivo y pesado en ellos.

2. La Solución: Nuevas "Recetas" de Redes Neuronales

Los investigadores intentaron enseñar a estas calculadoras diminutas a reconocer las señales desordenadas utilizando Redes Neuronales (modelos de IA). Probaron cuatro diferentes "recetas" (arquitecturas) para ver cuál podía desenredar el ruido mejor sin romper los límites de velocidad o tamaño:

• La RNN (Red Neuronal Recurrente): Imagina a una persona leyendo una historia palabra por palabra, recordando la palabra anterior para entender la actual. Esto es bueno para las secuencias, pero en este entorno congestionado, se volvió demasiado grande y lenta.
• La CNN (Red Neuronal Convolucional): Imagina mirar un patrón a través de una ventana deslizante, como una cámara de seguridad escaneando un pasillo. Mira un fragmento de la señal a la vez para encontrar formas. Esto funcionó muy bien.
• La Red Densa (Dense Network): Imagina un equipo de expertos donde todos hablan con todos para resolver un rompecabezas. Esto también funcionó muy bien.
• El Híbrido "Dense + RNN": Una mezcla de las dos, intentando obtener lo mejor de ambos mundos.

3. El Proceso de Ajuste: La "Búsqueda Inteligente"

Los investigadores no solo adivinaron qué receta era la mejor. Utilizaron un proceso de Optimización Bayesiana.

• La Analogía: Imagina que estás tratando de encontrar la temperatura perfecta para hornear un pastel, pero solo tienes unos pocos intentos antes de que el horno se rompa. No adivinas al azar; usas un asistente inteligente que dice: "Bien, probamos a 180°C y quedó muy seco. Probemos a 190°C, pero quizás con un poco menos de harina".
• Utilizaron este "asistente inteligente" para equilibrar dos objetivos contrapuestos: Precisión (obtener la energía correcta) vs. Tamaño (mantener el código lo suficientemente pequeño para el chip). Encontraron un "punto ideal" donde la IA era lo suficientemente pequeña para caber pero lo suficientemente inteligente como para superar al método antiguo.

4. Los Resultados: Una Imagen Más Clara

Cuando probaron estos nuevos modelos de IA contra el método de "Filtrado Óptimo" tradicional:

• Mejor Precisión: Los nuevos modelos de IA (Dense y CNN) pudieron medir la energía con una precisión de aproximadamente 80 MeV (una unidad de energía muy pequeña). El método antiguo y la RNN fueron menos precisos (alrededor de 90 MeV).
• Sin Subestimación: El método antiguo tendía a "bajar el volumen" a las señales, pensando que la energía era menor de lo que realmente era. Los nuevos modelos de IA obtuvieron el volumen correcto.
• Eficiencia: Los modelos ganadores eran diminutos (usando menos de 500 "operaciones matemáticas"), demostrando que podían caber en el hardware.

5. La Función Extra: "¿Qué tan seguro estás?"

Normalmente, la IA te da una respuesta pero no un índice de confianza. Es como una aplicación del clima que dice "lloverá" sin decirte si hay un 50% de probabilidad o un 99%.

• Los investigadores añadieron una técnica especial llamada Regresión Evidencial Profunda (Deep Evidential Regression).
• La Analogía: Esto es como darle a la IA un "medidor de confianza". Ahora, cuando la IA dice: "Esta partícula tiene 50 GeV de energía", también puede decir: "Estoy un 95% seguro de esto", o "Estoy un poco confundido porque el ruido fue extraño".
• Descubrieron que este medidor de confianza era preciso. No hizo que la IA fuera más lenta o más grande, pero les dio a los científicos una forma de saber qué mediciones eran confiables.

Resumen

El artículo demuestra que, mediante el uso de modelos de IA inteligentes y diminutos (específicamente redes Dense y CNN) ajustados con un método de "búsqueda inteligente", el detector ATLAS puede actualizarse para manejar el caos de las futuras colisiones de alta energía. Estos nuevos modelos son más rápidos, más precisos e incluso pueden decirle a los científicos qué tan seguros deben estar de los datos, todo esto mientras caben dentro de los chips diminutos y rápidos del propio detector.

Resumen técnico

Resumen Técnico: Redes Neuronales Optimizadas para el Procesamiento de Datos de Calorímetros ATLAS en Línea

Planteamiento del Problema
El Gran Colisionador de Hadrones de Alta Luminosidad (HL-LHC) introducirá un apilamiento de señales (pile-up) extremo, con hasta 200 colisiones protón-protón simultáneas por cruce de haces. Este entorno degrada el rendimiento del algoritmo actual de Filtrado Óptimo (OF) utilizado en los calorímetros de Argón Líquido (LAr) de ATLAS, particularmente en la reconstrucción de energía cuando los pulsos se solapan. La actualización de Fase II de la electrónica de lectura de LAr introduce nuevo hardware basado en FPGAs INTEL Agilex 7. Estas FPGAs ofrecen una mayor capacidad de procesamiento, pero imponen restricciones estrictas de latencia (inferior a 125 ns) y tamaño de red (limitado a aproximadamente 500 operaciones de multiplicación-acumulación, o MACs, por celda) para la reconstrucción de energía en línea. El desafío consiste en desarrollar arquitecturas de redes neuronales (NN) que superen al algoritmo OF en resolución de energía bajo un alto pile-up, cumpliendo al mismo tiempo con estas severas restricciones de hardware y proporcionando estimaciones de incertidumbre fiables por evento.

Metodología
El estudio evalúa cuatro arquitecturas de redes neuronales diseñadas para predecir la energía transversal depositada en una celda del calorímetro utilizando muestras de pulsos digitalizadas como entrada. Los datos de entrada incluyen muestras de pre-depósito (para contabilizar las distorsiones de pulso de colisiones previas) y muestras de post-depósito (para capturar la forma del pulso del depósito de energía objetivo).

1. Arquitecturas Evaluadas:

   • Red Neuronal Recurrente (RNN): Procesa las muestras secuencialmente. Aunque es eficiente para series temporales, las RNN estándar requieren dimensiones internas grandes para capturar dependencias de largo alcance, lo que suele exceder los límites de recursos de la FPGA para secuencias largas.
   • Red Neuronal Convolucional (CNN): Utiliza filtros 1D y 2D deslizantes sobre las muestras de entrada. Aprovecha el uso compartido de pesos y reutiliza computaciones de cruces de haces anteriores para reducir la latencia.
   • Dense+RNN: Un enfoque híbrido donde una capa densa procesa las muestras de pre-depósito para inicializar una secuencia RNN para las muestras de post-depósito, con el objetivo de equilibrar las ventajas de la RNN con un coste computacional reducido.
   • Staged Dense (Denso por Etapas): Una arquitectura de múltiples etapas que utiliza únicamente capas densas. Las muestras de pre-depósito se procesan en una primera etapa para corregir las distorsiones, las cuales se combinan con las muestras de post-depósito en una segunda etapa. Esto permite la pre-computación de la primera etapa, minimizando la latencia.

2. Estrategia de Optimización:
   Se empleó un procedimiento de optimización bayesiana para ajustar los hiperparámetros (p. ej., número de muestras de pre/post-depósito, dimensiones de capa, tamaños de núcleo), con la función objetivo equilibrando la resolución de energía frente al tamaño de la red (conteo de MACs), aplicando penalizaciones para arquitecturas que excedieran los 500 MACs y penalizaciones severas más allá de los 850 MACs para asegurar la viabilidad en la FPGA.

3. Estimación de Incertidumbre:
   Para abordar la necesidad de estimaciones de incertidumbre de energía por evento sin el coste computacional de las Redes Neuronales Bayesianas (que requieren muestreo), los autores implementaron la Regresión Evidencial Profunda (DER). Esta técnica modifica la capa final de la red Dense para producir los parámetros de una distribución Normal-Inversa-Gamma, permitiendo la inferencia tanto de la energía predicha como de sus incertidumbres asociadas, tanto aléatricas (ruido de los datos) como epistémicas (incertidumbre del modelo).

4. Simulación y Entrenamiento:
   Las redes fueron entrenadas y probadas en datos simulados utilizando el kit de herramientas AREUS, simulando un escenario de pile-up de peor caso ($\langle\mu\rangle = 200$) con eventos de dispersión dura que van desde 0 a 130 GeV. Se utilizó un conjunto de datos de 13 millones de eventos para la evaluación final con el fin de minimizar las fluctuaciones estadísticas.

Resultos Clave

• Resolución de Energía: Las arquitecturas optimizadas Dense, CNN y Dense+RNN lograron una resolución de energía transversal de aproximadamente 80 MeV. Esto supera tanto al algoritmo OF actual como a la arquitectura RNN (que logró ~90 MeV).
• Precisión de la Escala de Energía: A diferencia del algoritmo OF y de las RNN estándar, que subestiman sistemáticamente la energía (el OF ignora el pile-up en tiempo real, y las RNN no logran capturar dependencias de largo alcance con entradas limitadas), las redes Dense, CNN y Dense+RNN reproducen con precisión la escala de energía en todo el rango dinámico.
• Viabilidad de Hardware: Todas las arquitecturas exitosas (Dense, CNN, Dense+RNN) fueron optimizadas para utilizar menos de 500 unidades MAC, lo que las hace aptas para su implementación en las FPGAs Agilex 7 dentro de las estrictas restricciones de latencia.
• Rendimiento de la Incertidumbre: La implementación de DER añadió un gasto computacional mínimo. La incertidumbre predicha ($\delta_{pred}$) resultó ser consistente, en promedio, con la diferencia real entre la energía verdadera y la predicha. La distribución de pull $(E_{pred} - E_{true})/\delta_{pred}$ arrojó una desviación estándar de 0.75, lo que indica una ligera sobreestimación de la incertidumbre, pero una fiabilidad general. El análisis mostró que la incertidumbre epistémica domina, lo que sugiere potencial de mejora con conjuntos de datos más grandes o arquitecturas refinadas.

Significancia y Reivindicaciones
El artículo afirma demostrar que los algoritmos modernos de aprendizaje automático pueden integrarse con éxito en la cadena de lectura en línea de los calorímetros LAr de ATLAS. La significancia principal reside en el equilibrio exitoso entre resolución y restricciones de hardware:

• El estudio demuestra que las arquitecturas Dense y CNN pueden mejorar la resolución de energía en aproximadamente un 8% comparado con el método OF heredado, permaneciendo dentro de los límites estrictos de MAC de la arquitectura de hardware de la FPGA de Fase II.
• Establece que las muestras de pre-depósito son críticas para capturar las distorsiones de pulso, haciendo que los enfoques de pura RNN sean menos competitivos debido a su intensidad de recursos para secuencias largas.
• Introduce un método práctico para la estimación de la incertidumbre por evento mediante la Regresión Evidencial Profunda, que no aumenta significativamente los costes de inferencia. Esta capacidad se presenta como un paso hacia una mejor selección de celdas de energía en algoritmos de agrupamiento (clustering), permitiendo una reconstrucción más precisa de objetos físicos como electrones y fotones en entornos de alto pile-up.

Los autores concluyen que estas redes optimizadas son adecuadas para el despliegue en FPGA y representan un camino viable para la actualización de Fase II de ATLAS, ofreciendo un rendimiento superior a los algoritmos actuales sin comprometer los estrictos requisitos de latencia y recursos de los sistemas de disparo (trigger) y lectura.