A real-time demonstrator of track reconstruction with FPGAs at LHCb

Este artículo presenta un demostrador en tiempo real basado en FPGA para la reconstrucción de trayectorias a 30 MHz en el detector VELO de LHCb, detallando su arquitectura, distribución de datos y sincronización con constantes de alineación mientras procesa datos en vivo durante las operaciones de la Run 3 de LHCb.

Lo esencial

Imagina el Gran Colisionador de Hadrones (LHC) como una estación de tren masiva y de alta velocidad donde las partículas son los pasajeros. Cada segundo, 30 millones de "paquetes" de estas partículas chocan entre sí, creando una explosión caótica de datos. El experimento LHCb es como una cámara gigante que intenta tomar una fotografía de cada colisión individual para averiguar qué sucedió.

¿El problema? Hay demasiados datos. Si intentaras guardar cada fotografía individual, tu disco duro se llenaría instantáneamente y el ordenador se congelaría. Por lo general, un "portero" (un programa informático) se para en la puerta y descarta la mayoría de las fotografías, guardando solo las interesantes. Pero a medida que la estación de tren se vuelve más concurrida (más colisiones), el portero necesita trabajar más rápido y con más inteligencia.

Este artículo describe un nuevo "portero" superrápido construido utilizando chips informáticos especiales llamados FPGAs. Así es como funciona, explicado de forma sencilla:

1. La "Retina Artificial" (El Ojo Inteligente)

El equipo construyó un sistema al que llaman "Retina Artificial". Imagínalo como una gigantesca rejilla de seguridad de alta tecnología.

• La Rejilla: Imagina un tablero de ajedrez donde cada casilla es un trabajador diminuto e independiente.
• El Trabajo: A cada trabajador se le asigna un "patrón" específico de una trayectoria de partícula (una pista).
• El Proceso: Cuando una partícula golpea un sensor, envía una señal (un "impacto"). El sistema no solo busca un patrón; comprueba si ese impacto encaja en muchos patrones diferentes al mismo tiempo exacto.
• El Resultado: Si un impacto encaja bien en un patrón, ese trabajador se "excita" (como una bombilla que se enciende). Si suficientes trabajadores para un patrón específico se excitan, el sistema dice: "¡Ajá! ¡Hemos encontrado una pista!".

2. El Sistema de Tráfico (La Red de Distribución)

La parte más difícil es llevar los datos desde los sensores hasta los trabajadores correctos.

• El Problema: Un impacto de partícula podría encajar en varios patrones diferentes, lo que significa que necesita ser copiado y enviado a múltiples trabajadores. Esto crea un atasco de tráfico.
• La Solución: El equipo construyó un "sistema de autopistas" personalizado hecho de cables de fibra óptica (datos a velocidad de la luz). Diseñaron una máquina de clasificación inteligente (un conmutador) que organiza el tráfico.
• La Optimización: En lugar de enviar datos al azar, organizaron a los trabajadores de modo que los patrones similares estuvieran agrupados juntos. Esto es como organizar una biblioteca para que los libros sobre el mismo tema estén en el mismo estante, haciendo que sea mucho más rápido encontrar lo que necesitas. Esto evitó que el sistema se obstruyera.

3. El Test de Conducción (El Demostrador)

El equipo construyó un prototipo (un "demostrador") para probar esta idea.

• La Configuración: Utilizaron 8 placas informáticas potentes conectadas por cables de fibra óptica, todo cabiendo dentro de un solo armario de servidores.
• El Objetivo: Se centraron en una parte específica del detector llamada VELO (Localizador de Vértice), que es como la "puerta de entrada" del experimento donde ocurren las colisiones primero. Cubrieron aproximadamente 1/4 de esta área.
• La Simulación: Primero, alimentaron al sistema con datos falsos que imitan las colisiones reales del LHC. El sistema funcionó durante 10 días seguidos sin caerse, procesando datos a una velocidad de 19 millones de eventos por segundo. ¡Eso es increíblemente rápido! (El objetivo es 30 millones, pero están muy cerca).

4. La Prueba en el Mundo Real (Datos en Vivo)

La prueba real fue utilizar el sistema con datos en vivo mientras el LHC ejecutaba realmente experimentos de física.

• El Desafío: Los datos reales son desordenados y cambian constantemente. El sistema también necesitaba utilizar los "constantes de alineación" más actualizados (piensa en ellos como las coordenadas del mapa más recientes) para saber exactamente dónde estaban los sensores.
• El Resultado: Construyeron un puente especial para alimentar datos en vivo desde el sistema de monitoreo del experimento hacia su prototipo. El sistema funcionó sin problemas durante las corridas de física reales en julio y septiembre.
• El Resultado Final: Las pistas que encontró el prototipo se veían exactamente igual que las pistas encontradas por el software estándar, más lento. Demostró que el sistema funciona en el mundo real sin romper nada.

La Conclusión

Este artículo muestra que un nuevo tipo de hardware (FPGAs) dispuesto en un patrón de "Retina" puede actuar como un filtro superrápido para los datos de física de partículas. Procesó con éxito datos en tiempo real del LHC, manejando millones de colisiones por segundo sin verse desbordado.

El equipo concluye que esta tecnología está lista para la próxima gran actualización del LHC (Run 4). Al trasladar este trabajo pesado a estos chips rápidos, pueden ahorrar la potencia de los ordenadores principales para otras tareas, permitiendo que el experimento maneje aún más colisiones en el futuro.

Resumen técnico

Resumen Técnico: Un demostrador en tiempo real de reconstrucción de trayectorias con FPGAs en LHCb

Enunciado del Problema
Los experimentos de Física de Altas Energías (HEP) enfrentan desafíos crecientes en el flujo de datos y la complejidad, mientras que la Ley de Moore muestra signos de desaceleración. El experimento LHCb, específicamente para su Ejecución 3 y la futura "Actualización II" (que aumentará la luminosidad en un factor de 5 a 10), requiere arquitecturas de computación heterogéneas avanzadas para manejar el procesamiento de datos en tiempo real a la tasa completa de colisiones del LHC (30 MHz). Los desencadenadores de alto nivel (HLT) tradicionales basados en CPU/GPU podrían tener dificultades con el volumen masivo de datos y la necesidad de procesamiento de latencia cero sin multiplexación temporal ni búferes excesivos. El desafío consiste en desarrollar una solución de procesamiento paralelo escalable capaz de reconstruir trayectorias en tiempo real directamente desde la lectura del detector.

Metodología
Los autores presentan un demostrador basado en la arquitectura "Retina Artificial" (Retina), un procesador de rastreo personalizado altamente paralelizado implementado en Arrays de Puertas Programables en Campo (FPGA).

• Enfoque Algorítmico: La arquitectura Retina discretiza el espacio de parámetros de la trayectoria en una matriz de celdas ($M \times N$). Cada celda representa una trayectoria de referencia y contiene un motor de cálculo que calcula un "nivel de excitación" basado en la compatibilidad de los impactos entrantes del detector con dicha trayectoria de referencia. Esto imita una transformada de Hough. Los impactos contribuyen al acumulador con un peso determinado por su distancia desde el "receptor" de la trayectoria (intersección con la capa del detector), utilizando una distribución gaussiana. Los máximos locales en el mapa de excitación son identificados por las Unidades de Procesamiento de Trayectorias (TPU) para estimar los parámetros de las trayectorias candidatas.
• Implementación de Hardware: El demostrador utiliza ocho tarjetas FPGA Stratix 10 alojadas en PCIe (Bittware 520N) alojadas en un solo servidor, interconectadas mediante una red óptica rápida. El sistema está integrado en la instalación de Pruebas de Coprocesadores de LHCb, lo que le permite procesar datos en vivo de manera oportunista durante las ejecuciones de física sin interferir con el sistema estándar de Adquisición de Datos (DAQ).
• Red de Distribución: Un componente central es la red de distribución personalizada construida a partir de divisores modulares (2s), fusionadores (2m) y despachadores (2d, 4d, 8d). Esta red enruta los impactos desde la lectura del DAQ hacia las celdas FPGA relevantes. Para prevenir la congestión de la red causada por la multiplicación de impactos (donde un impacto puede contribuir a múltiples trayectorias), los autores implementaron una estrategia de optimización. Esto implica ordenar las TPU para emparejar aquellas con los impactos más comunes, retrasando así la duplicación de impactos hacia las capas más cercanas a las TPU. Además, el Conmutador Posterior se modificó a una configuración de despachador 8x16 para limitar la ocupación de la línea.
• Procesamiento de Datos: El sistema se probó en dos modos:
  1. Datos Simulados: Eventos generados a la luminosidad nominal de la Ejecución 3 ($2 \times 10^{33} \text{ cm}^{-2}\text{s}^{-1}$) se cargaron en memorias RAM internas.
  2. Datos en Vivo: Se desarrolló una cadena de datos personalizada para alimentar datos reales de colisiones de LHCb desde la granja de monitoreo al demostrador. Esta cadena incluía un "Comprobador de Alineación" (AlignmentChecker) para obtener constantes de alineación en tiempo real desde la Base de Datos de Condiciones y un "Decodificador de Transformación" (DecodeTransform) para convertir las coordenadas locales del sensor al sistema global de LHCb.

Contribuciones Clave

• Demostrador Prototipo: Construcción de un demostrador de tamaño considerable que cubre 16 de los 38 módulos VELO (Localizador de Vértice) (específicamente el cuadrante aguas abajo del lado derecho), representando una parte significativa del detector real.
• Red de Distribución Optimizada: Desarrollo de un algoritmo de ordenamiento específico para la red de conmutación que minimiza los factores de multiplicación de impactos en las capas intermedias, mejorando significativamente el rendimiento.
• Integración en Tiempo Real: Integración exitosa del sistema basado en FPGA con el entorno DAQ en vivo de LHCb, demostrando la capacidad de procesar datos reales de colisiones con constantes de alineación actualizadas en tiempo real.
• Sincronización: Implementación de un mecanismo para sincronizar la reconstrucción de trayectorias con las constantes de alineación del detector más actualizadas, un requisito crítico para un análisis físico preciso.

Resultados

• Rendimiento: El sistema alcanzó una tasa de eventos de 19.0 MHz al procesar datos simulados a la luminosidad nominal de la Ejecución 3. Esto representa una mejora masiva sobre una configuración de conmutador no optimizada, que arrojó solo 170 kHz bajo las mismas condiciones.
• Fiabilidad: El sistema funcionó sin interrupciones durante 10 días con datos simulados y operó sin problemas durante aproximadamente 60 días durante la toma de datos en vivo (mediados de julio y septiembre) sin caídas ni comportamiento anómalo.
• Precisión: Las trayectorias reconstruidas del demostrador mostraron un acuerdo cualitativo con la reconstrucción de software estándar de LHCb (HLT2) en términos de la distribución bidimensional de los parámetros de la trayectoria (espacio $u-v$). Se confirmó la consistencia a nivel de bits inyectando periódicamente paquetes de datos simulados en el flujo de datos en vivo, los cuales coincidieron con la salida de un emulador de bits en C++.
• Limitaciones: La tasa alcanzada de 19.0 MHz está actualmente por un factor de 1.58 por debajo de la tasa promedio de cruce de haces objetivo del LHC de 30 MHz. Los autores señalan que la lógica de selección final (cortes de aceptación, eliminación de clones) aún no se había implementado en este demostrador.

Significado y Afirmaciones
El artículo afirma que la tecnología Retina ha alcanzado un nivel de madurez adecuado para aplicaciones en el mundo real en futuros experimentos de HEP. La demostración exitosa del procesamiento de datos en vivo de LHCb a altas tasas, combinada con la identificación de optimizaciones específicas de firmware y arquitectura (como aumentos adicionales de la frecuencia del reloj y mejoras en la cadena lógica), sugiere que la tasa objetivo de 30 MHz está al alcance utilizando la generación actual de hardware.

En consecuencia, la colaboración LHCb ha presentado una propuesta al comité científico del LHC para implementar una primera aplicación física de la arquitectura Retina en la Ejecución 4. Esta aplicación tiene como objetivo descargar partes de la reconstrucción de rastreo a FPGAs que operan de manera transparente a nivel de lectura, ahorrando así potencia de computación del HLT1. El trabajo valida la viabilidad de utilizar arquitecturas de "Retina Artificial" basadas en FPGA para manejar las tasas de datos extremas anticipadas en futuras ejecuciones de alta luminosidad.