FLARE: FCCee b2Luigi Automated Reconstruction And Event processing

El documento presenta FLARE, una herramienta de código abierto basada en b2luigi que automatiza y orquesta el flujo de trabajo de reconstrucción y procesamiento de eventos para FCCee y Key4HEP, incluyendo la gestión de datos de Monte Carlo generados por diversas herramientas.

Lo esencial

Imagina que el Futuro Colisionador Circular (FCC) es un gigantesco laboratorio de física que se construirá en la década de 2040. Su misión es chocar partículas a velocidades increíbles para descubrir los secretos del universo, como cómo funciona el Bosón de Higgs o la materia oscura.

Pero para entender lo que pasará en ese colisionador, los científicos necesitan hacer "simulaciones" en la computadora antes de que el laboratorio esté listo. Es como si fueran a construir un puente y necesitaran probar miles de diseños en un videojuego primero para ver cuál no se cae.

Aquí es donde entra FLARE.

¿Qué es FLARE? (El Director de Orquesta)

Imagina que tienes que organizar una cena enorme para 100 personas. Tienes que:

1. Comprar los ingredientes (generar datos).
2. Cocinar los platos (simular las partículas).
3. Servir la comida (analizar los resultados).
4. Limpiar los platos (procesar los datos finales).

Hasta ahora, hacer esto en física de partículas era como intentar cocinar esa cena sin recetas, sin lista de compras y con tres cocineros que no se hablan entre sí. Tenías que escribir cientos de líneas de código manual para que cada paso funcionara.

FLARE es como un director de orquesta o un chef ejecutivo que toma el control. Es una herramienta de código abierto (gratuita y pública) que automatiza todo el proceso.

• El problema: Existían dos grandes "cajas de herramientas" de software (Key4HEP y FCCAnalyses) que eran muy potentes, pero no se llevaban bien juntas. Era como tener un Ferrari y un camión de mudanzas, pero no tener el remolque para unirlos.
• La solución FLARE: FLARE actúa como el remolque inteligente. Conecta ambas cajas de herramientas, las hace trabajar en equipo y se asegura de que todo ocurra en el orden correcto, sin que el científico tenga que preocuparse por los detalles técnicos.

¿Cómo funciona? (La Metáfora del Restaurante)

Para que lo entiendas mejor, vamos a usar la analogía de un restaurante de alta cocina:

1. Los Ingredientes (Generadores de Monte Carlo):
   Para simular las partículas, los científicos usan programas como Whizard o Pythia. En FLARE, esto es como pedir los ingredientes frescos. FLARE sabe exactamente qué pedir y cómo pedirlo. Si quieres simular una colisión específica, FLARE le dice al programa: "¡Hazme 10,000 colisiones de este tipo!".

2. La Cocina (Producción de Datos):
   Una vez que tienes los ingredientes, hay que cocinarlos. FLARE organiza a los "cocineros" (los ordenadores de la red) para que trabajen todos a la vez. Puedes pedirle a FLARE que cocine el mismo plato pero con 5 tipos de sartenes diferentes (simulando diferentes diseños de detectores) y te traerá los 5 platos listos al mismo tiempo.

3. El Servicio (Análisis):
   Cuando la comida está lista, hay que servirla y ver cómo sabe. FLARE toma los datos cocinados y los pasa por un proceso de análisis para crear gráficos y estadísticas.

4. El Menú (Interfaz de Usuario):
   Lo genial de FLARE es que no necesitas ser un chef experto para usarlo. Tiene un "menú" simple (una línea de comandos). En lugar de escribir código complejo, el científico solo escribe algo como:
   flare run analysis
   Y FLARE hace todo el trabajo sucio detrás de escena.

¿Por qué es importante? (La Magia de la Automatización)

Antes de FLARE, si un científico quería cambiar un pequeño detalle en su simulación (por ejemplo, usar un detector más ligero), tenía que detener todo, reescribir scripts, volver a configurar los ingredientes y volver a empezar. Podía tardar días.

Con FLARE:

• Es rápido: Puede generar miles de simulaciones en paralelo. En el artículo, muestran que pueden generar 10,000 eventos en menos de 17 minutos.
• Es flexible: Si quieres probar un nuevo diseño de detector, solo cambias una línea en un archivo de configuración (como cambiar el nombre de un ingrediente en una lista de compras) y FLARE reorganiza toda la cocina automáticamente.
• Es modular: Imagina que quieres añadir un nuevo electrodoméstico a tu cocina (un nuevo programa de física). FLARE está diseñado para que puedas "enchufarlo" fácilmente sin tener que reconstruir toda la cocina.

En Resumen

FLARE es el "pegamento" inteligente que une las herramientas de simulación y análisis del futuro colisionador de partículas.

• Sin FLARE: Es como intentar armar un rompecabezas de 10,000 piezas en la oscuridad, pieza por pieza, manualmente.
• Con FLARE: Es como tener un robot que toma todas las piezas, las ordena, las une y te muestra la imagen completa en la pantalla en segundos.

Gracias a esta herramienta, los físicos pueden centrarse en lo importante: descubrir nuevos secretos del universo, en lugar de perder tiempo luchando con el software. Es una herramienta que hace que la ciencia del futuro sea más rápida, más fácil y más accesible para todos.

Resumen técnico

A continuación presento un resumen técnico detallado del documento ADP-25-23/T1285, titulado "FLARE: FCCee b2Luigi Automated Reconstruction And Event processing", traducido y sintetizado al español.

1. Problema Identificado

El Colisionador Circular Futuro (FCC) es un proyecto propuesto para operar en la década de 2040, diseñado para explorar la física de precisión (Electrodébil, Higgs, QCD y más allá del Modelo Estándar). La realización de estos estudios requiere un flujo de trabajo complejo que integra dos pilares de software clave:

• Key4HEP: Una pila de software unificada para la generación de eventos Monte Carlo (MC) y la simulación de detectores (utilizando generadores como Whizard, MadGraph5, Pythia y Delphes).
• FCCAnalyses: Un paquete de software diseñado para el análisis de datos y la reconstrucción de eventos producidos por Key4HEP.

El desafío principal radica en la falta de una forma clara y armoniosa de sincronizar estos dos paquetes. Actualmente, coordinar la producción de MC, la simulación de detectores y el análisis posterior requiere una gestión manual o scripts ad-hoc que no escalan bien, especialmente cuando se necesitan múltiples configuraciones de detectores o grandes volúmenes de datos en sistemas de computación por lotes (batch systems).

2. Metodología: FLARE y b2luigi

El documento presenta FLARE (FCC Analysis and Reconstruction Environment), una herramienta de orquestación de flujos de trabajo de código abierto diseñada para automatizar y simplificar el análisis de datos del FCC.

• Núcleo Tecnológico: FLARE se basa en b2luigi, una extensión del paquete luigi (creado por Spotify y mantenido por la colaboración Belle II) que utiliza Grafos Acíclicos Dirigidos (DAG) para gestionar tareas complejas.
• Arquitectura: FLARE actúa como una capa de abstracción sobre Key4HEP y FCCAnalyses. Convierte las etapas de análisis y producción en "tareas" (tasks) de b2luigi, permitiendo la ejecución automática desde la generación de eventos hasta la creación de histogramas.
• Configuración basada en YAML:
  • Producción MC: Utiliza un archivo YAML único para definir generadores (Whizard, MadGraph5, Pythia8, Delphes), tipos de datos y scripts de configuración de entorno. Soporta la generación de múltiples combinaciones de "tipo de dato" y "tarjeta de detector" mediante productos cartesianos automáticos.
  • Análisis FCC: Mapea las etapas de fccanalysis (Stage1, Stage2, Final, Plots) a tareas de b2luigi, permitiendo a los usuarios definir flujos de trabajo simplemente añadiendo scripts Python con prefijos específicos.
• Interfaz de Línea de Comandos (CLI) y Extensibilidad:
  • Ofrece una CLI (flare run) con subcomandos para análisis y producción MC.
  • Permite la integración de flujos de trabajo personalizados mediante la importación directa del módulo Python flare, permitiendo a los usuarios inyectar dependencias o crear tareas personalizadas que se conecten con las tareas internas de FLARE.
  • Utiliza un sistema de "Mapeo de Corchetes" (Bracket Mappings) para interpretar dinámicamente nombres de archivos y rutas de entrada/salida dentro de los flujos de trabajo.

3. Contribuciones Clave

1. Automatización Integral: FLARE unifica la producción de MC y el análisis de datos en un solo flujo de trabajo orquestado, eliminando la necesidad de gestionar manualmente las dependencias entre la generación de eventos y el análisis.
2. Escalabilidad y Gestión de Lotes: Gracias a b2luigi, FLARE puede enviar tareas a sistemas de computación distribuidos (LSF, HTCondor, Slurm, Gbasf2), optimizando el uso de recursos de clúster.
3. Flexibilidad en Configuraciones de Detectores: Permite ejecutar fácilmente la producción de MC para múltiples configuraciones de detectores (ej. diferentes tarjetas de detector IDEA) en paralelo, generando archivos de salida diferenciados automáticamente.
4. Extensibilidad Modular: Diseñado para ser modular, permite a los usuarios añadir nuevos generadores o herramientas de análisis sin modificar el núcleo del software, utilizando la misma arquitectura de tareas.
5. Interfaz de Usuario Simplificada: Reduce la complejidad de configuración mediante archivos YAML y una CLI intuitiva, haciendo accesible el stack FCCAnalyses a usuarios con menos experiencia en gestión de flujos de trabajo complejos.

4. Resultados y Validación

El documento valida FLARE (versión v0.1.4) mediante cuatro casos de uso distintos:

• Reproducción de Análisis Estándar: Se replicó el ejemplo de "Masa del Higgs con Simulación Rápida" de FCCAnalyses, obteniendo resultados consistentes con los gráficos de masa de jets y masa de retroceso esperados.
• Pruebas de Tiempo de Producción MC: Se realizaron pruebas de tiempo para la generación de 1,000 y 10,000 eventos usando Whizard.
  • 1,000 eventos: ~247.6 segundos (promedio).
  • 10,000 eventos: ~964.6 segundos (promedio).
  • Conclusión: El tiempo de procesamiento escala casi linealmente, demostrando la eficiencia del sistema de orquestación.
• Cálculo de Secciones Eficaces: Se desarrolló un flujo de trabajo personalizado para calcular secciones eficaces de cadenas de decaimiento específicas ($e^+e^- \to HX\bar{X} \to Y\bar{Y}X\bar{X}$) comparándolas con datos centrales del FCC. Los resultados calculados coincidieron dentro de las incertidumbres con los valores de referencia del FCC (Winter 2023).
• Estudio Multi-Detector: Se ejecutó un flujo de trabajo que generó MC para un solo tipo de decaimiento ($e^+e^- \to ZH$) utilizando cinco configuraciones de detector diferentes simultáneamente. El sistema gestionó automáticamente la creación de archivos de entrada para el análisis, demostrando la capacidad de FLARE para manejar variaciones de hardware en un solo flujo de trabajo.

5. Significancia

FLARE representa un avance significativo en la infraestructura de software para el futuro Colisionador Circular (FCC). Su importancia radica en:

• Democratización del Análisis: Al abstraer la complejidad de la orquestación de tareas y la gestión de sistemas de lotes, permite que los físicos se centren en la física y no en la ingeniería de software.
• Preparación para la Escala del FCC: El futuro FCC generará volúmenes masivos de datos. FLARE proporciona la arquitectura necesaria para manejar esta escala de manera eficiente, paralela y reproducible.
• Ecosistema Abierto: Al ser de código abierto y estar diseñado para ser extensible, fomenta la colaboración entre diferentes grupos de investigación y asegura que el software pueda evolucionar junto con las necesidades cambiantes de los experimentos de física de altas energías.

En resumen, FLARE es la herramienta puente esencial que permite sincronizar la generación de eventos Monte Carlo con el análisis de datos en el ecosistema Key4HEP, garantizando un flujo de trabajo robusto, automatizado y escalable para la próxima generación de colisionadores.