Jarvis-HEP: A lightweight Python framework for workflow composition and parameter scans in high-energy physics

Este artículo presenta Jarvis-HEP, un marco de trabajo ligero en Python diseñado para optimizar los flujos de trabajo de física de altas energías mediante la especificación basada en YAML, la ejecución consciente de dependencias y la integración modular de diversas herramientas computacionales para escaneos eficientes de parámetros y estudios de múltiples pasos.

Lo esencial

Imagina que eres un detective tratando de resolver un misterio masivo: ¿De qué está hecho el universo?

En el mundo de la física de altas energías, los científicos tienen un "Modelo Estándar" (un reglamento de partículas conocidas), pero sospechan que existen reglas ocultas y personajes secretos (Nueva Física) acechando en las sombras. Para encontrarlos, deben probar millones de diferentes escenarios de "qué pasaría si".

El problema es que probar estos escenarios es como intentar hornear un pastel donde cada ingrediente requiere un horno diferente, un chef diferente y un libro de recetas diferente. Algunas herramientas calculan masas de partículas, otras predicen cómo se comporta la materia oscura y otras simulan colisiones. Por lo general, un científico debe ejecutar manualmente la Herramienta A, copiar los resultados, pegarlos en la Herramienta B, verificar si los números tienen sentido y luego ejecutar la Herramienta C. Si quieren probar 10,000 escenarios diferentes, hacer esto a mano es imposible: es lento, propenso a errores y agotador.

Aquí entra Jarvis-HEP.

Piensa en Jarvis-HEP como un gerente de cocina súper inteligente y automatizado para estos detectives de la física. No hornea el pastel en sí; en cambio, organiza toda la cocina para que los chefs (las diversas herramientas de software de física) puedan trabajar juntos de manera fluida.

Así es como funciona, usando analogías simples:

1. La Receta Maestra (El Archivo YAML)

En lugar de escribir código informático complejo para decirle a las herramientas qué hacer, los científicos escriben una "receta" simple y legible por humanos llamada archivo YAML.

• Analogía: Imagina escribir una lista de compras y un conjunto de instrucciones en una libreta: "Compra 500 manzanas. Si la manzana es roja, horrea un pastel. Si es verde, prepara una ensalada".
• En el artículo: Este archivo le dice a Jarvis-HEP: "Aquí están las variables (como el tamaño del universo o la masa de una partícula). Aquí está la regla para elegirlos (aleatoriamente o en una cuadrícula). Aquí está el orden para ejecutar las herramientas".

2. La Línea de Ensamblaje (El Flujo de Trabajo)

Una vez escrita la receta, Jarvis-HEP configura una línea de ensamblaje.

• Analogía: Imagina una fábrica donde un brazo robótico toma una materia prima, la pasa a un pintor, luego a un pulidor y finalmente a un inspector de calidad.
• En el artículo: Jarvis-HEP enlaza automáticamente diferentes paquetes de software. Toma la salida de una herramienta y la alimenta directamente a la siguiente, asegurando que si la Herramienta A necesita un formato de archivo específico, la Herramienta B lo reciba exactamente bien. Maneja las "dependencias" (asegurándose de que las herramientas correctas estén instaladas y listas).

3. El Enjambre de Abejas Ocupadas (Ejecución Asíncrona)

Este es el superpoder de Jarvis-HEP. Los métodos tradicionales hacen las cosas una por una (como una sola persona lavando platos, secándolos y guardándolos). Jarvis-HEP utiliza procesamiento paralelo asíncrono.

• Analogía: Imagina un enjambre de 16 abejas trabajando en una colmena. Mientras una abeja espera a que florezca una flor, otra vuela hacia un campo diferente. No esperan unas a otras. Si una abeja es lenta, las demás siguen trabajando.
• En el artículo: El sistema ejecuta muchos cálculos al mismo tiempo. Si una parte de la computadora está ocupada, el sistema se mueve instantáneamente a la siguiente tarea disponible. Esto hace que todo el proceso sea increíblemente rápido y eficiente.

4. La Prueba de Manejo "EggBox"

Para demostrar que funciona, los autores probaron Jarvis-HEP en un famoso acertijo matemático llamado el potencial "EggBox".

• Analogía: Imagina un paisaje lleno de colinas y valles (la "EggBox"). El objetivo es encontrar los valles más profundos (las respuestas más probables).
• En el artículo: Mostraron que Jarvis-HEP podía usar diferentes "estrategias de búsqueda" (como caminar aleatoriamente, buscar en cuadrícula o búsqueda guiada por IA inteligente) para explorar este paisaje. Encontró con éxito todos los picos y valles importantes sin quedarse atascado ni confundido.

5. La Red de Seguridad (Registro y Puntos de Control)

Si estás horneando 10,000 pasteles y se va la luz, no quieres empezar desde cero.

• Analogía: Jarvis-HEP es como un panadero que toma una foto de la cocina cada 30 segundos. Si falla la electricidad, puedes mirar la última foto, retomar exactamente donde lo dejaste y seguir horneando.
• En el artículo: El sistema guarda automáticamente "puntos de control". Si un escaneo se interrumpe, puedes reiniciarlo y reanuda desde el punto exacto donde se detuvo, no desde el principio. También mantiene registros detallados (como un diario) de cada paso individual, para que si algo sale mal, sepas exactamente qué "ingrediente" causó el problema.

Resumen

Jarvis-HEP es una herramienta ligera y fácil de usar que permite a los físicos dejar de preocuparse por la logística desordenada de conectar diferentes herramientas de software. Convierte un proceso caótico y manual en una línea de ensamblaje automatizada y fluida.

• Para el Usuario: Solo escribes una receta simple (archivo YAML).
• Para la Computadora: Maneja el trabajo pesado, gestiona las herramientas, ejecuta miles de pruebas a la vez y guarda los resultados de manera organizada.

El artículo afirma que esto hace que sea mucho más fácil para los investigadores (incluso equipos pequeños o individuos) explorar teorías complejas sobre el universo sin necesidad de ser programadores expertos o pasar semanas configurando sus sistemas informáticos. Es una herramienta de "composición de flujos de trabajo" diseñada para hacer la ciencia más rápida y menos propensa al error humano.

Resumen técnico

A continuación se presenta un resumen técnico detallado del artículo "Jarvis-HEP: Un framework ligero en Python para la composición de flujos de trabajo y escaneos de parámetros en física de altas energías".

1. Enunciado del Problema

La fenomenología de la física de altas energías (HEP), particularmente en la búsqueda de física más allá del Modelo Estándar (BSM), requiere evaluar observables, verosimilitudes y restricciones experimentales a través de espacios de parámetros complejos y de alta dimensión. Este proceso típicamente implica:

• Flujos de trabajo de múltiples pasos: Enlazar herramientas computacionales dispares (por ejemplo, generadores de espectros, calculadores de secciones eficaces, simuladores de Monte Carlo).
• Dependencias complejas: Gestionar paquetes de software externos (por ejemplo, Pythia, HepMC) y sus interdependencias.
• Problemas de escalabilidad: Realizar escaneos de parámetros sobre millones de puntos a menudo conduce a una gestión manual engorrosa y propensa a errores de la ejecución, el registro de datos y la grabación de datos.
• Brecha de accesibilidad: Los frameworks globales de ajuste existentes (por ejemplo, GAMBIT, MasterCode) son potentes pero a menudo pesados y complejos de configurar. Existe una falta de herramientas ligeras y flexibles para investigadores individuales o equipos pequeños para llevar a cabo estudios exploratorios sin una sobrecarga significativa.

2. Metodología: Framework Jarvis-HEP

Jarvis-HEP es un framework puramente en Python diseñado para agilizar estos flujos de trabajo mediante una arquitectura declarativa basada en proyectos.

Arquitectura Central

• Configuración basada en YAML: Los usuarios definen todo el flujo de trabajo del escaneo (variables, verosimilitudes, dependencias, calculadoras) en un único archivo YAML legible por humanos.
• Fábrica de Trabajadores y Ejecución Asíncrona:
  • El framework emplea una Fábrica de Trabajadores (un singleton) que gestiona la programación global de tareas.
  • Utiliza programación asíncrona de tareas (asyncio) para ejecutar múltiples tareas computacionales concurrentemente. A diferencia de la ejecución síncrona, este enfoque no bloqueante permite que nodos más rápidos procesen tareas independientemente de los más lentos, optimizando el uso de recursos.
  • El flujo de trabajo se visualiza como un grafo de flujo jerárquico dirigido donde los paquetes se agrupan en capas de computación (L1, L2, L3) para minimizar dependencias y maximizar el paralelismo.
• Diseño Modular:
  • Calculadoras: Soporta tanto herramientas externas de línea de comandos como componentes internos en Python.
  • Gestión de Dependencias: Maneja automáticamente la instalación y compilación de bibliotecas externas (por ejemplo, HepMC, Pythia8) mediante comandos de shell definidos en el YAML.
  • Grabación de Datos: Un proceso independiente de Grabador de Datos escribe los resultados en archivos HDF5 en tiempo real (intervalo predeterminado: 30 segundos), asegurando la persistencia de los datos incluso si el proceso se interrumpe.

Capacidades de Muestreo

El framework desacopla el algoritmo de muestreo del motor de ejecución, implementando muestreadores como iteradores en Python para una eficiencia de memoria. Los métodos soportados incluyen:

• Determinista/Independiente: Muestreo aleatorio, muestreo en cuadrícula y muestreo de Bridson (muestreo de disco de Poisson para priores repulsivos).
• Cadena de Markov Monte Carlo (MCMC): Metropolis-Hastings (MH) y MCMC con Templado Paralelo (PT-MCMC) para explorar distribuciones multimodales.
• Muestreo Anidado: Integración con dynesty para el cálculo de evidencia bayesiana y muestreo posterior.
• Aprendizaje Automático: Un muestreador de Red Neuronal Profunda (DNN) que aprende el mapeo de parámetros a observables, seguido de muestreo de rechazo para corregir sesgos.

Interfaz de Usuario

• Interfaz de Línea de Comandos (CLI): Operada mediante el comando Jarvis con banderas para depuración (--check-modules), monitoreo (--monitor), conversión de datos (--convert) y visualización (--plot).
• Estructura del Proyecto: Organiza las tareas en directorios autocontenidos que contienen configuración (bin/), dependencias (deps/), salidas, registros y puntos de control.

3. Contribuciones Clave

• Orquestación Ligera de Flujos de Trabajo: Proporciona una interfaz unificada para enlazar herramientas externas de HEP, gestionar dependencias y ejecutar cálculos complejos de múltiples pasos sin escribir código de unión personalizado.
• Procesamiento Paralelo Asíncrono: Introduce un modelo de ejecución no bloqueante que mejora significativamente el rendimiento para tareas limitadas por E/S y por cómputo en comparación con el escaneo secuencial tradicional.
• Resiliencia Robusta: Cuenta con capacidades integradas de puntos de control y reanudación, permitiendo que escaneos de larga duración se recuperen de interrupciones (por ejemplo, desconexión de terminal, fallos del sistema) sin reiniciar desde cero.
• Ecosistema Integral: Incluye herramientas integradas para:
  • Registro: Registro estructurado a nivel de punto para depurar fallos específicos.
  • Visualización: Integración con Jarvis-PLOT para generar gráficos estándar de HEP (gráficos de esquinas, superficies de verosimilitud).
  • Portabilidad: Capacidad de empaquetar proyectos en bundles reproducibles para compartir o archivar.
• Motor de Expresiones Simbólicas: Soporta matemáticas simbólicas (vía sympy) para definir verosimilitudes, cortes de selección y variables derivadas directamente dentro de la configuración.

4. Resultados y Validación

El artículo valida Jarvis-HEP utilizando el modelo "EggBox", un caso de prueba sintético con un paisaje de verosimilitud complejo y multimodal ($z = (\sin(x\pi)\cos(y\pi) + 2)^5$).

• Rendimiento: En una computadora personal estándar, el framework mantuvo un rendimiento de $3 \times 10^4$ a $6 \times 10^4$ tareas ligeras completadas por minuto. Esto demuestra que la capa de programación asíncrona introduce una sobrecarga mínima en comparación con los cálculos de física reales.
• Eficiencia de Muestreo:
  • PT-MCMC identificó con éxito múltiples regiones distintas de alta verosimilitud en el modelo EggBox donde las cadenas MCMC estándar quedaban atrapadas.
  • El muestreo de Bridson demostró una uniformidad superior y propiedades de llenado del espacio en comparación con el muestreo aleatorio.
  • El Muestreo DNN aprendió efectivamente la distribución objetivo, concentrando las muestras en regiones de alta verosimilitud.
• Usabilidad: Se demostró que el flujo de trabajo de extremo a extremo (obtener un proyecto, ejecutar un escaneo, monitorear, visualizar y archivar) es fluido, reduciendo la barrera de entrada para estudios fenomenológicos complejos.

5. Significado

Jarvis-HEP aborda una brecha crítica en el ecosistema de software de HEP al ofrecer una alternativa flexible y de baja sobrecarga a los frameworks monolíticos de ajuste global.

• Democratización del Análisis: Permite a investigadores individuales y equipos pequeños realizar escaneos de parámetros rigurosos y reproducibles sin necesidad de infraestructura extensa ni experiencia profunda en sistemas complejos de gestión de flujos de trabajo.
• Preparación para el Futuro: Su arquitectura modular permite la integración fácil de nuevos algoritmos de muestreo (incluyendo métodos impulsados por IA) y herramientas externas.
• Reproducibilidad: Al imponer una estructura basada en proyectos con gestión automatizada de dependencias y puntos de control, mejora significativamente la reproducibilidad de los estudios numéricos en física de altas energías.

En resumen, Jarvis-HEP es una herramienta versátil que moderniza el flujo de trabajo de la fenomenología BSM, equilibrando la necesidad de potencia computacional con los requisitos prácticos de facilidad de uso y reproducibilidad.