FAST-HEP: Compiling Declarative Analysis Workflows for High-Energy Physics and Beyond

En las vastas y silenciosas colisiones de partículas dentro de máquinas como el Gran Colisionador de Hadrones, los científicos buscan las reglas fundamentales que gobiernan nuestro universo. Para encontrar estas reglas, deben filtrar montañas de datos, buscando patrones raros ocultos entre miles de millones de eventos. Este proceso no es un experimento único, sino un viaje científico a largo plazo que puede durar décadas, sobreviviendo a menudo a los programas informáticos y herramientas de software específicos utilizados para crearlo. El desafío no consiste solo en ejecutar el análisis una vez, sino en asegurar que la misma pregunta científica pueda ser planteada y respondida años después, incluso cuando la tecnología subyacente cambie, las personas involucradas se marchen y los formatos de datos evolucionen. Si las instrucciones sobre cómo se procesaron los datos se pierden o se vuelven demasiado enredadas para entenderlas, el resultado científico se convierte en una caja negra, imposible de verificar o reconstruir.

Para resolver este problema de supervivencia científica a largo plazo, se ha desarrollado un sistema llamado FAST-HEP, centrado en un motor de flujo de trabajo llamado Flow, creado por Luke Kreczko en la Universidad de Bristol. Este sistema trata el análisis científico no como un conjunto rígido de instrucciones informáticas, sino como una descripción clara y escrita de lo que el científico quiere lograr, separada del código específico utilizado para hacerlo. Al separar el "qué" del "cómo", el investigador ha creado una forma de compilar estas descripciones en un plan universal que puede ejecutarse en diferentes computadoras y con diferentes herramientas de software sin necesidad de ser reescrito. Este enfoque garantiza que la intención científica sea transparente y reproducible, permitiendo que la compleja maquinaria de la física de altas energías evolucione sin romper los experimentos de los que depende.

Durante décadas, los físicos han escrito su análisis de datos como código imperativo, un estilo donde se le dice a la computadora exactamente cómo moverse paso a paso a través de los datos, comprobando un evento tras otro. Si bien esto funciona bien en el momento, vincula estrechamente la idea científica al lenguaje de programación y las bibliotecas específicas utilizadas en ese tiempo. Cuando esas bibliotecas cambian o los investigadores que escribieron el código se van, el análisis suele volverse difícil de entender o imposible de volver a ejecutar. El nuevo sistema Flow cambia esta dinámica introduciendo un lenguaje declarativo. En este modelo, un científico simplemente describe los datos que necesita, las operaciones que desea realizar y los resultados que espera, sin preocuparse por la mecánica subyacente. Es como escribir una receta que enumera los ingredientes y el plato final, dejando que las herramientas de cocina y las técnicas específicas sean decididas más tarde por el chef.

El corazón de este sistema es un compilador que actúa como un traductor entre la descripción del científico y la ejecución de la computadora. Cuando un científico envía su flujo de trabajo, el sistema no lo ejecuta inmediatamente. En su lugar, primero normaliza la descripción, reuniendo todas las piezas dispersas de información —como dónde residen los datos, qué correcciones aplicar y cómo manejar diferentes escenarios— en un documento único y completo. Luego construye un grafo lógico, un mapa que muestra cómo fluye cada pieza de datos desde la fuente hasta el resultado final, conectando entradas con salidas mediante líneas claras de dependencia. Este mapa permite al sistema buscar errores antes de que comience cualquier computación pesada, asegurando que los datos requeridos existan y que los pasos tengan sentido entre sí.

Una vez construido y validado el mapa, el sistema crea un plan de ejecución independiente del backend. Este plan es un conjunto detallado de instrucciones que describe el trabajo a realizar, pero no especifica qué computadora o biblioteca de software lo hará. Esta separación es crucial porque significa que el mismo plan científico puede ejecutarse en una computadora portátil, un clúster local o una red distribuida masiva sin cambiar la lógica central. El sistema también puede manejar variaciones, como probar cómo cambian los resultados si una medición específica es ligeramente diferente, expandiendo solo las partes del plan que se ven afectadas en lugar de reescribir todo el conjunto. Esto facilita la exploración de diferentes escenarios científicos y la comprensión de cómo las incertidumbres afectan la respuesta final.

El sistema también presta mucha atención a la procedencia, que es el registro de exactamente cómo se produjo un resultado. Cada vez que el flujo de trabajo se ejecuta, genera un resumen detallado que vincula la salida final con la versión específica del software, los archivos de datos exactos utilizados y el entorno informático donde se ejecutó. Esto crea un historial permanente y trazable para cada resultado científico. Si un científico necesita verificar un hallazgo años después, puede consultar este registro para ver precisamente qué sucedió, en lugar de intentar reconstruir el proceso a partir de la memoria o notas dispersas. Este nivel de detalle convierte el flujo de trabajo de una caja negra en un proceso transparente donde cada paso es visible y responsable.

El desarrollo de Flow fue impulsado por experiencias del mundo real donde los sistemas antiguos luchaban por adaptarse a nuevas tecnologías. El investigador descubrió que el simple hecho de escribir código en un estilo diferente no era suficiente; la arquitectura del software subyacente debía estar diseñada para permitir que las partes se pudieran intercambiar fácilmente. En el pasado, cambiar una sola biblioteca a menudo requería reescribir grandes fragmentos del marco de trabajo porque las diferentes partes estaban demasiado ligadas. Flow resuelve esto tratando cada componente, desde las fuentes de datos hasta los formatos de salida, como un módulo reemplazable que se conecta a través de contratos claros y definidos. Esto significa que, a medida que se disponen de herramientas nuevas, más rápidas o más eficientes, estas pueden integrarse en el sistema sin interrumpir el análisis científico en sí.

Este enfoque ya ha sido probado en análisis reales para experimentos importantes, incluyendo los del detector CMS y el experimento LUX-ZEPLIN. Los resultados muestran que una descripción declarativa concisa puede guiar con éxito computaciones complejas a través de diferentes estructuras de datos y experimentos. El sistema separa con éxito la intención científica de la implementación, permitiendo que el análisis permanezca estable mientras el ecosistema de software a su alrededor evoluciona. Al hacer que el flujo de trabajo sea explícito e inspeccionable, el sistema reduce la carga de los científicos de recordar cada detalle de su código y proporciona una base sólida para la preservación a largo plazo.

El objetivo último de este trabajo es asegurar que los análisis científicos sean sostenibles en el tiempo. En un campo donde los volúmenes de datos están creciendo y los recursos de computación se están volviendo más diversos, la capacidad de preservar y reproducir los resultados es esencial. Flow proporciona una forma de hacerlo convirtiendo el flujo de trabajo en un objeto de primera clase que puede ser compilado, analizado y ejecutado independientemente de las herramientas utilizadas para crearlo. Esto permite a la comunidad científica evolucionar su software y hardware sin perder la capacidad de comprender o repetir el trabajo del pasado. El sistema no solo ejecuta el análisis; documenta todo el proceso, asegurando que el camino desde los datos brutos hasta el descubrimiento científico permanezca claro y accesible para las generaciones futuras.

El éxito de este proyecto depende de un cambio en la forma en que se construye el software científico. En lugar de ver los flujos de trabajo como scripts temporales que se ejecutan una vez y se olvidan, el investigador los trata como programas que pueden ser compilados y validados. Esta perspectiva permite un nivel de transparencia y flexibilidad que antes era difícil de lograr. El sistema registra cada decisión, cada dependencia y cada variación, creando una imagen completa del proceso científico. Esto no solo ayuda con la depuración y validación inmediata, sino que también construye un registro duradero que puede utilizarse para verificar los resultados mucho después de que el investigador original se haya marchado.

Al final, el trabajo presentado en este artículo ofrece una nueva forma de pensar la computación científica. Se aleja de la idea de que el código es la parte más importante de un análisis y se centra, en cambio, en la claridad de la descripción científica. Al separar la descripción de la ciencia de la maquinaria que la ejecuta, el sistema asegura que la ciencia misma siga siendo la prioridad. Esto permite que las herramientas y tecnologías cambien y mejoren sin amenazar la integridad de la investigación. El resultado es un enfoque más robusto, transparente y sostenible para el descubrimiento científico, que puede adaptarse al futuro mientras honra el trabajo del pasado.