HS3: A Descriptive, Interoperable Serialization Standard for Statistical Models in High-Energy Physics

Este artículo presenta HS3, un nuevo estándar de serialización agnóstico a la implementación, legible por humanos y extensible, diseñado para proporcionar un formato universal y conforme con los principios FAIR para representar e intercambiar modelos estadísticos en la física de altas energías, superando así las limitaciones de los formatos actuales específicos de cada software.

Lo esencial

Imagina que la física de altas energías (el estudio de partículas diminutas como las del Gran Colisionador de Hadrones) es como una enorme competencia mundial de cocina. Durante décadas, los chefs (científicos) han estado creando recetas increíbles (modelos estadísticos) para explicar cómo funciona el universo. Sin embargo, había un problema importante: cada chef escribía su receta en un lenguaje diferente y secreto.

Algunos escribían en "ROOT", un código complejo que solo computadoras específicas podían leer. Otros escribían en "pyhf", un formato más sencillo que era fácil de leer para los humanos pero que no podía manejar todo tipo de platos. Si querías combinar dos recetas para hacer una comida más grande, o si querías leer una receta de hace 10 años en una computadora nueva, a menudo era imposible. Las recetas eran como notas escritas a mano en servilletas que se arruinarían si la tinta se desvaneciera o el papel se mojara.

Entra HS3: El Libro de Cocina Universal

Este artículo presenta HS3 (Estándar de Serialización Estadística de Física de Altas Energías). Piensa en HS3 como un nuevo lenguaje universal para las recetas que resuelve todos estos problemas.

Así es como funciona, utilizando analogías sencillas:

1. El lenguaje "descriptivo" (El menú, no el chef)

Antes, algunos formatos de recetas eran como darle a un robot una lista de instrucciones estrictas y paso a paso (por ejemplo, "Gire a la izquierda, luego revuelva durante 3 segundos"). Si el robot se rompía, la receta era inútil.
HS3 es diferente. Es descriptivo. No le dice a la computadora cómo cocinar; simplemente describe qué es el plato. Dice: "Esto es una sopa Gaussiana" o "Esto es un estofado de Poisson".

• La analogía: Imagina un menú que enumera ingredientes y sabores, pero no le importa si lo cocinas en una cocina francesa, en una japonesa o en un microondas. Debido a que solo describe el plato, cualquier chef (cualquier programa de computadora) puede leerlo y cocinarlo a su manera.

2. La estructura "LEGO" (Bloques de construcción)

El artículo explica que HS3 construye modelos como un grafo computacional, que es solo una forma elegante de decir "un mapa de bloques LEGO".

• Tienes bloques para los ingredientes (datos).
• Tienes bloques para las reglas (funciones).
• Tienes bloques para el plato final (verosimilitud/likelihood).
• La magia: Puedes ensamblar estos bloques de una manera clara y lógica. Si quieres cambiar un ingrediente, simplemente cambias ese bloque. No tienes que reconstruir toda la torre. Esto hace que sea fácil ver cómo se compone todo el modelo, incluso si es una estructura gigante y compleja.

3. La función de "Viaje en el tiempo" (Preservación a largo plazo)

Una de las mayores preocupaciones en la ciencia es: "¿Podremos leer nuestros datos dentro de 50 años?".

• La forma antigua: Si guardas un archivo en una versión específica de un programa, y ese programa desaparece en 10 años, tu archivo es un "fósil digital": ilegible.
• La forma de HS3: Debido a que HS3 está escrito en un formato sencillo y legible para los humanos (como JSON, que parece texto plano), no depende de ningún software específico. Incluso si todas las computadoras actuales se rompen, un humano podría teóricamente leer el archivo HS3 y entender la receta. Es como escribir una receta en inglés en lugar de un código secreto; sobrevive a la muerte de las herramientas utilizadas para escribirla.

4. El "Traductor" (Interoperabilidad)

El artículo muestra que HS3 actúa como un traductor universal.

• Puede tomar una receta escrita en el antiguo lenguaje "ROOT" y traducirla a HS3.
• Puede tomar una receta de "pyhf" y traducirla a HS3.
• Incluso puede traducir de vuelta.
• El resultado: Un científico que usa una computadora con Python ahora puede compartir un modelo con un científico que usa una computadora con C++, y ambos pueden entenderlo perfectamente. Incluso pueden verificar si están obteniendo los mismos resultados, como dos chefs probando la misma sopa para asegurarse de que la receta es consistente.

5. Por qué esto es importante ahora

El artículo argumenta que el campo de la física se está moviendo de solo "encontrar nuevas partículas" a "medirlas con extrema precisión". Esto requiere combinar muchos experimentos y modelos diferentes.

• El problema: No puedes combinar recetas si están escritas en diferentes lenguajes.
• La solución: HS3 permite a los científicos combinar estos modelos fácilmente, verificar errores en ellos y publicarlos para que cualquier persona (incluso personas ajenas al equipo original) pueda probar nuevas teorías.

Resumen

En resumen, HS3 es un nuevo estándar para escribir las "recetas matemáticas" de la física de partículas. Es:

• Legible para humanos: Puedes leerlo con tus ojos, no solo con una máquina.
• Universal: Funciona a través de diferentes lenguajes de computadora y software.
• Preparado para el futuro: Garantiza que los descubrimientos científicos de hoy puedan ser comprendidos y reutilizados por las generaciones futuras, independientemente de la tecnología que utilicen.

El artículo afirma que este estándar ya se está utilizando para publicar datos, verificar resultados entre diferentes programas informáticos e incluso para ayudar a enseñar estadística a los estudiantes. Es el primer paso para hacer que la "biblioteca de la física" sea verdaderamente abierta y accesible para todos.

Resumen técnico

Resumen Técnico: HS3 – Un Estándar de Serialización Descriptivo e Interoperable para Modelos Estadísticos en la Física de Altas Energías

Declaración del Problema
Los modelos estadísticos en la Física de Altas Energías (HEP, por sus siglas en inglés) son los principales artefactos científicos que codifican la relación entre los datos observados, los parámetros de la física y las incertidumbres. Si bien la inferencia basada en la verosimilitud es central para las mediciones de precisión, los ajustes de la Teoría de Campos Efectivos (EFT) y las combinaciones de análisis cruzados, el ecosistema actual para representar estos modelos está fragmentado. Los formatos existentes, como los espacios de trabajo de ROOT, los archivos JSON de pyhf y los CMS DataCards, están ligados a pilas de software específicas (por ejemplo, C++/ROOT, Python). Esto crea barreras significativas para la interoperabilidad, la validación y la preservación a largo plazo. Los espacios de trabajo de ROOT son binarios y dependen de la versión; el JSON de pyhf es legible por humanos pero limitado en alcance en comparación con RooFit; y los CMS DataCards dependen de implementaciones específicas de C++. En consecuencia, la conversión entre formatos es frágil, la validación entre marcos de trabajo es difícil y la usabilidad a largo plazo de los modelos se ve amenazada por la obsolescencia del software.

Metodología y Principios de Diseño
Los autores presentan HS3 (Estándar de Serialización de Estadística de Alta Energía), un formato de serialización agnóstico a la implementación, legible por humanos y extensible. El diseño se guía por varios principios fundamentales:

• Lenguaje de Dominio Específico (DSL) Descriptivo: HS3 es una especificación declarativa de estructuras matemáticas (distribuciones, funciones, parámetros, conjuntos de datos) en lugar de una codificación de la lógica de ejecución. Separa la semántica matemática de la implementación algorítmica, permitiendo que diferentes motores de inferencia interpreten el mismo modelo.
• Representación de Grafo Computacional: Los modelos se representan como grafos acíclicos dirigidos (DAG) donde los nodos son distribuciones, funciones o datos con nombre, y las aristas representan dependencias. El estándar soporta una granularidad híbrida, permitiendo tanto nodos compuestos de alto nivel (por ejemplo, histfactory_dist para modelos basados en plantillas) como operaciones elementales de bajo nivel. Esto preserva la estructura semántica al tiempo que permite optimizaciones en el backend.
• Interoperabilidad y Completitud: HS3 está diseñado para ser semánticamente completo con respecto a RooFit (el marco más expresivo actual) manteniendo la legibilidad de pyhf JSON. Aspira a soportar verosimilitudes tanto con datos agrupados (binned) como no agrupados (unbinned), modelos compuestos jerárquicos y distribuciones extendidas.
• Legibilidad Humana y de Máquina: El formato canónico es JSON, elegido por su madurez de herramientas y estructura explícita. Todos los objetos están nombrados de forma única para garantizar referencias inequívocas, facilitando el control de versiones y la modificación incremental.
• Principios FAIR: El estándar se alinea con los principios de Encuentros, Accesibilidad, Interoperabilidad y Reutilización (FAIR), utilizando identificadores persistentes y formatos abiertos para asegurar que los modelos sigan siendo utilizables a medida que los entornos de software evolucionan.

Estructura del Estándar
Un documento HS3 se organiza en secciones de alto nivel que contienen objetos indexados:

• Distribuciones: Fundamentales (por ejemplo, Gaussianas, Poisson) y compuestas.
• Funciones: Transformaciones matemáticas deterministas (elementales o definidas por el usuario).
• Datos: Conjuntos de datos observados o simulados (agrupados o no agrupados).
• Verosimilitudes (Likelihoods): Objetos que combinan distribuciones y conjuntos de datos.
• Dominios: Definiciones de rangos de parámetros, tipos (continuos/discretos) y restricciones.
• Puntos de Parámetros: Conjuntos nombrados de valores para puntos de referencia (benchmarks) o puntos de partida.
• Análisis: Prescripciones de alto nivel que definen parámetros de interés (POI), parámetros de molestia (nuisance parameters) y estadísticas de prueba.
• Metadatos: Procedencia, versionado e información de autoría.
• Miscelánea: Sugerencias no normativas para visualización o configuración.

Contribuciones Clave e Implementaciones
El artículo detalla el desarrollo de HS3 y su integración con marcos de trabajo existentes:

1. Integración con ROOT/RooFit: Una biblioteca integrada en ROOT 6.36 permite la conversión bidireccional entre objetos RooWorkspace y HS3 JSON, preservando nombres, parámetros y normalización. Esto sirve como la implementación de referencia.
2. CMS Combine y DataCards: Los DataCards pueden ser analizados hacia RooWorkspaces y, posteriormente, exportados a HS3. La naturaleza modular de HS3 permite la futura inclusión de constructos de modelado específicos de CMS.
3. Compatibilidad con pyhf: Los modelos JSON de pyhf pueden ser traducidos a HS3 promoviendo los canales a nodos histfactory_dist. Inversamente, modelos HS3 simples pueden ser convertidos de vuelta a pyhf JSON.
4. Implementaciones en Diferentes Lenguajes:
   • pyhs3: Un paquete de Python puro que proporciona analizadores, validadores y herramientas para construir modelos HS3, asegurando la consistencia con ROOT.
   • HS3.jl: Una implementación en Julia que ofrece procesamiento de alto rendimiento y estructuras de datos nativas, facilitando la integración con herramientas de JuliaHEP e inferencia basada en gradientes.

Resultos y Aplicaciones Tempranas
El artículo presenta la validación y aplicación temprana del estándar:

• Validación Cruzada: La Figura 1 demuestra un buen acuerdo entre las curvas de verosimilitud de perfil generadas por la implementación de C++ en ROOT y la implementación de Python pyhs3 para una medición de V H de ATLAS, validando la consistencia numérica entre marcos de trabajo.
• Integración con HEPData: HEPData ahora soporta HS3 mediante un sistema de "insignias" (badges). Varios análisis de ATLAS (mediciones de Higgs, búsquedas de nueva física, análisis del Modelo Estándar) se han publicado con verosimilitudes basadas en HS3, permitiendo a usuarios externos reconstruir modelos sin necesidad de pilas de software específicas.
• Análisis Combinados: Estudios de prueba de concepto muestran que múltiples verosimilitudes públicas pueden combinarse en un solo modelo sin reescritura manual, aprovechando la codificación explícita de nombres de parámetros y restricciones de HS3.
• Proyecto DEMOS: HS3 ha sido seleccionado como el formato de referencia para el proyecto DEMOS, que tiene como objetivo unificar el modelado estadístico en la física de partículas, la astrofísica de partículas y la física nuclear.
• Educación: La naturaleza legible por humanos de HS3 lo hace adecuado para la enseñanza de la inferencia estadística, sirviendo como un puente entre los materiales conceptuales y los análisis científicos completos.

Significado y Reivindicaciones
Los autores postulan que HS3 establece una base para modelos estadísticos FAIR y de larga duración en el LHC y más allá. Al desacoplar las definiciones de los modelos de los motores de inferencia y lenguajes de programación específicos, HS3 aborda la necesidad crítica de reproducibilidad, reinterpretación y preservación a largo plazo en una era dominada por las incertidumbres sistemáticas y los ajustes globales complejos. El artículo afirma que HS3 proporciona un lenguaje estable, extensible e independiente del marco de trabajo que puede evolucionar para satisfacer las necesidades de la comunidad científica en general, convirtiéndose potencialmente en lo que los archivos .root son para el almacenamiento de datos: una representación duradera, portátil y universalmente intercambiable. El estándar no se presenta como una solución final e inmutable, sino como un marco vivo gobernado por el consenso de la comunidad y el control de versiones para asegurar la compatibilidad hacia atrás y la mejora continua.