AI Agents Can Already Autonomously Perform Experimental High Energy Physics

Resumen Técnico: Los Agentes de IA ya pueden realizar de forma autónoma experimentos de Física de Altas Energías

Planteamiento del Problema
Los análisis de la Física Experimental de Altas Energías (HEP, por sus siglas en inglés) son procesos algorítmicos tradicionalmente laboriosos que consumen la mayor parte del tiempo de un estudiante de posgrado o de un posdoctorado. El flujo de trabajo implica identificar canales de medición, estudiar la literatura, diseñar selecciones de eventos, cuantificar incertidumbres sistemáticas, realizar inferencia estadística y redactar informes. Una parte significativa de este esfuerzo se dedica a escribir miles de líneas de código estructuralmente similares para procesar datos y aplicar técnicas estándar, a menudo sin un razonamiento físico profundo. Este proceso se ve frecuentemente ralentizado por la falta de documentación centralizada y actualizada sobre la infraestructura de software principal, lo que conduce a flujos de trabajo propensos a errores y tediosos que ofrecen rendimientos educativos decrecientes tras la fase inicial de aprendizaje. Aunque los Modelos de Lenguaje de Gran Escala (LLM) han mostrado resultados prometedores en la generación de código, los sistemas agénticos existentes en HEP suelen estar limitados a estructuras de análisis rígidas y predefinidas o requieren una supervisión constante de un humano en el bucle, lo que impide una verdadera autonomía.

Metodología: El Marco de Trabajo "Just Furnish Context" (JFC)
Los autores presentan el marco "Just Furnish Context" (JFC), un marco de prueba de concepto diseñado para permitir la ejecución totalmente autónoma de los flujos de trabajo de análisis de HEP. El marco opera bajo el principio de que un agente de IA debe recibir únicamente un objetivo físico de alto nivel (por ejemplo, "Medir la forma de línea de la partícula Z") y determinar de forma autónoma la estrategia completa, incluyendo la selección de eventos, la estimación de fondos y los métodos estadísticos, sin que se le proporcione una plantilla o un código esqueleto.

Los componentes clave de la arquitectura JFC incluyen:

• Orquestador y Subagentes: Un orquestador central delega tareas a subagentes especializados (Ejecutor, Revisores, Redactor de Notas, Maquetador, Árbitro) utilizando el entorno Claude Code (modelo Opus 4.8). El orquestador nunca escribe código ni lee archivos de datos completos; gestiona el flujo de trabajo mediante artefactos escritos.
• Fases Secuenciales con Compuertas: El análisis se descompone en fases secuenciales (Estrategia, Exploración, Procesamiento, Inferencia, Documentación). Cada fase está controlada por la producción de un artefacto escrito (por ejemplo, STRATEGY.md, SELECTION.md) y debe superar una revisión independiente antes de proceder.
• Sistema de Revisión Multi-Agente: Para reemplazar el proceso de revisión humana distribuida de las colaboraciones tradicionales, JFC emplea un panel de revisores de IA especializados:
  • Revisor de Física: Evalúa la solidez de la física (modelado de señal, estimación de fondo) sin acceso a la metodología interna del marco, actuando como un referee externo.
  • Revisor Crítico: Verifica el cumplimiento de las especificaciones y convenciones metodológicas.
  • Revisor Constructivo: Sugiere mejoras y alternativas.
  • Validador de Gráficos: Realiza comprobaciones programáticas en las figuras (rendimientos, unidades, consistencia) y detecta señales de alerta (por ejemplo, rendimientos negativos, ajustes no convergidos).
  • Árbitro: Sintetiza los hallazgos de los revisores en un veredicto de PASAR, ITERAR o ESCALAR.
• Recuperación de Conocimiento: El marco integra SciTreeRAG para recuperar conocimiento específico del dominio de un corpus de artículos publicados (por ejemplo, ALEPH, DELPHI, CMS). Esto permite a los agentes adaptar los criterios de selección y las evaluaciones de incertidumbre sistemática basándose en prácticas experimentales establecidas en lugar de depender únicamente de sus datos de pre-entrenamiento.
• Protocolo de Cegamiento: El marco impone un estricto protocolo de cegamiento. El análisis procede utilizando conjuntos de datos Asimov (resultados esperados) hasta que una fase de "Desenmascaramiento Parcial" (10% de los datos de señal) es revisada y aprobada explícitamente por un humano. Solo tras la aprobación humana, el agente procede al "Desenmascaramiento Total" sobre el conjunto de datos completo.
• Stack de Software: El sistema impone un stack de Python puro (uproot, awkward-array, hist, pyhf, mplhep) para garantizar la reproducibilidad y evitar dependencias de macros de C++ heredadas.

Contribuciones Clave

1. Ejecución Autónoma de Extremo a Extremo: El artículo demuestra que un agente de IA puede planificar, ejecutar y documentar de forma autónoma un análisis de HEP completo —desde la selección de eventos y la estimación de fondos hasta la inferencia estadística y la redacción del artículo— basándose únicamente en un breve prompt de lenguaje natural y acceso a datos abiertos.
2. Medición Novedosa: El marco produjo la primera medición de la densidad primaria del plano de chorros de Lund en decaimientos hadrónicos de Z utilizando datos de ALEPH. Según los autores, esta es la primera vez que este observable se mide en colisiones $e^+e^-$ y la primera vez que una nueva medición de HEP es producida enteramente de forma autónoma por un agente de IA.
3. Reproducción de Resultados Establecidos: El sistema reprodujo con éxito una medición de la fuerza de la señal del bosón de Higgs de CMS ($H \to \tau^+\tau^-$) en el canal $\mu\tau_h$ utilizando Open Data de CMS. El resultado ($\hat{\mu} = 1.20 \pm 1.13$) es consistente con el valor publicado de CMS ($\mu = 1.01 \pm 0.41$) dentro de 0.16$\sigma$, validando la capacidad del marco para replicar modelos estadísticos complejos.
4. Validación de Revisión Multi-Agente: El artículo establece que un sistema de revisión multi-agente puede detectar eficazmente errores (por ejemplo, priors de fondo incorrectos, significancia sobreestimada) y hacer cumplir estándares rigurosos comparables a las revisiones de colaboración humana, reduciendo la necesidad de intervención humana continua durante las fases de codificación y depuración.

Resultados
Los autores aplicaron JFC a seis análisis distintos a través de datos abiertos de ALEPH, DELPHI y CMS:

• Observables Escalares: El agente produjo mediciones de parámetros de la forma de línea de Z ($M_Z, \Gamma_Z, \sigma_{had}^0$), observables de sabor pesado ($R_b, A_{FB}^b$) y formas de eventos ($\alpha_s$). Ocho de nueve comparaciones escalares se encuentran dentro de $|pull| < 2$ de los valores de referencia publicados. Un valor atípico ($\Gamma_Z$) mostró una desviación de $-3.4\sigma$, rastreada hasta un problema residual de eficiencia en los puntos de escaneo fuera de pico.
• Cuantificación de Incertidumbre: Aunque los valores centrales fueron generalmente consistentes, las incertidumbres del agente fueron a menudo mayores que los resultados publicados (por ejemplo, la incertidancia de CMS $\mu\tau_h$ fue casi tres veces la publicada), lo que refleja las limitaciones de usar conjuntos de datos abiertos parciales en lugar de conjuntos de datos completos de la colaboración.
• Evaluación Cualitativa: El agente seleccionó consistentemente estrategias de análisis estándar (por ejemplo, desenmascaramiento bayesiano iterativo, de funciones de verosimilitud HistFactory) e identificó correctamente las fuentes de incertidumbre sistemática. Las notas de análisis y las figuras generadas fueron de calidad de publicación, aunque algunas requirieron refinamiento iterativo por parte de los agentes de revisión para corregir errores de formato o lógicos.
• Eficiencia: El flujo completo para un solo análisis tomó aproximadamente 10 horas de tiempo de reloj (incluyendo el tiempo de espera por límites de tasa), siendo el tiempo de cómputo activo significativamente menor.

Significancia y Reivindicaciones
El artículo argumenta que la comunidad de la HEP experimental está subestimando las capacidades actuales de los sistemas de IA agéntica. Los autores afirman que:

• Capacidad Actual: Los agentes de IA ya pueden encargarse de la "carga técnica repetitiva" del desarrollo de código de análisis, liberando a los investigadores para que se centren en la visión física, el desarrollo de métodos novedosos y la validación rigurosa.
• No es un Reemplazo, sino una Delegación: Los autores declaran explícitamente que no están llamando a que la IA reemplace a los físicos. El resultado final de cualquier análisis asistido por IA debe ser exhaustivamente verificado y validado por expertos en el dominio. El papel del físico cambia de implementador a arquitecto y crítico.
• Cambio de Paradigma: El marco sugiere la necesidad de repensar cómo se entrena a los estudiantes, cómo se organizan los esfuerzos de análisis y cómo se asigna la experiencia humana. Si la implementación puede comprimirse de años a meses (o días), el cuello de botella en HEP pasa de la capacidad de codificación a las ideas físicas y al ancho de banda de revisión humana.
• Reanálisis de Datos Legados: El marco ofrece una vía para reanalizar sistemáticamente vastos archivos de datos legados (por ejemplo, LEP, Tevatron) utilizando software y técnicas modernas, una tarea previamente impracticable debido a la pérdida de pericia en los códigos legados (por ejemplo, FORTRAN, PAW).

El artículo concluye que, si bien los agentes actuales no son perfectos y requieren supervisión humana para la validación y el desenmascaramiento, la tecnología para realizar análisis de nivel de estudiante de posgrado ya está aquí, lo que justifica la experimentación inmediata y el desarrollo de flujos de trabajo responsables y benchmarks.