HEPTABench: A framework for portable and controlled agentic evaluations in high energy physics

En los vastos y silenciosos corredores de la física moderna, los científicos ya no solo buscan nuevas partículas; también buscan nuevas formas de realizar el trabajo de encontrarlas. Durante décadas, el campo de la física de altas energías ha dependido de investigadores humanos para traducir teorías abstractas en cálculos concretos, escribiendo complejos códigos informáticos para simular cómo podrían comportarse las partículas en detectores gigantes o para predecir los resultados de las colisiones. Hoy, un nuevo tipo de trabajador ha entrado en el laboratorio: el agente de inteligencia artificial. Estos no son programas simples que siguen una lista rígida de instrucciones, sino sistemas sofisticados capaces de planificar tareas de múltiples pasos, escribir su propio código, ejecutar simulaciones y corregir sus propios errores cuando algo sale mal. Prometen acelerar el ritmo del descubrimiento, pero también introducen una nueva pregunta: ¿podemos confiar en ellos para realizar el delicado y preciso trabajo de la ciencia? Para responder a esto, los investigadores deben ir más allá de las pruebas simples y crear un entorno controlado donde puedan ver exactamente cómo se desempeñan estos asistentes digitales, qué herramientas necesitan y dónde podrían fallar.

Un equipo de físicos y científicos de la computación ha construido tal entorno, un marco de trabajo que llaman HEPTABench, diseñado para poner a prueba a estos agentes de IA en el mundo específico de la física de altas energías. Su objetivo no era solo ver si una IA podía resolver un problema, sino comprender cómo las herramientas que utiliza cambian el resultado. Establecieron una serie de experimentos donde se le asignó la misma tarea científica a diferentes sistemas de IA, pero cambiando una variable crucial: en algunas pruebas, la IA tenía que construir sus propias herramientas matemáticas desde cero, mientras que en otras, se le entregó un conjunto de herramientas especializadas y verificadas de instrumentos específicos. Los resultados fueron claros y consistentes. Cuando se permitió a los agentes de IA utilizar estas herramientas especializadas y específicas del dominio, su trabajo se volvió significamente más preciso y mucho más fiable. Los resultados que produjeron estuvieron más cerca de la verdad conocida, y las respuestas que dieron fueron mucho más consistentes de un intento al siguiente.

Los investigadores probaron esta idea con dos tipos de problemas de física muy diferentes. El primero fue un cálculo complejo que involucraba una partícula hipotética que vive durante mucho tiempo antes de decaer. Este tipo de cálculo es un elemento básico en el campo, y requiere una cadena de pasos que incluye predecir cómo se crea la partícula, cómo viaja a través de un detector y qué tan probable es que sea vista. El equipo pidió a cuatro sistemas de IA avanzados diferentes que realizaran este cálculo. En la primera ronda, se les dieron a los sistemas solo las leyes básicas de la física y la configuración experimental, obligándolos a escribir cada pieza de código necesaria para simular el viaje de la partícula. En la segunda ronda, los mismos sistemas recibieron la misma tarea pero también se les proporcionó un conjunto de herramientas especializadas que podían manejar partes específicas del cálculo, como generar flujos de partículas o calcular probabilidades de desintegración. La diferencia fue sorprendente. Cada uno de los sistemas, independientemente de su arquitectura subyacente, produjo mejores resultados cuando tuvo acceso a las herramientas especializadas. Los números que calcularon estuvieron más cerca de los valores correctos, y la variación entre diferentes intentos del mismo sistema disminuyó drásticamente. Los agentes de IA también escribieron mucho menos código, confiando en las herramientas de confianza para el trabajo pesado en lugar de reinventar la rueda en cada prueba.

El segundo experimento se centró en un tipo diferente de desafío: la matemática simbólica. Aquí, la tarea consistía en derivar fórmulas sobre cómo decaen las partículas, un proceso que requiere manipular expresiones algebraicas complejas en lugar de simplemente procesar números. Los investigadores probaron un modelo de IA específico en ocho escenarios de desintegración diferentes. Sin las herramientas especializadas, el modelo tuvo dificultades inmensas, teniendo éxito solo en una mínima fracción de sus intentos. A menudo producía respuestas incompletas o fórmulas que no coincidían con la física. Sin embargo, cuando el mismo modelo tuvo acceso a un kit de herramientas diseñado específicamente para cálculos de física simbólica, su rendimiento se disparó. La fracción de intentos exitosos saltó de un mero ocho por ciento a casi el ochenta por ciento. Esto demostró que proporcionar las herramientas adecuadas podía transformar un sistema que apenas era funcional en uno altamente efectivo. Curiosamente, un modelo de IA diferente y más potente fue capaz de resolver estos problemas perfectamente utilizando solo sus capacidades integradas, lo que sugiere que, si bien las herramientas son esenciales para algunos sistemas, los modelos más avanzados podrían eventualmente ser capaces de manejar estas tareas por sí solos.

El estudio hace más que solo demostrar que las herramientas ayudan; establece un método para probarlo. Al mantener constante cada otro factor —la tarea, el modelo de IA y el entorno informático—, los investigadores pudieron aislar el efecto de las herramientas mismas. Encontraron que la mejora no era solo cuestión de obtener la respuesta correcta una vez; se trataba de la consistencia. Los agentes de IA se volvieron más fiables, produciendo resultados que se mantenían cerca de la verdad en cada ejecución del experimento. Esta fiabilidad es crítica para la ciencia, donde un solo golpe de suerte no es suficiente; los investigadores necesitan saber que un resultado se mantendrá bajo escrutinio. El marco de trabajo que construyeron permite este tipo de inspección detallada, registrando cada paso que tomó la IA, cada archivo que creó y cada decisión que tomó. Esta transparencia significa que, si un resultado es cuestionado, los científicos pueden volver atrás y observar el camino exacto que la IA tomó para llegar allí, en lugar de simplemente aceptar un número final.

Las implicaciones de este trabajo se extienden más allá de las partículas o cálculos específicos probados. Sugiere una nueva forma de pensar sobre cómo se utilizará la inteligencia artificial en la ciencia. En lugar de esperar una única IA omnisciente que lo haga todo, el futuro podría residir en emparejar estos sistemas inteligentes con kits de herramientas especializados y verificados por humanos. Así como un físico humano depende de una biblioteca de fórmulas establecidas y paquetes de software para realizar su trabajo, un agente de IA puede ser hecho más capaz y confiable dándole acceso a los mismos recursos. Los investigadores demostraron que este enfoque funciona a través de diferentes tipos de IA y diferentes tipos de problemas de física, desde la simulación de colisiones de partículas hasta la derivación de fórmulas matemáticas. Ofrece un camino hacia adelante donde la velocidad y la adaptabilidad de la IA se combinan con la precisión y la fiabilidad de las herramientas diseñadas por humanos.

En última instancia, el trabajo presentado en este artículo trata de construir confianza. A medida que la inteligencia artificial se integra más en el proceso científico, la comunidad necesita una forma de medir sus capacidades y limitaciones con el mismo rigor utilizado para cualquier otro instrumento científico. HEPTABench proporciona esa vara de medir. Muestra que, con la configuración adecuada, los agentes de IA pueden ser guiados para producir un trabajo científico de alta calidad y reproducible. Los hallazgos sugieren que la forma más efectiva de desplegar estos sistemas en el futuro no es dejar que deambulen libremente, sino equiparlos con las herramientas específicas y verificadas que necesitan para tener éxito. Este enfoque asegura que los resultados que producen no sean solo conjeturas ingeniosas, sino contribuciones fiables a nuestra comprensión del universo.