AgentRivet: an automated system for producing Rivet routines from journal publications

Este artículo presenta AgentRivet, un flujo de trabajo automatizado que utiliza Modelos de Lenguaje de Gran Escala para extraer detalles de análisis de física de publicaciones de revistas y generar rutinas de Rivet, abordando así la significativa brecha en la cobertura de mediciones independientes del modelo en la física de partículas.

Lo esencial

Imagina el mundo de la física de partículas como una enorme competencia de cocina de alto nivel. Los científicos en máquinas gigantes (como el Gran Colisionador de Hadrones) preparan "platos" complejos (colisiones de partículas) y escriben recetas detalladas en artículos científicos. También proporcionan una lista de ingredientes (datos) para que otros chefs puedan intentar recrear el plato.

Sin embargo, hay un problema: para poder probar y comparar estos platos de verdad, otros científicos necesitan una herramienta de cocina específica y estandarizada llamada Rivet. Piensa en Rivet como una taza medidora especializada y de alta tecnología que asegura que todos midan la sopa exactamente de la misma manera. Sin ella, no puedes comparar justamente tu sopa con la de otra persona.

El problema es que solo alrededor del 40% de las recetas publicadas vienen con esta taza medidora especial. El resto son solo descripciones escritas, las cuales son difíciles de convertir en el código preciso necesario para la herramienta.

Entra AgentRivet: El Sous-Chef de IA

Los autores de este artículo construyeron un nuevo sistema llamado AgentRivet. Piensa en AgentRivet como un equipo de robots de IA diseñados para leer esas recetas desordenadas y basadas solo en texto, y construir automáticamente las tazas medidoras Rivet (código de computadora) que faltan por ti.

Así es como funciona su "equipo de cocina", utilizando un flujo de trabajo simple:

1. El Analista (El Lector): Este robot de IA lee el artículo científico y actúa como un sous-chef muy cuidadoso. No solo lee; extrae las instrucciones exactas: "Use 2 limones", "Pique las cebollas de esta forma", "Cocine durante 10 minutos". Convierte el texto desordenado en una lista de compras limpia y estructurada.
2. El Programador (El Constructor): Este robot toma la lista de compras e intenta construir la herramienta Rivet real (que está escrita en un lenguaje de programación específico llamado C++). Es como un brazo robótico intentando ensamblar una máquina compleja basada en las instrucciones.
3. Los Revisores (Los Inspectores): Antes de que la herramienta esté terminada, dos inspectores revisan el trabajo.
   • El Revisor de Código busca errores técnicos, como usar el tipo de tornillo equivocado o una pieza rota (errores de sintaxis).
   • El Revisor de Física comprueba si las instrucciones realmente coinciden con la receta. ¿Midió el robot las cebollas correctamente? ¿Siguió el tiempo de cocción?

La "Prueba de Sabor" (Los Resultados)

El equipo probó este equipo de IA en dos recetas recientes y complejas de los experimentos ATLAS y CMS (dos importantes laboratorios de física de partículas). Le pidieron a la IA que construyera las herramientas Rivet desde cero.

• Las Buenas Noticias: El equipo de IA fue sorprendentemente bueno en su trabajo. Construyeron herramientas funcionales con muy pocos fallos técnicos. Cuando usaron las herramientas para medir colisiones de partículas simuladas, los resultados se parecieron mucho a lo que los científicos humanos esperaban.
• Las Malas Noticias (Las "Alucinaciones"): A veces, la IA se confundía con las partes vagas de la receta.
  • Si el artículo decía: "Haga algo especial con la salsa", pero no explicaba exactamente cómo, la IA adivinaba. A veces adivinaba bien; otras veces adivinaba mal.
  • Un modelo de IA (Gemini) a veces olvidaba seguir instrucciones específicas sobre los "neutrinos" (un tipo de partícula invisible), mientras que otro (Claude) a veces se quedaba trabado en un bucle o escribía sus propios "pensamientos" en lugar de solo el código.
  • La IA tuvo más dificultades con las partes más complejas y abstractas de las recetas, como medir la "forma" del evento o usar fórmulas matemáticas complejas que no estaban claramente definidas.

El Veredicto

El artículo concluye que AgentRivet es una nueva herramienta prometedora. Puede convertir con éxito alrededor del 40% de las recetas "faltantes" en código funcional, lo cual es una gran ayuda para la comunidad de física.

Sin embargo, no es perfecto todavía. Todamente necesita que un humano vigile su trabajo, especialmente cuando la receta original es vaga. Los autores sugieren que, en el futuro, enseñarán mejor a la IA entrenándola con más ejemplos y añadiendo controles automáticos para detectar errores antes de que un humano siquiera los vea.

En resumen: AgentRivet es un equipo automatizado que lee artículos científicos y construye las herramientas de software que faltan y que los científicos necesitan para comparar sus datos. Funciona bien, pero todavía comete errores cuando las instrucciones no están claras, por lo que todavía se necesitan expertos humanos para revisar el trabajo.

Resumen técnico

Resumen Técnico de AgentRivet: Un Sistema Automatizado para la Producción de Rutinas de Rivet a partir de Publicaciones de Revistas Científicas

Declaración del Problema
Los experimentos de colisionadores de física de partículas dependen de Rivet (Robust Independent Validation of Event Generators), un kit de herramientas en C++, para preservar las definiciones de los análisis y permitir comparaciones independientes de los modelos entre las predicciones teóricas y los datos experimentales. A pesar de los claros beneficios de esta estrategia de preservación, la cobertura de los análisis es críticamente incompleta. Actualmente, solo el 39% de las mediciones cuentan con rutinas de Rivet documentadas y públicamente disponibles, con una cobertura que varía desde el 49% en ATLAS hasta el 16% en ALICE. La producción de estas rutinas se percibe a menudo como una tarea laboriosa que no es suficientemente reconocida ni recompensada dentro de la comunidad, lo que crea un cuello de botella en la preservación de los datos de colisionadores.

Metodología: El Flujo de Trabajo de AgentRivet
Para abordar esta brecha, los autores diseñaron e implementaron AgentRivet, un flujo de trabajo autónomo y de múltiples pasos basado en Modelos de Lenguaje de Gran Escala (LLMs). El sistema está construido como un marco de trabajo de Python modular y agnóstico respecto al proveedor, que orquesta agentes de IA especializados para extraer información de física de publicaciones científicas y generar las correspondientes rutinas de Rivet.

El flujo de trabajo consta de los siguientes componentes clave:

1. Arquitectura de Agentes Modulares: El sistema desacopla la orquestación de alto nivel de los proveedores específicos de LLM (OpenAI, Anthropic, Google), lo que permite el cambio dinámico entre modelos.
2. Agentes Especializados:
   • Analista (Analyst): Extrae información física estructurada de las publicaciones, incluyendo definiciones de espacio de fase fiducial, construcción de objetos (por ejemplo, leptones vestidos, jets), criterios de selección de eventos y especificaciones de histogramas. Utiliza modelos Pydantic para imponer esquemas de salida estructurados.
   • Programador (Coder): Genera código C++ compatible con Rivet basado en el resumen estructurado proporcionado por el Analista. Está restringido al uso de la sintaxis de Rivet4 y se adhiere a políticas de revisión específicas.
   • Revisor de Código (Code Reviewer): Evalúa el código generado en busca de errores de sintaxis, uso de sintaxis obsoleta de Rivet3 y posibles problemas en tiempo de compilación.
   • Revisor de Física (Physics Reviewer): Valida la fidelidad de la física de la implementación frente a la especificación extraída por el Analista, verificando inconsistencias en las definiciones de objetos, cortes y observables.
3. Bucle de Revisión Iterativo: Una característica crítica del flujo de trabajo es un bucle iterativo donde el Programador refina el código basándose en la retroalimentación de ambos revisores. Este bucle continúa hasta que se otorga la aprobación, no quedan problemas mayores o se alcanza un límite de iteración configurable.
4. Memoria Compartida y Artefactos: Todos los pasos intermedios, incluyendo metadatos extraídos, borradores de código y comentarios de revisión, se almacenan en un estado compartido. Esto asegura que el proceso sea auditable, reproducible y permita el almacenamiento en caché de productos derivados de LLM que son costosos.

Evaluación Comparativa y Configuración Experimental
El rendimiento de AgentRivet fue evaluado utilizando dos mediciones recientes y públicamente disponibles que carecían de rutinas de Rivet existentes:

1. ATLAS: Producción inclusiva de $W\gamma \to \ell\nu\gamma$, que presenta observables angulares complejos, asimetrías de impulso (boost asymmetries) y observables basados en redes neuronales.
2. CMS: Observables de forma de evento utilizando partículas cargadas dentro de jets, que involucran definiciones no triviales de masa de jet, empuje (thrust) y ensanchamiento (broadening).

El sistema fue probado con tres LLMs comerciales: Gpt-5.5 (OpenAI), Gemini-3.5-Flash (Google) y Claude-Opus-4.6 (Anthropic). Para cada configuración, se realizaron tres ejecuciones independientes para evaluar la consistencia. Las rutinas generadas fueron compiladas con Rivet-4.1.2 y aplicadas a muestras de eventos de Monte Carlo (MadGraph5_a_aMC@NLO y Pythia8) para verificar los resultados físicos.

Resultados Clave

• Calidad del Código: AgentRivet produjo rutinas de Rivet competentes con pocos errores de sintaxis.
  • Gpt-5.5 y Claude-Opus-4.6 generalmente produjeron rutinas que compilaron con éxito, aunque Claude-Opus-4.6 rara vez aprobó formalmente las rutinas a pesar de identificar cero bloqueadores.
  • Gemini-3.5-Flash requirió de 2 a 3 iteraciones para eliminar la sintaxis obsoleta de Rivet3 y ocasionalmente introdujo sintaxis alucinada.
  • Todas las rutinas pudieron compilarse con una intervención humana mínima (corrigiendo solo los errores necesarios).
• Fidelidad de la Física:
  • Reconstrucción de Objetos: La mayoría de los modelos reconstruyeron correctamente los objetos estándar (electrones, muones, fotones, jets). Sin embargo, surgieron problemas sutiles, como la exclusión incorrecta de leptones "vestidos" o la inclusión de neutrinos prompt en la búsqueda de jets, debido a menudo a frases ambiguas en los artículos originales.
  • Observables Complejos: El sistema tuvo dificultades con las definiciones más complejas. Para el análisis de ATLAS, Gemini-3.5-Flash no logró construir los observables angulares debido a una extracción de información incompleta por parte del Analista. Claude-Opus-4.6 ocasionalmente aplicó restricciones al sistema incorrecto (por ejemplo, restringiendo el sistema $\ell\nu\gamma$ en lugar de $\ell\nu$).
  • Observables de Redes Neuronales: Como era de esperar, ningún modelo pudo construir observables basados en redes neuronales sin los archivos del modelo subyacente, lo que resalta una limitación en el manejo de definiciones de "caja negra".
  • Binning de Histogramas: Cuando los registros de HepData no estaban disponibles, los modelos tuvieron que inferir el binning a partir de los gráficos, lo que llevó a ligeros desajustes que requirieron corrección manual.
• Costo y Fiabilidad: El costo para producir una rutina osciló entre \1.20 y \2.20. El marco demostró robustez frente a fallos de la API mediante lógica de reintento, aunque la estabilidad del acceso varió significamente según el proveedor y la hora del día.

Significado y Reivindicaciones
El artículo afirma que AgentRivet demuestra la capacidad de los LLM modernos para extraer definiciones de análisis detalladas de la literatura científica y traducirlas en software científico ejecutable. El sistema logra cerrar la brecha entre la publicación y la implementación, ofreciendo una solución potencial para la cobertura incompleta de las rutinas de Rivet.

Los autores enfatizan que el proceso de revisión iterativo es esencial para mejorar tanto la calidad del código como la consistencia con el análisis original. Señalan que, si bien el sistema aún no es perfecto, la mayoría de los problemas de implementación física derivan de definiciones sutiles pero ambiguas en las publicaciones originales, más que de fallos fundamentales en el flujo de trabajo. En consecuencia, el artículo argumenta que AgentR vez proporciona una vía automatizada y viable para aumentar la preservación de los análisis, siempre que los artefactos generados pasen por los ciclos de control de calidad descritos. El trabajo contribuye a la creciente literatura sobre agentes de IA al documentar su rendimiento en un contexto científico riguroso y de dominio específico.