⚛️ high-energy experiments

\textbf{\textsc{HepUKE}}: Uncertainty-aware Knowledge Evolution for High Energy Physics Analysis Agents

Este artículo presenta HepUKE, un sistema de evolución de conocimiento consciente de la incertidumbre para agentes de análisis de Física de Altas Energías que cuantifica la confianza de la evidencia mediante la entropía de la información para permitir bases de conocimientos de DSL de autoevolución y reduce significativamente las rondas de recuperación manteniendo la calidad de las respuestas.

Autores originales: Zijie Shang, Ke Li, Junkun Jiao, Shengchun Wang, Changzheng Yuan, Xiongfei Wang, Beijiang Liu, Weimin Song, Xiaoshen Kang

Publicado 2026-10-12

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Zijie Shang, Ke Li, Junkun Jiao, Shengchun Wang, Changzheng Yuan, Xiongfei Wang, Beijiang Liu, Weimin Song, Xiaoshen Kang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La física de altas energías es la ciencia de colisionar partículas a velocidades increíbles para ver de qué están hechas y cómo se comportan. Para dar sentido a los miles de millones de colisiones que ocurren cada segundo, los científicos dependen de computadoras masivas y software complejo para clasificar los datos, filtrar el ruido y encontrar los eventos raros que revelan nuevas leyes de la naturaleza. Este proceso requiere un profundo conocimiento del equipo, las matemáticas y las reglas específicas del juego. En años recientes, los investigadores han comenzado a preguntarse si la inteligencia artificial puede ayudar. Han construido asistentes digitales que pueden leer artículos científicos y escribir el código necesario para analizar datos. Sin embargo, estos asistentes a menudo tienen dificultades porque tratan cada pieza de información que encuentran como igualmente verdadera. Si la computadora lee un documento que suena similar al que necesita pero que en realidad describe un experimento diferente o utiliza un método distinto, el asistente podría copiar las instrucciones incorrectas. Esto puede conducir a errores graves en los resultados finales, porque en este campo, un pequeño error en el código puede cambiar toda la conclusión física.

Un equipo de investigadores ha desarrollado un nuevo sistema llamado HEPUKE para solucionar este problema. En lugar de solo buscar documentos que suenen similares a la pregunta, este sistema actúa como un experto cauteloso que verifica la fiabilidad de cada consejo que recibe. Los investigadores se dieron cuenta de que en la física de altas energías existen dos tipos de incertidumbre. La primera es estadística, que proviene de la aleatoriedad natural de cómo una computadora genera una respuesta. La segunda es sistemática, que proviene de las decisiones tomadas en el método mismo, como qué herramientas o configuraciones específicas se utilizaron. La mayoría de los sistemas de IA actuales ignoran este segundo tipo. HEPUKE combina ambos tipos de incertidumbre en una única medida de confianza. Cuando el sistema encuentra un ejemplo potencial para copiar, se pregunta: "¿Si utilizo este ejemplo, mi respuesta se vuelve más segura o se vuelve confusa?". Si el ejemplo introduce confusión o depende de un método que no se ajusta a la tarea actual, el sistema lo rechaza.

El sistema funciona construyendo una biblioteca viva de conocimiento experto. Comienza con una colección de programas de análisis probados escritos por científicos humanos. Cuando llega una nueva tarea, el sistema busca en esta biblioteca la mejor coincidencia. Pero, a diferencia de los sistemas anteriores que simplemente tomaban el primer resultado, HEPUKE pone a prueba la coincidencia. Genera varias soluciones posibles basadas en esa coincidencia y verifica qué tan consistentes son. Si las soluciones varían drásticamente, significa que la coincidencia es pobre o el método es inestable, por lo que el sistema la descarta. Si las soluciones son consistentes y la incertidumbre es baja, el sistema acepta el consejo. Crucialmente, si el sistema resuelve con éxito un nuevo problema que no estaba en la biblioteca antes, añade esa nueva solución a la biblioteca para su uso futuro. Esto permite que el sistema se vuelva más inteligente con el tiempo, pero solo añadiendo soluciones que han sido rigurosamente verificadas.

Para que este proceso sea eficiente, el sistema incluye un botón de parada inteligente. En muchas bases de datos científicas, la misma información se repite en muchos documentos diferentes. Una computadora estándar podría seguir buscando a través de página tras página, desperdiciando tiempo y dinero, incluso después de haber encontrado la respuesta. HEPUKE observa el flujo de información mientras busca. Sabe cuándo ha reunido evidencia suficiente y cuándo seguir buscando es solo encontrar lo mismo de nuevo. Detiene la búsqueda en ese punto, ahorrando una cantidad significativa de tiempo y potencia de cómputo. En pruebas utilizando datos del experimento Beijing Spectrometer III, el sistema redujo el número de pasos de búsqueda en un 43 por ciento manteniendo casi la misma calidad de las respuestas. También funcionó bien en una prueba de conocimientos generales que no tenía nada que ver con la física, demostrando que el método es robusto.

Los investigadores descubrieron que este enfoque es particularmente bueno para manejar las reglas específicas y rígidas de la física de partículas. Descubrieron que la parte más importante del código para verificar es la sección donde el científico decide qué eventos conservar y cuáles descartar. Es aquí donde suele residir la mayor incertidumbre. Al enfocarse en esta parte, el sistema puede distinguir entre un ejemplo útil y uno engañoso. El estudio muestra que, al tratar la incertidumbre como una herramienta en lugar de un error, los asistentes de IA pueden convertirse en socios mucho más fiables para los científicos. Pueden aprender de sus errores, evitar copiar los métodos incorrectos y ayudar a los investigadores a llegar a las respuestas más rápido sin sacrificar la precisión. Este trabajo sugiere que el futuro del descubrimiento científico no se tratará solo de tener más datos, sino de tener formas más inteligentes de confiar en la información que encontramos.

Resumen Técnico: HEPUKE – Evolución del Conocimiento con Conciencia de la Incertidumbre para Agentes de Análisis de Física de Altas Energías

Planteamiento del Problema

El análisis en la Física de Altas Energías (HEP, por sus siglas en inglés) requiere que los agentes sinteticen flujos de trabajo de software complejos (Lenguajes de Dominio Específico o DSL) basados en precedentes de pocos ejemplos (few-shot). Los sistemas actuales de Generación Aumentada por Recuperación (RAG) para HEP enfrentan tres limitaciones críticas:

Relevancia Engañosa: La similitud semántica estándar trata todos los documentos recuperados como igualmente dignos de confianza. En HEP, los documentos pueden compartir terminología pero diferir en relevancia física, tipos de medición o confiabilidad, lo que conduce a un sesgo sistemático.
Conocimiento Estático: Los sistemas actuales no retienen iterativamente los precedentes validados ni estiman la confianza de la evidencia almacenada, lo que impide que la base de conocimientos evolucione basándose en análisis exitosos.
Incertidumbre No Calibrada: Los métodos de cuantificación de la incertidumbre existentes capturan principalmente fluctuaciones estadísticas (varianza de la salida bajo evidencia fija), pero no logran contabilizar la incertidumbre sistemática derivada de las elecciones metodológicas en la evidencia recuperada. Además, los bucles de recuperación carecen de mecanismos de parada adaptativa, lo que genera llamadas redundantes en corpora de HEP altamente repetitivos.

Metodología: Marco de Trabajo HEPUKE

Los autores proponen HEPUKE (Uncertainty-Aware Knowledge Evolution), un sistema que fusiona la incertidumbre estadística de la generación de Modelos de Lenguaje de Gran Escala (LLM) con la incertidumbre sistemática de las elecciones metodológicas de HEP. El marco opera sobre una base de conocimientos compartida $K = K_{QA} \cup K_{DSL}$ , donde $K_{DSL}$ es una biblioteca evolutiva de programas DSL (específicamente HepScript para el experimento BESIII).

1. Estimador de Confianza con Conciencia de la Incertidumbre

HEPUKE cuantifica la fiabilidad de un precedente recuperado midiendo su capacidad para reducir la incertidumbre en el DSL generado.

Incertidumbre Estadística ( $H_{stat}$ ): Computada mediante la entropía predictiva a nivel de token del LLM.
Incertidumbre Sistemática ( $H_{syst}$ ): Computada mediante el desacuerdo estructural (Divergencia de Jensen-Shannon) a través de rutas de generación de DSL semánticamente equivalentes. Esto captura la sensibilidad a las elecciones metodológicas (por ejemplo, cortes de selección, configuraciones de ajuste).
Puntuación: El sistema calcula la reducción de la entropía ( $\Delta H$ ) cuando se utiliza un candidato precedente frente a un baseline. Una puntuación de candidato se forma ponderando la reducción de la entropía del código completo y de la entropía del módulo de selección:
$score(q, k) = \Delta H_{stat}(q, k) + \alpha \Delta H_{full}(q, k) + (1 - \alpha) \Delta H_{sel}(q, k)$
La confianza $c(q)$ se deriva de esta puntuación utilizando una función sigmoide.

2. Base de Conocimientos de DSL Autoevolutiva

El sistema emplea un mecanismo de evolución de conocimiento con puerta de confianza y de solo adición (confidence-gated, append-only).

Puerta Dual: Un programa sintetizado se admite en la base de conocimientos solo si pasa por:
1. Puerta de Validación: Análisis estático exitoso y ejecución de prueba (dry-run).
2. Puerta de Confianza: El programa debe exhibir un "punto óptimo" específico de reducción de incertidumbre. Los autores observan una relación en forma de U invertida donde una reducción de incertidumbre muy alta indica una copia inapropiada de valores específicos del precedente (cola de transcripción), mientras que una reducción baja indica conflicto. Solo se admiten los programas con una reducción de incertidumbre moderada y positiva.
Procedencia: Cada entrada retiene fragmentos de la fuente e historial de síntesis, lo que permite la trazabilidad hasta las semillas escritas por humanos.

3. Controlador de Parada Temprana

Para abordar la redundancia en los corpora de HEP, HEPUKE introduce un controlador de parada adaptativo que determina cuándo terminar las rondas de recuperación.

Mecanismo: Fusiona una prueba de estacionariedad hacia atrás (basada en la Detección de Cambio de Punto en Línea Bayesiana, BOCPD) sobre la posterior de la respuesta con una estimación hacia adelante de la ganancia de información marginal.
Decisión: La recuperación se detiene cuando la posterior es suficientemente estable y la ganancia de información esperada de otra ronda es baja, evitando la sobre-recuperación sin requerir tokens de reflexión o reentrenamiento.

Contribuciones Clave

Señal de Incertidumbre Unificada: El artículo propone un método para fusionar la incertidumbre estadística (varianza de generación del LLM) y la incertidumbre sistemática (elecciones metodológicas en la evidencia) en una única señal de confianza para el reordenamiento (reranking) y la admisión de conocimiento.
Base de Conocimientos Autoevolutiva: Introduce un mecanismo para la expansión continua y con puerta de confianza de una base de conocimientos de dominio específico, yendo más allá de los índices de recuperación estáticos.
Parada Temprana Basada en Información Teórica: Los autores desarrollan un controlador que reduce la recuperación redundante en corpora científicos altamente repetitivos combinando la detección de estacionariedad con la estimación de la ganancia de información.
Benchmark BESIII: El trabajo lanza un benchmark a gran escala y anotado por expertos (BESIII-PhysicsQA) que contiene 1,000 pares de pregunta-respuesta y una biblioteca de 700 programas HepScript escritos por expertos.

Resultados Experimentales

Los experimentos se realizaron en el benchmark BESIII-PhysicsQA (in-domain) y HotpotQA (out-of-domain).

Confianza vs. Relevancia: La selección de confianza consciente de la incertidumbre superó a la recuperación basada en relevancia estándar. En la tarea BESIII-DSL, la mejor configuración de confianza ( $\alpha=0.0$ ) logró un 76.08% de coincidencia estricta y un 65.02% de precisión física, en comparación con el 74.94% y 62.46% de la selección de top-1 basada en relevancia.
Evolución del Conocimiento: La "puerta de intervalo" (admitiendo solo reducciones de incertidumbre moderadas) mejoró la calidad de los programas admitidos de 0.93 a 0.95, rechazando efectivamente la "cola de transcripción" donde los modelos copian ciegamente valores específicos del precedente.
Eficiencia: En el benchmark BESIII-PhysicsQA, el controlador de parada temprana redujo las rondas de recuperación en un 43.0% (de 5.23 a 2.98) y el total de tokens en un 44.9%, mientras preservaba el 95.5% de la precisión de la respuesta nativa (una caída de solo 2.27 puntos porcentuales). En HotpotQA, el controlador redujo el tiempo de recuperación en un 18.2% con una caída de precisión insignificante (0.76 puntos en F1).
Robustez: El filtrado por confianza se mantuvo efectivo bajo perturbaciones en la profundidad de recuperación ( $k=10$ ) y el parafraseo de prompts, mostrando una robustez particular en las métricas de evaluación sensibles a la física.

Significado

El artículo afirma que HEPUKE aborda las necesidades específicas de los agentes científicos donde la "guía estratégica" es más valiosa que las "respuestas listas para usar". Al tratar la incertidumbre no solo como un artefacto de generación sino como una señal de fiabilidad metodológica, el sistema permite una base de conocimientos auto-correctiva y evolutiva. Los resultados sugieren que para dominios de alta importancia y redundantes como la HEP, el control de la incertidumbre sistemática y el uso de la parada adaptativa ofrece un compromiso costo-precisión superior comparado con los flujos de trabajo RAG estándar. El marco está diseñado para ser agnóstico al generador y aplicable a cualquier experimento de HEP que utilice DSLs estructurados.