🔬 physics

A corrective agentic hybrid RAG and an operations-grounded evaluation for a scientific facility

Este artículo presenta APS-RAG, un sistema de generación aumentada por recuperación híbrido y agéntico implementado para el Advanced Photon Source que integra diversas fuentes de datos y un bucle correctivo para mejorar significativamente la recuperación de conocimiento operativo, junto con el lanzamiento del conjunto de datos APS-Bench y un marco de evaluación para establecer un flujo de trabajo confiable y estadísticamente fundamentado para la asistencia de IA en instalaciones científicas.

Autores originales: Rajat Sainju, Dariusz Jarosz, Hairong Shang, Michael Prince, Ryan M. Aydelott, Mathew J. Cherukara, Yine Sun, Michael D. Borland

Publicado 2026-07-28

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Rajat Sainju, Dariusz Jarosz, Hairong Shang, Michael Prince, Ryan M. Aydelott, Mathew J. Cherukara, Yine Sun, Michael D. Borland

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina una fábrica masiva y de alta tecnología que dispara haces de luz increíblemente brillantes hacia muestras diminutas para ver cómo están hechas. Este lugar, llamado instalación científica, ha estado funcionando durante décadas. A lo largo de ese tiempo, las personas que trabajan allí han escrito millones de notas: qué se rompió, cómo lo arreglaron, qué configuraciones funcionaron y qué pasó cuando intentaron algo nuevo. Estas notas están dispersas por todas partes: en libros de registro digitales, en mensajes de chat, en manuales técnicos e incluso en flujos de datos informáticos en vivo. Es como intentar encontrar una receta específica en una biblioteca donde los libros están esparcidos por el suelo, el techo y dentro de las paredes, y no existe un único índice que ayude a encontrarlos.

Para resolver esto, los científicos utilizan una herramienta llamada Generación Aumentada por Recuperación (RAG, por sus siglas en inglés). Piensa en el RAG como un bibliotecario superinteligente que no solo adivina la respuesta basándose en su propia memoria (que podría estar equivocada), sino que primero corre hacia las estanterías, toma las páginas exactas de los libros viejos y luego escribe una nueva respuesta basada solo en lo que dicen esas páginas. Este documento presenta una versión actualizada de este bibliotecario, diseñada específicamente para el Advanced Photon Source (APS), una gigante fábrica de luz en Illinois. Construyeron un sistema llamado APS-RAG que puede entender preguntas normales como "¿Por qué se detuvo el haz?" y buscar a través de décadas de registros desordenados y dispersos para encontrar la respuesta. Debido a que el sistema realiza un razonamiento profundo y múltiples pasos de búsqueda para garantizar la precisión, este proceso toma tiempo, variando típicamente entre 40 y 178 segundos por consulta, en lugar de ser instantáneo. También construyeron una prueba especial, llamada APS-Bench, para ver si su nuevo bibliotecario es realmente mejor que los antiguos, utilizando 50 preguntas complicadas que el personal real podría hacer.

El Problema: Una Biblioteca en el Caos

En el APS, el conocimiento está en todas partes pero en ninguna parte a la vez. Si una máquina se rompe, la historia de la reparación podría estar en un mensaje de chat de hace tres años, el manual técnico podría estar en una base de datos diferente, y los datos en vivo que muestran el error podrían estar en un tercer sistema. Cuando los trabajadores experimentados se jubilan o cambian de turno, ese "conocimiento tribal" a menudo se va con ellos, lo que provoca tiempos de inactividad más largos y personal frustrado.

El equipo quería construir un asistente de IA que pudiera hablar con el personal en lenguaje sencillo y extraer respuestas de todos estos lugares diferentes a la vez. Pero sabían que si la IA simplemente inventaba cosas (un problema llamado "alucinación"), podría ser peligroso en un lugar donde la precisión es vital. Así que no solo construyeron un chatbot; construyeron un sistema "correctivo" que verifica su propio trabajo.

La Solución: APS-RAG y sus Superpoderes

El equipo creó APS-RAG, una plataforma que actúa como un detective con tres formas diferentes de buscar pistas:

La búsqueda de "Coincidencia de Palabras": Como un catálogo clásico de biblioteca, busca palabras y números exactos (como códigos de máquinas específicos).
La búsqueda de "Significado": Como un asistente inteligente que entiende que "motor roto" y "motor fallido" son similares, incluso si las palabras son diferentes.
La búsqueda de "Conexión": Esta utiliza un "grafo de conocimiento", que es como una gran red de conexiones. Sabe que un código de error específico está vinculado a una pieza específica, la cual está vinculada a un manual de reparación específico.

Una vez que el sistema encuentra estas pistas, no solo las arroja. Utiliza un Reclasificador Cross-Encoder (Cross-Encoder Reranker). Imagina a un gerente de contratación que lee cada currículum (los resultados de búsqueda) y luego los clasifica cuidadosamente para asegurarse de que los mejores estén en la parte superior. El documento encontró que este paso es absolutamente crítico. Sin él, la capacidad del sistema para encontrar la respuesta correcta cae un masivo 32.8%.

Pero la verdadera magia es el Bucle Agéntico Correctivo (Corrective Agentic Loop). Esto es como un editor que se autocorrige. Después de que la IA escribe un borrador de respuesta, se detiene y se pregunta a sí misma: "¿Realmente encontré pruebas para esto? ¿Está esto completo?". Si la respuesta es "no" o "tal vez", el sistema no adivina; vuelve a la biblioteca, busca de nuevo con una red más amplia e intenta encontrar las piezas faltantes. Puede hacer esto hasta dos veces para asegurar que la respuesta sea sólida antes de mostrársela al usuario.

Lo que Encontraron: Lo Bueno, lo Malo y lo Sorprendente

El equipo probó su nuevo sistema contra una versión "ingenua" (una búsqueda simple que solo busca palabras clave) usando su prueba de 50 preguntas, APS-Bench.

La Gran Victoria: Cada versión de su nuevo sistema que utilizó el método de "búsqueda + IA" fue mejor que la simple búsqueda de palabras clave. La mejor versión, que utilizó los tres tipos de búsqueda más el bucle de autocorrección, obtuvo la puntuación más alta, encontrando los hechos más importantes el 70.3% de las veces, en comparación con el 63.8% de la búsqueda simple.
El Componente Crítico: El documento establece explícitamente que el Reclasificador Cross-Encoder es la parte más importante. Si se elimina, el sistema falla significamente. Es la diferencia entre un bibliotecario que sabe priorizar los mejores libros y uno que simplemente agarra los primeros que ve.
Las Partes del "Tal Vez": Aunque el "Grafo de Conocimiento" (la red de conexiones) y el "Bucle de Autocorrección" ayudaron, el documento es cuidadoso al decir que la mejora que proporcionaron fue marginal y no se demostró estadísticamente que fuera una gran victoria sobre las otras partes en este tamaño de prueba específico. El grafo ayudó con preguntas complejas de "¿por qué sucedió esto?", pero para hechos simples, no fue un cambio radical.
El Hallazgo de "No culpes al escritor": El equipo probó diferentes modelos de IA para escribir las respuestas finales. Encontraron que la calidad de la búsqueda importaba mucho más que qué modelo de IA estaba escribiendo la respuesta. Incluso un modelo de IA más pequeño y de código abierto podía escribir una gran respuesta si tenía los hechos correctos con los que trabajar. Sin embargo, algunos modelos eran mucho mejores en no mentir (fidelidad) que otros.

El Veredicto

El documento concluye que APS-RAG es una herramienta prometedora para convertir décadas de desordenados registros de la instalación en un asistente confiable y digno de confianza. Demuestra que combinar diferentes métodos de búsqueda con un paso de "verificar el propio trabajo" hace que la IA sea mucho más segura y precisa para el uso industrial del mundo real.

Sin embargo, los autores son honestos sobre los límites. Encontraron que, si bien el sistema funciona, la complejidad adicional del "bucle de autocorrección" y el "grafo de conocimiento" no siempre resultó en un salto masivo en las puntuaciones en comparación con el método de "búsqueda híbrida" más simple. La mayor conclusión es que la reclasificación (ordenar los resultados de búsqueda cuidadosamente) es la salsa secreta que hace que todo funcione.

En resumen, construyeron un sistema que no solo adivina; busca, verifica y se corrige a sí mismo. Aunque no es una solución mágica y perfecta que resuelve cada problema instantáneamente (toma un minuto o dos para ser exhaustivo), ofrece una forma confiable y estadísticamente fundamentada para ayudar a los científicos e ingenieros a encontrar respuestas en un mar de datos, reduciendo el tiempo de inactividad y manteniendo las luces encendidas en la instalación.

Resumen Técnico: APS-RAG

Planteamiento del Problema

Las instalaciones científicas de gran escala, como la Fuente de Fotones Avanzada (APS), acumulan décadas de conocimiento operativo a través de fuentes de datos fragmentadas y heterogéneas. Este conocimiento incluye cuadernos de bitácora electrónicos (p. ej., BELY), documentos técnicos (ICMS), solicitudes de mantenimiento, wikis internas, registros de chat y variables de proceso (PV) de sistemas de control en vivo. Actualmente, ningún índice de búsqueda único cubre estas fuentes dispares. Esta fragmentación impone altos costos operativos: los problemas recurrentes derivan en tiempos de inactividad prolongados cuando las soluciones no pueden localizarse rápidamente, y el conocimiento institucional se pierde cuando el personal experimentado rota o se jubila. Si bien los Modelos de Lenguaje Extensos (LLMs) ofrecen una interfaz de lenguaje natural, carecen de conocimiento específico de la instalación y corren el riesgo de generar respuestas fluidas pero sin fundamento, lo cual es inaceptable para la toma de decisiones operativas.

Metodología

Los autores presentan APS-RAG, una plataforma agéntica desplegada que transforma consultas de lenguaje natural en respuestas citadas con fuentes mediante la fusión de la recuperación de nueve fuentes de datos distintas. La arquitectura del sistema y la metodología de evaluación se definen de la siguiente manera:

Arquitectura del Sistema

Ingesta de Datos e Indexación: El sistema ingiere datos de nueve fuentes (BELY, ICMS, Solicitudes de Trabajo, Chat de Teams, Wikis Internas, Tiempo de Inactividad del Haz, SDDS, Aplicaciones OAG y el EPICS Archiver). Un pipeline diario de diferencia y actualización (diff-and-upsert) mantiene la frescura del índice en tres backends de almacenamiento: un almacén de vectores densos (Qdrant), un almacén de palabras clave dispersas (Elasticsearch) y un grafo de conocimiento Neo4j.
Recuperación Híbrida: El motor de recuperación fusiona tres canales:
- Denso: Embeddings de vectores (e5-large-v2) para coincidencia semántica.
- Disperso: Coincidencia de palabras clave BM25 para identificadores exactos (p. ej., nombres de variables de proceso).
- Grafo de Conocimiento (KG): Consultas a Neo4j para reconstruir cadenas de resolución de fallas (p. ej., síntoma $\to$ causa $\to$ resolución).
Fusión Adaptativa: Un enrutador de consultas clasifica la intención (p. ej., factual, resolución de problemas, de múltiples saltos) y aplica una fusión de rango recíproco (RRF) adaptativa al tipo de consulta. Los pesos para los canales denso, disperso y de grafo se ajustan manualmente basados en la experiencia operativa en lugar de ser aprendidos.
Bucle Agéntico Correctivo: El sistema emplea una máquina de estados LangGraph. Si la puntuación de confianza de una respuesta inicial (basada en relevancia, fundamentación, completitud y verificación de KG) cae por debajo de un umbral, el sistema activa un bucle correctivo. Esto implica replanificar, ampliar la consulta o cambiar las estrategias de recuperación (p. ej., solo denso) durante hasta dos rondas adicionales.
Integración de Herramientas: Un ejecutor ReAct de herramientas nativas opera sobre una capa de Protocolo de Contexto de Modelo (MCP), permitiendo que el agente acceda a datos de PV en vivo, realice cálculos y busque imágenes junto con la recuperación de documentos.
Benchmark de Evaluación (APS-Bench): Para evaluar el sistema, los autores construyeron APS-Bench, un conjunto de datos de 50 preguntas derivadas del corpus en vivo utilizando una metodología de estilo InPars. Las preguntas se generan con tipos de consulta y niveles de dificultad específicos. Las respuestas de referencia ("gold answers") se construyen con "nuggets atómicos" (vital vs. aceptable) y procedencia auditable. La evaluación utiliza un juez LLM de familia cruzada (Claude) para evaluar la recuperación vital estricta y la fidelidad a nivel de afirmación, evitando métricas de superposición léxica basadas en referencia como BLEU.

Contribuciones Clave

Plataforma Agéntica Desplegada: APS-RAG es un sistema de producción que integra recuperación híbrida (denso + disperso + KG), fusión adaptativa y un bucle agéntico correctivo con puertas de autocrítica.
Evaluación Basada en Operaciones: El artículo introduce un marco de evaluación riguroso adaptado para instalaciones científicas, utilizando APS-Bench y métricas de recuperación basada en nuggets. Esto va más allá de los resultados cualitativos o de simple estilo de recuperación comunes en sistemas de instalaciones previas.
Ablación de Componentes y Análisis Estadístico: El estudio proporciona una ablación controlada de los componentes del sistema (reranker, canal de grafo, bucle correctivo) con pruebas de significancia estadística (bootstrap pareado, pruebas de McNemar).
Lanzamiento Abierto: Los autores liberan la metodología de construcción del benchmark, el armazón de evaluación de seis capas, el código base subycente y el framework de habilidades del agente de recuperación /aps-rag para apoyar la adopción en otras instalaciones.

Resultados

Aumento de la Recuperación: Todas las variantes de recuperación aumentada mejoraron la recuperación vital estricta sobre una línea base de BM25 ingenua, aumentando del 63.8% a un rango de 65.5%–70.3%.
Rendimiento del Sistema: La configuración completa de Corrective Agentic GraphRAG alcanzó la estimación de punto más alta de 70.3%, seguida de GraphRAG (69.1%). Sin embargo, las pruebas estadísticas pareadas indicaron que estas diferencias no fueron estadísticamente significativas con el tamaño actual del benchmark ( $n=50$ ).
Componente Crítico (Reranker): El reranker de codificador cruzado (cross-encoder) fue el único componente cuya eliminación resultó en una caída de rendimiento estadísticamente significativa. Eliminarlo redujo la recuperación vital estricta en un 32.8% (95% CI [−47.4, −19.1]; $p < 10^{-4}$ ).
Fidelidad vs. Recuperación: El bucle correctivo y la puerta de autocrítica mejoraron principalmente la fidelidad (reduciendo las tasas de alucinación del 9.4% al 7.9%) en lugar de la recuperación. El canal de grafo de conocimiento mostró beneficios direccionales para consultas causales y de resolución de problemas, pero no mejoró significativamente la precisión del ranking en la primera etapa.
Modelos de Embedding: Los modelos de embedding preentrenados para el dominio no superaron a los modelos de propósito general (p. ej., e5-large-v2, bge-m3) en este corpus.
Modelos de Síntesis: La recuperación vital estricta fue relativamente insensible a la elección del LLM de síntesis, mientras que las tasas de alucinación variaron significativamente (5.6%–30.6%), lo que sugiere que la fidelidad es una propiedad del generador mientras que la recuperación es una propiedad de la recuperación.

Significancia y Reivindicaciones

El artículo afirma que APS-RAG presenta un flujo de trabajo prometedor para la asistencia de IA confiable y estadísticamente fundamentada en las operaciones de la instalación. La principal significancia radica en la integración operativa de técnicas establecidas (recuperación híbrida, bucles agénticos, MCP) en un sistema desplegado que aborda la fragmentación específica del conocimiento de las instalaciones científicas.

Los autores son modestos en sus afirmaciones respecto a la superioridad de componentes específicos (como el canal de grafo o el bucle agéntico) debido a las limitaciones estadísticas del tamaño actual del benchmark. Establecen explícitamente que la necesidad de un reranker de codificador cruzado funcional es el hallazgo más robusto. El trabajo sirve como un plano para otras grandes instalaciones científicas, demostrando cómo transformar la experiencia institucional acumulada en un recurso que reduzca el tiempo de inactividad y mitigue el impacto de la rotación del personal, siempre que se mantenga una evaluación rigurosa y específica del dominio.