Large Language Model Integration for Knowledge Retrieval and Interaction for the DUNE Experiment

Este artículo presenta DUNE-GPT, un marco de prototipo que utiliza modelos de lenguaje extensos y generación aumentada por recuperación para permitir la consulta segura mediante lenguaje natural de la extensa documentación y los recursos técnicos del Experimento de Neutrinos en el Subsuelo Profundo, mejorando así la productividad de la colaboración y la incorporación de personal.

Lo esencial

Imagina el experimento DUNE como una biblioteca enorme y bulliciosa dedicada a comprender las partículas más esquivas del universo (los neutrinos). Esta biblioteca es tan grande que contiene millones de libros, notas, planos y actas de reuniones dispersos en diferentes estantes, algunos en formatos digitales y otros en carpetas físicas. Para un nuevo bibliotecario (o un científico) que intenta encontrar un detalle específico sobre cómo funciona un detector, buscar a través de este laberinto puede tomar horas o incluso días.

El artículo presenta DUNE-GPT, un nuevo "superbibliotecario" diseñado para resolver este problema. Así es como funciona, desglosado en conceptos simples:

1. El Probleo: Una biblioteca demasiado grande para buscar

La colaboración DUNE tiene tanta información almacenada en diferentes lugares (como DocDB e Indico) que encontrar respuestas técnicas específicas es difícil. Es como intentar encontrar una sola frase en una biblioteca donde los libros están desorganizados y el catálogo está roto.

2. La Solución: Un asistente inteligente e interno

El equipo construyó DUNE-GPT, una herramienta prototipo que actúa como un guía experto. En lugar de hacer que busques entre carpetas, puedes simplemente hacerle una pregunta en lenguaje natural, como: "¿Cómo maneja el algoritmo de reconstrucción el ruido?" o "¿Dónde están las notas de la reunión del martes pasado?".

3. Cómo funciona: El "detective de tres pasos"

El sistema no solo adivina; sigue un proceso estricto de tres pasos para garantizar la precisión:

• Paso 1: Lectura e indexación (El cerebro del bibliotecario):
  Primero, el sistema lee todos los documentos permitidos (informes técnicos, notas de reuniones, etc.). Los descompone en piezas diminutas y crea un "mapa mental" (llamado embedding) de lo que trata cada pieza. Piensa en esto como el bibliotecario leyendo cada libro y escribiendo una ficha de resumen para cada página.

  • Nota: Son muy cuidadosos para leer solo documentos que sean seguros para que todos los vean, dejando fuera cualquier archivo secreto o restringido.

• Paso 2: La búsqueda rápida (La base de datos vectorial):
  Cuando haces una pregunta, el sistema no vuelve a leer toda la biblioteca. En su lugar, utiliza un motor de búsqueda de alta velocidad (llamado FAISS) para encontrar instantáneamente las páginas específicas en su "mapa mental" que coinciden con tu pregunta. Es como si el bibliotecario sacara instantáneamente los tres libros más relevantes del estante basándose en tu consulta.

• Paso 3: La respuesta (El escritor de IA):
  El sistema toma esas páginas específicas que encontró y se las entrega a un Modelo de Lenguaje Extenso (el "escritor de IA"). La IA lee solo esas páginas y escribe una respuesta para ti.

  • Característica de seguridad crucial: Se le dice a la IA: "Debes responder basándote únicamente en estas páginas". Esto evita que la IA invente cosas (un problema llamado "alucinación") y asegura que la respuesta esté fundamentada en hechos reales de DUNE.

4. Seguridad y Privacidad: El "Jardín Vallado"

Una de las mayores preocupaciones con la IA es la filtración de datos privados a la internet pública. Para solucionar esto, el equipo de DUNE construyó este sistema íntegramente dentro de su propia red informática segura (en Fermilab y Argonne).

• Es como construir la biblioteca dentro de una fortaleza segura.
• Solo las personas con una llave (colaboradores de DUNE autenticados) pueden entrar.
• Ningún dato sale de la fortaleza hacia empresas de IA públicas.

5. Lo que han encontrado hasta ahora

El equipo probó este prototipo y descubrió que es bastante bueno en su trabajo.

• Precisión: En las pruebas iniciales, encontró con éxito los documentos correctos el 70% de las veces, incluso para preguntas complicadas sobre detalles del detector o flujos de trabajo de física.
• Interfaz: Construyeron un sitio web sencillo donde los científicos pueden escribir preguntas y obtener respuestas que incluyen enlaces de vuelta a los documentos originales, para que puedan verificar la fuente.

6. ¿Qué sigue?

Esta herramienta es todavía un prototipo (una versión "beta"). El equipo planea:

• Enseñarle a leer más tipos de archivos, como código y registros del detector.
• Hacer que comprenda gráficos y diagramas complejos (imágenes).
• Implementarla en toda la colaboración para que todos puedan usarla.

En resumen: DUNE-GPT es un motor de búsqueda interno y seguro que utiliza la IA para ayudar a los científicos a encontrar respuestas en su enorme biblioteca de documentos de forma rápida y precisa, sin salir nunca de su red segura ni poner en riesgo la privacidad de los datos.

Resumen técnico

Resumen Técnico: DUNE-GPT – Integración de Modelos de Lenguaje de Gran Escala para la Recuperación de Conocimiento e Interacción

Planteamiento del Problema
El Experimento de Neutrinos en el Subsuelo Profundo (DUNE) enfrenta desafíos significativos en la gestión del conocimiento debido al volumen sin precedentes y la heterogeneidad de sus datos. La información está distribuida en múltiples plataformas, incluyendo DocDB, Indico y wikis internas, abarcando documentación, notas técnicas, datos experimentales y procesos de reconstrucción. A medida que la colaboración crece, navegar por este paisaje distribuido para acceder a detalles técnicos específicos sobre reconstrucción, simulación y operaciones del detector se vuelve cada vez más laborioso, particularmente para los nuevos colaboradores. Además, el despliegue directo de modelos de lenguaje (LLM) comerciales o abiertos en colaboraciones de Física de Altas Energías (HEP) plantea preocupaciones críticas con respecto a la privacidad de los datos, la reproducibilidad y la accesibilidad de la red, lo que requiere una solución interna y segura.

Metodología
Para abordar estos desafíos, los autores desarrollaron DUNE-GPT, un marco de trabajo prototipo que opera dentro del entorno de computación de Fermilab. El sistema utiliza una arquitectura de Generación Aumentada por Recuperación (RAG), que consta de tres componentes principales:

1. Procesamiento de Documentos y Generación de Embeddings: El sistema ingiere documentación de DUNE accesible al público e interna (por ejemplo, informes de diseño técnico, notas de reuniones, materiales de grupos de trabajo) de DocDB e Indico. El preprocesamiento de texto consiste en el análisis de varios formatos (PDF, DOCX, TXT, PNG), la extracción de metadatos y la segmentación a nivel de tokens. El contenido sensible o restringido se excluye para cumplir con las políticas de la colaboración. Los documentos procesados se codifican mediante codificadores basados en transformadores (específicamente multi-qa-mpnet-base-dot-v1), optimizados para textos científicos.
2. Base de Datos Vectorial y Motor de Recuperación: Los embeddings generados se almacenan en una base de datos vectorial utilizando Facebook AI Similarity Search (FAISS). Al recibir una consulta del usuario, el sistema realiza una búsqueda de similitud mediante la similitud de coseno para recuperar los segmentos de texto más relevantes.
3. Interfaz de LLM para la Generación de Respuestas: Los fragmentos de contexto recuperados se envían a LLMs preexistentes alojados en máquinas de Argonne (Argo) y Fermilab (Ollama). El LLM se condiciona a estos fragmentos de fuentes verificadas para generar respuestas. Este enfoque asegura que los resultados permanezcan fundamentados en fuentes específicas de DUNE, minimizando el riesgo de "alucinaciones" mientras mantiene la privacidad de los datos al mantener todas las operaciones dentro del entorno de computación interno.

Contribuciones Clave e Implementación

• Arquitectura Interna Segura: A diferencia de las herramientas de IA externas, DUNE-GPT está diseñado para operar enteramente dentro de los recursos de computación de Fermilab y Argonne, asegurando que solo los colaboradores autenticados de DUNE puedan acceder a la herramienta y que ningún dato sensible salga de la red interna.
• Interfaz con Capacidad de Citación: El sistema proporciona una interfaz web ligera donde los usuarios pueden enviar consultas en lenguaje natural. Las respuestas generadas se formatean para incluir citas que hacen referencia a los documentos específicos recuperados de las bases de datos internas de DUNE, mejorando la trazabilidad.
• Despliegue del Prototipo: El prototipo se desarrolló inicialmente utilizando la supercomputadora Aurora en el Argonne Leadership Computing Facility (ALCF) con un backend de Python que integra librerías de código abierto. El plan a largo plazo implica migrar la infraestructura a Fermilab para el alojamiento de toda la colaboración.

Resultados Preliminares
Los benchmarks iniciales indican que el sistema basado en RAG alcanza una precisión de aproximadamente el 70% en la recuperación de documentación relevante a través de diversos tipos de consultas, incluyendo detalles del detector, algoritmos de reconstrucción y flujos de trabajo de análisis de física. El frontend actual demuestra la capacidad de mostrar una pregunta de muestra, la respuesta generada y las tres referencias recuperadas principales utilizadas en el proceso de generación.

Significado y Perspectiva Futura
El artículo posiciona a DUNE-GPT como un paso crítico hacia la mejora de la productividad de toda la colaboración y la eficiencia en la incorporación de personal, permitiendo la consulta en lenguaje natural de recursos técnicos complejos. Los autores mantienen un alcance modesto, señalando que la herramienta se encuentra actualmente en desarrollo activo. El trabajo futuro se centra en:

• Expandir el corpus de embeddings para incluir registros de operación del detector y documentación de código.
• Desarrollar un LLM adaptado al dominio específicamente para la comprensión del lenguaje de HEP.
• Integrar contenido multimodal (por ejemplo, gráficos e imágenes).
• Establecer el alojamiento web en Fermilab para facilitar el acceso seguro a toda la colaboración.
• Incorporar la retroalimentación del usuario para refinar la calidad de la recuperación y la usabilidad de la interfaz.

El trabajo representa un enfoque controlado y explicable para integrar la IA en los flujos de trabajo de HEP, priorizando la seguridad de los datos y la verificación de fuentes sobre el despliegue de modelos externos no verificados.