ESOFinder: an LLM-powered tool to help users navigate ESO documentation

Resumen Técnico de ESOFinder: Una herramienta impulsada por LLM para navegar la documentación de la ESO

Declaración del Problema
El Observatorio Europeo Austral (ESO) mantiene un ecosistema de documentación vasto y heterogéneo, esencial para la comunidad astronómica, que abarca más de 3.500 enlaces web y más de 100 manuales en PDF (superando las 6,2 millones de palabras). Esta documentación cubre todo el ciclo de observación, desde la Fase 1 (presentación de propuestas) pasando por la Fase 2 (ejecución de observaciones) hasta la Fase 3 (archivo de datos). Localizar información precisa y actualizada dentro de este corpus es cada vez más difícil tanto para los astrónomos como para el personal de la ESO. Los Modelos de Lenguaje de Gran Tamaño (LLM) de propósito general no son adecuados para esta tarea debido a sus cortes de entrenamiento fijos, su incapacidad para distinguir entre políticas operativas actuales y obsoletas, y su tendencia a generar respuestas "alucinadas". Además, surgen preocupaciones de privacidad cuando se procesan datos internos sensibles o confidenciales mediante modelos comerciales externos.

Metodología
Para abordar estos desafíos, los autores desarrollaron ESOFinder, un chatbot interno construido sobre una arquitectura de Generación Aumentada por Recuperación (RAG). El sistema está diseñado para ejecutarse en servidores locales utilizando LLMs de código abierto para garantizar la privacidad de los datos y el control total sobre la base de conocimientos.

• Arquitectura del Sistema: El sistema opera en dos fases: un pipeline de ingesta offline y un pipeline de inferencia online.
  • Ingesta: La documentación (PDFs y contenido web) se analiza, se divide en fragmentos (chunks) superpuestos utilizando una estrategia jerárquica (respetando la estructura del documento) y se enriquece contextualmente. Cada fragmento se pasa a un LLM para generar un resumen que lo sitúe dentro del contexto más amplio del documento.
  • Indexación: Los fragmentos se indexan mediante una indexación dual: embeddings de vectores densos (usando nomic-embed-text-v1.5 almacenados en ChromaDB) e indexación basada en palabras clave (usando Elasticsearch con BM25).
  • Recuperación: ESOFinder emplea una estrategia de recuperación híbrida. Realiza búsquedas paralelas mediante búsqueda semántica de vectores (para significado y parafraseo) y búsqueda por palabras clave (para términos técnicos exactos como nombres de instrumentos y acrónimos). Los resultados se fusionan y reordenan utilizando un modelo de cross-encoder (BAAI/bge-reranker-base) y una fórmula de puntuación ponderada que prioriza la relevancia semántica mientras potencia colecciones de documentación específicas basadas en la clasificación de la consulta.
  • Flujo de Trabajo Agéntico: El bucle de consulta-respuesta se implementa utilizando LangGraph y un único LLM local (Mistral-Small-3.1-24B-Instruct-2503). El flujo de trabajo incluye:
    1. Comprensión de la Consulta: Condensación de conversaciones de múltiples turnos y clasificación de consultas en siete dominios específicos del observatorio para ajustar la ponderación de las colecciones.
    2. Recuperación y Calificación: Ejecución de búsqueda híbrida, fusión de resultados y filtrado de pasajes con baja puntuación.
    3. Autocorrección: Si la recuperación inicial falla o produce resultados de baja confianza, el sistema reescribe la consulta e intenta de nuevo hasta dos veces adicionales.
    4. Generación y Verificación: El LLM genera una respuesta estructurada con citas integradas. Dos pasos de calificación posteriores verifican que la respuesta esté fundamentada fácticamente en los documentos recuperados y que realmente aborde la pregunta del usuario. Si las comprobaciones fallan, el ciclo se reintenta; de lo contrario, se proporciona una respuesta de respaldo (fallback).

Contribuciones Clave

• Implementación de RAG Específica de Dominio: Un pipeline robusto adaptado a las restricciones específicas de la documentación de un observatorio astronómico, integrando más de 3.500 enlaces y más de 100 manuales.
• Estrategia de Recuperación Híbrida: Una combinación deliberada de búsqueda semántica y por palabras clave para manejar tanto consultas en lenguaje natural como terminología técnica precisa (por ejemplo, acrónimos de instrumentos, plantillas de OB).
• Bucle Agéntico de Autocorrección: Un flujo de trabajo de múltiples pasos que incluye la reescritura automática de consultas y la verificación de respuestas para reducir las alucinaciones y mejorar la fiabilidad de las respuestas sin intervención humana.
• Despliegue Preservador de la Privacidad: El uso de modelos de código abierto alojados localmente asegura que los datos internos sensibles y la documentación patentada permanezcan dentro de la infraestructura de la ESO.

Resultos
El sistema se sometió a tres ejercicios de retroalimentación iterativos que involucraron a personal de la ESO, becarios y estudiantes:

1. Primera Ronda (Astrónomos de Soporte al Usuario): Una versión temprana logró una calificación promedio de 3.0/5 estrellas. Los problemas incluyeron respuestas irrelevantes, confusión con preguntas de varias partes y respuestas excesivamente verbosas.
2. Segunda Ronda (Gestión de Datos y Operaciones): Una prueba más amplia arrojó 3.1/5 estrellas. Aunque el rendimiento mejoró en consultas sencillas, persistieron fallos con tablas grandes, falta de documentación de ALMA y recuperación inapropiada de fuentes para consultas generales.
3. Tercera Ronda (Versión Actual): Incorporando refinamientos arquitectónicos y documentación ampliada, la versión actual logró una calificación promedio de 3.84/5 (mediana de 5 estrellas) entre una muestra representativa de usuarios de la ESO. Cuando se evaluó específicamente por el personal de Gestión de Datos y Operaciones (DMO), el promedio subió a 4.08/5. La distribución de la retroalimentación cualitativa cambió significativamente hacia "Respuesta perfecta, precisa" o "Respuesta correcta, pero falta información", con una reducción notable en las etiquetas de "Respuesta incorrecta".

Significado y Direcciones Futuras
El artículo posiciona a ESOFinder como una interfaz crítica para navegar el complejo ecosistema de documentación de la ESO, apoyando tanto al personal como a la comunidad de astrónomos. Los autores enfatizan que el desarrollo iterativo de la herramienta, impulsado por la retroalimentación de los usuarios, ha abordado con éxito las debilidades iniciales en la cobertura de recuperación y la calidad de las respuestas.

El documento reconoce modestamente que aún existen limitaciones, específicamente la dificultad para recuperar información de documentos que contienen tablas o figuras grandes, y la necesidad de una mejor integración de la colección de documentación separada de ALMA. El trabajo futuro delineado por los autores incluye:

• Utilizar ESOFinder como una herramienta para el control de calidad de la documentación para identificar contradicciones y contenido desactualizado.
• Explorar arquitecturas de multi-agentes jerárquicos para mejorar la velocidad de respuesta y la navegación de la documentación estratificada.
• Integrar el historial de tickets de ayuda (del sistema DeskPro) para proporcionar soporte con contexto, manteniendo la privacidad de los datos mediante LLMs locales.
• Adaptar el marco de trabajo para el personal de operaciones de Paranal y, eventualmente, poner el sistema a disposición de la comunidad de usuarios de la ESO en general como una interfaz estándar para consultas de documentación.