chATLAS: A Retrieval-Augmented Conversational Assistant for the ATLAS Experiment

Resumen Técnico de "chATLAS: Un Asistente Conversacional de Recuperación Aumentada para el Experimento ATLAS"

Planteamiento del Problema
Las colaboraciones científicas a gran escala, como el experimento ATLAS en el CERN, generan una vasta cantidad de documentación interna (notas técnicas, actas de reuniones, guías de software, páginas de wiki) dispersa en sistemas heterogéneos. Esta fragmentación crea una barrera significativa para el descubrimiento de conocimiento. La información suele mantenerse de forma inconsistente, se escribe en diversos estilos y es difícil de buscar de manera efectiva. En consecuencia, los colaboradores enfrentan curvas de aprendizaje pronunciadas y los miembros experimentados pierden tiempo redescubriendo conocimiento ya existente. Aunque los Modelos de Lenguaje de Gran Escala (LLM) de propósito general ofrecen interfaces conversacionales, carecen de acceso a esta documentación patentada e interna, lo que conduce a alucinaciones o respuestas irrelevantes cuando se aplican a consultas específicas del dominio.

Metodología
Los autores presentan chATLAS, un sistema de Generación Aumentada por Recuperación (RAG) desplegado, diseñado para proporcionar acceso conversacional a más de 30,000 documentos de la base de conocimientos de ATLAS. La arquitectura y metodología del sistema se definen mediante los siguientes componentes:

• Ingestión y Preprocesamiento de Datos: El sistema agrega datos de múltiples fuentes, incluyendo TWiki (más de 35,000 páginas, filtradas por actividad reciente), MkDocs (Markdown alojado en GitLab), CERN Document Server (CDS), Indico (conferencias) y ATLAS Talk (hilos de foros). Los documentos se procesan en una estructura jerárquica padre-hijo: los documentos completos (padres) se dividen en fragmentos más pequeños (hijos) para la recuperación. Esto permite que el sistema recupere segmentos específicos relevantes mientras pasa el documento padre completo al generador para obtener un contexto más amplio.
• Embedding y Ajuste Fino (Fine-Tuning): Un modelo de embedding adaptado al dominio es central para el proceso de recuperación. El modelo base, sentence-transformers/all-mpnet-base-v2, fue ajustado finamente utilizando un conjunto de datos de 12,000 pares de pregunta-respuesta. Estos pares consisten en interacciones reales de usuarios de ATLAS Talk y pares sintéticos generados a partir de otras fuentes de documentación. Este ajuste fino optimiza el modelo para la terminología, acrónimos y jerga específicos de ATLAS.
• Recuperación Híbrida: chATLAS emplea una estrategia de recuperación híbrida que combina:
  1. Recuperación Densa: Búsqueda de similitud vectorial (similitud de coseno) utilizando pgvector con índices de Mundo Pequeño Navegable Jerárquico (HNSW) o Archivo Invertido con Compresión Plana (IVFFlat).
  2. Recuperación Dispersa: Búsqueda basada en palabras clave utilizando la búsqueda de texto completo de PostgreSQL (estilo TF-IDF/BM25).
  • Clasificación (Ranking): Los resultados de ambos recuperadores se fusionan mediante Fusión de Clasificación Recíproca (RRF) para equilibrar las fortalezas de la coincidencia semántica y la de palabras clave.
• Recuperación Contextual: Para abordar la dificultad de interpretar fragmentos técnicos aislados (particularmente en TWiki), el sistema implementa la recuperación contextual. Un LLM genera una descripción de contexto concisa a nivel de documento para cada fragmento, la cual se incrusta junto con el propio fragmento. Esto enriquece el espacio vectorial sin alterar el modelo de embedding.
• Procesamiento de Consultas y Seguridad: Las consultas entrantes pasan por un enrutamiento de intención y un cribado de seguridad mediante un LLM ligero. Este paso filtra solicitudes fuera de alcance o peligrosas, corrige la ortografía y resuelve referencias conversacionales (por ejemplo, pronombres) en consultas autónomas antes de la recuperación.
• Generación: La respuesta final es generada por un LLM condicionado por los pasajes recuperados. El sistema soporta varios modelos (por ejemplo, gpt-oss-20b, gpt-5-mini) y está diseñado para ser agnóstico respecto al proveedor, con un enfoque en modelos de código abierto desplegables localmente en el futuro.
• Marco de Evaluación: Se desarrolló un benchmark personalizado, chATLAS_Benchmark, utilizando pares de pregunta-respuesta generados automáticamente a partir del corpus objetivo. Este evalúa la precisión de la recuperación (Top-k) y la corrección de la generación (usando una métrica de LLM como juez) para guiar las decisiones de diseño.

Contribuciones Clave y Resultados
El artículo detalla varias percepciones técnicas y mejoras de rendimiento derivadas del desarrollo de chATLAS:

1. Ajuste Fino Específico del Dominio: El ajuste fino del modelo de embedding con datos específicos de ATLAS mejoró significamente el rendimiento de la recuperación. Al combinarse con la recuperación contextual, este enfoque más que duplicó la frecuencia con la que el documento correcto era devuelto como el primer resultado (precisión Top-1) para la fuente más desafiante (TWiki) en comparación con un modelo base.
2. Eficacia de la Recuperación Contextual: El estudio demostró que añadir contexto a nivel de documento a los fragmentos (recuperación contextual) proporcionó una ganancia de rendimiento mayor que el ajuste fino de embeddings por sí solo. La combinación de ambas técnicas produjo la mayor precisión de recuperación en todas las fuentes de documentación.
3. Superioridad de la Recuperación Híbrida: La fusión de los resultados de la recuperación densa y dispersa mediante RRF mejoró la puntuación de coincidencia de documentos ponderada de aproximadamente un 50% (línea base) a un 65%. Aunque un re-clasificador de tipo cross-encoder neural podría elevar esto al 71%, el costo computacional se consideró demasiado alto para el uso interactivo, lo que llevó a la adopción de RRF como el equilibrio óptimo.
4. Generalización entre Fuentes: Los modelos ajustados finamente en fuentes específicas (por ejemplo, GitLab) mostraron un fuerte desempeño en dichas fuentes, pero también retuvieron ganancias significativas al aplicarse a otras fuentes (por ejemplo, TWiki), lo que sugiere que el modelo aprendió patrones de dominio generalizables.
5. Despliegue e Integración: chATLAS es un sistema plenamente operativo que corre en la infraestructura de PaaS de CERN. Se integra con Mattermost para la interacción directa por chat e incluye un servidor MCP (Protocolo de Contexto de Modelo) para facilitar futuros flujos de trabajo agénticos e integración con herramientas de terceros.

Significancia y Reivindicaciones
El artículo afirma que chATLAS demuestra la viabilidad de la RAG adaptada al dominio para grandes colaboraciones científicas. Su principal significancia radica en proporcionar acceso atribuido a la fuente y específico del dominio a la documentación patentada que de otro modo sería inaccesible para los LLM de propósito general.

Los autores enfatizan que el sistema no es un reemplazo de la documentación existente, sino una interfaz unificadora que suaviza la curva de aprendizaje para los nuevos miembros y mejora la eficiencia de los colaboradores establecidos. Al fundamentar las respuestas en un corpus controlado, el sistema garantiza que las respuestas sean confiables y verificables. El trabajo ofrece una base práctica para otras organizaciones que dependen de la recuperación precisa de documentación fragmentada y patentada, mostrando una arquitectura modular que puede evolucionar con nuevos modelos y fuentes de datos sin requerir una reconstrucción completa del sistema. El artículo concluye que tales sistemas proporcionan una infraestructura duradera para el trabajo científico asistido por IA, ofreciendo al mismo tiempo habilidades transferibles a los estudiantes desarrolladores involucrados.