MITRA: An AI Assistant for Knowledge Retrieval in Physics Collaborations

El artículo presenta MITRA, un prototipo de asistente de IA basado en generación aumentada por recuperación (RAG) y alojado localmente para garantizar la privacidad, diseñado para facilitar la búsqueda de información en las vastas bases de datos de documentación interna de colaboraciones científicas como CMS mediante un pipeline automatizado de extracción de texto y una arquitectura de base de datos vectorial de dos niveles.

Lo esencial

Imagina que el CERN (el lugar donde se hacen experimentos de física gigantescos) es como una biblioteca inmensa y caótica. Cada día, miles de científicos escriben millones de páginas de notas, manuales y descubrimientos. El problema es que esta biblioteca es tan grande que, si eres un nuevo estudiante o incluso un experto, encontrar la respuesta a una pregunta específica es como buscar una aguja en un pajar... pero el pajar es del tamaño de un país y la aguja es invisible.

Los métodos antiguos de búsqueda (como escribir palabras clave en Google) son como intentar encontrar un libro diciendo "quiero el que tiene la palabra 'fuerza' en la página 4". Si el libro usa la palabra "empuje" en lugar de "fuerza", la búsqueda falla.

Aquí es donde entra MITRA.

¿Qué es MITRA?

MITRA es un asistente virtual inteligente (un "amigo" en sánscrito) diseñado específicamente para ayudar a los físicos a navegar este caos de información. No es un simple buscador; es como tener un bibliotecario experto que ha leído todos los libros de la biblioteca y entiende lo que realmente quieres decir, incluso si usas palabras diferentes a las del libro.

¿Cómo funciona? (La analogía del "Filtro de Café")

Para entender cómo MITRA es tan bueno, imagina que quieres hacer un café perfecto. MITRA tiene un proceso de tres pasos muy inteligente:

1. La recolección automática (El robot recolector):
   Los documentos de física a veces están en formatos difíciles de leer (como PDFs con gráficos y tablas). MITRA usa un "robot" (llamado Selenium) que entra a las bases de datos internas, descarga los documentos y luego usa "gafas de visión especial" (tecnología OCR) para leer el texto, las tablas y los títulos de las figuras con una precisión casi perfecta. Es como si un robot te pasara todos los libros de la estantería y los transcribiera a un formato limpio.

2. La arquitectura de dos niveles (El filtro de seguridad):
   Este es el truco más genial. Imagina que tienes dos preguntas: "¿Cuál es el fondo más importante?"

   • Si estás hablando de una partícula llamada "Bosón de Higgs", la respuesta es una.
   • Si estás hablando de "Materia Oscura", la respuesta es totalmente diferente y podría confundirte.

   MITRA no salta directamente a buscar en todos los libros. Primero, busca en un índice de resúmenes (como el índice de una biblioteca) para identificar de qué "tema" estás hablando. Una vez que el sistema te dice: "¿Te refieres al análisis de Higgs?", y tú confirmas, bloquea la búsqueda en solo ese tema. Esto evita que el sistema mezcle respuestas de un tema con otro, como si un chef intentara hacer un pastel usando ingredientes de una pizza.

3. La privacidad total (La caja fuerte en casa):
   Muchas empresas usan servicios de Inteligencia Artificial en la nube (como pagar por usar un cerebro externo). MITRA hace algo diferente: todo ocurre dentro de la casa de los científicos.
   Imagina que en lugar de enviar tus secretos a una empresa externa, construyes un cerebro superpoderoso en tu propio sótano. MITRA usa servidores locales de la universidad. Esto significa que:

   • Ningún dato secreto sale de la organización. Es como si los físicos pudieran hablar en voz alta sin miedo a que alguien los escuche.
   • Es más barato a largo plazo. No tienen que pagar por cada pregunta que hacen a un servicio externo.

¿Por qué es mejor que lo que había antes?

Los investigadores probaron MITRA contra los buscadores tradicionales (llamados BM25).

• El buscador tradicional es como un robot que solo busca coincidencias exactas. Si le preguntas "¿Qué tan rápido va el coche?", y el libro dice "velocidad del vehículo", el robot se queda en blanco.
• MITRA entiende el significado. Si le preguntas "¿Qué tan rápido va el coche?", entiende que "velocidad" y "coche" son lo mismo que "vehículo" y "rápido".

En las pruebas, cuando los científicos hacían preguntas con sus propias palabras (no copiando el texto exacto), el buscador tradicional fallaba casi siempre (solo acertaba el 13% de las veces). MITRA acertó el 75% de las veces. Además, MITRA sabe cuándo no sabe la respuesta. Si le preguntas sobre algo que no está en el libro que está leyendo, te dirá honestamente: "Esto no habla de eso", en lugar de inventar una mentira (alucinación).

En resumen

MITRA es como un asistente personal superinteligente y secreto para los físicos.

• Lee miles de documentos complejos.
• Entiende el contexto (sabe de qué tema estás hablando).
• Respeta la privacidad (todo se queda en casa).
• Te da respuestas precisas en segundos.

El objetivo final no es solo responder preguntas, sino convertirse en un investigador proactivo que pueda resumir novedades, comparar métodos y ayudar a los científicos a descubrir cosas nuevas más rápido, liberándolos de la tarea aburrida de buscar información en montañas de papel digital.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "MITRA: An AI Assistant for Knowledge Retrieval in Physics Collaborations", traducido y adaptado al español:

Resumen Técnico: MITRA

1. El Problema
Las colaboraciones científicas a gran escala, como el Solenoide de Muones Compacto (CMS) en el CERN, generan un volumen masivo y en constante crecimiento de documentación interna (notas de análisis, wikis, guías procedimentales). Este "montón de conocimiento" presenta desafíos críticos:

• Dificultad de navegación: Tanto para nuevos investigadores como para expertos, encontrar información precisa es lento y frustrante.
• Limitaciones de búsqueda tradicional: Las herramientas basadas en palabras clave (como BM25) fallan al no capturar el contexto semántico, dependiendo estrictamente de la coincidencia exacta de frases.
• Privacidad y Costos: Las soluciones existentes que utilizan APIs externas (ej. GPT-4) plantean riesgos de privacidad para datos propietarios no publicados y generan costos operativos acumulativos prohibitivos para colaboraciones de miles de miembros.

2. Metodología: Una Pipeline Automatizada y Privada
MITRA es un prototipo de sistema de Generación Aumentada por Recuperación (RAG) diseñado para responder preguntas específicas sobre análisis de física. Su arquitectura se basa en los siguientes componentes:

• Adquisición y Extracción Automatizada:
  • Utiliza Selenium para automatizar la navegación y descarga de documentos (PDF) desde bases de datos internas con interfaces web.
  • Emplea motores de Reconocimiento Óptico de Caracteres (OCR) avanzados (Surya, Tesseract) en lugar de librerías estándar de PDF. Esto permite un análisis de diseño superior, extrayendo texto de alta fidelidad mientras preserva la distinción entre contenido principal, pies de figura, tablas y números de página.
• Procesamiento y Recuperación (RAG):
  • Segmentación: Los textos se dividen en fragmentos lógicos (párrafos).
  • Codificación: Se utiliza un modelo de recuperación densa (DPR: facebook/dpr-question_encoder-multiset-base) para convertir los fragmentos en vectores de 768 dimensiones.
  • Estrategia de Búsqueda de Dos Etapas:
    1. Recuperación inicial: Búsqueda de similitud (cosine similarity) para obtener los top-k candidatos.
    2. Reordenamiento (Reranking): Un modelo de codificador cruzado (cross-encoder/ms-marco-MiniLM-L-6-v2) reevalúa la relevancia de los candidatos con mayor precisión, aunque es más costoso computacionalmente.
• Despliegue On-Premise (Local):
  • Todo el sistema, desde el modelo de incrustación (embedding) hasta el Modelo de Lenguaje Grande (LLM), se ejecuta en servidores locales de la colaboración (ej. NVIDIA Tesla T4).
  • Se utiliza una versión cuantizada a 4 bits del modelo Mistral-7B servido vía Ollama e integrado con LangChain.
  • Ventaja clave: Garantiza que ningún dato propietario salga de la red local y elimina los costos por token de APIs externas.

3. Diseño del Sistema: Arquitectura de Base de Datos de Dos Niveles
Para resolver la ambigüedad de que diferentes análisis de física pueden tener respuestas contradictorias a la misma pregunta (ej. "¿Cuál es el fondo más importante?" varía según el análisis), MITRA implementa un enfoque de dos niveles:

1. Base de Datos de Resúmenes (Abstracts): La primera consulta del usuario busca en una base de datos que solo contiene los resúmenes de todos los análisis. El sistema identifica el análisis más relevante y solicita confirmación al usuario (validación humana en el bucle).
2. Base de Datos de Texto Completo: Una vez confirmado el análisis, el sistema "se bloquea" en una segunda base de datos dedicada exclusivamente al texto completo y segmentado de ese análisis específico. Todas las consultas subsiguientes en esa sesión se dirigen solo a este contexto aislado, evitando la contaminación cruzada de información entre diferentes análisis.

4. Resultados y Evaluación
El rendimiento se evaluó comparando a MITRA contra una búsqueda de palabras clave estándar (Okapi BM25) utilizando dos conjuntos de consultas diseñados por expertos:

• Set 1 (Coincidencia exacta): Consultas que usan la misma fraseología que los documentos.
• Set 2 (Consultas realistas): Consultas que usan sinónimos o parafraseo (ej. pedir "requisito de momento transversal" cuando el texto dice "corte pT").

Hallazgos Clave:

• Set 1: Ambos sistemas funcionan bien, con BM25 ligeramente superior en métricas de precisión exacta debido a su fortaleza en coincidencia literal.
• Set 2 (El caso de uso real): MITRA supera significativamente a BM25.
  • Precisión@1: MITRA logra 0.75 frente a 0.13 de BM25.
  • MRR (Mean Reciprocal Rank): MITRA alcanza 0.81 frente a 0.35 de BM25, demostrando que coloca la respuesta correcta en la primera posición con mucha mayor frecuencia.
  • NDCG@5: MITRA obtiene 0.88 frente a 0.59, confirmando una calidad de lista de resultados superior.
• Robustez: El sistema evita alucinaciones. Si se le pregunta sobre un tema fuera de contexto (ej. bosones de Higgs en un análisis de materia oscura), el modelo infiere correctamente de los fragmentos recuperados que el documento no es relevante y se lo comunica al usuario.

5. Contribuciones Clave y Significado

• Pipeline Modular y Automatizada: Un sistema capaz de ingerir y procesar documentos internos con actualizaciones de versión eficientes (re-embedding) sin necesidad de reentrenar modelos masivos.
• Diseño de Contexto Seguro: La arquitectura de dos niveles resuelve la ambigüedad semántica entre diferentes análisis físicos, asegurando que el LLM opere siempre dentro del contexto documentado correcto.
• Privacidad y Sostenibilidad: Un modelo de despliegue totalmente local que protege la propiedad intelectual de la colaboración y ofrece un modelo financiero sostenible a largo plazo al evitar costos de API.
• Visión Futura: El objetivo es evolucionar de un simple asistente de preguntas y respuestas a un agente de investigación proactivo capaz de resumir actualizaciones, comparar metodologías, identificar discrepancias entre datos y simulaciones, y encontrar modelos de señal similares.

En conclusión, MITRA demuestra la viabilidad de utilizar IA generativa local y segura para desbloquear el valor del conocimiento colectivo en grandes colaboraciones científicas, acelerando la incorporación de nuevos miembros y la velocidad de descubrimiento científico.