Retrieval-Augmented Question Answering over Scientific Literature for the Electron-Ion Collider

Este trabajo presenta un sistema de preguntas y respuestas basado en la generación aumentada por recuperación (RAG) y el modelo LLaMA, desplegado localmente sobre literatura científica del Colisionador de Electrones-Iones (EIC) para ofrecer una solución económica y privada que evita compartir datos prepublicados con dominios públicos.

Lo esencial

¡Claro que sí! Imagina que el mundo de la física nuclear es como una biblioteca gigante y desordenada llena de libros técnicos, diagramas complejos y notas escritas en un idioma que solo unos pocos expertos entienden. Esa biblioteca es el Electron-Ion Collider (EIC), un proyecto científico masivo donde cientos de investigadores de todo el mundo trabajan juntos.

El problema es que si un nuevo investigador llega y quiere saber algo específico, buscar en esa montaña de papeles es como buscar una aguja en un pajar. Además, si le preguntas a un "robot" de inteligencia artificial normal (como los que usamos en el día a día), este podría inventar respuestas que suenan muy convincentes pero que son totalmente falsas. A esto los expertos le llaman "alucinaciones".

Aquí es donde entra en juego este artículo. Los autores han creado un asistente de investigación inteligente y honesto para el EIC. Vamos a explicarlo con una analogía sencilla:

🧠 El Asistente con "Libro de Apertura" (RAG)

Imagina que tienes a un genio muy inteligente (el modelo de lenguaje LLaMA) que sabe de todo, pero tiene un problema: no tiene acceso a los libros más recientes de la biblioteca del EIC y, a veces, inventa cosas.

Para arreglarlo, los científicos le dieron al genio una regla de oro: "Antes de responder, lee primero los documentos específicos que te voy a dar".

Esta es la magia de RAG (Generación Aumentada por Recuperación):

1. La Biblioteca Local: En lugar de depender de internet público (que podría tener datos viejos o secretos), crearon una biblioteca privada en sus propias computadoras con 178 artículos científicos del EIC.
2. El Bibliotecario Rápido: Cuando alguien hace una pregunta, un "bibliotecario" (el sistema de búsqueda) busca rápidamente los párrafos exactos en esos 178 artículos que tienen la respuesta.
3. El Genio con Contexto: Le pasan esos párrafos al genio (el modelo LLaMA) y le dicen: "Usa solo esta información para responder". Así, el genio no inventa nada; solo resume lo que leyó.

🛡️ ¿Por qué es especial este proyecto?

1. Privacidad y Seguridad: Imagina que estás escribiendo un secreto antes de publicarlo. Si usas servicios de nube públicos, tendrías que enviar ese secreto a una empresa externa. Aquí, todo se queda dentro de la casa (en sus propias computadoras). Nadie externo ve los datos. Es como tener un cofre fuerte en tu propia oficina en lugar de alquilar un banco en otro país.
2. Ahorro de Dinero: En lugar de pagarle a una empresa tecnológica cara por usar sus modelos privados, usaron modelos de código abierto (gratuitos) y los hicieron funcionar en sus propias máquinas. Es como comprar los ingredientes y cocinar en casa en lugar de pedir pizza todos los días.
3. Rastreo de Fuentes: Si el asistente te da una respuesta, te dice exactamente: "Esto lo leí en el artículo número X del año Y". Es como si el genio te entregara la respuesta junto con la página del libro donde la encontró, para que puedas verificarlo tú mismo.

🧪 ¿Cómo les fue? (Los Resultados)

Los científicos probaron a su asistente con un "examen" hecho por humanos expertos.

• El tamaño de los trozos de papel: Dividieron los artículos en trozos pequeños (como recortar una revista en trozos de 120 letras) y en trozos un poco más grandes (180 letras). Descubrieron que los trozos más grandes funcionaban mejor, porque al cortar el texto en trozos muy pequeños, a veces se perdía el sentido de la frase, como si te quitaran la mitad de una palabra.
• La velocidad del genio: Probaron dos versiones del "genio".
  • El LLaMA 3.2 fue como un coche deportivo: rápido, estable y eficiente.
  • El LLaMA 3.3 fue como un tanque de guerra: muy potente, pero lento y consumía mucha energía. Para un chat de preguntas y respuestas, el coche deportivo (3.2) fue la mejor opción porque no hacías esperar al usuario.
• La precisión: El sistema fue muy bueno encontrando la información correcta (casi siempre acertaba en qué párrafo buscar). Sin embargo, a veces la respuesta final no era perfecta al 100% en detalles muy complejos, probablemente porque el "genio" (el modelo) es un poco ligero para temas tan difíciles.

🚀 ¿Qué sigue?

El equipo planea hacer la biblioteca aún más grande, añadiendo no solo artículos, sino también presentaciones, informes y wikis. También quieren mejorar la "organización" del sistema para que sea aún más inteligente y eficiente.

En resumen: Han creado un bibliotecario digital privado, rápido y honesto que ayuda a los científicos del EIC a encontrar respuestas en sus propios documentos sin tener que salir de su oficina ni pagar servicios costosos, asegurando que la información sea siempre real y verificable.

Resumen técnico

Aquí tienes un resumen técnico detallado del documento presentado, traducido y adaptado al español:

Resumen Técnico: Recuperación de Preguntas y Respuestas Aumentada para la Literatura Científica del Colisionador de Electrones-Iones (EIC)

1. Problema y Contexto

El artículo aborda el desafío de utilizar Modelos de Lenguaje (LLM) para responder preguntas técnicas altamente especializadas en el dominio de la física nuclear experimental, específicamente para el Colisionador de Electrones-Iones (EIC).

• Alucinaciones: Los LLMs actuales, aunque fluidos, tienden a generar respuestas factuales incorrectas (alucinaciones) cuando se entrenan con grandes volúmenes de texto genérico de internet.
• Privacidad y Acceso: Las colaboraciones científicas internacionales como el EIC manejan grandes cantidades de datos pre-publicación y técnicos que no deben enviarse a servicios en la nube públicos por razones de privacidad y seguridad de la propiedad intelectual.
• Necesidad de una Solución Local: Existe la necesidad de un sistema de preguntas y respuestas (Q&A) que sea rentable, respete la privacidad de los datos, evite el uso de modelos propietarios costosos y permita a los nuevos investigadores y expertos extraer información vital de la vasta literatura técnica (artículos de arXiv, informes de diseño, etc.).

2. Metodología y Arquitectura de la Aplicación

Los autores desarrollaron un sistema RAG (Generación Aumentada por Recuperación) desplegado localmente, diseñado como una extensión de un trabajo previo que utilizaba modelos propietarios y almacenamiento en la nube. La arquitectura consta de cinco etapas principales:

• Base de Conocimiento: Se construyó una base de datos interna indexando 178 artículos de investigación relacionados con el EIC extraídos del repositorio arXiv. Estos cubren áreas como fenomenología, desarrollo de software, diseño de detectores y física de aceleradores.
• Preprocesamiento y Fragmentación (Chunking):
  • Los documentos se dividen en segmentos de texto ("chunks") utilizando RecursiveCharacterTextSplitter.
  • Se probaron dos tamaños de fragmento: 120 y 180 caracteres, con una superposición de 20 caracteres para mantener la continuidad semántica.
  • Se concatenaron metadatos (ID de arXiv, autores, año) con el texto fragmentado antes de la incrustación para mejorar la trazabilidad y la precisión contextual.
• Generación de Incrustaciones (Embeddings):
  • Se utilizó el modelo mxbai-embed-large (de Mixedbread AI) para generar vectores densos de 1024 dimensiones.
  • Este modelo se seleccionó por su alto rendimiento en el benchmark MTEB, su capacidad de despliegue local y la ausencia de dependencias de API.
• Almacenamiento y Recuperación:
  • Se eligió ChromaDB como base de datos vectorial persistente debido a su integración nativa con LangChain y su capacidad de despliegue local (privacidad de datos).
  • Se compararon dos estrategias de recuperación: Similitud del Coseno y Relevancia Marginal Máxima (MMR). Se recuperaron los 20 fragmentos más relevantes.
• Generación de Respuestas:
  • Los fragmentos recuperados se combinan con la consulta del usuario en una plantilla de prompt.
  • Se utilizaron modelos LLaMA 3.2 y LLaMA 3.3 desplegados localmente (sin API).
  • El sistema utiliza LangSmith para la observabilidad, permitiendo rastrear las citas de los artículos originales (arXiv) que sustentan cada respuesta generada, garantizando la transparencia y la verificabilidad.

3. Contribuciones Clave

• Despliegue Local y Económico: Demostración de un sistema RAG funcional que opera completamente on-premise utilizando componentes de código abierto (LLaMA, ChromaDB, mxbai), eliminando costos de API y riesgos de fuga de datos.
• Mecanismo de Citación Transparente: Integración de LangSmith para vincular cada respuesta generada directamente con los artículos científicos originales, mitigando el problema de las alucinaciones mediante la trazabilidad.
• Evaluación Rigurosa: Implementación de una evaluación exhaustiva utilizando el marco RAGAS (Retrieval-Augmented Generation Assessment) con seis métricas específicas.
• Optimización de Parámetros: Análisis comparativo del impacto del tamaño de los fragmentos (120 vs. 180) y las métricas de similitud (Coseno vs. MMR) en el rendimiento del sistema.

4. Resultados y Análisis

El sistema se evaluó contra un conjunto de datos de referencia ("gold standard") de 51 preguntas y respuestas curadas por expertos.

• Latencia:
  • La latencia de recuperación fue baja y similar entre los diferentes tamaños de fragmento y métricas de similitud (aprox. 0.11s).
  • Impacto del Modelo LLM: Hubo una diferencia significativa en la latencia de generación. LLaMA 3.2 fue superior, con una mediana de 10-20 segundos y una variabilidad baja. LLaMA 3.3 mostró una latencia mucho mayor (hasta 300s en algunos casos) y una variabilidad extrema, lo que lo hizo poco práctico para un chatbot interactivo bajo restricciones de cómputo.
• Métricas de Recuperación (RAGAS):
  • Context Recall: Mostró un rendimiento robusto (cercano a 1.0), indicando que la mayoría de las afirmaciones de la verdad fundamental se encontraron en el contexto recuperado.
  • Chunk Size 180: El tamaño de fragmento de 180 caracteres superó consistentemente al de 120, preservando mejor la coherencia semántica y mejorando las métricas de Faithfulness (fidelidad) y Answer Relevancy.
  • MMR vs. Coseno: La métrica MMR no demostró ventajas significativas sobre la similitud del coseno en este contexto específico.
• Calidad de la Respuesta:
  • Las métricas de Answer Correctness (precisión de la respuesta) fueron moderadamente bajas, atribuidas a la complejidad de los detalles factuales del EIC y al uso de un modelo LLM más ligero (LLaMA 3.2).
  • Sin embargo, la métrica de Faithfulness (fidelidad) fue alta para el tamaño de fragmento 180, indicando que las respuestas generadas se basaron firmemente en el contexto recuperado, reduciendo las alucinaciones.

5. Significado y Futuro

Este trabajo valida la viabilidad de construir asistentes de investigación científicos especializados que respeten la privacidad de los datos y sean independientes de proveedores de nube externos.

• Impacto: Facilita la incorporación de nuevos colaboradores al EIC y agiliza la investigación al permitir consultas rápidas sobre literatura técnica compleja.
• Futuro: Los autores planean expandir la base de conocimientos para incluir presentaciones (PowerPoint), wikis y informes técnicos. Además, la siguiente iteración del sistema migrará la orquestación del pipeline al framework LangGraph para mejorar la gestión de flujos de trabajo complejos.

En conclusión, el sistema demuestra que es posible lograr un equilibrio entre la precisión científica, la privacidad de los datos y la eficiencia de costos mediante el uso estratégico de modelos de lenguaje abiertos y arquitecturas RAG locales.