Resumen Técnico: AstroRAG - Un Pipeline de Generación Aumentada por Recuperación Basado en PageRank para Preguntas y Respuestas en Astronomía

1. Declaración del Problema

Los Modelos de Lenguaje Grande (LLM) exhiben capacidades sólidas de procesamiento del lenguaje natural, pero generan frecuentemente errores factuales al depender exclusivamente de conocimientos paramétricos. Aunque la Generación Aumentada por Recuperación (RAG) mitiga esto al fundamentar las respuestas en evidencia externa, los pipelines convencionales de "recuperar y volcar" a menudo introducen contexto irrelevante. Esto es particularmente perjudicial en dominios especializados como la astronomía, donde se requiere terminología técnica densa, formalismo matemático y una fundamentación contextual precisa.

Además, estudios recientes destacan un "efecto posicional en forma de U" en los modelos de contexto largo, donde la precisión disminuye significativamente cuando la evidencia clave se coloca en el medio de un prompt en lugar de al principio o al final. Las soluciones específicas de dominio existentes a menudo luchan por manejar contenido rico en ecuaciones, cerrar la brecha entre vocabularios generales y especializados, y garantizar la trazabilidad y la privacidad en el razonamiento científico.

2. Metodología: El Pipeline AstroRAG

AstroRAG es un framework RAG ligero, completamente local y sin entrenamiento, diseñado específicamente para preguntas y respuestas en astronomía. Opera sobre una base por instancia para garantizar la privacidad y prevenir la filtración entre tareas. El pipeline consta de las siguientes etapas:

A. Aislamiento a Nivel de Instancia y Preprocesamiento

• Indexación Transitoria: Para cada consulta, el sistema ingiere únicamente los documentos de fondo relevantes (.txt, .pdf, .md), los procesa y los almacena en un índice efímero de Elasticsearch. Este índice se elimina inmediatamente después de generar la respuesta para prevenir la contaminación de datos.
• Fragmentación Consciente de Tokens: Los documentos se normalizan y dividen utilizando un divisor de texto recursivo y consciente de tokens (basado en tiktoken con codificación p50k).
  • Tamaño máximo de fragmento ($L$): 300 tokens.
  • Superposición ($\Delta$): 30 tokens.
  • Los metadatos (nombre de archivo, página, ID de fragmento) se adjuntan a cada fragmento para la procedencia.

B. Incrustación e Indexación Vectorial

• Los fragmentos se incrustan utilizando un modelo de incrustación de oraciones (por ejemplo, Sentence-BERT).
• HyDE (Incrustaciones de Documentos Hipotéticos) Opcional: Un LLM local puede generar un pasaje hipotético para la consulta, el cual luego se incrusta para mejorar la recuperación en consultas escasas.
• Las incrustaciones se almacenan en el índice efímero de Elasticsearch.

C. Recuperación en Dos Etapas

El sistema emplea un proceso de recuperación en dos etapas para seleccionar un contexto compacto y mutuamente complementario bajo un presupuesto estricto de tokens:

1. Etapa 1: Relevancia Marginal Máxima (MMR):

   • Recupera un pequeño conjunto diverso de candidatos (por defecto $k=3$) desde el almacén vectorial.
   • Optimiza tanto la relevancia para la consulta como la diversidad entre candidatos para evitar redundancia.
   • Fórmula: $d^* = \arg\max_{d \in D \setminus S} [\lambda s(d, q) - (1-\lambda) \max_{d' \in S} s(d, d')]$.

2. Etapa 2: Reordenamiento PageRank (PR) Impulsado por el Lector:

   • Construye un gráfico de similitud donde los nodos son los $k$ fragmentos recuperados y las aristas representan la similitud del coseno por encima de un umbral ($\tau = 0.01$).
   • Aplica un algoritmo PageRank con un vector de personalización derivado de las puntuaciones de similitud consulta-fragmento.
   • Objetivo: Identificar un conjunto compacto de fragmentos que no solo sean relevantes para la consulta, sino también mutuamente reforzantes (alto soporte entre fragmentos).
   • Los $pr$ fragmentos superiores (por defecto = 3) se seleccionan basándose en las puntuaciones de PageRank.

D. Generación de Respuestas

• Los fragmentos seleccionados se concatenan y recortan a un presupuesto fijo de tokens (por defecto $T=1800$) para ajustarse a la ventana de contexto del LLM.
• Un LLM local (por ejemplo, Mistral-7B, LLaMA 2, AstroSage) genera la respuesta final en un solo pase, proporcionando la respuesta junto con citas exactas de la fuente.
• El sistema admite múltiples backends mediante APIs compatibles con OpenAI o HuggingFace TGI.

3. Contribuciones Clave

1. Aislamiento a Nivel de Instancia y Trazabilidad: El sistema ingiere únicamente archivos relevantes, construye un índice transitorio por instancia, registra la respuesta y los fragmentos de soporte, y borra el índice tras la generación. Esto garantiza la privacidad y previene la contaminación entre instancias.
2. Recuperación en Dos Etapas con PageRank Impulsado por el Lector: La combinación novedosa de MMR para la diversidad inicial y un paso de reordenamiento PageRank impulsado por el lector selecciona un conjunto pequeño y coherente de fragmentos. Esto equilibra la relevancia de la consulta con el soporte entre fragmentos, optimizando el "efecto posicional" en los LLM.
3. Pipeline Completamente Local y Modular: Todo el flujo de trabajo (incrustación, recuperación, generación) se ejecuta en hardware local, soportando operaciones sin conexión y casos de uso sensibles a la privacidad sin depender de APIs de nube externas.

4. Resultados Experimentales

El pipeline fue evaluado en el benchmark AstroQA (3,082 preguntas en niveles de dificultad fácil, medio y difícil) y en un conjunto de datos personalizado AstroRef-QA.

• Rendimiento en AstroQA:
  • La variante Mistral-7B + AstroRAG logró una precisión del 79.49% y una puntuación F1 del 79.49% en el conjunto de datos total.
  • Esto representa casi un doble de rendimiento en comparación con la línea base Mistral-7B sin RAG (21.74% de precisión).
  • Las ganancias de rendimiento fueron consistentes en todos los niveles de dificultad: Fácil (77.50%), Medio (80.28%) y Difícil (83.59%).
  • AstroRAG superó a otras líneas base RAG como DrQA y estrategias de Mapa-Reducción.
• Rendimiento en AstroRef-QA:
  • Utilizando las métricas ROUGE-L y ROUGE-N, el modelo Mistral-7B + AstroRAG obtuvo las puntuaciones más altas (30.17% ROUGE-L, 42.12% ROUGE-N), demostrando una superposición léxica mejorada y relevancia de contenido.
• Estudios de Ablación:
  • Presupuesto de Tokens: Un límite de tokens de salida de 64 proporcionó el equilibrio óptimo entre latencia y precisión.
  • Hiperparámetros: El mejor rendimiento se observó con un PageRank Top-$K$ de 3 y una superposición de fragmentos de 30 tokens.

5. Significado y Afirmaciones

El artículo afirma que AstroRAG establece una base robusta para extender RAG a otros campos científicos al demostrar que la recuperación y refinamiento disciplinados son críticos para impulsar el razonamiento específico de dominio.

• Efectividad del Reordenamiento: Los resultados destacan que simplemente recuperar más pasajes es menos efectivo que utilizar un proceso de dos etapas (MMR + PageRank) para seleccionar un contexto compacto y mutuamente complementario.
• Privacidad y Reproducibilidad: Al operar localmente y utilizar indexación transitoria, el sistema aborda las necesidades críticas de verificabilidad y privacidad en aplicaciones científicas.
• Adaptación de Dominio: El marco cierra exitosamente la brecha entre las capacidades generales de los LLM y los requisitos rigurosos del razonamiento astronómico, manejando tareas complejas como el razonamiento sobre magnitud-brillo, la categorización de objetos celestes y los cálculos de tiempo sidéreo.

Los autores reconocen limitaciones, incluida la sensibilidad a la elección de modelos de incrustación e hiperparámetros de recuperación, y sugieren trabajo futuro en fragmentación adaptativa, agregación de múltiples saltos y manejo de entradas multilingües.