🤖 AI

Comparing RAG and GraphRAG for Page-Level Retrieval Question Answering on a Math Textbook

Este artículo evalúa RAG y GraphRAG para la respuesta a preguntas a nivel de página en un libro de texto de matemáticas utilizando un conjunto de datos de 477 elementos, encontrando que el RAG basado en embeddings (particularmente con voyage-3-large) supera significamente a GraphRAG en precisión de recuperación y calidad de respuesta, siendo además más eficiente, con BM25 sirviendo como una base sólida y RAG proporcionando beneficios proporcionalmente mayores para los LLM locales más débiles y rentables.

Autores originales: Eason Chen, Chuangji Li, Eric Li, Zimo Xiao, Jionghao Lin, Kenneth R. Koedinger

Publicado 2026-07-29

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Eason Chen, Chuangji Li, Eric Li, Zimo Xiao, Jionghao Lin, Kenneth R. Koedinger

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de resolver un problema matemático difícil, pero tu cerebro es un poco como un robot superinteligente que ha leído todo internet. Sabe mucho, pero a veces inventa cosas o olvida exactamente en qué página de tu libro de texto específico se encuentra la respuesta que necesitas. Este es el mundo de los "Modelos de Lenguaje de Gran Escala" (LLM): IA que puede charlar y resolver problemas, pero que a veces se pierde en su propio vasto conocimiento. Para solucionar esto, los científicos inventaron un truco llamado "Generación Aumentada por Recuperación" (RAG). Piensa en el RAG como darle al robot una tarjeta de biblioteca y un bibliotecario. En lugar de adivinar de memoria, el robot le pregunta al bibliotecario: "Oye, ¿en qué página de este libro específico habla de esto?". El bibliotecario encuentra la página correcta, se la entrega al robot y el robot utiliza esa información fresca para darte una respuesta correcta. Pero, ¿qué pasa si el bibliotecario es demasiado entusiasta? ¿Qué pasa si agarra todo el libro, o incluso toda la biblioteca, solo para encontrar una frase? Ahí es donde entra una idea más nueva y llamativa llamada "GraphRAG". Intenta mapear cómo cada idea se conecta con cada otra idea, como una gigantesca telaraña de conocimiento, con la esperanza de encontrar la respuesta siguiendo los hilos. La gran pregunta para estudiantes y profesores es: cuando necesitas encontrar una página específica en un libro de matemáticas para estudiar para un examen, ¿qué bibliotecario es mejor? ¿El que agarra la página exacta rápidamente, o el que construye una gigantesca red de conexiones?

Un equipo de investigadores de la Universidad Carnegie Mellon y la Universidad de Hong Kong decidió poner a prueba a estos dos bibliotecarios utilizando un libro de texto de matemáticas de grado real. Crearon un conjunto de datos de 477 preguntas, cada una vinculada a una página específica del libro, y pidieron a diferentes sistemas de IA que encontraran la página correcta y luego respondieran la pregunta. Compararon cinco modelos de "embedding" diferentes (que son como motores de búsqueda inteligentes que entienden el significado de las palabras), un método de búsqueda clásico llamado BM25 (que solo busca palabras coincidentes, como un índice muy tradicional) y el sofisticado sistema GraphRG.

Los resultados fueron una sorpresa para los entusiastas de la tecnología que aman las redes complejas. Los investigadores descubrieron que el enfoque simple y directo del RAG basado en embeddings fue el claro ganador para encontrar páginas específicas. El mejor modelo, llamado "voyage-3-large", logró encontrar la página correcta el 99.4% de las veces cuando se le permitió mirar los 10 resultados principales. Incluso el método clásico de coincidencia de palabras, BM25, hizo un gran trabajo, superando a varios de los modelos neuronales más complejos. En contraste, GraphRAG tuvo dificultades para ser preciso. Aunque era bueno encontrando alguna información relevante, a menudo agarraba demasiado contexto: unas 47,000 palabras de texto en comparación con las 3,700 palabras que usaban los otros métodos. Esta "sobrecarga de información" confundió a la IA, haciendo que sus respuestas finales fueran ligeramente peores. El estudio sugiere que para tareas donde necesitas una referencia de página específica, como estudiar para un examen de matemáticas, el bibliotecario simple y enfocado es mucho mejor que el que intenta mapear todo el universo de conexiones.

El equipo también investigó los errores. Cuando el mejor modelo de IA obtuvo la página equivocada, generalmente era un "error por poco". Cerca del 63% de las veces, agarraba una página del mismo capítulo, solo unas pocas páginas de distancia. ¡Esto es en realidad útil! Si un estudiante está buscando una demostración pero obtiene la página con el enunciado del teorema, sigue aprendiendo el material correcto, solo en un orden ligeramente diferente. Es como un tutor que dice: "Estás buscando la solución, pero revisa primero la página anterior; ahí explica la regla que necesitas".

Finalmente, los investigadores probaron si estos hallazgos se mantenían con modelos de IA de código abierto más económicos que no requieren costosos servidores en la nube. Encontraron que, si bien estos modelos más pequeños eran peores respondiendo preguntas por sí solos, mejoraron drásticamente cuando se les dieron las páginas correctas del libro para leer. El modelo de código abierto experimentó un salto del 39% en calidad con la ayuda de la recuperación, en comparación con solo un 16% de salto para el potente modelo comercial. Esto sugiere que para escuelas o estudiantes que no pueden permitirse servicios de IA costosos, un sistema simple que apunte a la página correcta en un libro puede hacer que un tutor de IA local y gratuito sea sorprendentemente efectivo.

Al final, el artículo concluye que para la recuperación a nivel de página en la educación, menos es a menudo más. El sofisticado y complejo sistema GraphRAG no era la herramienta adecuada para este trabajo específico; trajo demasiado ruido y no suficiente precisión. En cambio, una búsqueda directa que encuentre las primeras páginas y permita a la IA leerlas es la forma más confiable de construir un tutor de IA confiable que los estudiantes realmente puedan usar para estudiar.

Resumen Técnico: Comparación de RAG y GraphRAG para la Recuperación a Nivel de Página en un Libro de Texto de Matemáticas

Planteamiento del Problema

Los Modelos de Lenguaje Extensos (LLMs) demuestran potencial como ayudas educativas, pero frecuentemente sufren de una falta de alineación con materiales de cursos específicos y una tendencia a alucinar fuentes. En el estudio de matemáticas autodidacta, los estudiantes requieren acceso preciso a páginas específicas de libros de texto para revisar definiciones, demostraciones o aplicar teoremas. Mientras que la Generación Aumentada por Recuperación (RAG) fundamenta las respuestas en documentos específicos del dominio, extensiones recientes como GraphRAG (que construye grafos de conocimiento para la recuperación estructurada) introducen incertidumbre respecto a su eficacia para la recuperación de grano fino a nivel de página. La pregunta central de investigación aborda hasta qué punto los sistemas de recuperación basados en IA pueden identificar con precisión la página específica del libro de texto de la cual se deriva una pregunta, equilibrando la precisión de la recuperación con la calidad de la respuesta generada.

Metodología

Los autores realizaron una evaluación sistemática utilizando un conjunto de datos curado derivado del libro de texto de pregrado An Infinite Descent into Pure Mathematics.

Conjunto de Datos: El corpus consiste en 628 páginas convertidas de PDF a Markdown basado en LaTeX. Se generó un conjunto de datos de 477 pares de pregunta-respuesta, con un par por página. Las preguntas fueron diseñadas para imitar consultas de estudiantes (por ejemplo, solicitando definiciones, demostraciones o aplicaciones) y fueron revisadas manualmente para asegurar su relevancia educativa. Cada par está etiquetado con su número de página de origen.
Enfoques de Recuperación: El estudio comparó siete estrategias de recuperación:
1. RAG basado en Embeddings: Cinco modelos seleccionados del ranking MTEB de diciembre de 2024 (voyage-3-large, nv-embed-v2, gte-large, text-embedding-3-large y multilingual-e5).
2. Recuperación Dispersa (Sparse Retrieval): Una línea base BM25 utilizando Okapi BM25 con parámetros por defecto.
3. GraphRAG: Un marco adaptado para exponer document_ids para entidades y unidades de texto para permitir la trazabilidad a nivel de página.
Pipeline: El sistema sigue un pipeline de tres etapas: Indexación (embedding vectorial, frecuencia de términos o codificación relacional), Recuperación (identificación de las top- $k$ páginas o entidades relevantes) y Generación (alimentar la consulta y el contexto al LLM).
Métricas de Evaluación:
1. Precisión de Recuperación: Si la página de origen correcta aparece en el conjunto recuperado top- $k$ .
2. Calidad de la Respuesta: Puntuación F1 de solapamiento de palabras entre la respuesta generada y la respuesta de referencia (ground-truth).
Replicación: Los experimentos clave se replicaron utilizando un LLM local de código abierto (Qwen3.5-35B-A3B) y un modelo de embedding de código abierto (nomic-embed-text) para evaluar escenarios de despliegue sensibles al costo.

Contribuciones Clave

Comparación Sistemática: Una evaluación rigurosa de siete enfoques de recuperación (cinco modelos de embedding, BM25 y GraphRAG) específicamente para QA educativa a nivel de página.
Análisis de Errores: Un análisis que revela que la mayoría de los fallos de recuperación son "casi aciertos" (contenido del mismo capítulo) en lugar de contenido irrelevante, lo que sugiere un valor pedagógico incluso en las recuperaciones incorrectas.
Rendimiento de la Línea Base: Evidencia de que la recuperación dispersa clásica (BM25) sigue siendo una línea base competitiva, superando a varios modelos de embedding neural de última generación en este dominio específico.
Sensibilidad del Modelo: Hallazgos que indican que RAG proporciona ganancias de rendimiento proporcionalmente mayores para modelos de código abierto más débiles en comparación con las APIs comerciales más fuertes.

Resultados

Precisión de Recuperación

Modelos de Embedding: voyage-3-large alcanzó la mayor precisión, llegando al 99.4% en Top-10 y al 68.6% en Top-1. Superó significativamente a otros modelos de embedding en Top-1 y Top-3.
BM25: La línea base de recuperación dispersa logró una precisión Top-1 del 57.9%, superando a gte-large (46.1%) y multilingual-e5 (45.7%) en todos los valores de $k$ .
GraphRAG: Logró una precisión del 84.5% con gpt-4o-mini y del 91.4% con o3-mini. Sin embargo, todos los cinco modelos de embedding superaron la precisión de GraphRAG en Top-5 y superiores.
Replicación de Código Abierto: Usando nomic-embed-text, la precisión Top-1 fue del 45.1%. Notablemente, BM25 superó nuevamente al embedding neural (61.2% vs. 45.1%) en la configuración local.

Calidad de la Respuesta Generada (Puntuación F1)

RAG vs. Línea Base: Todas las configuraciones de RAG mejoraron respecto a la línea base sin recuperación (F1 0.475), con puntuaciones que oscilaron entre 0.514 y 0.552.
Embedding vs. GraphRAG: GraphRAG alcanzó un F1 de ~0.524, comparable pero ligeramente inferior a los mejores resultados basados en embeddings.
Sobrecarga de Contexto: GraphRAG recuperó un contexto excesivo (~~47K tokens por consulta) en comparación con RAG (~~3.7K tokens para Top-5), lo que abrumó al generador y redujo la precisión.
Sensibilidad del Modelo: Para el modelo local Qwen3.5, RAG proporcionó una mejora relativa de F1 del 39% (de 0.276 a 0.384), mientras que el comercial gpt-4o-mini solo vio una mejora del 16%.

Análisis de Errores y Re-Ranking

Casi Aciertos (Near-Misses): De los fallos en Top-1 para voyage-3-large, el 63.3% recuperó contenido del mismo capítulo (distancia de página mediana de 3). Solo el 35.3% fueron "fallos lejanos" (capítulos diferentes).
Re-Ranking: Los intentos de usar re-ranking basado en LLM degradaron el rendimiento (por ejemplo, la precisión Top-1 de voyage-3-large cayó de 0.686 a 0.593) e introdujeron números de página alucinados que no estaban presentes en el conjunto recuperado.

Significancia y Reivindicaciones

El artículo afirma que para la recuperación a nivel de página en contextos educativos, el RAG basado en embeddings es superior a GraphRAG. El diseño de GraphRAG para la sumarización global y el razonamiento de múltiples saltos (multi-hop) introduce un contexto excesivo que degrada la calidad de la generación para tareas de grano fino.

Los autores enfatizan que BM25 sigue siendo una línea base altamente competitiva y de costo cero, desafiando la suposición de que los embeddings neurales siempre producen ganancias proporcionales, particularmente cuando las preguntas comparten un vocabulario sustancial con los textos fuente.

Además, el estudio destaca el valor pedagógico de los "casi aciertos". Incluso cuando el sistema falla en recuperar la página exacta, frecuentemente devuelve material adyacente o del mismo capítulo, lo cual suele ser educativo (por ejemplo, el enunciado de un teorema en la página anterior para una pregunta de demostración).

Finalmente, los resultados sugieren que RAG es crítico para despliegues sensibles al costo. Los modelos de código abierto más débiles se benefician desproporcionadamente de la fundamentación por recuperación, permitiendo a las instituciones desplegar tutores de IA efectivos y basados en libros de texto en hardware local sin depender de costosas APIs comerciales.

Recomendaciones Prácticas:

Usar la recuperación RAG de Top-5 por defecto (alta precisión, recuento de tokens manejable).
Presentar las Top-3 páginas candidatas a los estudiantes.
Evitar el re-ranking basado en LLM debido a los riesgos de alucinación.
Considerar el uso de ventanas de páginas adyacentes para capturar contenido que abarca los límites de las páginas.