🤖 AI

Comparing RAG and GraphRAG for Page-Level Retrieval Question Answering on a Math Textbook

Este artigo avalia RAG e GraphRAG para resolução de questões ao nível de página em um livro didático de matemática usando um conjunto de dados de 477 itens, constatando que o RAG baseado em embeddings (particularmente com o voyage-3-large) supera significativamente o GraphRAG em precisão de recuperação e qualidade de resposta, sendo simultaneamente mais eficiente, com o BM25 servindo como uma base sólida e o RAG proporcionando benefícios proporcionalmente maiores para LLMs locais mais fracos e de baixo custo.

Autores originais: Eason Chen, Chuangji Li, Eric Li, Zimo Xiao, Jionghao Lin, Kenneth R. Koedinger

Publicado 2026-07-29

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Eason Chen, Chuangji Li, Eric Li, Zimo Xiao, Jionghao Lin, Kenneth R. Koedinger

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando resolver um problema matemático difícil, mas seu cérebro é um pouco como um robô superinteligente que leu toda a internet. Ele sabe muita coisa, mas às vezes inventa coisas ou esquece exatamente em qual página do seu livro específico está a resposta que você precisa. Este é o mundo dos "Modelos de Linguagem de Grande Escala" (LLMs) — IAs que conseguem conversar e resolver problemas, mas que às vezes se perdem em seu próprio vasto conhecimento. Para corrigir isso, cientistas inventaram um truque chamado "Geração Aumentada por Recuperação" (RAG). Pense no RAG como dar ao robô uma carteirinha de biblioteca e um bibliotecário. Em vez de adivinhar pela memória, o robô pergunta ao bibliotecário: "Ei, em qual página deste livro específico fala sobre isso?". O bibliotecário encontra a página certa, entrega-a ao robô e o robô usa essa informação fresca para lhe dar uma resposta correta. Mas e se o bibliotecário for apressado demais? E se ele pegar o livro inteiro, ou até a biblioteca inteira, apenas para encontrar uma frase? É aí que uma ideia mais nova e chamativa chamada "GraphRAG" entra em cena. Ela tenta mapear como cada ideia se conecta a todas as outras ideias, como uma gigantesca teia de aranha de conhecimento, esperando encontrar a resposta seguindo os fios. A grande questão para estudantes e professores é: quando você precisa encontrar uma página específica em um livro de matemática para estudar para uma prova, qual bibliotecário é melhor? Aquele que pega a página exata rapidamente, ou aquele que constró-la uma gigante teia de conexões?

Uma equipe de pesquisadores da Carnegie Mellon University e da The University of Hong Kong decidiu colocar esses dois bibliotecários à prova usando um livro de texto de graduação de matemática real. Eles criaram um conjunto de dados de 477 perguntas, cada uma ligada a uma página específica do livro, e pediram a diferentes sistemas de IA que encontrassem a página correta e, em seguida, respondessem à pergunta. Eles compararam cinco modelos diferentes de "embedding" (que são como mecanismos de busca inteligentes que entendem o significado das palavras), um método de busca clássico chamado BM25 (que apenas procura por palavras correspondentes, como um índice muito antigo) e o sofisticado sistema GraphRAG.

Os resultados foram um pouco surpreendentes para os entusiastas da tecnologia que amam redes complexas. Os pesquisadores descobriram que a abordagem simples e direta do RAG baseado em embeddings foi a vencedora clara para encontrar páginas específicas. O melhor modelo, chamado "voyage-3-large", conseguiu encontrar a página correta 99,4% das vezes quando lhe foi permitido olhar os 10 principais resultados. Até mesmo o método clássico BM25, de correspondência de palavras, fez um ótimo trabalho, superando vários dos modelos neurais mais complexos. Em contraste, o GraphRAG teve dificuldade em ser preciso. Embora fosse bom em encontrar algumas informações relevantes, ele frequentemente pegava contexto demais — cerca de 47.000 palavras de texto em comparação com as 3.700 palavras que os outros métodos usaram. Essa "sobrecarga de informação" confundiu a IA, tornando suas respostas finais ligeiramente piores. O estudo sugere que, para tarefas onde você precisa de uma referência de página específica, como estudar para uma prova de matemática, o bibliotecário simples e focado é muito melhor do que aquele que tenta mapear todo o universo de conexões.

A equipe também investigou os erros. Quando o melhor modelo de IA errava a página, geralmente era um "erro por pouco". Cerca de 63% das vezes, ele pegava uma página do mesmo capítulo, apenas algumas páginas de distância. Isso é, na verdade, útil! Se um estudante está procurando por uma demonstração, mas recebe a página com o enunciado do teorema, ele ainda está aprendendo o material correto, apenas em uma ordem ligeiramente diferente. É como um tutor dizendo: "Você está procurando a solução, mas verifique a página anterior primeiro; ela explica a regra que você precisa".

Finalmente, os pesquisadores testaram se essas descobertas se mantinham com modelos de IA de código aberto mais baratos, que não exigem servidores de nuvem caros. Eles descobriram que, embora esses modelos menores fossem piores em responder perguntas por conta própria, eles melhoravam dramaticamente quando recebiam as páginas corretas do livro para ler. O modelo de código aberto teve um salto de 39% na qualidade com a ajuda da recuperação, comparado a um salto de apenas 16% para o poderoso modelo comercial. Isso sugere que, para escolas ou estudantes que não podem pagar por serviços de IA caros, um sistema simples que aponta para a página certa em um livro pode tornar um tutor de IA local e gratuito surpreendentemente eficaz.

No fim, o artigo conclui que, para a recuperação ao nível de página na educação, menos é frequentemente mais. O sistema GraphRAG, sofisticado e complexo, não era a ferramenta certa para este trabalho específico; ele trouxe muito ruído e pouca precisão. Em vez disso, uma busca direta que encontra as principais páginas e deixa a IA lê-las é a maneira mais confiável de construir um tutor de IA digno de confiança que os alunos possam realmente usar para estudar.

Resumo Técnico: Comparação entre RAG e GraphRAG para Recuperação ao Nível de Página em um Livro Didático de Matemática

Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) demonstram potencial como auxiliares educacionais, mas frequentemente sofrem com o desalinhamento com materiais de cursos específicos e uma tendência a alucinar fontes. No estudo autodidata de matemática, os alunos necessitam de acesso preciso a páginas específicas de livros didáticos para revisar definições, demonstrações ou aplicar teoremas. Embora a Geração Aumentada por Recuperação (RAG) fundamente as respostas em documentos específicos do domínio, extensões recentes como o GraphRAG (que constrói grafos de conhecimento para recuperação estruturada) introduzem incertezas quanto à sua eficácia para a recuperação detalhada ao nível de página. A questão central de pesquisa aborda a extensão em que os sistemas de recuperação baseados em IA podem identificar com precisão a página específica do livro didático da qual uma pergunta é derivada, equilibrando a precisão da recuperação com a qualidade da resposta gerada.

Metodologia

Os autores conduziram uma avaliação sistemática utilizando um conjunto de dados curado derivado do livro didático de graduação An Infinite Descent into Pure Mathematics.

Conjunto de Dados: O corpus consiste em 628 páginas convertidas de PDF para Markdown baseado em LaTeX. Um conjunto de 477 pares pergunta-resposta foi gerado, com um par por página. As perguntas foram projetadas para mimetizar questionamentos de estudantes (ex: solicitando definições, demonstrações ou aplicações) e foram revisadas manualmente para garantir relevância educacional. Cada par é rotulado com o número da página de origem.
Abordagens de Recuperação: O estudo comparou sete estratégias de recuperação:
1. RAG baseado em Embedding: Cinco modelos selecionados do ranking MTEB de dezembro de 2024 (voyage-3-large, nv-embed-v2, gte-large, text-embedding-3-large e multilingual-e5).
2. Recuperação Esparsa: Um baseline BM25 usando Okapi BM25 com parâmetros padrão.
3. GraphRAG: Um framework adaptado para expor document_ids para entidades e unidades de texto para permitir a rastreabilidade ao nível de página.
Pipeline: O sistema segue um pipeline de três estágios: Indexação (embedding vetorial, frequência de termos ou codificação relacional), Recuperação (identificação das top- $k$ páginas ou entidades relevantes) e Geração (alimentação da consulta e do contexto para um LLM).
Métricas de Avaliação:
1. Precisão de Recuperação: Se a página de origem correta aparece no conjunto recuperado top- $k$ .
2. Qualidade da Resposta: Pontuação F1 de sobreposição de palavras entre a resposta gerada e a resposta de referência (ground-truth).
Replicação: Experimentos chave foram replicados usando um LLM local de código aberto (Qwen3.5-35B-A3B) e um modelo de embedding de código aberto (nomic-embed-text) para avaliar cenários de implantação sensíveis ao custo.

Principais Contribuições

Comparação Sistemática: Uma avaliação rigorosa de sete abordagens de recuperação (cinco modelos de embedding, BMлоz e GraphRAG) especificamente para QA educacional ao nível de página.
Análise de Erros: Uma análise revelando que a maioria das falhas de recuperação são "quase acertos" (conteúdo do mesmo capítulo) em vez de conteúdo irrelevante, sugerindo valor pedagógico mesmo em recuperações incorretas.
Desempenho de Baseline: Evidência de que a recuperação esparsa clássica (BM25) permanece um baseline competitivo, superando vários modelos de embedding neural de última geração neste domínio específico.
Sensibilidade do Modelo: Descobertas indicando que o RAG proporciona ganhos de desempenho proporcionalmente maiores para modelos de código aberto mais fracos em comparação com APIs comerciais mais fortes.

Resultados

Precisão de Recuperação

Modelos de Embedding: voyage-3-large alcançou a maior precisão, atingindo 99,4% no Top-10 e 68,6% no Top-1. Superou significativamente outros modelos de embedding no Top-1 e Top-3.
BM25: O baseline de recuperação esparsa alcançou uma precisão de Top-1 de 57,9%, superando o gte-large (46,1%) e o multilingual-e5 (45,7%) em todos os valores de $k$ .
GraphRAG: Alcançou 84,5% de precisão com gpt-4o-mini e 91,4% com o3-mini. No entanto, todos os cinco modelos de embedding superaram a precisão do GraphRAG no Top-5 e acima.
Replicação Open-Source: Usando nomic-embed-text, a precisão de Top-1 foi de 45,1%. Notavelmente, o BM25 novamente superou o embedding neural (61,2% vs. 45,1%) na configuração local.

Qualidade da Resposta Gerada (Pontuação F1)

RAG vs. Baseline: Todas as configurações de RAG melhoraram em relação ao baseline sem recuperação (F1 0,475), com pontuações variando de 0,514 a 0,552.
Embedding vs. GraphRAG: O GraphRAG alcançou um F1 de ~0,524, comparável, mas ligeiramente abaixo, dos melhores resultados baseados em embedding.
Sobrecarga de Contexto: O GraphRAG recuperou contexto excessivo (~~47K tokens por consulta) em comparação ao RAG (~~3,7K tokens para Top-5), o que sobrecarregou o gerador e reduziu a precisão.
Sensibilidade do Modelo: Para o modelo local Qwen3.5, o RAG proporcionou uma melhoria relativa de 39% no F1 (de 0,276 para 0,384), enquanto o gpt-4o-mini comercial viu apenas uma melhoria de 16%.

Análise de Erros e Re-Ranking

Quase Acertos (Near-Misses): Das falhas de Top-1 para o voyage-3-large, 63,3% recuperaram conteúdo do mesmo capítulo (mediana de distância de página de 3). Apenas 35,3% foram "erros distantes" (capítulos diferentes).
Re-Ranking: Tentativas de usar re-ranking baseado em LLM degradaram o desempenho (ex: a precisão de Top-1 do voyage-3-large caiu de 0,686 para 0,593) e introduziram números de página alucinados não presentes no conjunto recuperado.

Significância e Alegações

O artigo alega que, para recuperação ao nível de página em contextos educacionais, o RAG baseado em embedding é superior ao GraphRAG. O design do GraphRAG para sumarização global e raciocínio de múltiplos saltos (multi-hop) introduz um contexto excessivo que degrada a qualidade da geração para tarefas de granularidade fina.

Os autores enfatizam que o BM25 permanece um baseline altamente competitivo e de custo zero, desafiando a suposição de que embeddings neurais sempre trazem ganhos proporcionais, particularmente quando as perguntas compartilham um vocabulário substancial com os textos de origem.

Além disso, o estudo destaca o valor pedagógico dos "quase acertos". Mesmo quando o sistema falha em recuperar a página exata, ele frequentemente retorna material adjacente ou do mesmo capítulo, que é frequentemente relevante educacionalmente (ex: o enunciado de um teorema na página anterior para uma questão de demonstração).

Finalmente, os resultados sugerem que o RAG é crítico para implantações sensíveis ao custo. Modelos de código aberto mais fracos beneficiam-se desproporcionalmente do embasamento por recuperação, permitando que instituições implantem tutores de IA eficazes e fundamentados em livros didáticos em hardware local, sem depender de APIs comerciais caras.

Recomendações Práticas:

Use recuperação RAG Top-5 como padrão (alta precisão, contagem de tokens gerenciável).
Apresente as 3 principais páginas candidatas aos estudantes.
Evite re-ranking baseado em LLM devido aos riscos de alucinação.
Considere janelamento de páginas adjacentes para capturar conteúdo que atravessa as fronteiras das páginas.