Towards Robust Retrieval-Augmented Generation Based on Knowledge Graph: A Comparative Analysis

Este artigo utiliza o corpus RGB para realizar uma análise comparativa entre o RAG padrão e o GraphRAG, demonstrando que customizações baseadas em grafos de conhecimento melhoram a robustez dos sistemas de Geração Aumentada por Recuperação em cenários de ruído, integração, rejeição negativa e contrafactuais.

O essencial

Imagine que você tem um assistente superinteligente, um "gênio" que leu quase tudo o que existe na internet. Esse é o LLM (o modelo de linguagem grande). O problema é que, às vezes, esse gênio alucina: ele inventa fatos, esquece coisas recentes ou se confunde quando recebe informações contraditórias.

Para consertar isso, criamos o RAG (Geração Aumentada por Recuperação). É como se, antes de responder, o gênio consultasse uma biblioteca de documentos externos. Mas e se a biblioteca estiver cheia de livros com erros, páginas rasgadas ou informações falsas? O gênio pode acabar lendo o errado e respondendo de forma errada.

Este artigo é como um teste de estresse para ver como podemos fazer esse sistema funcionar melhor, mesmo quando a "biblioteca" está bagunçada.

Aqui está a explicação simplificada, usando analogias do dia a dia:

1. O Problema: A Biblioteca Bagunçada

Os autores usaram um teste chamado RGB (Benchmark de Geração Aumentada por Recuperação). Imagine que você pede ao seu assistente: "Quem ganhou a Copa do Mundo de 2022?".
O sistema busca na internet e encontra 5 documentos. Mas, dependendo do teste, esses documentos podem ser:

• Cheios de ruído: 80% são notícias falsas ou irreleváveis.
• Contraditórios: Um diz "Brasil", outro diz "Argentina".
• Incompletos: Nenhum deles tem a resposta, mas o assistente insiste em chutar algo.

O objetivo do artigo é ver como fazer o assistente não se confundir com essa bagunça.

2. A Solução Proposta: O Mapa do Tesouro (Grafos de Conhecimento)

A maioria dos sistemas RAG atuais lê os documentos como se fossem blocos de texto soltos (como ler um jornal aleatoriamente).
Os autores propuseram usar o GraphRAG.

• A Analogia: Em vez de apenas ler livros soltos, o sistema cria um Mapa do Tesouro (um Grafo de Conhecimento). Ele conecta os pontos: "Brasil" está ligado a "2022", que está ligado a "Campeão".
• Isso ajuda o assistente a entender as relações entre as coisas, não apenas palavras soltas. É como ter um organizador que diz: "Ei, essa informação aqui não faz sentido com aquela ali".

3. Os Quatro Desafios (O "Treinamento" do Assistente)

Os autores testaram o sistema em quatro situações difíceis:

• Robustez ao Ruído (O Barulho no Rádio):

  • Cenário: O assistente recebe 5 documentos, mas 4 são lixo.
  • Resultado: O sistema com o "Mapa" (GraphRAG) conseguiu ignorar o lixo e focar no documento certo muito melhor do que o sistema comum, especialmente em modelos menores (como o GPT-3.5). Foi como se o mapa ajudasse a encontrar o tesouro mesmo no meio de uma tempestade de areia.

• Integração de Informação (O Quebra-Cabeça):

  • Cenário: A resposta está espalhada em 3 documentos diferentes.
  • Resultado: O sistema com o "Mapa" foi excelente em juntar as peças do quebra-cabeça. Ele conseguiu conectar a informação do documento A com a do documento B para formar a resposta completa.

• Rejeição Negativa (Saber Dizer "Não"):

  • Cenário: A pergunta é impossível de responder com os documentos fornecidos. O assistente deve admitir que não sabe, em vez de inventar.
  • Resultado: Aqui foi o mais difícil. Muitos assistentes são "confiantes demais" e inventam respostas. O sistema com o "Mapa" e um prompt especial (instruções claras) aprendeu a dizer: "Não tenho essa informação", rejeitando a pergunta com mais frequência. Foi como treinar o assistente para ter humildade.

• Robustez a Fatos Falsos (O Detetive de Mentiras):

  • Cenário: Um documento diz "A Terra é plana". O assistente deve identificar que é mentira e corrigir.
  • Resultado: O sistema com o "Mapa" (especialmente o modelo GPT-4o-mini) conseguiu detectar a mentira e corrigi-la quase 100% das vezes. O "Mapa" serviu como uma bússola que mostrou que a informação estava errada.

4. O Grande Descoberta: Menos é Mais (às vezes)

Uma descoberta curiosa foi que os modelos "menores" (como o GPT-3.5) se beneficiaram muito mais desse sistema de "Mapa" do que os modelos "gigantes" (GPT-4).

• Por que? O modelo gigante já tem muita informação na cabeça dele (conhecimento interno). O modelo menor é mais "vazio" e se perde fácil. O "Mapa" (Grafo de Conhecimento) deu ao modelo menor uma estrutura que ele precisava desesperadamente para não se perder.

Conclusão Simples

O papel mostra que, para criar assistentes de IA confiáveis no mundo real (onde a internet está cheia de fake news e erros), não basta apenas "ler mais". É preciso organizar a informação.

Transformar textos soltos em um Mapa de Conhecimento (Grafo) ajuda a IA a:

1. Ignorar o lixo.
2. Juntar informações espalhadas.
3. Saber quando não responder.
4. Identificar mentiras.

É como passar de um assistente que apenas "lê em voz alta" para um assistente que entende o contexto e sabe o que é verdade, mesmo quando o mundo ao redor está confuso.

Resumo técnico

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) enfrentam desafios críticos como alucinações factuais, conhecimento desatualizado e falta de expertise específica de domínio. A Geração Aumentada por Recuperação (RAG) foi introduzida para mitigar esses problemas, fornecendo conhecimento externo aos modelos. No entanto, o RAG tradicional apresenta limitações significativas:

• Informação Inconsistente: Documentos recuperados podem conter ruído, informações redundantes ou factuais incorretas.
• Falta de Estrutura: Formatos não estruturados dificultam a identificação de relações explícitas (causais, temporais) e o raciocínio multi-hop.
• Deteção de Contradição: Identificar contradições entre documentos é complexo e custoso.
• Fragilidade: Os sistemas RAG existentes muitas vezes falham em rejeitar perguntas quando as informações recuperadas são irrelevantes ou incorretas, levando a respostas alucinadas.

O artigo utiliza o RGB (Retrieval-Augmented Generation Benchmark) para avaliar a robustez dos LLMs em quatro cenários críticos: robustez a ruído, integração de informações, rejeição negativa (saber quando não responder) e robustez contrafactual (identificar e ignorar erros factuais).

2. Metodologia

Os autores propõem uma abordagem que combina o RAG com Grafos de Conhecimento (KG), utilizando o framework GraphRAG como base, mas com customizações específicas para lidar com os desafios do RGB.

Arquitetura e Customizações

O GraphRAG original constrói um grafo de entidades a partir de documentos, gera resumos de comunidades hierárquicas e responde a perguntas. Para este estudo, foram propostas quatro variações de prompts e fontes de conhecimento para testar a robustez:

1. GRRGB: Adaptação do prompt padrão do RGB para o contexto de KG.
2. GRdef: Uso do prompt padrão original do GraphRAG.
3. GRext (External-Only): Prompt customizado que instrui o modelo a usar apenas o conhecimento externo estruturado, ignorando seu conhecimento interno pré-treinado para evitar alucinações.
4. GRcomb (Combined): Combinação do conhecimento codificado (interno) do LLM com o conhecimento externo estruturado.

Fluxo de Trabalho:

• Os documentos recuperados (incluindo os ruidosos ou incorretos do benchmark) são divididos em blocos.
• Um LLM extrai entidades, relações e afirmações para construir um grafo de conhecimento estruturado.
• O grafo é usado para gerar resumos de comunidades.
• O modelo final gera a resposta com base nos resumos e nas instruções do prompt específico (ex: instruído a rejeitar se a informação for insuficiente).

Configuração Experimental

• Modelos Testados: GPT-3.5 e GPT-4o-mini.
• Métricas: Precisão (ACC), Taxa de Rejeição (para perguntas sem resposta), Taxa de Deteção de Erros (ED) e Taxa de Correção de Erros (CR).
• Tarefa: Avaliação nas quatro dimensões do RGB: Robustez a Ruído, Integração de Informações, Rejeição Negativa e Robustez Contrafactual.

3. Principais Contribuições

• Integração KG-RAG para Robustez: Demonstra que a estruturação de documentos não estruturados em Grafos de Conhecimento melhora significativamente a capacidade de raciocínio e a filtragem de ruído.
• Análise Comparativa de Prompts: Identifica que a estratégia de prompt é crucial. O uso exclusivo de conhecimento externo (GRext) é superior para evitar alucinações em perguntas sem resposta, enquanto a combinação de conhecimentos (GRcomb) melhora a deteção e correção de erros factuais.
• Benefício para Modelos Menos Complexos: A abordagem proposta oferece ganhos de desempenho mais expressivos para modelos menores (GPT-3.5) do que para modelos avançados (GPT-4o-mini), sugerindo que o KG atua como um "amplificador" de conhecimento para modelos com menos conhecimento interno.
• Novas Diretrizes de Prompting: Apresenta prompts específicos que instruem explicitamente o modelo a ignorar ruído, detectar contradições e rejeitar perguntas não respondíveis.

4. Resultados Chave

• Robustez a Ruído:

  • O GPT-3.5 sofreu drasticamente com o ruído no baseline RGB, enquanto o GPT-4o-mini foi mais estável.
  • As configurações baseadas em GraphRAG (especialmente GRdef e GRcomb) superaram o baseline, mantendo a precisão mesmo com altos níveis de ruído (até 40-80%).
  • A combinação de conhecimentos (GRcomb) foi a mais eficaz para o GPT-3.5.

• Robustez Contrafactual (Erros Factuais):

  • O GPT-3.5 no baseline teve apenas 9% de precisão com documentos falsos.
  • A configuração GRcomb alcançou 24,24% de precisão para o GPT-3.5 e 35,35% para o GPT-4o-mini, superando todas as outras variações de GraphRAG.
  • Deteção de Erros (ED): A combinação GRcomb obteve taxas de deteção de erro excepcionais (94,94% para GPT-3.5 e 100% para GPT-4o-mini), muito superiores ao baseline RGB (7% e 77%, respectivamente).

• Integração de Informações:

  • O GraphRAG demonstrou superioridade na síntese de informações de múltiplos documentos.
  • A abordagem GRext (apenas conhecimento externo) mostrou-se a mais robusta contra o aumento do ruído, com degradação mínima de desempenho.

• Rejeição Negativa (Saber quando não responder):

  • Este foi o cenário mais desafiador. O baseline RGB teve taxas de rejeição moderadas.
  • A configuração GRext obteve as maiores taxas de rejeição (42,66% para GPT-4o-mini e 33% para GPT-3.5), provando que prompts que focam na credibilidade do documento ajudam o modelo a admitir a falta de informação.
  • O modelo padrão do GraphRAG (GRdef) mostrou-se excessivamente confiante, rejeitando muito pouco (12,66% para GPT-4o-mini).

5. Significado e Conclusão

O estudo conclui que a integração de Grafos de Conhecimento ao pipeline RAG é uma estratégia eficaz para aumentar a robustez de LLMs contra informações inconsistentes, ruidosas ou contraditórias.

• Para Modelos Leves: O KG atua como um compensador crítico, permitindo que modelos como o GPT-3.5 performem de forma muito mais confiável do que no RAG tradicional.
• Estratégia Híbrida: Não existe uma solução única; a escolha entre usar apenas conhecimento externo (GRext) ou combinado (GRcomb) depende da tarefa (rejeição vs. correção de erros).
• Impacto Prático: A pesquisa fornece insights valiosos para o desenvolvimento de sistemas RAG mais confiáveis para cenários do mundo real, onde a consistência da informação é vital.

Limitações e Trabalhos Futuros:
Os autores apontam que as taxas de rejeição negativa ainda estão abaixo de 50%, indicando que há espaço para melhoria. Trabalhos futuros visam criar uma solução unificada para todas as tarefas do RGB, explorar mecanismos de raciocínio avançado (como Chain-of-Thought) e integrar multimodalidade.