XGRAG: A Graph-Native Framework for Explaining KG-based Retrieval-Augmented Generation

Resumo Técnico: XGRAG

1. O Problema (Contexto e Motivação)

O avanço do Retrieval-Augmented Generation (RAG) permitiu que Modelos de Linguagem de Grande Escala (LLMs) utilizassem fontes externas para reduzir alucinações. Uma evolução recente é o GraphRAG, que utiliza Grafos de Conhecimento (KGs) para fornecer um contexto estruturado e semanticamente coerente.

No entanto, surge um problema crítico de explicabilidade (XAI): embora a recuperação de dados via grafos seja mais transparente que a busca textual, o processo de raciocínio do LLM ao sintetizar essas informações permanece uma "caixa-preta". As ferramentas de explicabilidade atuais (como o RAG-Ex) foram projetadas para RAG baseado em texto (perturbando palavras ou frases) e falham ao tentar identificar quais entidades ou relações específicas dentro de um grafo foram determinantes para a resposta final.

2. Metodologia (O Framework XGRAG)

Para resolver essa lacuna, os autores propõem o XGRAG, um framework de XAI "nativo de grafos". A arquitetura é composta por quatro módulos principais:

• Backbone GraphRAG: Utiliza o LightRAG como base para garantir eficiência computacional. Ele constrói o grafo global e recupera um subgrafo relevante para a consulta.
• Módulo de Deduplicação de Entidades: Um passo crucial de pré-processamento que utiliza similaridade de cosseno e agrupamento (clustering) para fundir entidades semanticamente equivalentes (ex: "Dr. Watson" e "Watson"). Isso evita que a importância de uma entidade seja fragmentada entre múltiplos nós.
• Perturbador (Perturber): Aplica estratégias de perturbação diretamente na estrutura do grafo para criar subgrafos contrafatuais. As estratégias incluem:
  • Remoção de Nós: Testa a dependência da entidade.
  • Remoção de Arestas: Isola a importância de uma relação específica.
  • Injeção de Sinônimos: Avalia a sensibilidade a variações lexicais.
• Explicador (Explainer): Mede o "deslocamento semântico" (semantic shift) entre a resposta original e a resposta gerada após a perturbação. Se a remoção de um componente altera drasticamente a resposta, esse componente recebe uma pontuação de importância alta.

3. Principais Contribuições

1. Framework de XAI Nativo de Grafos: Diferente de métodos baseados em texto, o XGRAG manipula diretamente a topologia do conhecimento (nós e arestas).
2. Abordagem de Perturbação Causal: Quantifica a contribuição individual de componentes do grafo através de experimentos contrafatuais.
3. Módulo de Deduplicação: Introduz uma técnica para limpar o grafo recuperado, garantindo que a atribuição de importância seja precisa e não ruidosa.
4. Avaliação Sistemática: Propõe um pipeline de avaliação que utiliza métricas de classificação (F1-score), ranking (MRR e P@k%) e alinhamento estrutural (correlação com centralidade de grafos).

4. Resultados

Os experimentos foram realizados nos datasets NarrativeQA, FairyTaleQA e TriviaQA, comparando o XGRAG com o baseline de texto RAG-Ex:

• Superioridade em Qualidade: O XGRAG apresentou uma melhoria de 14,81% no F1-score em relação ao RAG-Ex.
• Robustez: O framework demonstrou desempenho superior tanto em perguntas de "Recuperação Factual" quanto em "Raciocínio Inferencial" (onde a vantagem foi ainda maior, com MRR mais que dobrado).
• Generalização: O modelo mostrou-se agnóstico ao LLM, mantendo alta performance em modelos como Llama 3.1, Mistral e DeepSeek.
• Alinhamento Estrutural: As pontuações de importância geradas pelo XGRAG apresentaram forte correlação com medidas de centralidade de grafos (como Degree Centrality), validando que o framework captura a topologia relevante do conhecimento.
• Eficiência: Ao utilizar o LightRAG como backbone, o framework torna-se escalável, ao contrário de implementações de GraphRAG tradicionais que seriam computacionalmente inviáveis para múltiplas perturbações.

5. Significância

O XGRAG é significativo para setores de alto risco (como medicina e finanças), onde entender o "porquê" de uma resposta é tão importante quanto a resposta em si. Ele transforma o processo de raciocínio do LLM em um processo auditável, permitindo que desenvolvedores depurem alucinações e que usuários finais confiem nas justificativas fornecidas pelo sistema.