CausalRAG2: Hierarchical Causal Knowledge Graph Design for RAG

Resumo Técnico: CausalRAG2

Declaração do Problema

Os sistemas de Geração Aumentada de Recuperação (RAG), particularmente aqueles que utilizam Grafos de Conhecimento (Graph-based RAG), enfrentam dois gargalos estruturais críticos que impedem sua capacidade de fornecer um raciocínio fiel e escalável:

1. Isolamento de Informação Global (Lacuna de Recall): Os métodos baseados em grafos existentes frequentemente dependem de organização modular (ex: comunidades, clusters semânticos) para gerenciar a escala. No entanto, a modularidade intrínseca aprisiona a recuperação dentro de módulos locais densos, impedindo o sistema de atravessar para evidências topologicamente distantes, mas relevantes. Isso leva ao "isolamento de informação", onde o processo de recuperação falha em estabelecer pontes lógicas entre distintos módulos de conhecimento.
2. Ruído Espúrio Local (Lacuna de Precisão): As estratégias de recuperação atuais dependem predominantemente de proximidade semântica e travessia superficial de grafos. Essa abordagem frequentemente recupera nós topicamente similares, mas causalmente irrelevantes (correlações espúrias), degradando a precisão. Além disso, os frameworks de RAG com reforço causal existentes carecem de modelagem causal explícita ou limitam-se a contextos locais, falhando em distinguir dependências causais genuínas de associações coincidentes em bases de conhecimento heterogêneas de larga escala.
3. Limitações de Avaliação: Datasets padrão de QA frequentemente favorecem "hits" centrados em entidades em detrimento da compreensão holística, mascarando essas falhas sistêmicas e falhando em avaliar a capacidade de um modelo em sintetizar cadeias de raciocínio complexas de múltiplos saltos (multi-hop).

Metodologia: CausalRAG2

O CausalRAG2 propõe um framework que repensa a organização do conhecimento através de portões causais hierárquicos e raciocínio causal explícito. O sistema opera em duas fases distintas:

1. Offline: Organização Hierárquica com Portões Causais

• Construção de Módulos Hierárquicos: O sistema constrói um grafo de entidades base a partir do corpus e o particiona iterativamente em módulos usando o algoritmo de Leiden para otimizar a modularidade. Isso cria uma hierarquia multicamadas ($H = \{H_0, \dots, H_L\}$) onde fatos granulares são organizados em resumos semânticos de nível superior.
• Construção de Portões Causais: Para abordar o isolamento de informação, o CausalRAG2 introduz um conjunto esparso de Portões Causais ($G_c$) conectando módulos topologicamente distantes. Um LLM avalia pares de resumos de módulos para determinar se existe uma dependência causal ou lógica plausível. Se confirmado, um portão binário não direcionado é estabelecido.
• Otimização de Eficiência: Para evitar a complexidade $O(N^2)$ de verificar todos os pares de módulos, uma estratégia de Poda Hierárquica Top-Down é empregada. Os portões são verificados camada por camada, do nível mais grosseiro para o mais fino; se um par de módulos pai possui conexão de portão, a verificação de seus filhos é podada, pois o caminho já é alcançável via portão pai e arestas hierárquicas.

2. Online: Expansão com Portões e Filtragem Causal

• Semeadura Híbrida Multigranular: A recuperação começa identificando nós sementes através de múltiplos níveis hierárquicos usando uma função de pontuação híbrida que combina similaridade de embedding semântico e sobreposição lexical. Uma estratégia de seleção consciente de diversidade (MMR) garante que as sementes cubram distintos aspectos semânticos.
• Expansão de Prioridade com Portões: Partindo das sementes, o sistema realiza uma Busca de Melhor Primeira Ordem (Best-First Search) sobre um espaço de arestas unificado ($E_{uni}$) composto por arestas estruturais, arestas hierárquicas e Portões Causais. A travessia é guiada por uma função de ganho que prioriza portões causais e ligações hierárquicas, permitindo que o sistema "salte" através de fronteiras modulares para quebrar o isolamento de informação.
• Refinamento de Caminho Causal: O subgrafo bruto recuperado via expansão frequentemente contém ruído espúrio. Uma etapa de Filtro Causal utiliza um LLM para analisar a topologia do subgrafo. O LLM é instruído a distinguir explicitamente entre caminhos causais válidos e associações espúrias (ex: mera coocorrência), gerando um subgrafo refinado e causalmente fundamentado ($S^\star$).
• Fundamentação Consciente de Espúrios: A etapa de geração final condiciona o LLM ao subgrafo filtrado, utilizando prompts que instruem explicitamente o modelo a confiar apenas em evidências causais verificadas, minimizando assim alucinações.

Principais Contribuições

1. Framework CausalRAG2: Uma arquitetura inovadora que integra organização de conhecimento hierárquica com portões causais explícitos para resolver simultaneamente o isolamento de informação global e o ruído espúrio local.
2. Benchmark HolisQA: A introdução de um novo dataset de larga escala e cross-domain derivado de artigos acadêmicos. Diferente dos datasets de QA padrão, o HolisQA apresenta estruturas lógicas densas e perguntas abertas que exigem compreensão holística e raciocínio de múltiplas sentenças, especificamente desenhado para avaliar RAG além do pareamento centrado em entidades.
3. Mecanismo para Raciocínio Causal Escalável: A demonstração de que portões causais podem efetivamente unir fronteiras modulares em grafos de larga escala sem causar deriva semântica, permitindo o raciocínio escalável sobre bases de conhecimento heterogêneas.

Resultados Experimentais

Experimentos extensos foram conduzidos em múltiplos domínios (Web, Wikipedia, Ciência, Medicina, Negócios, etc.) e datasets (MS MARCO, NQ, HotpotQA, 2WikiMultiHopQA, QASC e HolisQA).

• Desempenho no HolisQA: O CausalRAG2 superou consistentemente os baselines competitivos (incluindo GraphRAG, LightRAG, LeanRAG e CausalRAG) em todos os cinco domínios do HolisQA. Ele alcançou pontuações superiores em Context Recall (CR) (indicando melhor cobertura global) e Answer Relevancy (AR) (indicando maior precisão), reconciliando efetivamente o trade-off entre recall e precisão.
• Desempenho em QA Padrão: Em datasets de QA tradicionais, o CausalRAG2 manteve um desempenho robusto, frequentemente alcançando os maiores scores F1. Notavelmente, enquanto métodos como o GraphRAG-Global sofrem em tarefas granulares e o GraphRAG-Local sofre em tarefas holísticas, o CausalRAG2 permaneceu robusto em ambos os paradigmas.
• Estudos de Ablação: Remover tanto a estrutura hierárquica quanto os portões causais resultou em uma queda no Context Recall ou em um aumento de ruído (reduzindo o F1). Foi demonstrado que a combinação de expansão estrutural e filtragem causal é necessária para o desempenho ideal.
• Escalabilidade e Custo: O sistema demonstrou uma estabilidade notável através de variações no comprimento do texto fonte (até 1,5 milhão de caracteres). Em termos de custo, o CausalRAG2 incorreu em um custo de construção offline de ~$0,0015 por 1K tokens e um custo de consulta online de ~$0,00049, comparável a outros métodos de RAG estrutural e significativamente inferior ao GraphRAG-Global.

Significância e Alegações

O artigo afirma que o CausalRAG2 estabelece uma fundação principiológica para sistemas de RAG estruturados, escaláveis e causalmente fundamentados. Sua principal significância reside em:

• Superar o Isolamento Modular: Ao introduzir portões causais, o framework fornece um mecanismo para atravessar logicamente grafos de conhecimento densos, abordando uma limitação fundamental da recuperação baseada em módulos.
• Aumentar a Fidelidade do Raciocínio: Ao filtrar explicitamente correlações espúrias, o sistema garante que as respostas geradas sejam fundamentadas em evidências causais verificadas, em vez de correspondências semânticas superficiais.
• Redefinir a Avaliação: Através do HolisQA, o trabalho destaca as limitações dos atuais benchmarks centrados em entidades e fornece um padrão mais rigoroso para avaliar a compreensão holística em sistemas de RAG.

Os autores posicionam este trabalho como um passo em direção a agentes de IA mais confiáveis e interpretáveis, capazes de raciocinar sobre estruturas de conhecimento complexas do mundo real, indo além do pareamento de similaridade "plano" do RAG tradicional.