Resumo Técnico: Geração Aumentada por Recuperação Causal (CR-RAG)

1. Declaração do Problema

A Geração Aumentada por Recuperação (RAG) estabeleceu-se como o paradigma padrão para fundamentar Grandes Modelos de Linguagem (LLMs) em conhecimento externo. No entanto, os sistemas RAG atuais sofrem de uma falha fundamental: são vulneráveis a correlações espúrias entre as características da pergunta e a evidência recuperada.

O artigo identifica três fontes estruturais de viés que fazem com que os sistemas RAG produzam respostas fluentes, mas factualmente incorretas (alucinações):

1. Confundimento por Popularidade: Recuperadores densos são enviesados para passagens que contêm entidades populares. Mesmo quando uma pergunta visa uma entidade rara, o recuperador frequentemente retorna passagens sobre entidades coocorrentes populares porque elas dominam o espaço de embedding.
2. Viés de Sobreposição Lexical: Os objetivos do recuperador (frequentemente contrastivos) favorecem passagens que compartilham n-gramas superficiais com a pergunta, mesmo que essas palavras sejam irrelevantes (ex: expressões idiomáticas), levando o gerador a ancorar-se em textos superficialmente relevantes, mas factualmente incorretos.
3. Viés de Seleção: O mecanismo de truncamento top-K confunde "ser recuperado" com "ser informativo". Passagens logo abaixo do corte podem conter o fato correto, enquanto aquelas acima dele podem apenas compartilhar um confundidor com a pergunta.

Os autores argumentam que esses problemas não são meramente falhas de otimização, mas problemas de inferência causal. O RAG padrão estima a probabilidade condicional $p(A|Q, R)$, que absorve vieses de confundimento. O objetivo é estimar o efeito causal $p(A|do(Q), do(R))$, isolando o verdadeiro caminho causal da evidência para a resposta.

2. Metodologia: Estrutura CR-RAG

O artigo propõe a Geração Aumentada por Recuperação Causal (CR-RAG), um framework que modela o pipeline RAG como um Modelo Causal Estrutural (SCM). Ele introduz uma camada causal leve e agnóstica ao recuperador entre o recuperador e o gerador.

A. Modelo Causal Estrutural (SCM)

O pipeline é formalizado com:

• Variáveis Endógenas: Pergunta ($Q$), Evidência Recuperada ($R$) e Resposta ($A$).
• Confundidores: Um confundidor observável $C$ (popularidade, atributos lexicais) e um confundidor latente $U$ (contexto tópico).
• Caminho de Backdoor: O caminho $Q \leftarrow C \rightarrow R \rightarrow A$ cria correlações espúrias. O CR-RAG visa bloquear este caminho para estimar o verdadeiro efeito causal.

B. Componentes Principais

O CR-RAG integra quatro técnicas causais específicas:

1. Representação de Confundidor de Baixo Rank (Ajuste de Backdoor):

   • Um pequeno MLP (Perceptron Multicamadas) aprende um embedding de baixo rank $g(Q, C)$ que representa o estado do confundidor.
   • Este embedding é usado para realizar o ajuste de backdoor, bloqueando efetivamente o caminho espúrio ao condicionar no confundidor.
   • Um termo de regularização garante que o embedding capture os confundidores sem vazar informações do resultado (evitando que o modelo simplesmente memorize a resposta).

2. Reponderação por Propensão Inversa (IPW):

   • Um classificador binário estima o escore de propensão $e(R|Q, C)$: a probabilidade de uma passagem ser recuperada dado apenas o confundidor, não o conteúdo da pergunta.
   • As passagens são reponderadas por $w = 1/(e + \epsilon)$. Passagens recuperadas principalmente devido à popularidade ou viés lexical (alta propensão) são penalizadas, enquanto aquelas recuperadas devido à relevância genuína são valorizadas.

3. Pontuador de Passagem Causal:

   • Um pontuador transformer leve estima a relevância de uma passagem sob uma intervenção do tipo do ($do(R)$).
   • Ele é treinado via supervisão fraca usando sinais de sobreposição de resposta: passagens contendo a string da resposta são tratadas como positivas, enquanto aquelas que compartilham n-gramas mas carecem da resposta são tratadas como negativas.
   • Este pontuador poda o conjunto de candidatos para reter apenas evidências causalmente relevantes.

4. Aumentação de Dados Contrafactual:

   • Durante o treinamento, o sistema constrói conjuntos de evidência intervindos ($\tilde{R}$) substituindo uma fração das passagens recuperadas por "negativos correspondentes ao confundidor" (passagens com características de popularidade/lexicais semelhantes, mas respostas diferentes).
   • Uma perda contrastiva força o gerador a distinguir entre evidência factual ($R$) e evidência contrafactual ($\tilde{R}$), ensinando-o a ignorar proxies impulsionados pelo confundidor.

C. Objetivo de Treinamento

A função de perda conjunta combina a perda de geração padrão com termos para ajuste de backdoor, treinamento de IPW, contraste contrafactual e regularização de confundidor. O framework é projetado para ser agnóstico ao recuperador e adiciona latência de inferência desprezível (<5%).

3. Principais Contribuições

O artigo reivindica as seguintes contribuições:

• Primeira Formulação Causal de Ponta a Ponta: Fornece o primeiro tratamento causal unificado de todo o pipeline recuperador-gerador, identificando e provando a identificabilidade do condicional da resposta sob uma suposição de confundidor de baixo rank.
• Framework Modular (CR-RAG): Uma arquitetura inovadora que combina ajuste de backdoor, IPW, aprendizado contrastivo contrafactual e pontuação causal sem modificar o LLM ou o recuperador subjacente.
• Pontuador de Passagem Causal: Um novo componente treinado com supervisão fraca para estimar a relevância da intervenção $do$, exigindo nenhum rótulo manual de passagem.
• Avaliação Reproduzível: O lançamento de uma divisão estratificada por confundidor do dataset PopQA para medir diretamente o viés de popularidade, juntamente com estudos de ablação detalhados.

4. Resultados Experimentais

O framework foi avaliado em quatro benchmarks intensivos em conhecimento: Natural Questions (NQ), TriviaQA, HotpotQA e PopQA.

• Ganhos de Desempenho: O CR-RAG superou consistentemente bases fortes (incluindo RAG, FiD, REPLUG, Self-RAG e Atlas).
  • As melhorias variaram de 1.2 a 3.7 pontos de Exatidão (EM).
  • Os maiores ganhos foram observados no PopQA (melhoria de 3.7 EM), onde o confundimento por popularidade é mais severo.
• Desempenho na Cauda Longa: O sistema mostrou melhoria monotônica conforme a popularidade da entidade diminuía. No grupo "muito raro" do PopQA, o CR-RAG alcançou uma redução relativa de 43% nas alucinações em comparação ao RAG padrão.
• Mitigação de Alucinação: Em todos os datasets, o framework reduziu respostas infundadas, com o impacto mais significativo em entidades de baixa popularidade onde a recuperação é crítica.
• Eficiência: A camada causal adicionou apenas 9.7M de parâmetros (0.14% de um gerador de 7B) e 11ms de latência por consulta, demonstrando alta eficiência computacional.
• Transferibilidade: O modelo treinado em NQ transferiu com sucesso para QA de múltiplos saltos (2WikiMultihopQA) e verificação de fatos (FEVER) sem ajuste específico para o dataset.

5. Significância e Alegações

O artigo posiciona o CR-RAG não como uma nova arquitetura para LLMs, mas como uma mudança de princípio no estimando de associativo ($p(A|Q, R)$) para causal ($p(A|do(Q), do(R)$).

• Abordando a Causa Raiz: Ao contrário de métodos anteriores que tratam sintomas de alucinação (ex: via verificação post-hoc ou autorreflexão), o CR-RAG aborda o viés de recuperação upstream que causa as alucinações.
• Equidade no Conhecimento: O framework visa especificamente o modo de falha da "cauda longa", garantindo que entidades raras e fatos menos populares sejam recuperados e respondidos com tanta precisão quanto os populares, melhorando assim a equidade do QA intensivo em conhecimento.
• Viabilidade Industrial: A natureza modular e leve da camada causal permite que ela seja implantada como um componente "drop-in" para sistemas existentes, incluindo LLMs de caixa-preta, tornando-a viável para ambientes de produção onde a factualidade é inegociável (ex: domínios jurídicos, clínicos ou científicos).

Os autores concluem que o raciocínio causal explícito é essencial para a próxima geração de sistemas de recuperação aumentada, oferecendo um caminho para aplicações de LLM que sejam tanto mais fiéis quanto mais equitativas através da distribuição do conhecimento humano.