Resumo Técnico: CompactRAG

Declaração do Problema

A Geração Aumentada por Recuperação (RAG) tornou-se um paradigma padrão para o questionamento baseado em conhecimento. No entanto, os sistemas de RAG multi-hop existentes enfrentam ineficiências significativas ao lidar com consultas complexas que exigem a integração de evidências de múltiplos documentos. As abordagens iterativas atuais (ex: Self-Ask, IRCoT, Iter-RetGen) alternam entre recuperação e raciocínio de LLM em cada etapa. Esse design leva a três problemas principais:

1. Escalabilidade e Custo: O consumo de tokens e a latência crescem linearmente com o número de saltos (hops) de raciocínio devido às chamadas repetidas ao LLM.
2. Redundância: Os contextos recuperados frequentemente contêm informações redundantes, inflando o uso de tokens.
3. Deriva de Entidade (Entity Drift): A decomposição automática de perguntas complexas em subperguntas pode perder menções explícitas a entidades (ex: substituir "Onde ele nasceu?" após identificar "ele" como um cientista). Essa ambiguidade causa erros de recuperação e resultados inconsistentes entre os saltos.

Metodologia: CompactRAG

Os autores propõem o CompactRAG, um framework que desacopla a reestruturação offline do corpus do raciocínio online para alcançar uma inferência multi-hop eficiente. O sistema opera em dois estágios distintos:

1. Estágio Offline: Construção de Base de Conhecimento de QA Atômico

Em vez de recuperar passagens brutas do corpus durante a inferência, o CompactRAG processa o corpus uma única vez offline.

• Processo: Um LLM lê o corpus bruto e reformula o conteúdo do documento em um conjunto de pares de QA atômicos.
• Granularidade: Cada par representa uma unidade factual mínima e detalhada (ex: "Quem dirigiu X?" $\to$ "Y").
• Ancoragem de Entidade: Entidades dentro do corpus são automaticamente anotadas (usando SpaCy) e explicitamente reforçadas durante a geração para garantir a completude semântica e evitar a perda referencial.
• Indexação: Cada par de QA atômico é incorporado em um espaço semântico compartilhado usando recuperação densa (Contriever). A pergunta e a resposta são concatenadas ($[q; a]$) para preservar o escopo factual completo, permitindo que o recuperador combine tanto a intenção quanto o conteúdo.

2. Estágio Online: Inferência de Duas Chamadas

Durante a inferência, o sistema resolve consultas complexas usando um pipeline leve e fixo que invoca o LLM principal apenas duas vezes, independentemente da profundidade do raciocínio.

• Passo 1: Decomposição (Chamada de LLM #1): A consulta complexa é decomposta em um grafo de subperguntas ordenado por dependência.
• Passo 2: Resolução Iterativa (Módulos Leves):
  • Recuperação: As subperguntas são usadas para recuperar os top-$k$ pares de QA atômicos da base de conhecimento pré-construída.
  • Extração de Resposta: Um Extrator de Respostas baseado em RoBERTa identifica o intervalo (span) da resposta correta nos pares recuperados, evitando chamadas de LLM para extração.
  • Reescrita de Subpergunta: Um Reescritor de Subperguntas baseado em Flan-T5 recebe a entidade da resposta extraída e reescreve a próxima subpergunta para fundamentar explicitamente referências ambíguas (ex: mudando "Onde ele nasceu?" para "Onde [Entidade] nasceu?"). Isso evita a deriva de entidade.
• Passo 3: Síntese (Chamada de LLM #2): Uma vez que todas as subperguntas sejam resolvidas e a evidência agregada, o LLM principal realiza um único passo de síntese para gerar a resposta final.

Principais Contribuições

1. Análise de Escalabilidade: O artigo analisa como o consumo de tokens e as chamadas de LLM em pipelines de RAG iterativos escalam linearmente com a profundidade do raciocínio, identificando isso como um gargalo para implantação em larga escala.
2. Framework CompactRAG: A introdução de uma arquitetura de RAG de duas chamadas que utiliza uma base de conhecimento de QA atômico offline e módulos online leves (extrator e reescritor) para permitir o raciocínio multi-hop eficiente sem invocações repetidas de LLM.
3. Validação Empírica: Avaliação abrangente no HotpotQA, 2WikiMultiHopQA e MuSiQue, demonstrando que o CompactRAG alcança uma precisão competitiva enquanto reduz drasticamente o consumo de tokens em comparação com bases de comparação iterativas fortes.

Resultados Experimentais

Avaliado em três benchmarks multi-hop usando LLaMA-3.1-8B como o LLM de base:

• Precisão: O CompactRAG alcança um desempenho competitivo. No HotpotQA, atingiu um Exact Match (EM) de 45,20% e uma Acurácia baseada em LLM de 70,40%, comparável ou superior a bases de comparação iterativas como IRCoT (42,80% EM) e Iter-RetGen (46,80% EM).
• Eficiência: O sistema reduz significativamente o overhead de tokens.
  • CompactRAG: ~1,9K tokens por amostra.
  • Iter-RetGen: ~4,7K tokens.
  • IRCoT: ~10,2K tokens.
  • Self-Ask: ~6,9K tokens.
• Estudos de Ablação: A remoção dos módulos Reescritor de Subpergunta ou Extrator de Resposta resultou em quedas consistentes na precisão (ex: remover o reescritor no HotpotQA reduziu a precisão de 70,4% para 63,2%), confirmando sua necessidade para manter a fundamentação de entidade e a precisão da recuperação.
• Limite Superior (Upper Bound): O uso do GPT-4 para a construção de QA offline melhorou ainda mais a precisão (ex: 49,60% EM no HotpotQA), sugerindo que a qualidade da base de conhecimento offline influencia diretamente o desempenho da inferência.

Significância e Alegações

O artigo postula que o CompactRAG oferece uma alternativa prática e de baixo custo aos sistemas de RAG iterativos. Sua principal significância reside em:

• Custo de Inferência Fixo: Ao limitar as chamadas de LLM a duas por consulta (decomposição e síntese), o sistema desacopla o custo de inferência da profundidade do raciocínio, tornando-o altamente escalável para tarefas multi-hop profundas.
• Desacoplamento de Recuperação e Raciocínio: O framework demonstra que o raciocínio multi-hop de alta qualidade não exige estritamente interações repetidas com o LLM. Em vez disso, estruturar o conhecimento externo em unidades atômicas e semanticamente alinhadas e utilizar módulos locais leves pode produzir precisão comparável com um overhead computacional significativamente menor.
• Capacidade de Implantação: Diferente de métodos que dependem de sinais internos do modelo (ex: entropia de atenção) que não estão disponíveis em modelos de pesos fechados, a abordagem arquitetural do CompactRAG é compatível tanto com LLMs abertos quanto fechados.

Os autores concluem que esta abordagem fornece um modelo para o desenvolvimento de sistemas RAG escaláveis e eficientes em termos de tokens, adequados para aplicações de larga escala e intensivas em conhecimento.