🤖 AI

ScalableRAG: High-Quality RAG at Zero Ingestion Cost

O artigo apresenta o ScalableRAG, uma abordagem de Geração Aumentada por Recuperação de alta qualidade que alcança precisão superior em múltiplos conjuntos de dados com custos de ingestão zero ao utilizar um espaço de trabalho dinâmico para raciocínio agregativo on-the-fly, enquanto também oferece uma variante de Ingestão Limitada que aumenta ainda mais o desempenho em escala com uso mínimo de banco de dados vetorial.

Autores originais: Hilaf Hasson, Aditya Chakravarty, Jayant Thomas, Krishna Gogineni

Publicado 2026-07-29

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Hilaf Hasson, Aditya Chakravarty, Jayant Thomas, Krishna Gogineni

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando resolver um mistério enorme lendo uma biblioteca de um milhão de livros. No mundo da inteligência artificial, isso é chamado de Geração Aumentada por Recuperação (RAG). Pense em uma IA padrão como um detetive brilhante que leu toda a internet, mas não consegue se lembrar de detalhes específicos de um arquivo empoeirado. Para ajudar o detetive, geralmente construímos um "catálogo de fichas" ou um "grafo de conhecimento" antes de ele começar a trabalhar. Isso envolve ler cada um dos livros, resumi-los e organizá-los em um banco de dados complexo para que a IA possa encontrar a página certa rapidamente. É como contratar uma equipe de bibliotecários para passar semanas indexando a biblioteca antes mesmo de o detetive chegar. Esse processo é caro, lento e exige muito poder computacional apenas para começar. Mas e se o detetive pudesse entrar na biblioteca, olhar os livros e descobrir as respostas na hora, sem precisar de um catálogo pré-fabricado? Essa é a grande questão que este artigo aborda: Podemos obter os mesmos resultados brilhantes sem pagar o alto custo de "ingestão" para construir esse banco de dados massivo primeiro?

Os pesquisadores da Cohesity, liderados por Hilaf Hasson e sua equipe, dizem que a resposta é um ressonante "sim". Eles introduzem um novo sistema chamado ScalableRAG, que vem em dois sabores: Zero-Ingestion (Zero-Ingestão) e Limited-Ingestion (Ingestão Limitada). A principal descoberta deles é que você não precisa pré-processar toda a biblioteca para responder a perguntas complexas. Em vez disso, o agente de IA deles atua como um detetive super organizado que carrega uma prancheta mágica e expansível. Quando o detetive precisa encontrar um fato específico, ele não apenas pesquisa por uma palavra-chave; ele cria um "grupo" temporário de documentos relevantes, filtra-os e até faz cálculos matemáticos sobre os resultados ali mesmo, no momento.

Veja como o método "Zero-Ingestion" deles funciona, usando uma metáfora simples: Imagine que você tem uma pilha de recibos bagunçados de um ano de compras. Um sistema tradicional exigiria que alguém se sentasse, lesse cada recibo e os organizasse em pastas rotuladas (Mercearia, Combustível, Eletrônicos) antes de você fazer uma pergunta como: "Quanto eu gastei com combustível em junho?". Essa organização leva uma eternidade. O ScalableRAG, no entanto, pula a organização inteira. Quando você faz a pergunta, a IA olha para a pilha, encontra todos os recibos que mencionam "combustível", depois filtra essa pilha menor para encontrar apenas os que são de "junho" e, finalmente, soma os valores. Ela faz isso criando e gerenciando "conjuntos" de documentos sobre a hora. É como ter um detetive que pode instantaneamente desenhar um círculo ao redor dos recibos relevantes, contá-los e fazer a conta, tudo sem nunca precisar arquivá-los primeiro.

O artigo mostra que essa abordagem "sobre a hora" é incrivelmente poderosa. Em testes realizados em seis coleções diferentes de documentos (variando de transcrições de audiências governamentais a relatórios financeiros e roteiros de filmes), seu sistema Zero-Ingestion superou facilmente todos os modelos de base (incluindo abordagens de grafo de conhecimento) em três dos seis conjuntos de dados (MuSiQue, Transcripts e Hotels). Nos outros três conjuntos de dados (2Wiki, FinanceBench e ComplexTR), ele apenas perdeu marginalmente para o desempenho máximo, ficando por uma diferença média de apenas 1,63% em relação ao melhor modelo de base para cada um (que foi o A-RAG). Apesar dessas perdas estreitas em metade dos conjuntos de dados, o sistema alcançou uma precisão média em todos os seis conjuntos de dados que foi cerca de 7,36% maior do que o próximo modelo de base mais competitivo. Isso é algo importante porque sugere que, para muitos tipos de perguntas, a etapa cara de pré-construir um banco de dados é, na verdade, desnecessária.

Para tornar o sistema ainda melhor para perguntas mais difíceis, eles também construíram uma versão "Limited-Ingestion". Isso é como dar ao detetive um índice pequeno e pré-fabricado para os tipos mais comuns de pistas, mas ainda permitindo que ele faça o trabalho pesado na hora. Esta versão usa um pouco de pré-processamento (apenas uma amostra dos documentos para encontrar padrões) e um pequeno banco de dados vetorial (uma ferramenta que ajuda a encontrar ideias semelhantes, não apenas palavras exatas). Essa abordagem híbrida elevou a precisão ainda mais, especialmente em conjuntos de dados onde a informação estava escondida em estruturas complexas, como encontrar uma instalação específica em uma descrição de hotel ou uma cláusula específica em um contrato jurídico.

O artigo argumenta explicitamente contra a ideia de que você deve construir um grafo de conhecimento massivo e pré-processado ou um banco de dados SQL completo para responder a perguntas complexas e de múltiplas etapas. Eles mostram que os métodos "pesados em ingestão", que exigem que um LLM leia cada documento e extraia dados antes mesmo do usuário perguntar, são frequentemente exagerados. Embora esses métodos sejam bons em agrupar dados, o ScalableRAG prova que um agente pode fazer esse mesmo agrupamento e matemática instantaneamente durante a conversa. Os autores estão muito confiantes nesses resultados, tendo medido-os através de diversos conjuntos de dados com um método de teste rigoroso, onde uma IA separada atua como um juiz para avaliar as respostas. Eles descobriram que seu sistema não apenas economiza dinheiro e tempo, mas muitas vezes obtém a resposta correta com mais frequência do que as alternativas caras, ou chega muito perto com significativamente menos esforço.

Em suma, o ScalableRAG muda o jogo ao mostrar que você não precisa construir um enorme armazém de conhecimento organizado para encontrar a agulha no palheiro. Em vez disso, você pode enviar um agente inteligente para dentro do palheiro com um conjunto de ferramentas mágicas para agarrar, separar e contar as agulhas exatamente onde elas estão. Quer você precise de um sistema que não custa nada para configurar (Zero-Ingestion) ou de um que adicione um pouco de pré-trabalho para precisão extra (Limited-Ingestion), esta pesquisa sugere que o futuro do esclarecimento de perguntas por IA pode ser muito mais simples, rápido e barato do que pensávamos.

Resumo Técnico: ScalableRAG

Declaração do Problema

Os avanços recentes em Recuperação Aumentada por Geração (RAG) têm se concentrado cada vez mais na otimização do desempenho ao incorrer em altos custos de ingestão. Esses métodos normalmente envolvem a construção de estruturas de conhecimento complexas, como grafos de conhecimento (ex: GraphRAG, HippoRAG) ou a extração de tabelas SQL estruturadas (ex: SRAG, AutoSchemaKG), que exigem pelo menos uma chamada de um Grande Modelo de Linguagem (LLM) por documento, muitas vezes significativamente mais. Embora essas abordagens permitam um raciocínio agregativo sofisticado (ex: agrupar por chaves para computar contagens ou médias), elas são computacionalmente caras e difíceis de escalar. Por outro outro lado, os sistemas de RAG de recuperação densa padrão frequentemente enfrentam dificuldades com questões agregativas porque carecem de estado persistente ou indexação estruturada.

Os autores postulam que muitas questões que exigem agregação dependem de uma chave primária que possui uma correspondência um-para-um com um subconjunto do corpus de documentos. Eles argumentam que tais operações de agrupamento podem ser replicadas eficientemente no tempo de inferência sem a necessidade de um pré-processamento pesado ou bancos de dados vetoriais.

Metodologia

O artigo apresenta o ScalableRAG, um framework de RAG agêntico e com estado (stateful), projetado para alcançar recuperação e raciocínio de alta qualidade com custos de ingestão mínimos ou nulos. O sistema opera através de duas variantes:

1. Zero-Ingestion ScalableRAG

Esta variante não requer nenhum pré-processamento — sem grafos de conhecimento, sem extração de esquema e sem embeddings de vetores.

Espaço de Trabalho com Estado (Stateful Workspace): O agente mantém um registro persistente de conjuntos de documentos ( $S$ $S$ ) e conjuntos de valores ( $V$ $V$ ).
- Conjuntos de Documentos: Subconjuntos nomeados do corpus (ex: has_Erik_pos) criados via operações de filtragem.
- Conjuntos de Valores: Mapeamentos de IDs de documentos para valores escalares extraídos (números, datas) ou listas de strings.
Interação Baseada em Ferramentas: O agente interage com o corpus usando um conjunto de ferramentas determinísticas:
- apply_filter: Aplica regex para particionar um conjunto nomeado em subconjuntos positivos e negativos.
- search_filenames: Filtra documentos baseando-se em padrões de nomes de arquivos.
- set_operation: Realiza interseção, união e diferença em conjuntos nomeados.
- extract_field / extract_list: Extrai valores ou listas de documentos para conjuntos de valores.
- aggregate: Computa estatísticas (soma, média, contagem, mínimo, máximo) sobre conjuntos de valores.
- read_docs / find_in_doc: Lê seções específicas de documentos ou navega dentro de arquivos grandes.
Feedback Diagnóstico: Uma inovação central é o enriquecimento das observações das ferramentas com diagnósticos computados automaticamente. Quando um filtro é aplicado, o sistema fornece:
- Decomposição de tokens: Quais palavras-chave no regex são excessivamente restritivas ou amplas demais.
- Lacunas de seletividade: Alertas se o padrão combinado sobrecarrega o conjunto em comparação com as palavras-chave individuais.
- Verificações de âncora negativa: Identifica se documentos excluídos ainda contêm entidades da questão principal, incentivando o agente a refinar seu regex.
Loop de Raciocínio: O agente utiliza um loop do tipo ReAct onde planeja ações, executa ferramentas, observa resultados (incluindo diagnósticos) e refina iterativamente seus conjuntos de documentos até que possa responder à consulta.

2. Limited-Ingestion ScalableRAG

Para melhorar ainda mais a precisão em conjuntos de dados com estruturas complexas, esta variante adiciona dois módulos opcionais de baixo custo de ingestão:

Embeddings de Vetores: Pré-computa embeddings para grandes blocos de documentos para permitir cosine_search. Isso serve como um fallback para recuperação semântica quando a correspondência lexical falha. Também suporta o treinamento de um classificador leve em uma pequena amostra de documentos rotulados para classificar o restante do corpus.
Descoberta Automática de Padrões: Um passo de pré-processamento que analisa uma amostra de documentos para descobrir padrões de extração:
1. Regex Determinístico: Escaneia em busca de estruturas recorrentes de "Rótulo: Valor".
2. Regex Gerado por LLM: Usa um LLM para propor padrões estruturais de múltiplas linhas.
3. Padrões Semânticos: Identifica conceitos inseridos em prosa.
  Esses padrões são validados, pontuados por utilidade e expostos ao agente como uma ferramenta de pattern_search, permitindo que ele aproveite estruturas pré-descobertas sem a indexação total do corpus.

Principais Contribuições

Zero-Ingestion ScalableRAG: Um sistema de RAG que alcança desempenho de estado da arte sem quaisquer custos de ingestão (sem banco de dados vetorial, sem grafo de conhecimento). Ele utiliza persistência de conjuntos no tempo de inferência e raciocínio algébrico de conjuntos para lidar com tarefas agregativas.
Limited-Ingestion ScalableRAG: Uma extensão que incorpora embeddings vetoriais mínimos e um processo de descoberta de padrões baseado em amostra e de execução única para aumentar ainda mais a precisão em conjuntos de dados estruturalmente complexos, mantendo um número constante de chamadas de LLM em relação ao tamanho do corpus.
Mecanismo de Feedback Diagnóstico: A introdução de diagnósticos relativos automatizados (ex: verificações de escopo, lacunas de seletividade) que guiam o planejamento do agente e o refinamento do regex, reduzindo significamente a necessidade de ajuste manual ou validação externa.

Resultados Experimentais

Os autores avaliaram o ScalableRAG em seis corpora diversos: MuSiQue, 2WikiMultiHopQA, Transcripts (audiências do Congresso dos EUA), FinanceBench, ComplexTR e Hotels.

Desempenho:
- O Zero-Ingestion ScalableRAG superou todos os baselines (incluindo métodos de ingestão pesada como HippoRAG2, SRAG, GraphRAG e AutoSchemaKG) em 3 de 6 conjuntos de dados (MuSiQue, Transcripts, Hotels).
- Nos três conjuntos restantes, ele ficou abaixo do desempenho máximo por uma média de apenas 1,63%.
- Em todos os seis conjuntos de dados, a precisão média foi 7,36% superior ao próximo baseline mais competitivo.
- Notavelmente, no conjunto de dados Hotels (desafiador para o raciocínio agregativo), ele superou o SRAG em 36,23% com zero de ingestão.
Eficiência:
- O ScalableRAG utiliza um número de passos por pergunta semelhante aos baselines agênticos (ex: A-RAG), mas consome significativamente menos tokens durante a inferência.
- A variante Limited-Ingestion proporcionou ganhos de precisão adicionais em conjuntos de dados com estrutura rica (Hotels, Transcripts) onde a descoberta de padrões foi eficaz.

Significância e Alegações

O artigo alega que o ScalableRAG demonstra que os benefícios da ingestão pesada de conhecimento (especificamente a capacidade de realizar raciocínio agregativo e agrupar por chaves primárias) podem ser replicados com custos de ingestão zero ou mínimos.

Eficiência de Custo: Ao evitar a "taxa de ingestão" de uma chamada de LLM por documento, o ScalagemRAG oferece uma alternativa escalável que é particularmente eficaz para corpora onde a chave primária de interesse corresponde a um subconjunto de documentos.
Raciocínio com Estado (Stateful Reasoning): O trabalho desafia o paradigma da recuperação sem estado, mostrando que manter um espaço de trabalho de conjuntos de documentos e valores permite o refinamento iterativo e o raciocínio de múltiplos saltos (multi-hop) complexo que a recuperação vetorial padrão não consegue alcançar.
Praticidade: O sistema alcança alta precisão sem a necessidade de bancos de dados vetoriais pré-computados ou indução de esquema complexa, tornando-o uma solução viável para cenários onde os recursos de pré-processamento são limitados.

Os autores concluem que, embora as abordagens de grafo de conhecimento possam ainda se destacar para questões que violam a hipótese de correspondência um-para-um, o ScalableRAG fornece um framework altamente competitivo e de custo-benefício para uma ampla gama de tarefas de resposta a perguntas agregativas e de múltiplos saltos.