💬 NLP

Zero-RAG: Towards Retrieval-Augmented Generation with Zero Redundant Knowledge

O Zero-RAG aborda a redundância de conhecimento entre Grandes Modelos de Linguagem e corpora externos ao introduzir uma métrica de Pontuação de Maestria para podar documentos redundantes e um Roteador de Consultas com Ajuste Tolerante a Ruído para aumentar a utilização do conhecimento interno, acelerando assim a recuperação em 22% enquanto mantém o desempenho.

Autores originais: Qi Luo, Xiaonan Li, Junqi Dai, Shuang Cheng, Xipeng Qiu

Publicado 2026-01-26

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Qi Luo, Xiaonan Li, Junqi Dai, Shuang Cheng, Xipeng Qiu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um bibliotecário brilhante e culto (o Large Language Model ou LLM) que memorizou uma biblioteca massiva de fatos dentro de sua própria cabeça. Você também tem um armazém gigante e empoeirado de livros (o Corpus Externo, como a Wikipedia) que você usa para ajudar o bibliotecário a responder perguntas.

Por muito tempo, a maneira padrão de trabalhar era: "Não importa qual seja a pergunta, pegue alguns livros no armazém, entregue-os ao bibliotecário e deixe-o lê-los antes de responder".

O artigo "Zero-RAG" argumenta que essa antiga maneira é, na verdade, ineficiente e, às vezes, até contraproducente. Aqui está a divisão simples de por que e como eles corrigiram isso:

O Problema: O Armazém "Redundante"

Os autores notaram que os bibliotecários modernos (LLMs) tornaram-se tão inteligentes que já conhecem uma enorme parte do que está no armazém.

O Desperdício: Se o bibliotecário já sabe a resposta perfeitamente, entregar-lhe um livro sobre isso é apenas um desperdício de tempo. É como pedir a um chef que sabe como ferver um ovo para ler um livro de receitas antes de fazê-lo.
A Distração: Pior ainda, às vezes, ler esse livro extra pode realmente confundir o bibliotecário. O artigo descobriu que, quando o bibliotecário recebia informações que já conhecia, ele às vezes se distraía e dava uma resposta pior do que se tivesse apenas confiado em sua própria memória.
O Custo: Indexar e pesquisar em um armazém massivo consome muita energia e tempo. Se 30% desse armazém é apenas coisas que o bibliotecário já sabe, você está desperdiçando muito esforço pesquisando através de "lixo" que não é necessário.

A Solução: Zero-RAG

A equipe propôs um novo sistema chamado Zero-RAG (Zero Redundant Knowledge). Pense nisso como uma atualização de três etapas para o sistema de biblioteca:

1. O "Score de Maestria" (A Auditoria)

Primeiro, eles precisavam de uma maneira de descobrir quais livros no armazém já estavam na cabeça do bibliotecário.

Como funciona: Eles criaram um teste chamado Mastery-Score. Eles pegam uma frase do armazém, transformam-na em um quiz e pedem ao bibliotecário para respondê-lo sem olhar para o livro.
O Resultado: Se o bibliotecário acertar 100% do quiz, essa frase recebe um "Score de Maestria" alto. Isso significa que o bibliotecário já "dominou" esse fato.
A Ação: Eles usam esse score para podar (jogar fora) essas frases redundantes do armazém. Eles removeram cerca de 30% do corpus da Wikipedia desta forma, deixando apenas o conteúdo "novo" ou "difícil" que o bibliotecário ainda não conhece.

2. O "Roteador de Consultas" (O Recepcionista Inteligente)

Agora que o armazém é menor, eles adicionaram um recepcionista inteligente na recepção.

Como funciona: Quando uma pergunta chega, o recepcionista pergunta: "O bibliotecário já sabe disso?"
A Ação:
- Se Sim: O recepcionista diz: "Pule o armazém! Apenas responda de memória". Isso economiza tempo e evita que o bibliotecário se distraia com livros irrelevantes.
- Se Não: O recepcionista envia o bibliotecário ao armazém (agora menor) para encontrar a resposta específica.

3. "Ajuste Tolerante ao Ruído" (O Treinamento)

Mesmo com um armazém menor e um recepcionista inteligente, às vezes o bibliotecário ainda pode acidentalmente pegar um livro que não é útil.

A Correção: Os autores treinaram o bibliotecário para ser "tolerante ao ruído". Eles praticaram cenários onde o bibliotecário recebia uma mistura de livros úteis e livros inúteis e distrativos.
O Objetivo: Isso ensinou o bibliotecário a ignorar o "ruído" e manter seu próprio conhecimento interno se os livros não ajudassem, tornando o sistema mais robusto.

Os Resultados

Ao usar este sistema, a equipe alcançou números impressionantes:

Armazém Menor: Eles reduziram o tamanho do banco de dados da Wikipedia em 30%.
Velocidade Maior: Como o armazém é menor e eles pulam a pesquisa para perguntas conhecidas, o processo de recuperação tornou-se 22% mais rápido.
Sem Perda de Qualidade: Surpreendentemente, o bibliotecário não ficou pior em responder perguntas. Na verdade, ao remover os livros "redundantes" que causavam distração, o sistema performou tão bem quanto antes, e às vezes melhor.

Analogia de Resumo

Imagine que você está fazendo uma prova.

Jeito Antigo: Você tem permissão para trazer uma enciclopédia gigante. Você tem que folhear as páginas para cada pergunta, mesmo para aquelas que você sabe de cor. Às vezes, ler a enciclopédia faz você questionar sua própria memória.
Jeito Zero-RAG: Você primeiro verifica quais perguntas você já sabe. Para essas, você escreve a resposta imediatamente. Para aquelas que você não sabe, você procura apenas as páginas específicas que precisa em uma enciclopédia menor e reduzida. Você também pratica ignorar páginas que não fazem sentido.

O resultado? Você termina a prova mais rápido, comete menos erros e não perde tempo carregando um livro que você não precisa.

Resumo Técnico: Zero-RAG

Declaração do Problema

A Geração Aumentada por Recuperação (RAG) é amplamente utilizada para mitigar as alucinações de Grandes Modelos de Linguagem (LLMs) ao suplementar o conhecimento interno com corpora externos. No entanto, à medida que os LLMs evoluem, suas bases de conhecimento internas expandem-se significamente, levando a uma substancial redundância de conhecimento entre os parâmetros do modelo e o corpus externo (ex: Wikipédia).

Esta redundância apresenta dois desafios críticos:

Sobrecarga Computacional: O indexamento de recuperação densa e as cargas de trabalho de busca escalam com o tamanho do corpus. O conhecimento redundante aumenta desnecessariamente o custo computacional da etapa de recuperação.
Degradação de Desempenho: Contrário à suposição de que mais contexto é sempre melhor, a análise exploratória revela que o conhecimento redundante pode ativamente prejudicar o desempenho do LLM. Quando um LLM é fornecido com documentos contendo fatos que ele já domina, o contexto irrelevante distrai o modelo, causando uma queda significativa na precisão (aproximadamente 20 pontos em alguns experimentos) em comparação com responder sem a recuperação.

Metodologia: Zero-RAG

Para abordar esses problemas, os autores propõem o Zero-RAG, um framework projetado para podar o conhecimento redundante do corpus RAG enquanto mantém ou melhora o desempenho da recuperação aumentada. O sistema opera através de quatro componentes integrados:

1. Mastery-Score e Poda de Corpus

A inovação central é o Mastery-Score (Pontuação de Maestria), uma métrica projetada para quantificar quão bem um LLM "domina" uma passagem específica, distinguindo entre mera memorização e a capacidade de utilizar o conhecimento de forma flexível após o Ajuste Fino Supervisionado (SFT).

Cálculo: Para uma determinada sentença, o sistema gera $n$ pares de pergunta-resposta. Em seguida, avalia a capacidade do LLM de responder a essas perguntas usando apenas seu conhecimento interno. O Mastery-Score é a média do score de Correspondência Exata (EM) entre esses pares.
Escalabilidade: Como calcular Mastery-Scores para cada sentença em um grande corpus é computacionalmente proibitivo, um Mastery-Classifier (um modelo de regressão) é treinado para prever esses scores.
Poda: Sentenças com altos Mastery-Scores (indicando que o LLM já conhece o conteúdo) são podadas do corpus, resultando em um subconjunto conciso e não redundante ( $D_{retained}$ ).

2. Roteador de Consulta (Query Router)

Mesmo com um corpus podado, algumas consultas podem não exigir recuperação externa se o LLM puder respondê-las com confiança a partir de seu conhecimento interno.

Função: Um classificador binário determina se uma consulta específica é "dominada" pelo modelo.
Ação: Se a consulta for dominada, o roteador ignora a etapa de recuperação, permitindo que o LLM responda diretamente. Isso evita a latência e o ruído associados à recuperação de documentos irrelevantes para fatos conhecidos.

3. Ajuste Fino Tolerante a Ruído (Noise-Tolerant Tuning)

Para garantir a robustez quando a recuperação ocorre (seja para consultas não dominadas ou devido a erros de recuperação), o LLM passa por um Ajuste Fino Tolerante a Ruído.

Estratégia de Treinamento: O modelo é ajustado utilizando três tipos de amostras de dados:
1. Consultas com documentos relevantes.
2. Consultas com documentos de distração (ruído).
3. Consultas sem qualquer contexto de RAG.
Objetivo: A função de perda incentiva o modelo a confiar em seu conhecimento interno quando os documentos são irrelevantes e a utilizar efetivamente os documentos quando são relevantes, mitigando assim o impacto negativo dos resultados de recuperação "ruidosos".

4. Pipeline de Inferência

O processo de inferência final integra estes módulos:

Poda: O corpus bruto é filtrado usando o preditor de Mastery-Score.
Roteamento: Para cada consulta, o Query Router decide se deve recuperar informações.
Geração: Se a recuperação for pulada, o modelo responde internamente. Se a recuperação for acionada, o modelo busca no corpus podado e gera a resposta usando os pesos do ajuste fino tolerante a ruído.

Principais Contribuições

Primeira Poda Orientada a RAG: Tanto quanto sabemos, o Zero-RAG é o primeiro trabalho a explorar a poda de corpus especificamente removendo a redundância de conhecimento entre o corpus e o LLM, em vez de apenas otimizar a eficiência da recuperação.
Métricas e Módulos Inovadores: A introdução do Mastery-Score para identificar conhecimento redundante e do Query Router para ignorar dinamicamente a recuperação para perguntas dominadas.
Mecanismo de Robustez: A estratégia de Ajuste Fino Tolerante a Ruído garante que o modelo permaneça eficaz mesmo quando o corpus podado falha em recuperar o documento perfeito ou quando documentos irrelevantes são recuperados.

Resultados Experimentais

Os autores avaliaram o Zero-RAG em quatro conjuntos de dados de QA intensivos em fatos (HotpotQA, TriviaQA, EntityQuestions e PopQA) usando os modelos Llama3-70B e Llama3.3-70B.

Redução de Corpus: O Zero-RAG podou com sucesso 30% do corpus da Wikipédia.
Ganhos de Eficiência: A poda resultou em uma aceleração de 22% na etapa de recuperação (reduzindo a latência média de ~12.28s para ~9.66s).
Retenção de Desempenho: Apesar da redução significativa no tamanho do corpus, o desempenho do RAG foi mantido.
- No TriviaQA, remover 70% do corpus resultou em uma queda de desempenho desprezível (0.62 pontos).
- No HotpotQA e EntityQuestions, a queda de desempenho com uma proporção de poda de 30% foi mínima (menos de 2 pontos em média).
Comparação com Baselines:
- O RAG padrão (sem poda) frequentemente mostrava leves quedas de desempenho em comparação com o modelo respondendo sozinho em certos conjuntos de dados, confirmando o efeito "distrator" do conhecimento redundante.
- O Zero-RAG com Ajuste Fino Tolerante a Ruído superou consistentemente os baselines, demonstrando que o ajuste proposto mitiga efetivamente os riscos do ruído de recuperação.
Independência de Tamanho do Modelo: A abordagem também foi eficaz em modelos menores (Llama3-8B), indicando que a redundância de conhecimento é um problema generalizado em diversas escalas de modelos.

Significância e Alegações

O artigo afirma que o Zero-RAG oferece uma mudança de paradigma no design de RAG ao tratar o corpus externo não apenas como um suplemento de conhecimento, mas como um recurso que deve ser curado para corresponder ao estado interno atual do LLM.

Eficiência sem Sacrifício: A principal significância é a demonstração de que um corpus menor e curado pode proporcionar velocidades de recuperação mais rápidas sem comprometer (e às vezes melhorar) a precisão das respostas.
Mitigação do Efeito "Distrator": O trabalho destaca que um RAG não curado pode ser contraproducente, e que filtrar o conhecimento "dominado" é essencial para o desempenho ideal.
Direção Futura: Os autores visam inspirar pesquisas adicionais sobre as escolhas de design para podar corpora de RAG, fornecendo um codebase, modelo e corpus podado para facilitar a reprodutibilidade e melhorias futuras.

Os autores reconhecem limitações, observando que seu estudo está atualmente focado em bases de dados baseadas em Wiki e que a eficácia em conjuntos de dados específicos de domínio ou multimodais ainda precisa ser explorada. Eles também observam que o desempenho do sistema depende da qualidade do conjunto de dados inicial.