💬 NLP

When More Documents Hurt RAG: Mitigating Vector Search Dilution with Domain-Scoped, Model-Agnostic Retrieval

Este artigo aborda o problema da "diluição da busca vetorial" em Geração Aumentada por Recuperação (RAG), onde a escala para coleções de documentos grandes e heterogêneas degrada a precisão, ao propor o MASDR-RAG, uma abordagem de recuperação agnóstica a modelos e com escopo de domínio que aproveita metadados organizacionais para melhorar significativamente a precisão e evitar as armadilhas de uma orquestração multiagente excessivamente complexa.

Autores originais: Nabaraj Subedi, Ahmed Abdelaty, Shivanand Venkanna Sheshappanavar

Publicado 2026-06-11

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Nabaraj Subedi, Ahmed Abdelaty, Shivanand Venkanna Sheshappanavar

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Grande Problema: O Efeito "Biblioteca de Babel"

Imagine que você tem um bibliotecário brilhante (a IA) que é ótimo em responder perguntas. Você lhe dá uma biblioteca pequena e organizada de 54 livros sobre construção de estradas. Eles conseguem encontrar a página certa quase instantaneamente e te dar uma resposta perfeita.

Agora, imagine que você subitamente despeja mais 1.000 livros nessa biblioteca. Esses novos livros cobrem tudo: acidentes de trânsito, projetos de pontes, orçamentos anuais e relatórios de segurança. A biblioteca agora é enorme (mais de 88.000 "pedaços" de texto).

O artigo argumenta que tornar a biblioteca maior na verdade tornou o bibliotecário pior.

Quando o bibliotecário tenta encontrar uma resposta sobre "mistura de concreto", ele não procura apenas nos livros de construção. Como a biblioteca está tão lotada, o bibliotecário se confunde com livros que parecem semelhantes, mas são sobre o tópico errado (como um livro sobre "segurança no trânsito" que menciona "mistura" em um contexto diferente). O bibliotecário pega as páginas erradas, fica sobrecarregado e dá uma resposta errada.

Os autores chamam isso de "Diluição da Busca Vetorial" (Vector Search Dilution). É como tentar encontrar uma agulha específica em um palheiro, mas alguém continua adicionando mais feno que se parece exatamente com a agulha, tornando impossível distinguir qual é a real.

A Solução: O Sistema de "Mesas Especializadas"

Em vez de deixar o bibliotecário pesquisar em toda a biblioteca gigante para cada pergunta, os autores construíram um novo sistema chamado MASDR-RAG.

Pense nisso como um grande escritório com muitos departamentos diferentes:

A Mesa de Construção
A Mesa de Segurança
A Mesa de Orçamento

O Jeito Antigo (Busca Monolítica):
Você pergunta: "Como eu misturo concreto?". O bibliotecário corre por todo o prédio, gritando sua pergunta para todos. Ele pega uma pilha de papéis da Mesa de Segurança, da Mesa de Orçamento e da Mesa de Construção, mistura tudo e entrega a você. Você fica confuso porque metade dos papéis é sobre capacetes de segurança, não sobre concreto.

O Novo Jeito (Recuperação de Domínio Delimitado):
O sistema primeiro pergunta: "Que tipo de pergunta é esta?".

Se você perguntar sobre concreto, o sistema imediatamente tranca as portas das mesas de Segurança e de Orçamento.
Ele envia o bibliotecário apenas para a Mesa de Construção.
O bibliotecário pesquisa apenas aqueles arquivos específicos.

O Resultado:
Ao restringir a busca ao "desk" (mesa/setor) correto (usando etiquetas de metadados como "Tipo de Documento"), o sistema encontrou a informação correta 86% das vezes, subindo de 77%. É como dizer ao bibliotecário: "Não procure no prédio inteiro; procure apenas na sala de Construção".

A Reviravolta: O Paradoxo "Precisão vs. Fidelidade"

É aqui que fica complicado. Os autores tentaram tornar o sistema ainda mais inteligente adicionando um "Gerente" que coordena vários bibliotecários (Orquestração Multi-Agente). Eles pensaram: "Se tivermos uma equipe de especialistas conversando entre si, teremos a melhor resposta".

O que aconteceu?

Com IA de Código Aberto (como Llama ou Qwen): A equipe funcionou bem.
Com IA Comercial (como Claude ou GPT): O sistema travou.

Os autores descobriram um "Paradoxo de Precisão-Fidelidade".

Precisão: O sistema encontrou os documentos certos (a Precisão aumentou).
Fidelidade: O sistema parou de confiar nesses documentos e começou a inventar coisas ou ignorar as evidências (a Fidelidade caiu de 61% para 35%).

A Analogia:
Imagine um grupo de detetives (os agentes de IA) que encontram as pistas perfeitas (alta precisão). Mas, como estão discutindo entre si e tentando sintetizar muitos relatórios ao mesmo tempo, eles se confundem e começam a escrever uma história que não condiz com as pistas que encontraram (baixa fidelidade).

O artigo descobriu que, para modelos de IA comerciais, ter muitos "agentes" conversando entre si cria ruído. A IA se distrai com seu próprio debate interno e esquece de se ater aos fatos.

O Conselho Prático: "Delimite Primeiro, Sintetize Depois"

O artigo conclui com uma regra simples para construir esses sistemas:

Delimite Primeiro: Antes de fazer qualquer pergunta à IA, filtre os documentos. Se a pergunta é sobre "Pontes", mostre apenas os documentos de "Pontes" para a IA. Não deixe que ela veja os documentos de "Tráfego" ou "Orçamento". Este é o passo mais importante.
Mantenha a Simplicidade: Assim que tiver os documentos certos, peça à IA para escrever a resposta em uma única etapa.
- Não faça a IA realizar uma investigação complexa de várias etapas (como um loop "ReAct") a menos que você esteja usando um tipo muito específico de modelo de código aberto.
- Para a maioria dos modelos comerciais, uma busca única e focada seguida de uma única resposta é melhor do que uma equipe multi-agente complexa.

Resumo das Descobertas

Mais documentos = Mais confusão. Adicionar mais dados a um sistema RAG sem organizá-los torna a IA pior em encontrar a verdade.
Metadados são a chave. Usar etiquetas existentes (como "Tipo de Documento") para filtrar o espaço de busca é a melhor maneira de corrigir isso.
A complexidade prejudica. Tentar usar uma equipe de agentes de IA para resolver um problema muitas vezes torna a IA menos honesta (menos fiel) ao texto de origem, especialmente com modelos comerciais poderosos.
O Ponto Ideal: Filtre a busca para o tópico correto e, então, peça à IA para escrever a resposta uma única vez. O simples é melhor.

Os autores testaram isso em documentos reais do Departamento de Transportes de Wyoming e descobriram que essa abordagem simples de "filtrar primeiro" resolveu o problema sem a necessidade de novas tecnologias caras ou complexas.

Resumo Técnico: Quando Mais Documentos Prejudicam o RAG

Problema: Diluição da Busca Vetorial
O artigo identifica um modo de falha crítico em sistemas de Geração Aumentada por Recuperação (RAG) denominado diluição da busca vetorial. À medida que os sistemas RAG escalam para corpora empresariais grandes e heterogêneos, a recuperação densa perde seu poder discriminativo. Mesmo quando os índices de Vizinhos Próximos Aproximados (ANN) retornam os vizinhos matematicamente "verdadeiros", esses vizinhos são frequentemente semanticamente semelhantes à consulta, mas contextualmente irrelevantes porque se originam do domínio ou categoria de documento errado.

Os autores demonstram isso empiricamente usando o corpus do Departamento de Transportes de Wyoming (WYDOT). Escalar o corpus de 54 para 1.128 documentos (aumentando os fragmentos de alguns milhares para 88.907) fez com que a precisão da recuperação em consultas de especificações padrão despencasse de 75% para menos de 40%. O problema central é que categorias de documentos de alta densidade (ex: Relatórios de Tráfego e Acidentes) dominam o espaço vetorial, empurrando categorias de baixa densidade, porém relevantes (ex: Manuais de Design), para fora dos resultados de recuperação top- $k$ . Os autores formalizam isso como diluição ( $\delta$ ), definida como a lacuna entre a precisão global e a precisão delimitada por escopo.

Metodologia: Recuperação Delimitada por Domínio e Orquestração Multi-Agente
Para enfrentar a diluição, os autores propõem o MASDR-RAG (Recuperação de Domínio Delimitada por Multi-Agentes para RAG) e uma variante leve, o HYBRID-ROUTED.

Delimitação de Domínio (Domain Scoping): Em vez de pesquisar em todo o corpus, o sistema restringe a recuperação a escopos organizacionais específicos definidos por metadados (ex: document_series em um grafo de conhecimento Neo4j). Isso reduz o espaço de busca efetivo em 85–98% por consulta.
Roteamento Híbrido: Um mecanismo de roteamento despacha as consultas para o agente de domínio apropriado. Isso utiliza um correspondência regex rápida como primeira passagem, recorrendo a um classificador LLM zero-shot caso o regex falhe.
Orquestração:
- MASDR-RAG: Um framework multi-agente onde um único agente de raciocínio orquestra até cinco chamadas de ferramentas através de nove agentes específicos de domínio.
- HYBRID-ROUTED: Uma variante leve que realiza uma única chamada de roteamento seguida por uma única chamada de síntese, evitando loops iterativos.
Configuração de Avaliação: O framework foi avaliado em cinco backbones de LLM (Qwen2.5-7B, Llama-3-8B e modelos comerciais como Claude-Haiku e GPT-5-mini), seis corpora (incluindo WYDOT, Composite-9, HotpotQA e outros) e duas pilhas de índice (FAISS e Neo4j HNSW).

Resultados Principais

Precisão de Recuperação: A delimitação de domínio melhora significamente a qualidade da recuperação. No corpus WYDOT, o $P@10$ aumentou de 0,77 (busca monolítica) para 0,86 ( $p < 0,05$ ) ao utilizar a recuperação delimitada.
O Paradoxo Precisão–Fidelidade: Embora o MASDR-RAG tenha melhorado a precisão da recuperação, causou uma degradação severa na fidelidade (o quanto a resposta é sustentada pelo contexto recuperado) quando pareado com backbones de LLM comerciais. Na pilha Gemini, a fidelidade caiu de 0,61 (monolítica) para 0,35 com o MASDR-RAG. Os autores atribuem isso à dificuldade que modelos comerciais enfrentam ao sintetizar respostas a partir de múltiplas fontes fragmentadas, particularmente quando a evidência recuperada contém passagens quase duplicadas.
Custos de Orquestração: A orquestração multi-agente iterativa (ex: estilo ReAct) provou ser custosa e frequentemente contraproducente. No Llama-3-8B, o ReAct exigiu 5,5× mais tokens e 2,2× mais latência do que sistemas de escopo de chamada única, sem um ganho correspondente em correção.
Generalização: O efeito de diluição e os benefícios da delimitação foram observados em todos os três corpora de DOT (WYDOT, Caltrans, CDOT) e conjuntos de dados públicos. No entanto, o "eixo de escopo" ideal depende da estrutura do corpus; para o Caltrans, onde os documentos eram PDFs omnibus massivos, a delimitação por section era necessária, enquanto document_series bastava para WYDOT e CDOT.
Sensibilidade do Backbone: O colapso da fidelidade foi específico para geradores comerciais (Claude, GPT). Backbones de código aberto (Qwen, DeepSeek) mantiveram ou melhoraram a fidelidade sob orquestração multi-agente, sugerindo que o problema é dependente de configuração e não intrínseco ao RAG multi-agente.

Significância e Recomendações
O artigo argumenta que, para RAG em escala empresarial, a delimitação de domínio é o principal alavancador para melhorar o desempenho, não a orquestração complexa. Os autores concluem que a decisão "de suporte" é delimitar a recuperação primeiro usando metadados organizacionais.

A recomendação prática deles é:

Delimite primeiro: Restrinja o espaço de busca ao domínio relevante antes da recuperação.
Sintetize uma única vez: Utilize uma única chamada de síntese sempre que possível.
Reserve a orquestração multi-agente: Utilize loops multi-agentes completos apenas para consultas genuinamente multi-domínio pareadas com backbones de código aberto que possuam capacidades nativas fortes de chamada de ferramentas (tool-calling).

O trabalho destaca que adicionar mais documentos sem restrições estruturais degrada o desempenho do RAG, e que "mais agentes" não equivale automaticamente a "melhores respostas", muitas vezes introduzindo um trade-off de precisão–fidelidade que pode ser evitado com arquiteturas de escopo mais simples.

O Grande Problema: O Efeito "Biblioteca de Babel"

A Solução: O Sistema de "Mesas Especializadas"

A Reviravolta: O Paradoxo "Precisão vs. Fidelidade"

O Conselho Prático: "Delimite Primeiro, Sintetize Depois"

Resumo das Descobertas

Mais como este