When More Documents Hurt RAG: Mitigating Vector Search Dilution with Domain-Scoped, Model-Agnostic Retrieval

Resumen Técnico: Cuando más documentos perjudican al RAG

Problema: Dilución de la búsqueda vectorial
El artículo identifica un modo de falla crítico en la Generación Aumentada por Recuperación (RAG) denominado dilución de la búsqueda vectorial. A medida que los sistemas RAG escalan hacia corpus empresariales grandes y heterogéneos, la recuperación densa pierde su poder discriminativo. Incluso cuando los índices de Vecinos Más Cercanos Aproximados (ANN) devuelven los vecinos matemáticamente "verdaderos", estos vecinos son a menudo semánticamente similares a la consulta pero contextualmente irrelevantes porque se originan en el dominio o la categoría de documento incorrectos.

Los autores demuestran esto empíricamente utilizando el corpus del Departamento de Transporte de Wyoming (WYDOT). Escalar el corpus de 54 a 1,128 documentos (aumentando los fragmentos de unos pocos miles a 88,907) causó que la precisión de la recuperación en consultas de especificaciones estándar cayera del 75% a menos del 40%. El problema central es que las categorías de documentos de alta densidad (por ejemplo, informes de Tráfico y Accidentes) dominan el espacio vectorial, desplazando a las categorías de baja densidad pero relevantes (por ejemplo, Manuales de Diseño) fuera de los resultados de recuperación top-$k$. Los autores formalizan esto como dilución ($\delta$), definida como la brecha entre la precisión global y la precisión delimitada por ámbito.

Metodología: Recuperación con Ámbito de Dominio y Orquestación Multi-Agente
Para abordar la dilución, los autores proponen MASDR-RAG (Recuperación de Dominio con Ámbito Multi-Agente para RAG) y una variante ligera, HYBRID-ROUTED.

1. Delimitación del Ámbito de Dominio (Domain Scoping): En lugar de buscar en todo el corpus, el sistema restringe la recuperación a ámbitos organizacionales específicos definidos por metadatos (por ejemplo, document_series en un grafo de conocimiento de Neo4j). Esto reduce el espacio de búsqueda efectivo en un 85–98% por consulta.
2. Enrutamiento Híbrido: Un mecanismo de enrutamiento despacha las consultas al agente de dominio apropiado. Esto utiliza un comparador rápido de regex como primera pasada, recurriendo a un clasificador LLM de cero disparos (zero-shot) si el regex falla.
3. Orquestación:
   • MASDR-RAG: Un marco de trabajo multi-agente donde un único agente de razonamiento orquesta hasta cinco llamadas a herramientas a través de nueve agentes específicos de dominio.
   • HYBRID-ROUTED: Una variante ligera que realiza una única llamada de enrutamiento seguida de una única llamada de síntesis, evitando bucles iterativos.
4. Configuración de Evaluación: El marco fue evaluado a través de cinco backbones de LLM (Qwen2.5-7B, Llama-3-8B y modelos comerciales como Claude-Haiku y GPT-5-mini), seis corpora (incluyendo WYDOT, Composite-9, HotpotQA y otros) y dos pilas de índices (FAISS y Neo4j HNSW).

Resultos Clave

• Precisión de Recuperación: La delimitación del ámbito mejora significamente la calidad de la recuperación. En el corpus WYDOT, $P@10$ aumentó de 0.77 (búsqueda monolítica) a 0.86 ($p < 0.05$) al utilizar la recuperación con ámbito delimitado.
• La Paradoja Precisión–Fidelidad: Aunque MASDR-RAG mejoró la precisión de la recuperación, causó una degradación severa en la fidelidad (el grado en que la respuesta está respaldada por el contexto recuperado) cuando se combinó con backbones de LLM comerciales. En la pila de Gemini, la fidelidad cayó de 0.61 (monolítica) a 0.35 con MASDR-RAG. Los autores atribuyen esto a la dificultad que enfrentan los modelos comerciales para sintetizar respuestas a partir de múltiples fuentes fragmentadas, particularmente cuando la evidencia recuperada contiene pasajes casi duplicados.
• Costos de Orquestación: La orquestación multi-agente iterativa (por ejemplo, estilo ReAct) resultó costosa y a menudo contraproducente. En Llama-3-8B, ReAct requirió 5.5 veces más tokens y 2.2 veces más latencia que los sistemas de ámbito de llamada única sin una ganancia correspondiente en corrección.
• Generalización: El efecto de dilución y los beneficios de la delimitación del ámbito se observaron en los tres corpora de DOT (WYDOT, Caltrans, CDOT) y en conjuntos de datos públicos. Sin embargo, el "eje de ámbito" óptimo depende de la estructura del corpus; para Caltrans, donde los documentos eran PDFs masivos, se requería delimitar por section, mientras que document_series fue suficiente para WYDOT y CDOT.
• Sensibilidad del Backbone: El colapso de la fidelidad fue específico de los generadores comerciales (Claude, GPT). Los backbones de código abierto (Qwen, DeepSeek) mantuvieron o mejoraron la fidelidad bajo la orquestación multi-agente, lo que sugiere que el problema depende de la configuración y no es intrínseco al RAG multi-agente.

Significancia y Recomendaciones
El artículo argumenta que para el RAG a escala empresarial, la delimitación del ámbito de dominio es la principal palanca para mejorar el rendimiento, no la orquestación compleja. Los autores concluyen que la decisión "de carga estructural" es delimitar el ámbito de la recuperación primero utilizando metadatos organizacionales.

Su recomendación práctica es:

1. Delimitar primero: Restringir el espacio de búsqueda al dominio relevante antes de la recuperación.
2. Sintetizar una sola vez: Utilizar una única llamada de síntesis siempre que sea posible.
3. Reservar la orquestación multi-agente: Emplear bucles multi-agente completos solo para consultas genuinamente multi-dominio emparejadas con backbones de código abierto que tengan capacidades nativas sólidas de llamada a herramientas (tool-calling).

El trabajo destaca que añadir más documentos sin restricciones estructurales degrada el rendimiento de RAG, y que "más agentes" no equivale automáticamente a "mejores respuestas", introduciendo a menudo un compromiso entre precisión y fidelidad que puede evitarse con arquitecturas de ámbito delimitado más simples.