Is Agentic RAG worth it? An experimental comparison of RAG approaches

Resumen Técnico: ¿Vale la pena el RAG Agente? Una comparación experimental de enfoques RAG

1. Planteamiento del Problema

Los sistemas de Generación Aumentada por Recuperación (RAG) tradicionales (o "Naïve RAG") combinan un recuperador y un generador para responder consultas basándose en una base de conocimientos. Sin embargo, estas implementaciones básicas presentan limitaciones significativas:

• Recuperación ruidosa o subóptima.
• Uso incorrecto de la recuperación para consultas fuera de alcance.
• Desajuste débil entre la consulta y el documento.
• Variabilidad y costos asociados al modelo generador.

Para abordar esto, han surgido dos paradigmas:

1. RAG Mejorado (Enhanced RAG): Introduce módulos fijos y secuenciales (enrutadores, reescritores, reordenadores) para refinar el flujo de trabajo.
2. RAG Agente (Agentic RAG): Utiliza la capacidad de autorreflexión de los Modelos de Lenguaje Grande (LLM) para orquestar todo el proceso. El LLM decide dinámicamente qué acciones realizar (recuperar, reescribir, responder) y cuándo iterar, creando un bucle iterativo en lugar de una tubería fija.

La pregunta de investigación: ¿Deberían los practicantes adoptar arquitecturas Agentic o pipelines tradicionales (Mejorados) al diseñar sistemas RAG para entornos de producción?

2. Metodología

Los autores realizaron una evaluación empírica comparando ambos paradigmas en cuatro dimensiones críticas, utilizando cuatro conjuntos de datos representativos de escenarios reales:

• Conjuntos de datos: FIQA (Finanzas), NQ (Preguntas Generales), FEVER (Verificación de Hechos) y CQADupStack-English (Recuperación de Gramática/Foros).
• Implementaciones:
  • Enhanced: Pipeline fijo con enrutamiento semántico, reescritura de consultas (Hyde) y reordenamiento (reranker) basado en ELECTRA.
  • Agentic: Sistema basado en PocketFlow donde un agente LLM decide autónomamente si recuperar, reescribir o responder, con un máximo de 3 pasos de razonamiento.
• Modelos Evaluados: Se probaron generadores de diferentes capacidades (Qwen3: 0.6B, 4B, 8B, 32B) y se utilizó Selene-70B como juez automático (LLM-as-a-Judge) para evaluar la calidad de las respuestas finales.
• Métricas: Precisión en la detección de intención, NDCG@10 (calidad de recuperación), métricas de clasificación de respuestas y análisis de costos (tokens y latencia).

3. Contribuciones Clave

El estudio aporta tres contribuciones principales:

1. Comparación empírica multidimensional: Un análisis directo de cómo Enhanced y Agentic RAG abordan las debilidades del RAG básico en cuatro áreas específicas.
2. Análisis de costos y tiempo: Una cuantificación detallada de la diferencia en tokens de entrada/salida y latencia entre ambos enfoques.
3. Guía práctica para arquitectos: Recomendaciones basadas en datos para seleccionar el diseño RAG más efectivo según el caso de uso, equilibrando rendimiento y eficiencia.

4. Resultados Principales

A. Manejo de la Intención del Usuario (Routing)

• Agente: Supera ligeramente a los sistemas Mejorados en dominios bien definidos (Finanzas, Gramática) gracias a su capacidad de entender la consulta.
• Mejorado: Es más fiable en dominios ruidosos o menos restrictivos (como FEVER, verificación de hechos), donde el agente a veces falla en distinguir consultas inválidas, resultando en una baja recuperación (Recall del 49.3% vs 84.4% del sistema Mejorado).
• Conclusión: Los sistemas Mejorados con enrutamiento semántico son más robustos para filtrar consultas fuera de alcance en dominios complejos.

B. Reescritura de Consultas (Query Rewriting)

• Agente: Supera consistentemente a los sistemas Mejorados (ganancia promedio de +2.8 puntos en NDCG@10).
• Razón: La flexibilidad del agente para decidir cuándo y cómo reescribir la consulta es superior a la reescritura forzada en el pipeline Mejorado. El agente adapta la consulta dinámicamente según el estado de la tarea.

C. Refinamiento de la Lista de Documentos (Reranking)

• Mejorado: El uso de un reordenador (reranker) dedicado tiene un impacto positivo sustancial en la precisión de la recuperación.
• Agente: No se beneficia significativamente de iterar la recuperación. En el 53% de los casos donde el agente decide volver a recuperar, los documentos obtenidos son idénticos a los anteriores. El agente tiende a no reconsiderar sus decisiones iniciales de manera efectiva.

D. Impacto del LLM Subyacente

• Ambos sistemas muestran patrones de rendimiento similares al escalar el modelo (de 0.6B a 32B). Un modelo más grande mejora el rendimiento en ambos paradigmas a tasas comparables. La arquitectura no cambia la relación fundamental entre la capacidad del modelo y el resultado final.

E. Costos y Latencia

• Agente es más costoso: Los sistemas Agentic son sistemáticamente más caros y lentos.
  • Requieren 3.3x más tokens de entrada y 1.9x más tokens de salida en promedio.
  • La latencia es 1.5x mayor.
  • En algunos casos, el costo puede ser hasta 3.6 veces mayor que un sistema Mejorado optimizado.
• La latencia está dominada por las llamadas al LLM (generación de respuesta y razonamiento), no por la recuperación.

5. Significado y Conclusiones

El estudio concluye que ningún enfoque es universalmente superior; la elección depende del contexto:

1. Cuándo usar Agentic RAG:

   • Ideal para la detección de intención (enrutamiento) en dominios estructurados, incluso sin ejemplos manuales.
   • Superior para la reescritura de consultas adaptativa, mejorando la calidad de la recuperación en tareas de extracción de información.
   • Recomendado cuando la flexibilidad y la capacidad de iteración son críticas y el costo es secundario.

2. Cuándo usar RAG Mejorado (Enhanced):

   • Preferible para filtrado de consultas en dominios ruidosos o ambiguos.
   • Más eficiente en reordenamiento (reranking) de documentos.
   • Ventaja de costo: Un sistema Mejorado bien optimizado puede igualar o superar el rendimiento del Agente manteniendo una eficiencia muy superior.

Recomendación Final:
Los desarrolladores deberían considerar un enfoque híbrido. Utilizar la capacidad de razonamiento del Agente para la detección de intención y la reescritura de consultas, pero integrar un paso explícito de reordenamiento (reranking) y evitar iteraciones innecesarias de recuperación para controlar los costos. La combinación de la flexibilidad del agente con la eficiencia de los módulos especializados ofrece el mejor equilibrio para aplicaciones reales.