Dissecting Agentic RAG: A Component Ablation for Multi-Hop QA with a Local 7B Model

Resumen Técnico: Disección de RAG Agéntico mediante Ablación de Componentes

Planteamiento del Problema
Los sistemas de Generación Aumentada por Recuperación (RAG) agénticos han surgido como una solución para la Respuesta a Preguntas (QA) de múltiples saltos (Multi-Hop), utilizando bucles de razonamiento iterativos, descomposición de consultas y recuperación adaptativa para encadenar hechos a través de múltiples documentos. Sin embargo, la contribución específica de cada componente sigue siendo poco comprendida, particularmente en entornos con restricciones de recursos que dependen únicamente de modelos de lenguaje (LLM) locales. Muchos diseños existentes asumen que la complejidad añadida —como el enrutamiento de recuperación adaptativo y los bucles iterativos profundos— mejora necesariamente el rendimiento. Este artículo investiga si estas suposiciones se cumplen al utilizar un modelo local de 7B de parámetros, con el objetivo de aislar el valor de los componentes individuales sin depender de APIs propietarias o computación a gran escala.

Metodología
Los autores llevaron a cabo un estudio de ablación controlado a nivel de componentes sobre un pipeline de RAG agéntico completo utilizando el modelo Qwen2.5-7B-Instruct, servido localmente vía Ollama en una NVIDIA RTX A6000. La evaluación se realizó sobre una muestra aleatoria fija de 5,000 preguntas del conjunto de desarrollo de distractores de HotpotQA.

La arquitectura del sistema consta de cuatro etapas:

1. Descomposición de Consultas: Un LLM descompone la pregunta de entrada en una secuencia de sub-preguntas.
2. Bucle de Recuperación Iterativa: Un diseño de "planificación y ejecución" donde el bucle itera sobre las sub-preguntas. En cada paso, se selecciona una estrategia de recuperación, se recuperan los pasajes y un reordenador (reranker) de codificador cruzado (cross-encoder) refina los candidatos principales.
3. Recuperación Adaptativa: Un heurístico basado en reglas enruta las consultas hacia estrategias Densas (BGE-small-en-v1.5), Dispersas (BM25) o Híbridas (Reciprocal Rank Fusion) basadas en la presencia de entidades con nombre, fechas o números.
4. Síntesis: Una llamada final al LLM genera la respuesta a partir de la evidencia acumulada.

El estudio comparó el pipeline completo contra un baseline de recuperación densa de un solo paso y ocho condiciones de ablación específicas:

• Variaciones de profundidad: Bucles de recuperación limitados a 1, 2 o 3 pasos (frente al predeterminado de 5).
• Eliminación de componentes: Desactivar la descomposición de consultas (no-decomp) o el reordenamiento por cross-encoder (no-reranker).
• Fijación de estrategia: Reemplazar el enrutador adaptativo con estrategias de recuperación fijas: Densa, Dispersa o Híbrida.

La significancia estadística se evaluó mediante pruebas emparejadas (prueba exacta de McNemar para Exact Match y prueba de rango con signo de Wilcoxon para F1) e intervalos de confianza de bootstrap del 95%.

Resultados Clave
El pipeline agéntico completo logró un Exact Match (EM) del 53.2% y un F1 del 61.6%, superando significativamente al baseline de un solo paso (EM 43.1%, F1 54.0%). Sin embargo, el estudio de ablación reveló hallazgos contraintuitivos respecto a la eficacia de los componentes:

1. Recuperación Híbrida Fija > Enrutamiento Adaptativo: La variante de "solo híbrida" (que utiliza Reciprocal Rank Fusion fijo para todas las consultas) superó al pipeline adaptativo completo por +1.8 EM y +1.9 F1 ($p < 0.001$). Se descubrió que el enrutador basado en reglas era defectuoso; su heurístico (dispararse ante entidades con nombre) causó que enrutara el 79.2% de las sub-consultas hacia BM25. Dado que las sub-consultas de múltiples saltos contienen intrínsecamente entidades, el enrutador dependió excesivamente de la recuperación dispersa, descartando la señal densa complementaria.
2. Rendimientos Decrecientes en la Profundidad de Iteración: Reducir el bucle de recuperación de 5 pasos a 2 pasos capturó el 95% de las ganancias de rendimiento sobre el baseline. La diferencia entre 2 pasos y 5 pasos fue estadísticamente insignificante ($\pm 0.0$ EM), mientras que reducirlo a 1 paso causó una caída significativa (-7.1 EM). Esto sugiere que el valor principal proviene de ejecutar un bucle, no un bucle profundo.
3. Componentes Significativos pero Costosos:
   • Descomposición de Consultas: Eliminar la descomposición resultó en una caída de -1.4 EM ($p=0.004$), pero también redujo la latencia a la mitad (de ~5.6s a ~2.5s) porque colapsó el bucle de múltiples pasos en una única recuperación.
   • Reordenamiento por Cross-Encoder: Eliminar el reordenador causó una caída de -1.7 EM ($p < 0.001$) con un impacto de latencia insignificante, convirtiéndolo en un componente de alto valor y bajo costo.
4. Equivalencia de Estrategia: Dentro del bucle iterativo, las estrategias fijas Densa, Dispersa e Híbrida funcionaron casi idénticamente (EM ~53.0%), lo que sugiere que la recuperación repetida a través de las sub-preguntas compensa los puntos ciegos de cualquier estrategia individual.

Significancia y Reivindicaciones
El artículo afirma que, para modelos locales de 7B, la simplicidad y las elecciones fijas son a menudo superiores a la complejidad adaptativa. Los autores argumentan que las ganancias "agénticas" en QA de múltiples saltos son impulsadas principalmente por la existencia de un bucle de recuperación iterativo, más que por heurísticos de enrutamiento sofisticados o una profundidad de iteración excesiva.

Específicamente, el estudio concluye:

• El enrutamiento adaptativo es innecesario y potencialmente perjudicial en este contexto debido al sesgo de selección en los heurísticos de enrutamiento.
• Dos iteraciones de recuperación son suficientes para capturar la gran mayoría de las ganancias de rendimiento, ofreciendo una ruta de despliegue más eficiente.
• La recuperación híbrida fija (combinando señales densas y dispersas mediante RRF) es la estrategia de recuperación más robusta para el QA de múltiples saltos bajo estas restricciones.

Los autores enfatizan que sus hallazgos son empíricos, derivados de una ablación controlada en un modelo local, y no dependen de APIs propietarias. Posicionan su trabajo como una guía para profesionales que construyen sistemas RAG agénticos bajo restricciones de recursos, abogando por la recuperación híbrida fija y profundidades de iteración bajas sobre arquitecturas adaptativas complejas.