Agent-Orchestrated Adaptive RAG: A Comparative Study on Structured and Multi-Hop Retrieval

Resumen Técnico: RAG Adaptativo Orquestado por Agentes

Planteamiento del Problema
La Generación Aumentada por Recuperación (RAG) mejora los Modelos de Lenguaje Extensos (LLMs) al fundamentar las respuestas en conocimiento externo; sin embargo, los flujos de trabajo convencionales de "RAG Naive" dependen de una recuperación estática y de un solo paso. Este enfoque presenta dificultades ante consultas complejas que requieren razonamiento a través de múltiples documentos o el encadenamiento de resultados intermedios. Si bien los sistemas de RAG agénticos proponen soluciones dinámicas —como la descomposición de consultas, la recuperación iterativa y la autorreflexión—, la literatura existente suele evaluar estos mecanismos en dominios o benchmarks únicos. En consecuencia, no está claro cómo las mejoras agénticas se desempeñan en domios con diferentes características estructurales y demandas de razonamiento, particularmente en lo que respecta a las compensaciones entre precisión de recuperación, cobertura y latencia.

Metodología
Los autores proponen y evalúan un marco de RAG Adaptativo Orquestado por Agentes construido sobre un stack de inferencia totalmente local y centrado en la privacidad utilizando Llama-3.1-8B-Instruct. La arquitectura del sistema se aparta de los pipelines fijos al introducir un Orquestador central que enruta dinámicamente las consultas basándose en una lógica de control basada en reglas. El sistema consta de cuatro agentes especializados:

1. Clasificador de Consultas: Categoriza las solicitudes para permitir el filtrado consciente de metadatos (por ejemplo, restringiendo la recuperación a tipos de documentos específicos como manuales de procedimientos/runbooks) antes del ranking por similitud.
2. Descomponedor de Consultas: Descompone consultas complejas de múltiples saltos (multi-hop) en sub-consultas ordenadas, recupera evidencia para cada una y agrega los resultados.
3. Evaluador de Respuestas: Critica las respuestas generadas en cuanto a relevancia, precisión de las citas, fundamentación y alucinaciones.
4. Orquestador: Gestiona el flujo de control, activando la descomposición para consultas complejas e iniciando un bucle de autorreflexión acotado (máximo dos iteraciones) si el evaluador detecta problemas.

La evaluación utiliza dos conjuntos de datos contrastantes:

• Base de Conocimientos de DevOps: Un corpus estructurado y específico del dominio de 80 documentos (aprox. 10,000 palabras) que cubre estándares, arquitectura, manuales de procedimientos y reportes de incidentes. Los documentos fueron preprocesados usando IBM Docлоing para preservar la jerarquía estructural y enriquecidos con frontmatter YAML para el filtrado basado en atributos.
• MuSique: Un benchmark de razonamiento compositivo de múltiples saltos diseñado para requerir la integración de evidencia a través de documentos independientes.

El rendimiento se mide mediante Puntuación General, Recall de Fuente Crítica, Ranking Recíproco Medio (MRR), Success@5, Precisión de Citación, Cobertura de Temas y Latencia de Extremo a Extremo.

Contribuciones Clave

1. Implementación del Sistema: Un sistema completo de RAG Adaptativo Orquestado por Agentes, alojado localmente, que cuenta con enrutamiento dinámico, descomposición y autocorrección acotada.
2. Evaluación de Doble Conjunto de Datos: Un estudio comparativo que contrasta un entorno estructurado y específico del dominio (DevOps) frente a un benchmark de múltiples saltos de dominio abierto (MuSique) para aislar el comportamiento agéntico bajo diferentes cargas de razonamiento.
3. Caracterización Empírica de Compensaciones: Un análisis que demuestra que las mejoras agénticas no son universalmente beneficiosas; específicamente, que la descomposición de consultas genera ganancias en dominios estructurados pero degrada la precisión del ranking en entornos de múltiples saltos, y que los mecanismos de reflexión incurren en costos sustanciales de latencia para mejoras de calidad inconsistentes.

Resultados
El estudio revela resultados divergentes según el conjunto de datos y el mecanismo agéntico específico empleado:

• Descomposición de Consultas:

  • DevOps (Estructurado): La descomposición produjo ganancias consistentes. La puntuación general aumentó de 0.814 a 0.855, el MRR mejoró de 0.556 a 0.722, y el Success@5 alcanzó 1.0. Sin embargo, la latencia más que se duplicó (de 21s a 47.66s).
  • MuSique (Múltiples Saltos): La descomposición degradó la precisión del ranking. Aunque la precisión de citación alcanzó 1.0 y la cobertura de temas aumentó, el MRR colapsó de 0.469 a 0.102, y el Success@5 cayó de 1.0 a 0.063. Los autores atribuyen esto a la fragmentación de las señales contextuales necesarias para el ranking en entornos de múltiples saltos.

• Mecanismo de Reflexión:

  • En ambos conjuntos de datos, el bucle de reflexión resultó en ganancias de calidad mixtas o negativas en relación con su costo. En MuSique, la latencia aumentó aproximadamente seis veces (de 17s a 104s) mientras que la puntuación general disminuyó de 0.721 a 0.666. En DevOps, la puntuación general también disminuyó (de 0.870 a 0.781) sin mejora en el recall o el ranking.

• Distribución de Estrategias:

  • El Orquestador dirigió la mayoría de las consultas de DevOps (69.2%) a través de recuperación estándar, utilizando la descomposición para solo un ~5%. En MuSique, la descomposición se utilizó para un ~16% de las consultas, lo que indica que el sistema invoca estrategias complejas de manera selectiva en lugar de aplicarlas reflexivamente.

Significancia y Reivindicaciones
El artículo argumenta que las mejoras agénticas no son universalmente beneficiosas y deben aplicarse selectivamente según el tipo de consulta y las características del dominio. La principal significancia del trabajo radica en demostrar que los "pipelines de razonamiento uniformemente agresivos" son subóptimos. En su lugar, los autores abogan por una orquestación adaptativa y consciente del costo que aplique estrategias costosas (descomposición, reflexión) solo cuando sea justificado por el tipo de consulta.

Los hallazgos sugieren que, si bien la descomposición es efectiva para dominios estructurados donde las cadenas de razonamiento se mapean a relaciones bien definidas, puede perjudicar el rendimiento en entornos complejos de múltiples saltos al diluir las señales de ranking. Además, las penalizaciones sustanciales de latencia asociadas con los mecanismos de reflexión actualmente superan sus ganancias marginales de calidad. Los autores concluyen que los sistemas futuros deben priorizar la optimización consciente del costo y la selección de estrategias basada en aprendizaje por encima de los flujos de trabajo agénticos estáticos impulsados por heurísticas.

Limitaciones
Los autores señalan varias restricciones: el corpus de DevOps es de escala modesta y fue generado con asistencia de LLM; los conjuntos de consultas de evaluación son pequeños, lo que conduce a intervalos de confianza amplios; el estudio depende de un único generador y modelo de embedding; y el orquestador utiliza heurísticas basadas en reglas en lugar de políticas aprendidas. Las cifras de latencia también dependen del entorno, medidas bajo inferencia cuantizada local.