Resumen Técnico: Habilidad Experience-RAG para la Orquestación de Estrategias de Recuperación Impulsadas por Experiencia

Declaración del Problema

Los sistemas actuales de Generación Aumentada por Recuperación (RAG) operan frecuentemente bajo la suposición de que una única tubería de recuperación fija es suficiente para todas las tareas. Sin embargo, esta suposición falla en entornos de agentes realistas donde los requisitos de las tareas varían significativamente. Por ejemplo, la respuesta a preguntas factuales, el razonamiento multi-salto y la verificación de afirmaciones científicas exhiben preferencias de recuperación distintas; un recuperador denso puede ser suficiente para hechos directos, mientras que la recuperación híbrida a menudo demuestra ser más estable para la coincidencia de evidencia científica compleja o de múltiples saltos. El desafío central identificado no es meramente recuperar conocimiento, sino determinar cómo debe organizarse y orquestarse la recuperación para la tarea específica actual.

Metodología

El artículo propone la Habilidad Experience-RAG, una capa de orquestación de recuperación orientada a agentes y enchufable, posicionada entre el agente y un grupo de recuperadores. En lugar de tratar la recuperación como un paso monolítico, esta habilidad encapsula el proceso de selección como una capacidad reutilizable del agente.

Arquitectura del Marco

El marco opera a través de una tubería estructurada que involucra seis módulos:

1. Interfaz de Habilidad: El punto de entrada unificado para el agente.
2. Analizador de Escena: Construye una representación estructurada de la escena ($s$) basada en la consulta ($q$), el historial de diálogo ($h$) y los metadatos de la tarea ($m$).
3. Memoria de Experiencia ($M$): Almacena registros históricos de características de escena, vectores de puntuación, la estrategia de mejor rendimiento y el margen de rendimiento. Las características incluyen tipo de tarea, dominio, longitud del contexto, complejidad de la pregunta, estilo de consulta y estructura del documento.
4. Enrutador de Estrategias: Selecciona el recuperador óptimo ($r^*$) consultando la memoria de experiencia basada en la escena actual.
5. Grupo de Recuperadores ($R$): Un grupo candidato de recuperadores (por ejemplo, BM25, Denso, Híbrido RRF).
6. Empaquetador de Resultados: Devuelve evidencia estandarizada y estructurada al agente.

El flujo operativo se define como:
$$s = \text{Analizar}(q, h, m)$$
$$r^* = \text{Enrutar}(s, M)$$
$$o = \text{RecuperarYEmpaquetar}(q, r^*)$$

Mecanismo de Enrutamiento

La implementación actual utiliza enrutamiento basado en reglas como su configuración más fuerte, mapeando tareas directas a recuperadores densos y tareas de múltiples saltos/científicas a RRF híbrido (Fusión Recíproca de Rangos). Si bien se exploraron variantes de enrutamiento aprendido, no superaron la línea base basada en reglas bajo la escala actual de datos de experiencia. El sistema prioriza la reutilización explícita de experiencias y el empaquetado estructurado de evidencia sobre una selección impulsada puramente por la complejidad.

Contribuciones Clave

Los autores delinean tres contribuciones principales:

1. Formulación: Replantean la selección de estrategias de recuperación como un problema de orquestación de habilidades de agente, distinto de incrustar la lógica de selección de incrustaciones directamente en el flujo de trabajo superior.
2. Construcción de Memoria de Experiencia: Desarrollaron un sistema de memoria que registra características integrales de escena, puntuaciones de rendimiento de múltiples recuperadores y márgenes de estrategia, en lugar de simplemente almacenar la etiqueta "mejor".
3. Evaluación Empírica: Evaluaron la habilidad en tareas de recuperación heterogéneas, comparándola tanto con líneas base fijas tradicionales como con enfoques modernos de enrutamiento adaptativo.

Resultados Experimentales

El sistema fue evaluado en tres puntos de referencia públicos: BeIR/nq, BeIR/hotpotqa y BeIR/scifact, utilizando 120 consultas por conjunto de datos con corpus candidatos muestreados.

Rendimiento Frente a Líneas Base Fijas

La Habilidad Experience-RAG logró el rendimiento general más alto, superando a todas las líneas base fijas de método único:

• nDCG@10: 0.8924 (vs. 0.8802 para la línea base fija más fuerte, RRF Híbrido).
• Recall@10: 0.9428.
• MRR@10: 0.9006.
  Los resultados indican que la ventaja principal de la habilidad radica en la orquestación heterogénea, gestionando eficazmente cargas de trabajo mixtas en lugar de dominar cada subtarea individualmente.

Comparación con Líneas Base Modernas

Al compararse con enfoques modernos que incluyen HyDE, estilo LongRAG, estilo RAPTOR y estilo Adaptive-RAG:

• Estilo Adaptive-RAG mostró un liderazgo marginal (0.8934 nDCG@10 vs. 0.8924 para la Habilidad Experience-RAG).
• HyDE, estilo LongRAG y estilo RAPTOR tuvieron un rendimiento significativamente más débil en el entorno de solo recuperación con corpus muestreado.
  El artículo señala que la Habilidad Experience-RAG se mantiene competitiva con las líneas base de enrutamiento moderno más fuertes, mientras ofrece un límite de sistema más claro para la interacción orientada al agente.

Significado y Afirmaciones

El artículo concluye que la selección de estrategias de recuperación puede encapsularse productivamente como una habilidad de agente reutilizable en lugar de estar codificada en el flujo de trabajo. El estudio demuestra que la orquestación impulsada por la experiencia es efectiva para cargas de trabajo de recuperación heterogéneas y se mantiene competitiva incluso cuando se introducen líneas base modernas en un grupo candidato fijo.

Los autores mantienen una postura modesta respecto al alcance del trabajo actual:

• Los experimentos dependen de corpus muestreados en lugar de conjuntos de datos a escala completa.
• El enrutamiento aprendido aún no ha superado a las líneas base basadas en reglas.
• La implementación asume un grupo candidato fijo, excluyendo la incorporación dinámica.
• El análisis del flujo de trabajo es cualitativo y aún no constituye una línea base completa de agente interactivo de extremo a extremo.

En consecuencia, los autores posicionan este trabajo como un artículo breve o preimpresión que establece la viabilidad de la capa de habilidad, con trabajos futuros planificados para abordar la incorporación dinámica de candidatos, el enrutamiento a nivel de capacidad y la evaluación integral de agentes de extremo a extremo.