Resumen Técnico: Portafolios de Recuperadores: Un Enfoque Principado para el RAG Adaptativo

1. Formulación del Problema

Los sistemas de Generación Aumentada por Recuperación (RAG) suelen depender de un único recuperador con un conjunto fijo de hiperparámetros para gestionar todas las consultas de los usuarios. Sin embargo, las distribuciones de consultas en aplicaciones del mundo real son altamente heterogéneas, variando desde preguntas de hechos simples hasta tareas complejas de razonamiento de múltiples saltos (multi-hop). Diferentes configuraciones de recuperación (modelos, estrategias o hiperparámetros) suelen especializarse en diferentes regímenes, lo que significa que ningún recuperador único es óptimo para todas las consultas. Trabajos recientes como Adaptive-RAG y Vendi-RAG intentan adaptar las estrategias de recuperación, pero operan sobre un conjunto pequeño de estrategias diseñadas manualmente o realizan un ajuste de hiperparámetros por consulta costoso durante la inferencia, lo que genera alta latencia y costos de tokens.

Este artículo aborda la limitación de la recuperación de "talla única" proponiendo un enfoque basado en principios para la Optimización de Portafolios de Recuperadores. El problema central se define como la selección de un subconjunto pequeño y diverso (un portafolio) de $k$ recuperadores de un gran conjunto de candidatos $m$. El objetivo es maximizar el rendimiento esperado del "mejor de $k$" (best-of-$k$) recuperador para una consulta aleatoria extraída de la distribución subyacente, en lugar de maximizar el rendimiento promedio de un solo recuperador.

2. Metodología

2.1. Marco Teórico

Los autores formalizan el problema utilizando un objetivo de mejor-de-$k$ esperado. Sea $Q$ el conjunto de consultas con una distribución desconocida $D$, y $\mathcal{R}$ el conjunto de recuperadores candidatos. Una función de puntuación $s(q, r) \in [0, 1]$ mide la idoneidad de un recuperador $r$ para una consulta $q$. La calidad de un portafolio $S \subseteq \mathcal{R}$ (donde $|S| \le k$) se define como:
$$F(S) = \mathbb{E}_{q \sim D} \left[ \max_{r \in S} s(q, r) \right]$$
El objetivo es encontrar $S$ que maximice $F(S)$. Los autores demuestran que, para cualquier consulta fija $q$, la función $f_q(S) = \max_{r \in S} s(q, r)$ es no negativa, monótona y submodular. En consecuencia, el objetivo de la población $F(S)$ y su estimación empírica también son funciones de conjunto submodulares.

2.2. Algoritmo: Selección de Portafolio Greedy

Para resolver este problema de optimización de manera eficiente, el artículo propone el Algoritmo 1, un procedimiento greedy (voraz) basado en muestras:

1. Muestreo: Extraer $N$ consultas i.i.d. de la distribución $D$.
2. Estimación Empírica: Reemplazar el objetivo de la población con una estimación empírica $\hat{F}_Q(S)$.
3. Construcción Greedy: Seleccionar iterativamente el recuperador $r$ que maximiza la ganancia marginal $\hat{F}_Q(S \cup \{r\}) - \hat{F}_Q(S)$. El algoritmo mantiene un vector memorizado de las mejores puntuaciones actuales por consulta para calcular las ganancias de manera eficiente.
4. Garantías: El algoritmo se ejecuta en un tiempo de $O(k |\mathcal{R}| N)$. El análisis teórico muestra que logra una aproximación de $(1 - 1/e)$ al portafolio óptimo, salvo un término de error estadístico $\epsilon$, siempre que el tamaño de la muestra $N$ escale apropiadamente con el tamaño del conjunto y la confianza deseada.

2.3. Pipeline de Inferencia

El sistema propuesto consta de dos etapas:

1. Construcción de Portafolio Offline: Utilizando el Algoritmo 1, se selecciona un portafolio diverso de $k$ recuperadores complementarios de un gran conjunto (que incluye recuperadores densos, basados en diversidad y basados en grafos) basándose en datos de entrenamiento.
2. Inferencia Adaptativa: Se entrena un enrutador ligero para seleccionar dinámicamente el mejor (o los mejores) recuperador para una consulta específica.
   • El enrutador codifica la consulta usando texto bruto y embeddings densos en caché (MPNet/E5).
   • Califica a los $k$ miembros del portafolio mediante similitud con los embeddings de los recuperadores aprendidos.
   • Los $\ell$ mejores recuperadores se ejecutan en paralelo para minimizar la latencia.
   • Un LLM selector agrega las respuestas de los recuperadores en paralelo para producir la salida final.

Este enfoque amortiza el costo de la adaptación de forma offline, evitando la búsqueda iterativa requerida por los métodos de ajuste en tiempo de inferencia.

3. Contribuciones Clave

• Formulación del Problema: Introducción del problema de "optimización de portafolio de RAG", formalizando la selección de un conjunto pequeño y diverso de recuperadores para cubrir distribuciones de consultas heterogéneas mediante un objetivo de mejor-de-$k$ esperado.
• Garantías Teóricas: Demostración de que el objetivo es submodular, lo que permite la construcción eficiente de portafolios cercanos al óptimo con garantías de aproximación demostrables de $(1 - 1/e)$.
• Pipeline Práctico: Un sistema completo que comprende la selección de portafolio offline y un enrutador ligero que permite la recuperación y respuesta en paralelo, reduciendo significativamente la latencia de recuperación en comparación con los métodos adaptativos secuenciales.
• Validación Empírica: Evaluación exhaustiva en cuatro diversos benchmarks de QA (HotpotQA, 2WikiMultiHopQA, TriviaQA, MusiQue) demostrando un rendimiento superior sobre las líneas base de un solo recuperador y los enfoques de ajuste en tiempo de inferencia.

4. Resultados Experimentales

El método fue evaluado en cuatro conjuntos de datos de QA de dominio abierto utilizando dos modelos de respuesta (Gemma-3-27B-IT y Llama-3.1-70B-Instruct).

• Cobertura de Recuperación: Los portafolios aprendidos superan significativamente la selección de recuperadores de "promedio-mejor". Por ejemplo, un portafolio de tamaño $k=5$ logró un Support Recall de 0.594 frente a 0.492 para los 5 mejores recuperadores promedio. Se demostró que las ganancias provienen de la complementariedad (cubrir diferentes subpoblaciones de consultas) más que de simplemente recuperar más documentos.
• Precisión de Extremo a Extremo (End-to-End): Los portafolios enrutados lograron consistentemente puntuaciones de Exact Match (EM) más altas que las líneas base de un solo recuperador y Vendi-RAG (una línea base de ajuste en tiempo de inferencia). El portafolio "todo el conjunto" (combinando recuperadores Dense, Vendi y GraphDense) produjo el mejor EM promedio en todos los conjuntos de datos.
• Eficiencia vs. Precisión: En comparaciones controladas con Vendi-RAG (usando el mismo espacio de búsqueda de Vendi), el enfoque de portafolio offline logró una precisión comparable o mejor con una latencia y costos de tokens sustancialmente menores. Esto se debe a que el portafolio permite la ejecución paralela de un conjunto fijo de recuperadores, mientras que Vendi-RAG requiere generación y juicio iterativo y secuencial.
• Efectividad del Enrutador: Los estudios de ablación mostraron que el enrutador aprendido supera significativamente a la selección aleatoria y selecciona consistentemente los recuperadores que mejoran respecto al mejor miembro promedio, enrutando eficazmente las consultas hacia los miembros más adecuados del portafolio.

5. Significado y Reivindicaciones

El artículo afirma avanzar en el campo de RAG al desplazar la carga de la adaptación de la inferencia secuencial y costosa hacia la construcción de portafolios offline eficientes. Los autores argumentan que:

• Ningún recuperador único es óptimo: Fijar una sola estrategia deja rendimiento sin aprovechar ante diversas necesidades de información.
• La complementariedad es clave: Un conjunto pequeño de recuperadores diversos puede cubrir la distribución de consultas de manera más efectiva que un solo recuperador "mejor" o simplemente aumentando el presupuesto de documentos.
• Eficiencia: Los portafolios fijos permiten la recuperación y las llamadas a LLM en paralelo, ofreciendo un compromiso práctico que logra una alta precisión con latencia predecible y bajo uso de tokens, lo que hace que el RAG adaptativo sea más desplegable en entornos de producción.

El trabajo no pretende resolver todos los desafíos de RAG, sino que proporciona un método basado en principios y teóricamente fundamentado para seleccionar y enrutar entre estrategias de recuperación que es tanto demostrablemente cercano al óptimo como empíricamente efectivo.