Lightweight Query Routing for Adaptive RAG: A Baseline Study on RAGRouter-Bench

Título: Enrutamiento de Consultas Ligero para RAG Adaptativo: Un Estudio de Línea Base en RAGRouter-Bench

1. Problema

Los pipelines de Generación Aumentada por Recuperación (RAG) abarcan diversas estrategias de recuperación que difieren significativamente en su costo de tokens y capacidad. Mientras que un paso simple de recuperación densa (NaiveRAG) es rápido y económico, pipelines iterativos (IterativeRAG) pueden manejar consultas complejas pero cuestan hasta 3.5 veces más en tokens.
El problema central es la ineficiencia de los sistemas desplegados que aplican un único paradigma a todas las consultas. La solución ideal es un enrutador que asigne cada consulta a la estrategia más barata pero suficiente. Sin embargo, hasta la fecha, no existían clasificadores entrenados específicamente en RAGRouter-Bench (Wang et al., 2026), un nuevo benchmark de 7,727 consultas en cuatro dominios (Wikipedia, Literatura, Legal, Médico), etiquetadas con tres tipos de consultas: factuales, de razonamiento y de resumen.

2. Metodología

El estudio presenta la primera evaluación sistemática de clasificadores basados en texto de consulta (sin acceso al corpus ni a LLMs durante el enrutamiento) para predecir el tipo de consulta y asignar una estrategia de RAG.

• Datos y Etiqueta: Se utilizan las etiquetas de RAGRouter-Bench (single_hop, multi_hop, summary) como objetivo de clasificación.
• Mapeo de Estrategias (Simulación de Costo): Se asume un mapeo basado en literatura para estimar ahorros:
  • Single_hop (Factual) $\rightarrow$ NaiveRAG (1.4x costo).
  • Multi_hop (Razonamiento) $\rightarrow$ HybridRAG (2.8x costo).
  • Summary (Resumen) $\rightarrow$ IterativeRAG (3.5x costo).
• Características (Features): Se extrajeron tres tipos de características exclusivamente del texto de la consulta:
  1. Lexicales (TF-IDF): Unigramas y bigramas con escalado sublineal.
  2. Semánticas (MiniLM): Vectores densos de 384 dimensiones usando all-MiniLM-L6-v2.
  3. Estructurales (Manuales): 23 características como longitud, tipo de palabra interrogativa (qué, por qué, etc.), presencia de negación, conteo de entidades nombradas y patrones sintácticos.
• Clasificadores: Se evaluaron cinco algoritmos clásicos sobre cada conjunto de características (Logistic Regression, SVM, Random Forest, KNN, MLP), generando 15 combinaciones en total.
• Evaluación: Se utilizó validación cruzada estratificada de 5 pliegues. La métrica principal fue el F1 macro-averaged para manejar el desequilibrio de clases, junto con la precisión (Accuracy).
• Simulación de Costo: Se calculó el ahorro de tokens comparando el costo del enrutamiento predicho frente a usar siempre la estrategia más costosa (IterativeRAG).

3. Contribuciones Clave

1. Establecimiento de Líneas Base: Se presentan 15 líneas base de clasificación (clasificador + características) utilizando únicamente el texto de la consulta en RAGRouter-Bench.
2. Análisis Trans-Dominio: Se identifica dónde el enrutamiento ligero es más o menos fiable (ej. dominios legales vs. médicos).
3. Simulación de Costo Post-hoc: Se demuestra que la configuración de mayor precisión logra un ahorro significativo de tokens (28.1%) y se analiza la compensación (trade-off) entre costo y precisión.

4. Resultados

• Rendimiento General: La mejor configuración fue TF-IDF con SVM, logrando una precisión del 93.2% y un F1 macro de 0.928.
• Superioridad de Características Lexicales: Contrario a la intuición de que las representaciones semánticas profundas son mejores, TF-IDF superó a los embeddings de MiniLM en 3.1 puntos de F1 macro. Esto sugiere que los patrones de palabras superficiales (palabras clave, tipo de pregunta) son predictores más fuertes del tipo de complejidad que las representaciones semánticas densas en este contexto.
• Ahorro de Costos:
  • La configuración TF-IDF + SVM logró un ahorro del 28.1% en tokens respecto a usar siempre la estrategia más cara.
  • Esto representa el 79% de los ahorros teóricos máximos posibles (35.2%) si se tuviera una predicción perfecta.
  • Nota crítica: Una línea base de "clase mayoritaria" (predecir siempre la consulta más barata) logró un 60% de ahorro, pero con un F1 de solo 0.231, demostrando que optimizar solo el costo destruye la calidad de la respuesta.
• Desglose por Dominio:
  • Legal: El dominio más fácil de enrutar (F1 de 0.967), probablemente debido a patrones más formulaicos.
  • Médico: El dominio más difícil (F1 de 0.803), posiblemente porque el corpus médico en el benchmark consiste en un solo documento largo, lo que hace que las señales léxicas superficiales sean menos discriminatorias.

5. Significado y Conclusiones

• Viabilidad del Enrutamiento Ligero: Se demuestra que es posible lograr un enrutamiento de alta precisión y ahorro de costos utilizando únicamente características de texto simples y clasificadores clásicos, sin necesidad de modelos grandes o acceso al corpus durante la inferencia.
• Importancia de las Señales Superficiales: El hecho de que TF-IDF supere a los embeddings semánticos indica que, para la clasificación de tipos de consultas RAG, la estructura léxica y las palabras clave son más informativas que la semántica profunda.
• Limitación y Futuro: El estudio establece un "piso" (línea base inferior) para el rendimiento. Dado que la selección óptima del paradigma depende de la interacción entre la consulta y el corpus (propiedades estructurales y semánticas del corpus), los futuros sistemas de enrutamiento deben incorporar señales del lado del corpus para cerrar la brecha entre el 28.1% de ahorro actual y el 35.2% teórico.
• Advertencia sobre Optimización de Costos: Optimizar únicamente el ahorro de tokens sin considerar la precisión del enrutamiento lleva a colapsar el sistema en la estrategia más barata, degradando la calidad de las respuestas en consultas complejas.

En resumen, este trabajo proporciona una referencia reproducible para el enrutamiento de consultas en RAG, demostrando que las soluciones ligeras basadas en texto son altamente efectivas, pero también subraya la necesidad de futuras investigaciones que integren el contexto del corpus para maximizar la eficiencia.