Resumen Técnico: Hacer más con menos: Un estudio sobre las estrategias de enrutamiento para la optimización de recursos en sistemas basados en Grandes Modelos de Lenguaje

1. Planteamiento del problema

Los sistemas basados en Grandes Modelos de Lenguaje (LLM), particularmente los agentes conversacionales, se diseñan frecuentemente con arquitecturas monolíticas y estáticas que dependen de un único LLM de propósito general para manejar todas las consultas de los usuarios. Este enfoque suele ser ineficiente porque diferentes consultas requieren distintos niveles de razonamiento, conocimiento de dominio o preprocesamiento. Si bien los modelos generalistas (por ejemplo, GPT-4o, Claude-Sonnet) funcionan bien en diversas tareas, incurren en costos financieros, energéticos y computacionales significativos que son desproporcionados para consultas más simples.

El artículo define un enrutador (router) como un componente que dirige un elemento (por ejemplo, una consulta de usuario) al elemento más adecuado de un conjunto de candidatos para optimizar el consumo de recursos. Esto difiere de los marcos de Mezcla de Expertos (MoE), donde un mecanismo de compuerta interno selecciona subredes dentro de un solo modelo. En contraste, un enrutador externo opera independientemente del proceso de propagación latente del LLM, funciona bajo restricciones de presupuesto y puede enrutar hacia diversos candidatos, incluyendo modelos más pequeños, modelos especializados, flujos de trabajo o fuentes de datos.

Formalmente, el problema de enrutamiento se define como la maximización de una función de puntuación $s$ (por ejemplo, la precisión) para una consulta $q$ y un conjunto de modelos $M$, sujeta a una restricción de presupuesto $B$:
$$R_M(q) = \arg \max_{M \in M} s(q, M) \quad \text{sujeto a} \quad C_M(q) \le B$$
donde $C_M$ es el costo (por ejemplo, $/token) de llamar al modelo $M$.

2. Metodología y taxonomía

Este trabajo proporciona una encuesta y taxonomía exhaustiva de las estrategias de enrutamiento, abordando tres preguntas fundamentales:

1. ¿Qué debe optimizar el enrutamiento? (Rendimiento vs. Costo)
2. ¿Cuándo debe realizarse el enrutamiento? (Pre-generación vs. Post-generación)
3. ¿Cómo debe implementarse el enrutamiento? (Estrategias algorítmicas)

2.1 Objetivos de optimización

• Métricas de rendimiento: La encuesta revisa métodos para maximizar las funciones de puntuación, que van desde la coincidencia exacta/parcial y las puntuaciones ROUGE, hasta la similitud semántica y la evaluación automática mediante LLMs. También señala el uso del aprendizaje de preferencias (por ejemplo, modelos de Bradley-Terry) basado en datos de revisores humanos.
• Métricas de costo: Más allá de los costos financieros (precio del token), el artículo enfatiza la minimización de la latencia y los costos ambientales (consumo de energía, huella de carbono), señalando que los modelos más grandes generalmente requieren más operaciones de punto flotante y energía.

2.2 Momento del enrutamiento

• Enrutamiento de pre-generación: Las decisiones se toman antes de que cualquier modelo genere una respuesta. Esto minimiza la latencia. Las estrategias incluyen la inferencia del dominio de la consulta o la estimación de su complejidad para enrutar a un modelo apropiado.
• Enrutamiento de post-generación (Cascada): Las decisiones se toman después de que un modelo genera una respuesta. Si la salida se considera inadecuada, la consulta se enruta a un modelo más grande o diferente. Aunque es flexible (por ejemplo, cascadas de opción múltiple), este enfoque incurre en mayor latencia y costo debido a múltiples generaciones por consulta.

2.3 Estrategias de implementación

El artículo categoriza las estrategias de implementación en cuatro grupos principales:

A. Enrutamiento basado en similitud

Utiliza señales no supervisadas o débilmente supervisadas para enrutar consultas basadas en la similitud semántica con interacciones pasadas.

• Similitud de consulta: Calcula la similitud de coseno entre los embeddings de las consultas (por ejemplo, 1-Vecino más cercano). Aunque es ligero, a menudo tiene dificultades con consultas complejas y la generalización.
• Agrupamiento (Clustering): Agrupa las consultas en clústeres semánticos (por ejemplo, k-means) y enruta basándose en el rendimiento histórico por clúster. Algunos enfoques (por ejemplo, Jitkrittum et al.) permiten la adición dinámica de nuevos modelos sin reentrenar todo el sistema.
• Similitud de preferencia: Utiliza datos de preferencia humana (por ejemplo, de Chatbot Arena) para predecir qué modelo preferiría un usuario para una consulta dada, empleando a menudo algoritmos de Bradley-Terry o basados en ELO.

B. Enrutamiento supervisado

Trata el enrutamiento como una tarea de clasificación o regresión una vez establecidos los perfiles de rendimiento.

• Sistemas de recomendación: Utiliza la factorización de matrices para inferir características latentes y predecir las preferencias del usuario entre modelos y consultas.
• Clasificación de dominio: Enruta las consultas a modelos especializados basados en categorías amplias (por ejemplo, matemáticas, medicina). Aunque es efectivo, presenta dificultades con consultas que no encajan en las categorías predefinidas.
• Inferencia de complejidad de la consulta: Clasifica las consultas por nivel de dificultad. Esto suele superar al enrutamiento basado en dominios, pero puede sufrir en conjuntos de datos fuera de la distribución. Los enfoques incluyen la inferencia de la complejidad mediante las diferencias de rendimiento entre tamaños de modelos o el uso de regresión para predecir puntuaciones de costo-calidad.
• Grafos de conocimiento: Utiliza marcos inductivos de grafos (por ejemplo, GraphRouter) para aprender las relaciones contextuales entre tareas, consultas y modelos, mejorando la generalización a nuevos modelos sin reentrenamiento.
• Inferencia de confianza de la respuesta: Estima la probabilidad de que una respuesta generada sea correcta (por ejemplo, FrugalGPT) para decidir si se escala a un modelo más grande.

C. Enrutamiento por Aprendizaje por Refuerzo (RL)

Enmarca el enrutamiento como un problema de toma de decisiones secuenciales donde el enrutador aprende de la retroalimentación del entorno.

• Algoritmos sin estado (Stateless): Mapean directamente las recompensas a las acciones (por ejemplo, Autómatas de Aprendizaje Estocástico, Q-learning) sin mantener estados complejos. Son de bajos recursos pero tienen dificultades con contextos evolutivos.
• Algoritmos con estado (State-based): Incorporan información contextual (por ejemplo, Bandidos Multibrazo Contextuales) para determinar qué modelos funcionan mejor en situaciones específicas.
• Inferencia basada en recompensa: Utiliza modelos de recompensa separados (entrenados mediante destilación de conocimiento) para predecir qué LLM funcionará mejor, evitando la necesidad de aprendizaje por interacción directa.

D. Enrutamiento generativo

Aprovecha las propias capacidades de los LLM para tomar decisiones de enrutamiento.

• Probabilidad de token/secuencia: Mide la incertidumbre de la salida (por ejemplo, el margen entre las probabilidades de los tokens superiores) para decidir si se necesita un modelo más grande.
• Enrutamiento basado en prompts: Utiliza LLMs para clasificar consultas o expresar "confianza verbalizada" (pre o post-generación). Aunque es accesible, los LLMs suelen sufrir de exceso de confianza.
• Ajuste fino (Fine-tuning) de LLM: Ajustar modelos específicamente para tareas de enrutamiento (por ejemplo, clasificación de dominios, puntuación de complejidad o generación de llamadas a API).
• Llamadas repetidas: Genera múltiples respuestas para evaluar la consistencia; una baja consistencia dispara el enrutamiento a un modelo más grande.
• Ejecución de código: Utiliza la ejecución exitosa de código como una señal de confianza inequívoca para el enrutamiento en tareas de generación de código.

3. Resultados clave y hallazgos

• Eficiencia vs. Rendimiento: La encuesta demuestra que el enrutamiento puede reducir significativamente los costos (hasta un 98% en algunos casos) manteniendo una precisión comparable a la de los mejores modelos independientes. Sin embargo, la efectividad de una estrategia depende altamente de la complementariedad de los modelos candidatos.
• Compromisos de estrategia (Trade-offs):
  • Los métodos basados en similitud son ligeros pero suelen fallar en tareas complejas o fuera de la distribución.
  • Los métodos supervisados generalmente ofrecen una mayor precisión pero requieren datos etiquetados y pueden necesitar reentrenamiento para nuevos modelos.
  • Los métos generativos (como los basados en prompts) son flexibles pero pueden ser intensivos en recursos o poco fiables debido al exceso de confianza de los modelos.
  • Los métodos basados en RL ofrecen adaptabilidad pero introducen complejidad en el entrenamiento y la gestión de estados.
• Generalización: Un desafío recurrente es la incapacidad de muchos enfoques de aprendizaje transductivo para generalizarse a nuevos candidatos de enrutamiento sin reentrenamiento. Los enfoques inductivos (por ejemplo, GraphRouter, vectores de rendimiento basados en agrupamiento) muestran promesa para abordar esto.
• Evaluación (Benchmarking): El artículo señala la falta de una evaluación estandarizada, con muchos estudios utilizando líneas base no estandarizadas. Destaca la emergencia de benchmarks como RouterBench y MixInstruct.

4. Limitaciones y desafíos

El artículo identifica varias limitaciones críticas en el estado actual del campo:

• Definición de costo: La mayoría de los estudios se centran únicamente en los costos financieros, descuidando los impactos computacionales y ambientales.
• Estandarización: Existe una falta de marcos estandarizados para evaluar las estrategias de enrutamiento, lo que dificulta la comparación objetiva.
• Diversidad de candidatos: El rendimiento del enrutamiento depende fuertemente de la complementariedad del conjunto de candidatos. Los modelos redundantes (por ejemplo, del mismo tamaño, con entrenamiento generalista) ofrecen ganancias limitadas.
• Arquitecturas estáticas: La mayoría de los sistemas son estáticos; añadir nuevos modelos o flujos de trabajo requiere típicamente el reentrenamiento de toda la infraestructura de enrutamiento, lo que dificulta la escalabilidad en entornos dinámicos.
• Exceso de confianza: Los métodos de enrutamiento generativo que dependen de la confianza verbalizada a menudo sufren de exceso de confianza de los LLM, lo que lleva a decisiones subóptimas.

5. Significación y direcciones futuras

Esta encuesta pretende proporcionar una visión integral y formalizar el enrutamiento como un problema de optimización de rendimiento-costo. Su importancia radica en:

• Taxonomía: Proporcionar una clasificación estructurada de las estrategias de enrutamiento (pre/post-generación, similitud/supervisado/RL/generativo).
• Transferencia Industrial: Resaltar la brecha entre la investigación y la industria, donde muchas empresas todavía utilizan enrutamientos condicionales o basados en prompts muy simplistas. El artículo aboga por transferir estrategias ligeras y respaldadas por la investigación a las aplicaciones industriales.
• Investigación Futura: Los autores llaman a:
  • Incorporar los costos computacionales y ambientales en el objetivo de optimización.
  • Establecer líneas base estandarizadas (aleatoria, oráculo, mejor modelo independiente) para la evaluación.
  • Desarrollar estrategias de enrutamiento autónomas y adaptativas que puedan generalizarse a nuevos componentes sin reentrenamiento, tratando al enrutador como un agente dinámico dentro del sistema.
  • Extender el enrutamiento más allá del paso de generación para incluir la selección de embeddings, estrategias de recuperación y diseño de pipelines.

El artículo concluye que el enrutamiento ofrece una vía práctica para mejorar la eficiencia de los sistemas basados en LLM, permitiendo el desarrollo de sistemas adaptables y de bajo costo sin sacrificar el rendimiento.