Robust Batch-Level Query Routing for Large Language Models under Cost and Capacity Constraints

Each language version is independently generated for its own context, not a direct translation.

¡Claro que sí! Imagina que tienes un restaurante muy popular llamado "El Gran LLM". En este restaurante, tienes varios cocineros (los Modelos de Lenguaje) con diferentes habilidades y costos:

El Chef Novato: Es rápido y barato, pero a veces comete errores en platos complejos.
El Chef Estrella: Es increíblemente bueno, puede hacer cualquier cosa, pero es muy lento y cuesta una fortuna por cada plato.
El Chef Intermedio: Un punto medio razonable.

El problema es que los clientes (las consultas o queries) llegan en grupos (lotes o batches), no uno por uno. Y tienes dos reglas estrictas:

Presupuesto: No puedes gastar más de cierto monto en total por grupo de clientes.
Capacidad: Solo tienes un número limitado de hornos (GPUs) y el Chef Estrella necesita 8 hornos, mientras que el Novato solo necesita 1.

El Problema: La Vieja Forma de Hacer las Cosas

Antes, el gerente del restaurante (el sistema de enrutamiento) miraba a cada cliente individualmente y decía: "Este cliente pide una pizza sencilla, le doy al Chef Novato. Este otro pide un banquete, le doy al Chef Estrella".

¿Cuál era el fallo?
Imagina que llegan 50 clientes de golpe, y por pura mala suerte, los 50 piden platos muy difíciles.

El gerente, mirando uno por uno, les asigna todo al Chef Estrella.
Resultado: ¡El Chef Estrella se desborda! Se queman los hornos, la cocina se detiene, y la factura final es astronómica. El restaurante quiebra o se retrasa horas.
Esto pasa porque la decisión se tomaba "al vuelo" sin ver el panorama completo del grupo.

La Solución: El Nuevo Sistema "Inteligente y Robusto"

Los autores de este paper proponen un nuevo gerente que piensa de forma diferente. En lugar de decidir cliente por cliente, toma una decisión para todo el grupo de una sola vez.

1. El Enfoque de "Grupo" (Batch-Level)

Imagina que el gerente recibe una lista de 100 pedidos. En lugar de asignar uno por uno, mira la lista completa y hace un "puzzle" matemático:

"Si le doy 20 platos difíciles al Chef Estrella, se me acaban los hornos. Pero si le doy 10 al Estrella, 30 al Intermedio y 60 al Novato, puedo cumplir todos los pedidos, gastar menos y usar mis hornos al máximo."

El sistema usa una herramienta matemática (Programación Lineal Entera) para encontrar la combinación perfecta que maximice la calidad de los platos sin romper el presupuesto ni saturar los hornos.

2. La "Paranoia" Saludable (Robustez)

Aquí viene la parte genial. A veces, el gerente no está 100% seguro de qué tan bueno es el Chef Estrella para un plato específico. Podría ser un error de cálculo.

El sistema antiguo: Asume que el Chef Estrella será perfecto. Si se equivoca, el plato sale mal.
El nuevo sistema (Robusto): Piensa: "¿Y si el Chef Estrella tiene un mal día y falla?". En lugar de confiar en el promedio, el sistema planifica basándose en el peor escenario posible (el límite inferior de lo que el chef podría lograr).
La analogía: Es como llevar un paraguas aunque el pronóstico diga "posiblemente soleado". Si llueve, estás cubierto. Si no llueve, no pasa nada malo. Esto evita que el sistema se rompa cuando las predicciones fallan.

3. La Compra de Hornos (Asignación de Recursos)

Antes de abrir el restaurante, el dueño debe decidir: ¿Compro 10 hornos pequeños para el Chef Novato o 2 hornos gigantes para el Chef Estrella?

El sistema nuevo hace un cálculo previo (offline) para decirte: "Para la cantidad de clientes que esperamos hoy, lo mejor es tener 5 hornos para el Novato y 1 para el Estrella".
Esto asegura que no tengas hornos vacíos ni falta de espacio, optimizando la inversión antes de que llegue el primer cliente.

¿Qué lograron? (Los Resultados)

En sus pruebas, este nuevo sistema:

Evitó el caos: Cuando llegaron grupos de clientes "difíciles" (como una tormenta de pedidos complejos), el sistema antiguo se desbordó y gastó de más. El nuevo sistema mantuvo el presupuesto y la calidad.
Mejoró la calidad: Al planificar el grupo completo, lograron servir platos de mejor calidad (respuestas más precisas) usando el mismo dinero.
Fue más seguro: Gracias a la "paranoia saludable" (robustez), el sistema funcionó bien incluso cuando las predicciones sobre los cocineros no eran perfectas.

En Resumen

Este paper nos dice que para gestionar inteligentemente a las Inteligencias Artificiales (LLMs), no debemos mirar solo una pregunta a la vez. Debemos mirar el grupo completo, planificar con precaución (asumiendo que las cosas pueden salir mal) y asignar los recursos (hornos/GPUs) de forma estratégica antes de empezar.

Es como pasar de ser un conductor que frena bruscamente ante cada bache, a ser un capitán de barco que traza la ruta completa para evitar tormentas y llegar a tiempo, gastando la menor cantidad de combustible posible.

Each language version is independently generated for its own context, not a direct translation.

Aquí tienes un resumen técnico detallado del artículo "Robust Batch-Level Query Routing for Large Language Models under Cost and Capacity Constraints" (Enrutamiento de consultas a nivel de lote robusto para Modelos de Lenguaje Grande bajo restricciones de costo y capacidad), presentado en español.

1. Problema Identificado

El artículo aborda un desafío crítico en la implementación industrial de Modelos de Lenguaje Grande (LLMs): la gestión eficiente de consultas en sistemas de inferencia que operan bajo restricciones estrictas de costo monetario, capacidad de GPU y concurrencia.

Limitaciones del Enrutamiento por Consulta Individual: Los métodos existentes suelen tomar decisiones de enrutamiento consulta a consulta (optimizando $l(q, m_j) - \lambda \cdot c(q, m_j)$ $l (q, m_{j}) - λ \cdot c (q, m_{j})$ ). Esto presenta tres fallos principales:
1. Falta de control del costo a nivel de lote: En la práctica, la inferencia se realiza por lotes (batches) para optimizar el hardware. El enrutamiento individual no garantiza que el costo total de un lote específico no exceda el presupuesto, especialmente bajo agrupaciones adversarias (donde muchas consultas difíciles llegan juntas).
2. Ignorancia de efectos de lote: Puede provocar sobrecarga en modelos costosos o con capacidad limitada, causando picos de costos o retrasos.
3. Incertidumbre no gestionada: Las estimaciones de rendimiento de los modelos son ruidosas; tomar decisiones basadas en puntos estimados sin considerar la incertidumbre puede llevar a fallos catastróficos en condiciones adversas.
4. Desconexión entre asignación de recursos y enrutamiento: La asignación de instancias de modelos (ej. cuántas GPUs dedicar a cada modelo) suele hacerse de forma estática o separada, sin optimizarla conjuntamente con la estrategia de enrutamiento.

2. Metodología Propuesta

Los autores proponen un marco de trabajo integral que combina Optimización Robusta y Programación Lineal Entera (ILP).

A. Enrutamiento a Nivel de Lote (Batch-Level Routing)

En lugar de optimizar consulta por consulta, el sistema optimiza la asignación de un lote completo de $N$ consultas a $M$ modelos disponibles.

Formulación ILP: Se define un problema de optimización donde se maximiza el rendimiento promedio del lote sujeto a:
- Restricción de Costo: El costo total del lote no debe exceder un presupuesto $C$ .
- Restricción de Capacidad: El número de consultas asignadas a un modelo $j$ no puede superar su capacidad de concurrencia ( $l_j \times I_j$ , donde $I_j$ es el número de instancias).
- Asignación: Cada consulta se asigna a exactamente un modelo.
Resolución: El problema se resuelve utilizando solucionadores estándar de ILP (como SCIP), que pueden manejar estas instancias en milisegundos, permitiendo su uso en tiempo real.

B. Enrutamiento Robusto (Robust Routing)

Para mitigar la incertidumbre en las estimaciones de rendimiento ( $a_{i,j}$ ), se introduce un enfoque robusto:

En lugar de usar una estimación puntual, se asume que el rendimiento real cae dentro de un intervalo de predicción $[ \underline{a}_{i,j}, \overline{a}_{i,j} ]$ .
El objetivo de optimización se modifica para maximizar el peor caso posible (el límite inferior del intervalo de predicción). Esto asegura que el sistema mantenga un rendimiento mínimo aceptable incluso si las estimaciones son inexactas.
Estimación de Incertidumbre: Se utiliza bootstrap resampling para generar distribuciones empíricas y calcular los límites inferiores (ej. el percentil 10).

C. Asignación Offline de Instancias de Modelos

Antes de la inferencia en línea, se realiza una optimización offline para determinar el número óptimo de instancias ( $I_j$ ) de cada modelo (especialmente relevante para modelos de código abierto alojados localmente que consumen GPUs).

Se simula el rendimiento del enrutador en lotes de calibración para encontrar la asignación de recursos ( $I_j$ ) que maximiza el rendimiento global bajo un presupuesto total de GPUs y costos.
Esto cierra la brecha entre la planificación de recursos y la ejecución en línea.

3. Contribuciones Clave

Identificación de Deficiencias: Demostración empírica de que el enrutamiento por consulta falla bajo restricciones de presupuesto de lote estrictas y agrupaciones adversarias.
Marco de Enrutamiento Robusto a Nivel de Lote: Introducción de una formulación basada en ILP que gestiona explícitamente costos, capacidades de hardware e incertidumbre de rendimiento.
Optimización de Asignación de Recursos: Propuesta de un procedimiento offline para asignar dinámicamente instancias de modelos (GPUs) basándose en la distribución de datos, en lugar de usar configuraciones fijas.
Validación Empírica: Experimentos exhaustivos en dos benchmarks multi-tarea que demuestran la superioridad del enfoque propuesto sobre métodos existentes.

4. Resultados Experimentales

Los experimentos se realizaron en dos conjuntos de datos (Dataset 1 y Dataset 2) con múltiples modelos LLM y estimadores de rendimiento (MIRT, XGBoost, kNN).

Mejora por Robustez: El enfoque robusto mejoró la precisión entre un 1% y un 14% en comparación con sus contrapartes no robustas, dependiendo del estimador utilizado. Además, seleccionó consistentemente modelos con menor incertidumbre predictiva.
Ventaja del Enrutamiento a Nivel de Lote:
- Bajo agrupación aleatoria, superó a los métodos por consulta hasta en un 4%.
- Bajo agrupación adversaria (peor caso), la mejora fue de hasta un 24%, demostrando una capacidad superior para controlar los picos de costo y evitar el agotamiento del presupuesto.
Optimización de Instancias: La asignación óptima de instancias de modelos (decidida offline) aportó ganancias adicionales de hasta un 3% en rendimiento en comparación con asignaciones fijas no optimizadas.
Eficiencia de Recursos: El enfoque de optimización completa logró igualar o superar el rendimiento de los modelos individuales más potentes (ej. DeepSeek_Chat) utilizando significativamente menos GPUs (ej. 177 GPUs vs 800 GPUs) y manteniendo el presupuesto de costos.
Tiempo de Ejecución: El uso de solucionadores como SCIP permitió resolver los problemas de enrutamiento por lote en menos de 0.4 segundos, viabilizando su implementación en tiempo real.

5. Significado e Impacto

Este trabajo es significativo porque cambia el paradigma de la gestión de LLMs en producción:

De lo individual a lo sistémico: Pasa de optimizar decisiones aisladas a optimizar el flujo de trabajo completo (lotes), alineándose mejor con la realidad de la inferencia por hardware (batching).
Gestión de Riesgos: Introduce la robustez como un componente central, protegiendo los sistemas de inferencia contra la variabilidad de los modelos y las fluctuaciones de la demanda.
Eficiencia Operativa: Proporciona una metodología sistemática para equilibrar la calidad de respuesta, el costo monetario y el uso de hardware (GPUs), lo cual es crucial para la viabilidad económica de las aplicaciones de agentes LLM a gran escala.
Aplicabilidad Industrial: Al ser compatible con estimadores estándar (XGBoost, kNN) y solucionadores comerciales, el marco es práctico y escalable para su despliegue en entornos industriales complejos.

En resumen, el artículo demuestra que un enfoque de optimización restringida a nivel de lote, combinado con robustez estadística y planificación de recursos offline, ofrece una solución superior para el enrutamiento de LLMs en entornos reales con limitaciones de recursos.