Resumen Técnico: Más allá de la precisión y el costo: Enrutamiento de consultas de LLM consciente de la latencia para cargas de trabajo dinámicas

Planteamiento del problema

Los enrutadores de consultas de lenguaje modernos optimizan la relación entre la calidad de la respuesta (precisión) y el costo monetario asignando las consultas a diferentes instancias de Modelos de Lenguaje de Gran Escala (LLM). Sin embargo, los enrutadores existentes son mayoritariamente ajenos a la latencia. Seleccionan modelos basándose en predictores de precisión y costo, pero ignoran la latencia de generación que una consulta experimentará en una instancia específica.

En la práctica, la latencia está determinada por políticas de equilibrio de carga a nivel de sistema (por ejemplo, round-robin, join-the-shortest-queue) que no tienen en cuenta la precisión del modelo o el costo de inferencia. Por el contrario, la optimización de la latencia a nivel de sistema asume una asignación fija de consulta-a-modelo e ignora las compensaciones de precisión-costo. Esto crea una brecha: los enrutadores actuales pueden dirigir consultas a instancias sobrecargadas, causando largos retrasos de cola y violando los Objetivos de Nivel de Servicio (SLO), mientras que los optimizadores de sistema no pueden aprovechar las capacidades heterogéneas de precisión-costo de un conjunto de modelos.

El desafío central es que la latencia de generación es no determinista y depende de:

1. Especificaciones de hardware y arquitectura del modelo.
2. La composición actual de la carga de trabajo (etapas de prefill vs. decode) en la instancia.
3. Las políticas específicas de procesamiento por lotes (batching) y programación (scheduling) del marco de servicio (por ejemplo, vLLM, Sarathi-Serve).

Estimar con precisión el Tiempo hasta el Primer Token (TTFT) para una consulta entrante es difícil porque requiere simular cómo el marco de servicio agrupará la nueva consulta con las secuencias residentes existentes, considerando tanto la interferencia de prefill (limitada por cómputo) como la de decode (limitada por memoria).

Metodología

Los autores proponen un marco de enrutamiento que optimiza conjuntamente la precisión, el costo y la latencia. El sistema consta de tres componentes principales:

1. Objetivo de enrutamiento

El enrutador selecciona una instancia de modelo $m(i)$ para una consulta $q_i$ para maximizar la utilidad de precisión-costo ($\hat{U}_{i,j}$) mientras satisface una restricción de TTFT ($\tau_i$).

• Utilidad: $\hat{U}_{i,j}(\lambda) = \hat{acc}_{i,j} - \lambda \cdot \hat{cost}_{i,j}$, donde $\lambda$ equilibra la calidad y el costo.
• Restricción: La instancia seleccionada debe satisfacer $\hat{L}^{ttft}_{i,j}(t) \leq \tau_i$. Si ninguna instancia satisface la restricción, el enrutador selecciona la que tenga la latencia estimada mínima.
• Evaluación: El rendimiento se mide mediante OnTimeUtility, que promedia la utilidad de las consultas que cumplen con sus restricciones de latencia (asignando utilidad cero a aquellas que las violan).

2. Estimador de latencia SFS (Simulación del Marco de Servicio)

Para predecir el TTFT con precisión sin ejecución en tiempo real, los autores diseñan un estimador ligero que simula el comportamiento del marco de servicio.

• Entrada: El estimador utiliza el estado actual de la instancia del modelo, incluyendo el conjunto de solicitudes residentes ($R_j(t)$), sus tokens de prefill restantes y las longitudes de decode predichas.
• Proceso de simulación:
  1. Construye una carga de trabajo aumentada que incluye la nueva consulta y todas las consultas residentes.
  2. Simula de manera determinista las políticas de procesamiento por lotes continuo (continuous batching) y programación del marco de servicio para formar lotes de tokens.
  3. Itera a través de estos lotes hasta que la nueva consulta genera su primer token de decode.
• Modelo de tiempo de procesamiento de lotes de tokens: En lugar de simular kernels de bajo nivel, el estimador utiliza un modelo lineal calibrado (Eq. 9) para predecir el tiempo de cada lote de tokens. Este modelo tiene en cuenta:
  • Sobrecargas fijas.
  • Computación de capa densa por token (lineal con el tamaño del lote).
  • Computación de atención y lecturas de la caché KV (lineal con la longitud del contexto para decode).
  • Costos de atención de prefill (cuadráticos dentro del fragmento de prefill).
• Salida: La suma de los tiempos de procesamiento predichos para todos los lotes de tokens hasta el primer token de decode produce la estimación del TTFT.

3. Estimación del caso promedio (Sin datos en tiempo real)

En escenarios donde no se dispone de instantáneas de la carga de trabajo en tiempo real (por ejemplo, al enrutar a nubes de terceros), los autores proponen una abstracción basada en la teoría de colas utilizando un modelo de Procesador Compartido Limitado (LPS). Este modela la instancia como un servidor que comparte capacidad entre hasta $k$ consultas concurrentes, con otras esperando en una cola FIFO. Esto permite estimar los tiempos de espera promedio basados en las tasas de llegada y las capacidades de servicio.

Contribuciones clave

1. Marco de optimización conjunta: El artículo cierra la brecha entre el enrutamiento de precisión-costo y la optimización de la latencia a nivel de sistema mediante el diseño de un enrutador que toma decisiones basadas en estas tres métricas simultáneamente.
2. Estimador SFS ligero: Los autores introducen un nuevo estimador de latencia que simula el procesamiento de lotes de tokens autorregresivos. Captura la compleja interacción entre las cargas de trabajo de prefill y decode, así como las políticas del marco de servicio (como los prefills fragmentados o chunked prefills) sin requerir una ejecución completa.
3. Alta precisión y baja sobrecarga: El estimador SFS logra un Error Porcentual Absoluto Medio (MAPE) <5% en las predicciones de TTFT con una sobrecarga de tiempo de prueba de aproximadamente 0.14 ms (sub-milisegundo), lo que lo hace adecuado para la ruta crítica de enrutamiento.
4. Robustez: El marco se evalúa tanto bajo llegadas de Poisson estándar como bajo llegadas de Proceso de Poisson Modulado por Markov (MMPP) de ráfagas, demostrando mejoras consistentes en el rendimiento.

Resultados experimentales

Los autores evaluaron su enfoque utilizando tres modelos Qwen3 (0.6B, 8B, 32B) desplegados en GPUs H100 con el marco de servicio vLLM. Compararon su enrutador basado en SFS contra tres bases de comparación:

• Round Robin: Asignación cíclica que ignora la carga de trabajo.
• Shortest Queue: Asigna a la instancia con menos solicitudes (enfocado en latencia, ajeno a la precisión).
• Latencia-Agnóstico: Maximiza la utilidad ignorando la latencia.

Hallazgos clave:

• Mejora de la utilidad: El método propuesto ofrece hasta un 40% de mejora en la utilidad de precisión-costo en comparación con las bases de equilibrio de carga estándar (como Shortest Queue) manteniendo las mismas restricciones de latencia.
• OnTimeUtility: A través de diversas tasas de llegada de consultas, el enrutador SFS logró un 33% más de Área Bajo la Curva (AUC) para OnTimeUtility en comparación con la mejor base de comparación.
• Control de compensación: Al variar el parámetro de penalización de latencia $\delta$ en la relajación de Lagrange, el enrutador proporciona una curva de compensación controlable entre utilidad y latencia, superando a las bases de comparación que no pueden equilibrar estas métricas de manera efectiva.
• Rendimiento del estimador: La base de comparación basada en el rendimiento (que ignora la interferencia de decode) mostró un MAPE del 85%, mientras que el estimador SFS lo redujo al 5%, resaltando la necesidad de simular la dinámica completa del marco de servicio.

Significado y afirmaciones

El artículo afirma que la optimización conjunta de la precisión, el costo y la latencia es esencial para un despliegue eficiente de LLM en cargas de trabajo dinámicas. Los autores argumentan que los enrutadores existentes fallan porque tratan la latencia como una preocupación de nivel de sistema separada de la selección del modelo, lo que conduce a una utilización subóptima de los recursos y violaciones de los SLO.

Al integrar un estimador de latencia ligero basado en simulación directamente en la decisión de enrutamiento, el marco propuesto evita instancias sobrecargadas preservando un fuerte rendimiento de precisión-costo. El trabajo demuestra que es posible lograr ganancias significativas en utilidad (hasta un 40%) sin sacrificar las restricciones de latencia, unificando efectivamente los objetivos previamente aislados de "enrutamiento inteligente" (precisión/costo) y "equilibrio de carga" (latencia). Los autores posicionan esto como una solución práctica para despliegues del mundo real donde las cargas de trabajo de consultas son dinámicas y los SLO son estrictos.