🤖 machine learning

ML Inference Scheduling with Predictable Latency

Este artículo identifica limitaciones críticas en los enfoques existentes de programación de inferencia de ML, específicamente su predicción de interferencia de grano grueso y su dependencia de modelos estáticos, lo que conduce a pronósticos de latencia inexactos y SLOs comprometidos bajo cargas de trabajo dinámicas.

Autores originales: Haidong Zhao, Nikolaos Georgantas

Publicado 2026-06-16

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Haidong Zhao, Nikolaos Georgantas

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La visión general: La cocina de un restaurante con mucho trabajo

Imagina la cocina de un restaurante de alta gama (la GPU) que es increíblemente rápida pero muy cara de mantener. Para ahorrar dinero, el dueño quiere cocinar la mayor cantidad de platos posible a la vez (mejorar la utilización).

En esta cocina, llegan pedidos de diferentes platos (como modelos de Machine Learning). Para ser eficientes, el chef agrupa pedidos similares en un solo "lote" (batch) para cocinarlos todos al mismo tiempo. Por ejemplo, en lugar de cocinar una hamburguesa, luego dos patatas fritas y luego otra hamburguesa, cocina una bandeja de cinco hamburguesas al mismo tiempo.

Sin embargo, la cocina tiene un problema: la interferencia.
Si el chef intenta cocinar una bandeja enorme de hamburguesas y una bandeja de suflés delicados al mismo tiempo en la misma estufa, podrían estorbarse entre sí. El calor podría volverse desigual o el chef podría tener que cambiar de herramientas con demasiada frecuencia. Esto ralentiza todo, haciendo que la comida llegue tarde.

En el mundo de la IA, la "comida tardía" significa latencia. Si un coche autónomo o una videollamada recibe una respuesta demorada porque la cocina estaba demasiado abarrotada, eso es un fallo. El objetivo de este artículo es averiguar cómo programar estos lotes de cocción para que la cocina se mantenga ocupada sin que la comida llegue tarde.

El problema: Adivinar es peligroso

El artículo sostiene que los métodos actuales para predecir cuánto "abarrotamiento" (interferencia) habrá son defectuosos por dos razones principales:

1. El problema de la "instantánea estática" (Granularidad gruesa)

La analogía: Imagina que eres un controlador de tráfico. Miras un mapa y ves un camión rojo y un coche azul en la autopista en este momento. Predices que conducirán uno al lado del otro durante todo el viaje.
La realidad: En la cocina, el camión rojo (Lote 1) podría abandonar la autopista después de 10 segundos, y un camión de carga gigante (Lote 3) podría entrar y quedarse durante 5 minutos.
La afirmación del artículo: Los programadores de IA actuales son como ese controlador de tráfico. Miran quién está en la cocina en este preciso momento y asumen que se quedarán así. Ignoran el hecho de que los lotes llegan y se van en diferentes momentos.

Resultado: La predicción es errónea. El sistema piensa que la cocina estará tranquila, pero de repente llega un nuevo lote pesado, causando un atasco y entregas tardías.

2. El problema del "mapa viejo" (Modelos estáticos/no adaptativos)

La analogía: Imagina que entrenaste a un robot chef para predecir tiempos de cocción usando un menú del año pasado. El año pasado, todo el mundo pedía hamburguesas. Este año, todo el mundo pide mariscos complejos.
La realidad: El robot chef sigue pensando: "Oh, solo son hamburguesas", y predice que el tiempo de cocción será rápido. Pero como el menú cambió, el robot se equivoca.
La afirmación del artículo: Los modelos de IA actuales son "estáticos". Se entrenan una vez con datos antiguos y nunca se actualizan. Si los tipos de solicitudes cambian (por ejemplo, se añaden nuevos modelos de IA o cambia el número de pedidos), el modelo antiguo pierde precisión.

Resultado: El sistema sigue cometiendo malas suposiciones porque está utilizando un mapa desactualizado para un mundo cambiante.

Lo que hicieron los autores (El experimento)

Los autores montaron una cocina de prueba (usando una GPU NVIDIA) para ver qué tan graves son estos dos problemas.

Probar el problema de la "instantánea": Realizaron simulaciones donde los lotes llegaban y se iban en diferentes momentos. Descubrieron que si ignoras estos cambios, tu predicción de cuánto tardará una tarea puede fallar por un margen enorme (a veces con un error de más del 60%). Es como adivinar que un viaje de 10 minutos tardará 16 minutos porque no sabías que un semáforo estaba a punto de ponerse en rojo.
Probar el problema del "mapa viejo": Entrenaron un modelo con un conjunto de platos y luego intentaron predecir los tiempos para un conjunto de platos completamente diferente. El modelo antiguo falló estrepitosamente. Sin embargo, cuando dejaron que el modelo "aprendiera sobre la marcha" (Aprendizaje en línea / Online Learning) —actualizando sus predicciones a medida que veía nuevos datos—, mejoró mucho en el manejo de los cambios.

La conclusión

El artículo concluye que para ejecutar una cocina de IA eficiente sin entregas tardías, necesitamos dejar de usar programadores "torpes" que:

Ignoran el hecho de que la multitud en la cocina cambia cada segundo.
Se niegan a aprender de nuevos tipos de pedidos.

En su lugar, necesitamos un programador inteligente que:

Observe la cocina dinámicamente (rastreando quién llega y quién se va).
Aprenda y actualice sus predicciones en tiempo real a medida que la carga de trabajo cambia.

Al hacer esto, podemos mantener la GPU (la cocina) ocupada y eficiente, garantizando al mismo tiempo que cada pedido (cada solicitud de IA) reciba su respuesta a tiempo.

Resumen Técnico: Programación de Inferencia de ML con Latencia Predecible

Planteamiento del Problema
Los sistemas de servicio de inferencia de aprendizaje automático (ML) buscan maximizar la utilización de la GPU mientras cumplen con Objetivos de Nivel de Servicio (SLO) o plazos estrictos. Para mejorar la utilización, los sistemas suelen emplear loteo dinámico (consolidación de solicitudes) y ejecución de lotes concurrentes (ejecución simultánea de múltiples lotes en una sola GPU). Sin embargo, la ejecución concurrente introduce interferencia a medida que los lotes compiten por recursos limitados de la GPU (por ejemplo, caché L2, DRAM, Tensor Cores). Esta interferencia crea desviaciones de latencia impredecibles, lo que dificulta la garantía de los SLO.

Los enfoques existentes de predicción de interferencia sufren dos limitaciones principales:

Predicción de Grano Grueso: A menudo ignoran la dinámica de coubicación en tiempo de ejecución. Un lote puede ubicarse conjuntamente con diferentes lotes concurrentes durante distintos periodos de su ejecución. Los modelos estáticos que asumen una fuente de interferencia única y constante no logran capturar estos cambios temporales, lo que conduce a predicciones inexactas.
Modelos No Adaptativos: Los enfoques existentes dependen típicamente de modelos estáticos entrenados fuera de línea (offline). Estos modelos se degradan en precisión cuando las características de la carga de trabajo cambian (por ejemplo, se despliegan nuevos modelos o cambian las tasas de llegada de solicitudes), lo que requiere un reentrenamiento y redespliegue costosos.

Metodología
Los autores evalúan estas limitaciones a través de una serie de simulaciones y experimentos realizados en una GPU NVIDIA L4 utilizando el motor de inferencia TensorRT.

Configuración Experimental: El estudio utiliza un conjunto diverso de modelos DNN (CNN como ResNet-50, VGG-19, ConvNeXt-B; y Transformers como RoBERTa-B, ViT-B-16, YOLO-v8n). Las cargas de trabajo siguen un proceso de llegada de Poisson, que varía desde cargas ligeras hasta pruebas de estrés.
Enfoque de Referencia (Baseline): La evaluación adopta el método de predicción de interferencia de gpulets [7], que utiliza un modelo de regresión lineal ( $\hat{y} = w^T x + b$ ). Las características de entrada ( $x$ ) consisten en métricas promedio de rendimiento de recursos (rendimiento de caché L2, DRAM y rendimiento de SM) del lote interferido y su lote coubicado, perfilados fuera de línea mediante NVIDIA Nsight Compute.
Evaluación de Limitaciones de Grano Grueso: Los autores simulan escenarios donde la dinámica de coubicación cambia (por ejemplo, el Lote 2 se ubica brevemente con el Lote 1, y luego durante un largo periodo con el Lote 3). Comparan:
- Estático: Ignorando las dinámicas por completo (usando el estado inicial de tiempo de ejecución).
- Dinámica Parcial: Rastreo de llegadas/salidas y suavizado de rendimiento mediante un Promedio Móvil Exponencialmente Ponderado (EWMA) con distintos factores de suavizado ( $\alpha$ ).
Evaluación de Limitaciones de No Adaptabilidad: Los autores comparan tres estrategias de aprendizaje a través de diferentes conjuntos de prueba (variaciones de carga, nuevos modelos y cargas de trabajo heterogéneas):
- Aprendizaje Fuera de Línea (Offline Learning): Un modelo estático entrenado una sola vez en un conjunto de datos específico.
- Aprendizaje en Línea (SGD): Actualiza los pesos del modelo en tiempo de ejecución utilizando el Descenso del Gradiente Estocástico.
- Aprendizaje en Línea (RLS): Actualiza los pesos del modelo utilizando Mínimos Cuadrados Recursores.

Resultados Clave

Impacto de la Dinámica de Coubicación: Ignorar la dinámica de coubicación en tiempo de ejecución conduce a errores de predicción significativos. Incluso al contabilizar parcialmente la dinámica mediante EWMA, el modelo de predicción todavía exhibe desviaciones notables. En la evaluación, aunque más del 50% de las predicciones se situaron dentro de un error relativo del 20%, una parte significativa superó el 60% de error. Los autores atribuyen esto al uso de valores de rendimiento de recursos coubicados estáticos e inexactos como características de entrada, los cuales no reflejan la presión de recursos real experimentada por un lote a lo largo del tiempo.
Impacto de los Cambios en la Carga de Trabajo: Los modelos estáticos sufren una degradación del rendimiento bajo cargas de trabajo cambiantes.
- Al probarse con modelos recién desplegados (Conjunto de Prueba 2) no vistos durante el entrenamiento, el método de aprendizaje fuera de línea mostró un aumento masivo en el Error Cuadrático Medio (MSE) de 0.0355 a 0.5480.
- Los métodos de aprendizaje en línea (tanto SGD como RLS) mitigaron significativamente esta degradación, manteniendo MSEs mucho más bajos (0.4311 para SGD y 0.3467 para RLS).
- RLS superó consistentemente al SGD simple, probablemente debido a su capacidad para explotar la información de curvatura para una convergencia más rápida, aunque con un mayor costo computacional.

Contribuciones Clave

Evaluación de Limitaciones de Predicción: El artículo proporciona evidencia empírica de que los métodos de predicción de interferencia de grano grueso, que ignoran las dinámicas de coubicación temporal, conducen a desviaciones sustanciales de precisión.
Evaluación de la Adaptabilidad del Modelo: El estudio demuestra que los modelos de predicción estáticos se degradan considerablemente bajo cambios en las características de la carga de trabajo (deriva de concepto o concept drift), mientras que los enfoques de aprendizaje en línea pueden mantener la precisión predictiva.
Base para Trabajos Futuros: Al probar rigurosamente el enfoque de gpulets, los autores establecen una base que muestra los modos de falla específicos de la predicción de interferencia de vanguardia actual en entornos de servicio de ML dinámicos.

Significado y Reivindicaciones
Los autores afirman modestamente que su trabajo destaca brechas críticas en las estrategias actuales de predicción de interferencia. Argumentan que, para que la programación de inferencia de ML logre una alta utilización de la GPU cumpliendo con los SLO, los mecanismos de predicción deben rediseñarse para:

Tener en cuenta la dinámica de coubicación en tiempo de ejecución en lugar de depender de instantáneas estáticas.
Incorporar capacidades de aprendizaje en línea para adaptarse a la evolución de las características de la carga de trabajo sin requerir un reentrenamiento completo.

El artículo se posiciona como una evaluación fundacional ("Trabajo en Progreso") que identifica la necesidad de modelos de predicción más sofisticados y adaptativos, así como mejores métricas de recursos, para permitir una latencia verdaderamente predecible en los sistemas de inferencia de ML.