💻 computer science

Load Testing for Machine Learning Model Serving Systems at Scale

Este artículo presenta \sys, un marco de trabajo de pruebas de carga industrial que emplea una estrategia de búsqueda adaptativa y basada en retroalimentación para estimar sistemáticamente la capacidad de GPU para sistemas de servicio de ML, demostrando a través de 14 estudios de caso que mejora significativamente la eficiencia de los recursos y la confiabilidad operativa al reducir los errores de estimación y prevenir violaciones de los SLO.

Autores originales: Amr S. Abdelfattah, Nakul Tirumalai, Indu Mohanan, Xiao Li, Pengchao Wang, Dinakar Dhurjati, Eric Sung

Publicado 2026-06-23

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Amr S. Abdelfattah, Nakul Tirumalai, Indu Mohanan, Xiao Li, Pengchao Wang, Dinakar Dhurjati, Eric Sung

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres el gerente de una cocina de alta tecnología masiva. Esta cocina no cocina comida; procesa millones de problemas matemáticos complejos cada segundo utilizando potentes tarjetas gráficas (GPUs) para ejecutar modelos de Inteligencia Artificial (IA).

¿El gran problema? No sabes exactamente cuántos chefs (recursos de GPU) necesitas.

Si contratas muy pocos, la cocina se satura, los pedidos se retrasan y los clientes se enojan (esto se llama violar los "Objetivos de Nivel de Servicio" o SLOs).
Si contratas demasiados, estás pagando por sillas vacías y chefs ociosos, desperdiciando una enorme cantidad de dinero y energía.

Durante mucho tiempo, determinar el número adecuado de chefs fue un juego de adivinanzas. Este documento presenta un nuevo sistema llamado Vanguard que actúa como un gerente de "pruebas de estrés" súper inteligente para encontrar el número perfecto de chefs.

Así es como funciona Vanguard, explicado mediante analogías sencillas:

1. El problema con las herramientas antiguas

Las herramientas de prueba de estrés estándar (como JMeter o k6) son como entrenadores de fitness genéricos. Son excelentes para probar a un humano corriendo en una cinta de correr, pero no entienden las peculiaridades de una cocina de IA.

El problema del "Calentamiento": Cuando enciendes una GPU de alto rendimiento, es como el motor de un coche de carreras. Necesita unos minutos para calentarse, cachear sus partes y estar listo. Si la pruebas inmediatamente, parece lenta y perezosa. Las herramientas antiguas piensan que el motor está roto; Vanguard sabe que debe esperar a que el motor se caliente antes de juzgar su velocidad.
El problema del "Agrupamiento" (Batching): Los sistemas de IA suelen agrupar las solicitudes (como un autobús recogiendo pasajeros) para ser eficientes. Si el autobús va medio vacío, es rápido. Si está lleno, podría volverse lento. Esta relación no es una línea recta; es una curva. Las herramientas antiguas asumen una línea recta; Vanguard entiende la curva.
El problema del "Hardware": Un modelo puede funcionar perfectamente en un tipo de GPU pero tener dificultades en otro. Vanguard prueba el hardware específico que realmente utilizas.

2. Cómo funciona Vanguard: La "Búsqueda Inteligente"

En lugar de simplemente adivinar un número y esperar lo mejor, Vanguard utiliza una estrategia de búsqueda basada en la retroalimentación. Es como sintonizar una radio para encontrar la estación más clara.

La Búsqueda Adaptativa: Vanguard comienza con un número bajo de solicitudes. Aumenta lentamente el volumen (añade más solicitudes).
Amortiguación (El amortiguador): A medida que se acerca al límite donde el sistema podría colapsar, reduce la velocidad de sus pasos. No frena de golpe; reduce la velocidad suavemente para evitar pasarse del límite.
Tolerancia a Picos (Ignorar el ruido): A veces, el sistema tiene un pequeño hipo momentáneo (un "pico"). Un sistema tonto podría entrar en pánico y dejar de probar. Vanguard ignora estos pequeños baches, sabiendo que son solo ruido, y continúa hasta que ve un problema real y sostenido.
Convergencia (Saber cuándo detenerse): Sigue probando hasta que está seguro de haber encontrado el "punto ideal": el número máximo de solicitudes que el sistema puede manejar sin romper sus promesas al usuario.

3. El motor de "Control de Salud"

Vanguard no solo mira un número (como la velocidad). Mira un tablero de signos vitales, similar a un médico revisando a un paciente.

Verifica si el sistema está Saludable (con espacio de sobra para respirar).
Verifica si está en Advertencia (acercándose al límite).
Verifica si está en Estado Crítico (a punto de colapsar).
Para evitar falsas alarmas (como un monitor de ritmo cardíaco fallando), utiliza una regla de "histéresis": el sistema debe permanecer en un estado de "Advertencia" durante unos minutos antes de que el sistema declare oficialmente que tiene problemas. Esto evita el pánico ante fallos temporales.

4. Lo que encontraron (Los Resultados)

El equipo probó Vanguard en 14 modelos de IA diferentes (como motores de recomendación, reconocedores de imágenes y generadores de texto) en Meta. Esto es lo que aprendieron:

El tráfico real es el rey: El mayor error que comete la gente es usar datos falsos o inventados para probar. El documento encontró que usar tráfico real grabado (reproduciendo solicitudes reales de usuarios) redujo los errores del 30% a solo un 2–6%. Es la diferencia entre probar un coche en una pista suave frente a probarlo en la carretera accidentada por la que realmente conducirá.
El calentamiento importa: Ignorar el periodo de "calentamiento" causó un error del 22% en las predicciones. Simplemente no puedes juzgar la velocidad máxima de un coche en el segundo en que giras la llave.
El efecto de la "Habitación Concurrida": Cuando múltiples modelos comparten la misma GPU (co-ubicación), interfieren entre sí, como personas hablando unas sobre otras en una habitación concurrida. Este es una fuente importante de error que es difícil de predecir.
Precisión: Con todos los ajustes correctos, Vanguard predijo la capacidad con un 94% de precisión.
Impacto en el mundo real: Al usar Vanguard, la empresa pudo reducir los recursos de GPU desperdiciados entre un 15% y un 83% para diferentes modelos y redujo significamente las veces que sus servicios colapsaron debido a la falta de personal.

5. La Conclusión

El documento concluye que no puedes simplemente usar herramientas genéricas para probar la IA. Necesitas un enfoque especializado que entienda:

Calentamiento: Deja que el sistema se caliente antes de probar.
Datos Reales: Prueba con tráfico real, no con datos falsos.
Paciencia Inteligente: No entres en pánico por pequeños fallos; busca tendencias sostenidas.

Al seguir estas reglas, las empresas pueden ahorrar enormes cantidades de dinero en hardware mientras mantienen sus servicios rápidos y confiables.

Resumen Técnico: Pruebas de Carga para Sistemas de Servicio de Modelos de Aprendizaje Automático a Escala

Planteamiento del Problema

El servicio de modelos de aprendizaje automático (ML) se ha convertido en un consumidor dominante de infraestructura de GPU, sin embargo, la planificación de capacidad para estos sistemas sigue siendo en gran medida ad hoc. Las herramientas tradicionales de pruebas de carga (p. ej., JMeter, Locust) y las suites de benchmarking (p. ej., MLPerf) no logran abordar las características únicas de la inferencia de ML, lo que conduce a dos problemas críticos:

Sub-aprovisionamiento: Resulta en violaciones de los Objetivos de Nivel de Servicio (SLO), degradación de la experiencia del usuario e incidentes en producción.
Sobre-aprovisionamiento: Desperdicia recursos sustanciales de GPU que podrían servir otros flujos de trabajo.

El documento identifica cuatro desafíos específicos que las herramientas de propósito general no abordan:

Calentamiento del Modelo (Model Warmup): La inferencia en GPU implica compilación JIT, caché de kernels de CUDA y carga de pesos, lo que crea un rendimiento transitorio que no refleja el estado estacionario.
Loteo Dinámico (Dynamic Batching): Los sistemas de servicio modernos agrupan las solicitudes en lotes (batches), lo que crea una relación no lineal entre la carga concurrente y la latencia por solicitud.
Heterogeneidad de Arquitectura: Los sistemas deben manejar diversos modelos (desde búsquedas de milisegundos hasta salidas generativas de varios segundos) que requieren diferentes enfoques de prueba.
Sensibilidad al Hardware: El rendimiento varía significamente entre generaciones de GPU, configuraciones de memoria y patrones de co-ubicación.

Metodología: El Marco de Trabajo Vanguard

Los autores presentan Vanguard, un marco de trabajo de pruebas de carga industrial diseñado para estimar sistemáticamente la capacidad de servicio mediante una estrategia de búsqueda adaptativa impulsada por retroalimentación.

Arquitectura del Sistema

Vanguard es un sistema distribuido que consta de diez componentes clave:

Orquestación y Ejecución: Un Orquestador de Tareas gestiona el ciclo de vida de las pruebas, mientras que un Replay de Carga genera tráfico controlado utilizando un diseño de bucle abierto (open-loop) para evitar la omisión coordinada (donde los retrasos en el procesamiento suprimen la generación de nuevas solicitudes, enmascarando la latencia real).
Motor de Estrategia: Implementa el patrón de estrategia para desacoplar los algoritmos de búsqueda. Soporta estrategias base (Barrido de Tasa Múltiple, Búsqueda Binaria, Estabilidad de Tasa Constante) y la Búsqueda Adaptativa Impulsada por Retroalimentación central.
Motor de Evaluación de Salud: Mapea métricas brutas (latencia, rendimiento, tasas de error, utilización de GPU) a cinco estados de salud (Saludable, Advertencia, No Saludable, Crítico, Sobrecargado). Emplea ponderación de múltiples métricas e histéresis (requiriendo que los estados persistan durante ventanas consecutivas) para evitar el "flapping" o fluctuación cerca de los límites de capacidad.
Infraestructura: Incluye un Registro de Modelos para artefactos versionados, un Asignador de Capacidad para el aprovisionamiento de recursos y un Registrador de Telemetría para la reproducibilidad.

Estrategia de Búsqueda Adaptativa

El núcleo de la contribución es un algoritmo adaptativo que utiliza la retroalimentación de métricas en tiempo real para converger en el rendimiento máximo sostenible. Emplea tres mecanismos:

Amortiguación (Dampening): Reduce el tamaño del paso a medida que la búsqueda se acerca al límite de capacidad para evitar sobrepasos.
Tolerancia a Picos (Spike Tolerance): Ignora picos métricos transitorios por debajo de un umbral configurable para evitar la convergencia prematura.
Detección de Convergencia: Monitorea la varianza de las estimaciones recientes; la búsqueda termina cuando el coeficiente de variación cae por debajo de un umbral.

Diseño Experimental

El estudio evalúa Vanguard a través de 14 casos de estudio industriales que abarcan cuatro clases de arquitectura: Recomendación, Clasificación (Ranking), Visión y NLP.

Verdad de Terreno (Ground Truth): Definida como el IPS (Inferencias Por Segundo) P90 medido en estado estacionario durante una ventana de 7 días tras el lanzamiento, excluyendo periodos de incidentes y el calentamiento inicial.
Variables: El estudio compara la reproducción de tráfico sintético frente a tráfico grabado, diferentes hardware (A100 vs. H100) y estudios de ablación desactivando funciones específicas conscientes de ML (p. ej., manejo de calentamiento, conciencia de loteo).
Análisis Estadístico: Utiliza pruebas no paramétricas, análisis de Bland-Altman para concordancia y regresión lineal multivariante para identificar factores de error.

Resultados Clave

1. Reproducibilidad

Las mediciones de Vanguard son altamente reproducibles en hardware idéntico (Coeficiente de Correlación Intraclase = 0.96, Coeficiente de Variación = 2.9%). Sin embargo, las pruebas entre distintos hardwares (A100 vs. H100) muestran un sesgo positivo sistemático del 4.9%, indicando la necesidad de factores de corrección específicos de hardware.

2. Impacto de las Decisiones de Diseño Específicas de ML (RQ1)

Un estudio de ablación reveló que ciertas funciones conscientes de ML son críticas para la precisión:

Calibración de la Carga de Trabajo: Cambiar de tráfico sintético a reproducción de tráfico grabado redujo el error de estimación de ~30% a 2–6%. Este fue el mayor incremento de precisión.
Manejo de Calentamiento (Warmup): Excluir adecuadamente el periodo transitorio de calentamiento redujo el error en un 22.2%.
Otros Factores: El monitoreo de salud de la GPU, los SLO de múltiples métricas y la conciencia de loteo también contribuyeron mejoras significativas en la precisión (reducción de error del 7–14% cada uno).

3. Precisión de la Predicción de Capacidad (RQ2)

Precisión General: Las estimaciones de Vanguard coincidieron estrechamente con la capacidad observada tras el lanzamiento con un sesgo medio de −2.1% (una ligera subestimación, que es preferible operativamente) y límites de concordancia del 95% de [−14.8%, +10.6%]. La correlación fue fuerte ( $R^2 = 0.94$ ).
Predictores de Error: El análisis de regresión identificó el Tamaño del Modelo (conteo de parámetros en escala logarítmica) y la Densidad de Co-ubicación (número de modelos co-tenidos) como los predictores más fuertes del error de estimación. Los modelos más grandes exhiben un comportamiento de calentamiento variable, mientras que las cargas de trabajo co-ubicadas introducen interferencias no capturadas en pruebas aisladas.

Significancia y Contribuciones

El artículo afirma ser el primer estudio empírico de pruebas de carga específicamente para el servicio de modelos de ML a escala. Su significancia radica en:

Cerrar la Brecha: Aborda la desconexión entre las pruebas de carga tradicionales y las necesidades específicas de la planificación de capacidad de ML, ofreciendo un marco que maneja el loteo dinámico, el calentamiento y la sensibilidad al hardware.
Impacto Industrial: En 14 casos de estudio, el despliegue de Vanguard condujo a:
- Una reducción del error de estimación del 30% al 2–6%.
- Reducciones de recursos de GPU del 49–83% para modelos individuales al eliminar el sobre-aprovisionamiento.
- Una reducción sustancial de los incidentes de lanzamiento causados por el sub-aprovisionamiento.
Guías Accionables: Los autores destilan seis lecciones para profesionales, enfatizando que la representatividad de la carga de trabajo (usar tráfico grabado) y el manejo del calentamiento son más impactantes que la sofisticación algorítmica. También destacan la necesidad de la histéresis en la evaluación de salud y la importancia de considerar los efectos de co-ubicación.

El documento concluye que, si bien la estrategia adaptativa es efectiva para las arquitecturas actuales, se requiere trabajo futuro para abordar los modelos generativos (LLMs), que presentan desafíos distintos relacionados con la longitud variable de la salida y la presión del caché KV.