Strait: Perceiving Priority and Interference in ML Inference Serving

Aquí se presenta un resumen técnico detallado del artículo "Strait: Perceiving Priority and Interference in ML Inference Serving".

1. Planteamiento del Problema

Los sistemas de servicio de inferencia de Aprendizaje Automático (ML) enfrentan desafíos significativos al desplegarse en escenarios locales (on-premises) bajo alta utilización de GPU, específicamente en lo que respecta a la priorización de tareas y la satisfacción de plazos.

• Priorización Insuficiente: Los sistemas existentes (por ejemplo, TensorFlow Serving, NVIDIA Triton) a menudo carecen de un soporte robusto para priorizar tareas críticas (por ejemplo, monitoreo de seguridad, control de calidad) sobre las menos críticas. Aunque pueden admitir prioridades de flujo CUDA, estas indicaciones de hardware suelen ser ineficaces porque los núcleos concurrentes aún compiten por recursos compartidos, lo que potencialmente causa que las tareas de alta prioridad (HP) sufran interferencias severas o incumplan sus plazos.
• Interferencia Impredecible: La programación actual a menudo depende del compartir temporal (ejecución secuencial) o del compartir espacial estático (ejecución concurrente).
  • El compartir temporal sufre de bloqueo de cabeza de línea (HOL) y subutilización.
  • El compartir espacial mejora la utilización pero introduce interferencia durante la ejecución concurrente de núcleos y las transferencias de datos. Esta interferencia es no lineal y difícil de estimar, lo que conduce a latencia impredecible y violaciones de plazos.
• Falta de Preemptión: Las GPUs comerciales generalmente no admiten la preemptión real a nivel de tarea. Una vez que se despacha un lote, no puede ser interrumpido. Por lo tanto, las decisiones de programación deben tomarse proactivamente para evitar violar los plazos, lo que requiere una estimación precisa de la latencia bajo interferencia.

2. Metodología: El Sistema Strait

Strait es un sistema de servicio de inferencia diseñado para mejorar la satisfacción de plazos para tráfico de doble prioridad (Alta Prioridad y Baja Prioridad) mediante la modelización y gestión explícita de la interferencia.

A. Arquitectura del Sistema

Strait opera localmente en un nodo con múltiples GPUs. Consiste en:

1. Programador Consciente de Prioridad: Gestiona colas de tareas para diferentes modelos, asignándoles estado HP o LP.
2. Motor de Predicción de Interferencia: Un modelo global que estima los retrasos de latencia causados por la interferencia en la transferencia de datos y la ejecución de núcleos.
3. Bucle de Aprendizaje Adaptativo: Actualiza continuamente el modelo de predicción basándose en la retroalimentación en tiempo de ejecución para manejar la deriva de la carga de trabajo y las variaciones de hardware.

B. Modelado de Interferencia

Strait descompone la latencia de inferencia ($T_{inf}$) en cuatro componentes:
$$T_{inf} = T_{isol} + T_{data} + T_{kernel} + T_{queue}$$

1. Interferencia de Transferencia de Datos ($T_{data}$):

   • Se modela basándose en la observación de que las transferencias de datos PCIe con memoria fijada siguen un proceso FIFO.
   • Los retrasos se calculan en función del tiempo de finalización del lote anterior en el enlace PCIe.
   • La interferencia de transferencia aguas abajo a menudo es insignificante debido al pequeño tamaño de las salidas.

2. Interferencia de Ejecución de Núcleos ($T_{kernel}$):

   • Modelo de Predicción: Utiliza un modelo de crecimiento exponencial adaptativo para estimar la ralentización. La intuición es que la interferencia aumenta lentamente a baja presión de recursos, pero se acelera de forma superlineal a medida que aumenta la presión (superando la capacidad de la GPU para ocultar la latencia).
   • Entradas: El modelo utiliza promedios ponderados por tiempo de las métricas de rendimiento de recursos (por ejemplo, caché L1/L2, DRAM, Tensor Cores, CUDA Cores) de lotes co-ubicados.
   • Coeficiente de Prioridad: Incluye un parámetro aprendible ($coeff_p$) para reflejar que las tareas HP pueden experimentar menos interferencia que las tareas LP bajo la misma presión debido a la priorización de flujos CUDA.
   • Adaptación: El modelo utiliza optimización Adam y pérdida Huber para actualizar los parámetros en línea. Se recalibra basándose en la discrepancia entre la latencia de ejecución del núcleo predicha y la real, asegurando robustez frente a la deriva de concepto (por ejemplo, cambios en arquitecturas de modelos o tipos de GPU).

C. Algoritmo de Programación Consciente de Prioridad

El programador emplea una búsqueda binaria para determinar el tamaño de lote óptimo y la asignación de GPU. Hace cumplir dos restricciones principales:

1. No Violación de Prioridad Superior/Igual: Un nuevo lote solo se programa si no causa que las tareas HP o de prioridad igual en curso incumplan sus plazos.
2. Factibilidad del Propio Plazo: El nuevo lote debe poder cumplir su propio plazo, estimado conservadoramente (asumiendo que se ejecuta a la mitad del rendimiento de tiempo de ejecución de la GPU).
3. Limitación de LP: Para proteger las tareas HP, el sistema limita dinámicamente el rendimiento agregado de las tareas LP ($C_{low}$) utilizando una política de Aumento Aditivo-Decremento Multiplicativo (AIMD). Si una tarea HP incumple un plazo, $C_{low}$ se restablece a una línea base conservadora.

3. Contribuciones Clave

1. Programación Consciente de Interferencia: Strait es el primer sistema que integra la predicción explícita de interferencia (tanto transferencia de datos como ejecución de núcleos) directamente en la decisión de programación para tráfico de ML de doble prioridad.
2. Modelo de Predicción Adaptativo: Propone un modelo de regresión novedoso y autoadaptativo que aprende patrones de contención de recursos dinámicamente, superando las limitaciones de los modelos estáticos que fallan cuando cambian las cargas de trabajo o el hardware.
3. Gestión de Prioridades sin Preemptión: Demuestra cómo lograr una priorización de tareas efectiva en GPUs no preemptivas bloqueando o limitando proactivamente las tareas de baja prioridad para proteger los plazos de alta prioridad.
4. Evaluación Exhaustiva: Proporciona una evaluación rigurosa frente a líneas base de última generación, incluido el compartir temporal, el compartir espacial estático/reactivo y la preemptión definida por software (XSched).

4. Resultados de la Evaluación

Los experimentos se realizaron en GPUs NVIDIA L4 utilizando diversos modelos DNN (ResNet, ViT, YOLO, RoBERTa) bajo trazas estocásticas, uniformes y de producción.

• Satisfacción de Plazos:
  • Strait reduce las violaciones de plazos para tareas de Alta Prioridad entre 1.02 y 11.18 puntos porcentuales en comparación con los enfoques existentes de compartir espacial y preemptión.
  • Incurrió en un compromiso de rendimiento aceptable para las tareas de Baja Prioridad (degradación en el peor caso de solo 0.61 puntos porcentuales).
• Comparación con Preemptión (XSched):
  • En comparación con XSched (un sistema de preemptión a nivel de núcleo), Strait logra una satisfacción de plazos HP comparable pero ofrece un rendimiento más equitativo para las tareas LP.
  • XSched sufre de bloqueo HOL para tareas LP cuando dominan las solicitudes HP, mientras que la programación proactiva de Strait evita esto gestionando la concurrencia y los tamaños de lote.
• Adaptabilidad:
  • El modelo de predicción adaptativo supera significativamente a los modelos estáticos al transitar entre diferentes conjuntos de modelos (CNN vs. Transformer) o arquitecturas de GPU (Ada Lovelace vs. Ampere vs. Hopper), reduciendo los errores de predicción p99 en 7.2 a 8 puntos porcentuales.
• Sobrecarga:
  • La sobrecarga de programación es mínima (decenas de microsegundos), lo que la hace adecuada para el servicio en tiempo real.

5. Significado

Strait aborda una brecha crítica en la infraestructura de ML local donde la latencia determinista y la priorización de tareas son fundamentales (por ejemplo, automatización industrial, sistemas de seguridad). Al pasar de la gestión reactiva de recursos a la percepción proactiva de interferencia, Strait permite:

• Mayor Fiabilidad: Asegurar que las tareas críticas cumplan plazos estrictos incluso bajo carga pesada.
• Mejor Utilización de Recursos: Permitir el compartir espacial seguro sin la imprevisibilidad que normalmente obliga a los sistemas a depender del compartir temporal ineficiente.
• Escalabilidad: El enfoque es ortogonal al escalado automático a nivel de clúster y puede integrarse en pilas de servicio existentes (como Triton) para mejorar sus capacidades de manejo de prioridades sin requerir soporte de preemptión de hardware especializado.

En resumen, Strait proporciona un marco robusto para gestionar los complejos compromisos entre concurrencia, interferencia y prioridad en el servicio de inferencia acelerado por GPU moderno.