Serving Compound Inference Systems on Datacenter GPUs

JigsawServe es un marco de servicio pionero que optimiza conjuntamente la latencia, la precisión y el costo de los sistemas de inferencia compuestos en GPUs de centros de datos mediante la selección adaptativa de variantes de modelos y la asignación de recursos espacialmente particionados, logrando un aumento de 11,3 veces en la demanda servible en comparación con trabajos anteriores.

Lo esencial

¡Claro que sí! Imagina que este paper es como la historia de cómo construir y gestionar un restaurante de lujo (el sistema de inferencia) en un edificio gigante (el centro de datos) lleno de cocinas de alta tecnología (las GPUs), pero con un giro especial: en lugar de cocinar una sola sopa, cada cliente pide un menú completo compuesto (un "sistema de inferencia compuesto").

Aquí tienes la explicación sencilla, paso a paso:

1. El Problema: El Restaurante Caótico

Imagina que tienes un restaurante donde cada cliente pide algo complejo. Por ejemplo: "Quiero ver una foto de un perro, que me digan qué raza es, que me escriban un poema sobre ella y que me la lean en voz alta".

Para hacer esto, necesitas tres cocineros (modelos de IA) trabajando en cadena:

1. Uno identifica al perro.
2. Otro escribe el poema.
3. Otro lo lee en voz alta.

El problema actual:

• Desperdicio: A veces, el primer cocinero es muy rápido y espera a que el segundo termine, o viceversa.
• Espacio mal usado: Las cocinas (las GPUs) son enormes y caras. A veces, un solo cocinero ocupa toda la cocina aunque solo esté usando una sartén pequeña.
• Presión: Si llegan 100 clientes a la vez, el sistema se rompe o tarda demasiado (viola los tiempos de entrega o "SLOs").
• Rigidez: Antes, si un cliente pedía el menú completo, tenías que usar a los cocineros más rápidos y precisos para todo, aunque para el poema no necesitaras tanta precisión. Eso es un desperdicio de recursos.

2. La Solución: JIGSAWSERVE (El Chef Maestro)

Los autores crearon un nuevo sistema llamado JIGSAWSERVE. El nombre viene de "puzzle" (rompecabezas), porque este sistema sabe cómo encajar piezas pequeñas de diferentes tamaños para formar una imagen perfecta.

JIGSAWSERVE hace tres cosas mágicas para ahorrar dinero y tiempo:

A. El Menú Flexible (Escalado de Precisión)

Imagina que para identificar al perro, no necesitas al mejor chef del mundo con un microscopio; un chef promedio basta. Pero para el poema, sí necesitas un chef experto.

• JIGSAWSERVE elige automáticamente qué "versión" de cada cocinero usar. Usa uno rápido y "menos preciso" para tareas sencillas y uno lento y "muy preciso" para las tareas difíciles.
• Analogía: Es como pedir un café "normal" en lugar de un "espresso de especialidad" si solo quieres despertar, ahorrando energía.

B. La Cocina Compartida (Particionamiento Espacial)

Antes, si tenías una cocina gigante (una GPU potente), solo podía cocinar un plato a la vez, aunque el plato fuera pequeño.

• JIGSAWSERVE usa una tecnología moderna (como MIG en las tarjetas NVIDIA) que permite dividir una sola cocina gigante en varias cocinas pequeñas y aisladas.
• Analogía: Es como dividir una gran sala de cine en varias cabinas pequeñas. Puedes poner a 4 personas diferentes viendo películas distintas en la misma sala sin que se molesten entre sí. Así, una sola GPU puede atender a muchos "cocineros" a la vez.

C. El Planificador Inteligente (Presupuesto del Gráfico de Tareas)

El sistema sabe que las tareas están conectadas en una cadena (un gráfico). Si la primera tarea tarda mucho, las siguientes también se retrasan.

• JIGSAWSERVE no reparte el tiempo y el dinero al azar. Calcula exactamente cuánto tiempo y cuánta potencia necesita cada paso de la cadena para que el cliente final reciba su pedido a tiempo.
• Analogía: Es como un director de orquesta que sabe que si los violines tocan lento, los trompetas no necesitan tocar más rápido para compensar; simplemente ajusta el tempo de todos para que la sinfonía termine justo a tiempo.

3. Los Resultados: ¡Un Éxito Rotundo!

El equipo probó su sistema en un "centro de datos" simulado con muchas GPUs potentes. Los resultados fueron impresionantes:

• Más clientes, menos cocina: JIGSAWSERVE pudo atender 11.3 veces más clientes por segundo que los sistemas anteriores más parecidos.
• Ahorro masivo: En lugar de usar el 100% de las cocinas (GPUs), JIGSAWSERVE logró cumplir con los pedidos usando solo el 43.3% de los recursos disponibles. ¡Casi la mitad de la energía y espacio ahorrado!
• Casi sin errores: El sistema falló en cumplir los tiempos de entrega menos del 0.6% de las veces.

4. ¿Por qué es importante esto?

Hoy en día, aplicaciones como la Realidad Aumentada (gafas inteligentes), asistentes de voz o coches autónomos necesitan hacer muchas cosas a la vez (ver, escuchar, pensar, actuar).

Este paper nos dice que:

1. No necesitamos máquinas más grandes: Ya tenemos máquinas potentes, pero las estamos usando mal.
2. La flexibilidad es clave: Dejar que la IA elija su propia "versión" (rápida o precisa) según la tarea es vital.
3. Dividir para vencer: Compartir las GPUs de forma inteligente es el futuro para hacer que la Inteligencia Artificial sea más barata y rápida para todos.

En resumen: JIGSAWSERVE es como un gerente de restaurante superinteligente que sabe exactamente qué chef usar, cómo dividir la cocina para que quepan más platos, y cómo coordinar el tiempo para que nadie se quede esperando, logrando servir a muchísimos más clientes con la misma cantidad de cocinas.

Resumen técnico

Resumen Técnico: JIGSAWSERVE

1. El Problema

Las aplicaciones emergentes en dominios como la Realidad Extendida (XR) y los sistemas multi-agente están evolucionando hacia sistemas de inferencia compuestos. En lugar de ejecutar un único modelo monolítico, estos sistemas componen múltiples modelos de aprendizaje automático (ML) en forma de un grafo de tareas (DAG) para servir cada solicitud.

Esto presenta dos desafíos principales para el despliegue eficiente en GPUs de centros de datos:

1. Asignación de Presupuestos (SLOs): Los objetivos de nivel de servicio (SLO) de latencia y precisión se definen para el sistema completo (de extremo a extremo), no para tareas individuales. Es necesario determinar cómo repartir estos presupuestos entre las diferentes tareas del grafo para maximizar la eficiencia.
2. Asignación de Recursos Heterogénea: Los diferentes modelos dentro de un mismo sistema tienen requisitos de recursos muy dispares. Las soluciones actuales a menudo asignan recursos de manera rígida (una GPU entera por modelo) o no consideran la granularidad fina que ofrecen las GPUs modernas. Además, la infrautilización de las GPUs en los centros de datos es un problema crítico.

2. Metodología: JIGSAWSERVE

El artículo presenta JIGSAWSERVE, el primer marco de trabajo (framework) de servicio que optimiza conjuntamente la latencia, la precisión y el costo (en recursos de GPU) mediante tres mecanismos clave:

• Escalado de Precisión por Tarea: Selección adaptativa de variantes de modelos (con diferentes compromisos entre precisión, latencia y coste) para cada tarea específica del grafo.
• Particionamiento Espacial de GPU: Utilización de mecanismos de hardware como MIG (Multi-Instance GPU) y MPS (Multi-Process Service) de NVIDIA. Esto permite dividir una GPU física en múltiples "segmentos" aislados (instancias MIG) y ejecutar múltiples procesos MPS dentro de ellos, minimizando la interferencia y maximizando la utilización.
• Presupuestación Informada por el Grafo de Tareas: Un enfoque que no trata las tareas de forma aislada, sino que considera la estructura del DAG, los factores multiplicativos de las solicitudes (cuántas salidas genera una tarea para alimentar a la siguiente) y los SLOs globales.

Componentes del Sistema:

1. Manejador de Registro: Define el grafo de tareas, las variantes de modelos y los SLOs.
2. Perfilador (Profiler): Realiza un perfilado offline de latencia y rendimiento para todas las combinaciones de variantes de modelos, tamaños de lote (batch size) y tipos de segmentos de GPU.
3. Controlador: Utiliza un problema de Programación Lineal Entera Mixta (MILP) para encontrar la configuración óptima. El controlador decide cuántas instancias de cada variante de modelo ejecutar, en qué tipo de segmento de GPU y con qué tamaño de lote, respetando las restricciones de latencia, precisión y recursos totales.
4. Frontend: Gestiona las solicitudes de los clientes, enruta las tareas y monitorea la demanda para desencadenar reconfiguraciones.

Formulación MILP:
El controlador resuelve un MILP donde las variables de decisión son el número de instancias de cada variante de modelo en cada tipo de segmento de GPU. Las restricciones incluyen:

• Latencia: La suma de los tiempos de inferencia y cola en cualquier ruta del grafo no debe exceder el SLO de latencia.
• Rendimiento: La capacidad total de procesamiento debe satisfacer la demanda de solicitudes (considerando factores multiplicativos entre tareas).
• Recursos: El total de "rebanadas" (slices) de GPU utilizadas no puede exceder la capacidad disponible.
• Precisión: La precisión efectiva del sistema (calculada como un promedio ponderado de las precisiones de las rutas) debe superar un umbral definido (ej. 90% de la precisión máxima posible).

3. Contribuciones Clave

1. JIGSAWSERVE: Un marco novedoso que integra por primera vez el escalado de precisión, el particionamiento espacial de GPU y la presupuestación informada por el grafo de tareas.
2. Evaluación Analítica: Demuestran que el particionamiento espacial (S) es el factor individual más impactante (5.25x de mejora sobre sistemas no optimizados), seguido por el escalado de precisión (1.6x) y la presupuestación informada por el grafo (1.1x). La combinación de los tres (A+S+T) logra una capacidad de servicio 21.6 veces mayor que un sistema no optimizado.
3. Superioridad sobre el Estado del Arte: Comparado con el trabajo más cercano (Loki), que realiza escalado de precisión pero no particionamiento espacial, JIGSAWSERVE ofrece una capacidad de servicio 11.3 veces mayor.
4. Validación Empírica: Muestran que JIGSAWSERVE satisface los SLOs de precisión y latencia utilizando solo el 43.3% de los recursos de GPU disponibles en promedio, con menos del 0.6% de violaciones de SLO de latencia.

4. Resultados

Los experimentos se realizaron en un servidor con 4 GPUs NVIDIA H100, evaluando tres aplicaciones compuestas:

• Redes Sociales: Detección de objetos + generación de subtítulos (profundidad 1).
• Análisis de Tráfico: Detección de vehículos/personas + identificación de marca/modelo o género/edad (profundidad 2).
• Asistente AR: Detección + descripción + texto a voz (profundidad 3).

Hallazgos principales:

• Eficiencia de Recursos: JIGSAWSERVE utiliza significativamente menos recursos que las alternativas (S+T, A+T, A+S). En escenarios de alta demanda, las alternativas a menudo exceden un 10% de violaciones de SLO o requieren el doble de recursos.
• Flexibilidad de Configuración: El sistema elige dinámicamente variantes de modelos menos precisas para tareas que tienen un impacto menor en la calidad final o que son cuellos de botella de recursos, mientras mantiene modelos de alta precisión donde es crítico.
• Uso de Particionamiento: El sistema aprovecha agresivamente las instancias MIG pequeñas (ej. 1/7 de GPU) con concurrencia MPS, evitando el desperdicio de recursos de una GPU completa para tareas ligeras.

5. Significado e Impacto

Este trabajo es fundamental para la evolución de la infraestructura de IA en centros de datos:

• Eficiencia Operativa: Demuestra que es posible servir sistemas de inferencia complejos y compuestos con una fracción de los recursos actuales, reduciendo costos y huella de carbono.
• Paradigma de Diseño: Establece que la optimización conjunta de la estructura del grafo de tareas, la selección de modelos y la asignación de hardware es esencial. Optimizar solo una de estas dimensiones (como hacen trabajos previos) resulta en suboptimización significativa.
• Recomendaciones para la Industria:
  1. La comunidad de ML debe seguir liberando múltiples variantes de modelos para permitir flexibilidad entre precisión y rendimiento.
  2. Los fabricantes de GPU deben priorizar y desarrollar mecanismos de particionamiento espacial (como MIG) para permitir una asignación de recursos de granularidad fina.

En conclusión, JIGSAWSERVE representa un avance crítico hacia la viabilidad económica y técnica de desplegar sistemas de inferencia compuestos a gran escala en la nube.