Prism: Cost-Efficient Multi-LLM Serving via GPU Memory Ballooning

Prism es un marco de co-servicio de LLM centrado en la memoria que utiliza una novedosa técnica de expansión de memoria llamada kvcached para reclamar y reasignar dinámicamente la memoria GPU a través de múltiples modelos, unificando así el intercambio espacial y temporal para mejorar la rentabilidad y el cumplimiento de los SLO en entornos de producción.

Lo esencial

Imagina que diriges un hotel masivo con miles de habitaciones (GPUs) y miles de huéspedes diferentes (modelos de IA). Entre ellos hay celebridades que quieren una habitación las 24 horas del día, los 7 días de la semana, y otros que son turistas que solo aparecen para un registro de 10 minutos una vez al día.

El problema es que tu hotel es costoso de operar. Si le das a cada turista su propia habitación privada por si acaso aparece, terminas con el 90% de tu hotel vacío y desperdiciado. Pero si intentas apretujar a todos en una sola habitación, se genera el caos, y las celebridades se enojan porque tienen que esperar.

Prism es un nuevo y astuto gerente de hotel que resuelve esto utilizando un truco llamado "Memory Ballooning" (Inflado de Memoria).

Así es como funciona, desglosado en conceptos simples:

1. El Problema: La trampa de la "Habitación Estática"

En la forma antigua de gestionar la IA, si se le asignaba una habitación a un modelo (un huésped), esa habitación era suya para siempre, incluso si estaba durmiendo (inactivo).

• Compartición de Espacio (La forma antigua): Intentas poner a varios huéspedes en una misma habitación. Funciona de maravilla si todos están despiertos y charlando. Pero si un huésped se va por una semana, su mitad de la habitación se queda vacía, y el otro huésped no puede usarla.
• Compartición de Tiempo (La otra forma antigua): Sacas a un huésped para dejar entrar a otro. Esto funciona si los huéspedes vienen en momentos diferentes. Pero si dos huéspedes llegan exactamente en el mismo segundo, tienes que estar sacándolos y metiéndolos constantemente. Este proceso de "sacar y meter" es lento y hace que todos esperen (lag), provocando que pierdan sus plazos de entrega.

El tráfico de IA en el mundo real es desordenado. A veces, un grupo de modelos se activa al mismo tiempo, y otras veces todos se quedan quietos. Ninguna estrategia antigua podía manejar este cambio.

2. La Solución: El truco del "Inflado"

Prism introduce un nuevo gestor llamado kvcached (el conductor del globo). Piensa en la memoria de la GPU no como un conjunto de habitaciones fijas, sino como globos inflables.

• El Globo Elástico: Cuando un modelo está ocupado y necesita más espacio para pensar, el gestor infla su globo, robando el aire vacío de otros modelos que actualmente están durmiendo.
• Desinflar para Otros: Cuando un modelo se va a dormir, su globo se encoge, liberando ese espacio para que un nuevo modelo que acaba de despertar pueda inflar su propio globo instantáneamente.
• Sin Mover los Muebles: Lo mejor de todo es que los modelos ni siquiera saben que esto está sucediendo. Ellos solo ven una habitación que mágicamente se expande y se contrae. El gestor se encarga del trabajo pesado tras bambalinas.

3. La Estrategia de Dos Pasos

Prism utiliza dos reglas inteligentes para decidir quién recibe el aire:

• Regla 1: El Programador Global (El Gerente del Hotel): Observa todo el hotel. Pregunta: "¿Qué grupo de huéspedes está activo actualmente?". Luego, coloca a esos huéspedes activos en el mismo piso (GPU) para que puedan compartir el espacio fácilmente. Si un huésped está durmiendo, lo mueve a un armario de almacenamiento (CPU) para liberar espacio. Rearregla constantemente el hotel para asegurar que ningún piso esté sobrepoblado mientras otro está vacío.
• Regla 2: El Programador Local (El Conserje): Observa las solicitudes específicas que llegan en este preciso momento. Si dos huéspedes están peleando por el último trozo de espacio, el conserje verifica quién tiene el plazo más urgente. Deja entrar primero al huésped urgente y le dice al menos urgente que espere un momento. Esto garantiza que las tareas más importantes se completen a tiempo.

4. Los Resultados

El artículo probó Prism con datos reales de los principales proveedores de IA y descubrió que:

• Servicio más Rápido: Cumplió con sus promesas de velocidad (SLO) hasta 3.3 veces mejor que los métodos anteriores.
• Costos más Bajos: Para obtener el mismo nivel de rendimiento, Prism necesitó la mitad del número de GPUs (o pudo manejar el doble de solicitudes con el mismo hardware).
• Prueba del Mundo Real: Ya se ha implementado en entornos de producción con más de 10,000 GPUs, ayudando a las empresas a generar significativamente más ingresos por GPU al convertir el tiempo "ocioso" desperdiciado en trabajo facturable.

Resumen

Prism es como un inteligente y elástico gerente de hotel. En lugar de bloquear a los huéspedes en habitaciones fijas o sacarlos constantemente, utiliza globos inflables para compartir el espacio de forma dinámica. Expande el espacio para los modelos ocupados y lo reduce para los que duermen, asegurando que el hotel esté siempre lleno, sea eficiente y rápido, sin que nadie tenga que hacer fila.

Resumen técnico

Resumen Técnico: Prism

Declaración del Problema

Los proveedores de inferencia que alojan miles de modelos de lenguaje de gran tamaño (LLM) enfrentan un desafío crítico de eficiencia: mantener la disponibilidad para modelos esenciales de bajo volumen mientras minimizan los costos a medida que los precios de los tokens disminuyen. El análisis de trazas de producción revela que las cargas de trabajo del mundo real exhiben un patrón de ráfagas grupales dinámicas, donde subconjuntos específicos de modelos se activan juntos y cambian con el tiempo, impulsados por sistemas de IA compuestos y pipelines agénticos.

Las estrategias de servicio existentes no logran adaptarse a esta variabilidad:

• Compartición de Espacio (Colocación): La colocación de múltiples modelos en una GPU para utilizar la memoria no utilizada funciona para modelos de tráfico continuo, pero crea una severa fragmentación de memoria durante periodos prolongados de inactividad. Esto impide que los modelos activos escalen para cumplir con los requisitos de los Objetivos de Nivel de Servicio (SLO), ya que la memoria queda bloqueada estáticamente por los modelos inactivos.
• Compartición de Tiempo (Intercambio/Swapping): El intercambio de modelos dentro y fuera de la memoria de la GPU gestiona bien el tráfico esporádico, pero sufre de una alta sobrecarga de latencia (segundos) durante fluctuaciones rápidas de la carga de trabajo. Esto causa "trashing" (hiperactividad de intercambio) cuando múltiples modelos experimentan solicitudes entrelazadas, lo que conduce a violaciones de los SLO.

El desafío central es la falta de un mecanismo principista para unificar la compartición espacial y temporal. Los sistemas actuales fuerzan un compromiso entre la adherencia al SLO y la eficiencia de recursos, siendo incapaces de transicionar fluidamente entre estrategias a medida que los patrones de carga de trabajo cambian de ráfagas volátiles a actividad entrelazada.

Metodología

Prism es un marco de compartición de GPU centrado en la memoria, diseñado para unificar la compartición espacial y temporal a través de la asignación elástica de memoria. Su arquitectura consta de tres componentes principales:

1. Inflado de Memoria de GPU (El controlador kvcached)

Prism introduce un controlador de inflado (balloon driver), kvcached, que se sitúa entre los motores de inferencia (por ejemplo, SGLang) y la memoria física de la GPU. Este controlador implementa el inflado de memoria para reclamar y reasignar memoria entre modelos sin interrumpir la ejecución.

• Desacoplamiento Virtual/Físico: Los motores reservan un gran espacio de direcciones virtuales, pero la memoria física se asigna y mapea bajo demanda. Esto permite que el sistema reduzca o expanda la huella física de un modelo en tiempo de ejecución.
• Gestión Unificada: kvcached trata los pesos del modelo y el caché KV como un pool unificado de páginas físicas. Soporta diversas arquitecturas de modelos mapeando bloques de tokens a páginas virtuales y segregándolos físicamente para evitar conflictos de forma.
• Optimizaciones: Para minimizar la sobrecarga, utiliza páginas de memoria de 2 MB, prioriza páginas parcialmente llenas y emplea un hilo de pre-asignación para la preparación asíncrona de páginas. Expone una abstracción de tensor elástico (eTensor) compatible con los kernels de atención existentes y CUDA graphs, lo que requiere cero cambios en el código de los motores de servicio.
• Carga Rápida: Para mitigar la latencia de arranque en frío, Prism desacopla los ciclos de vida de los motores de los ciclos de vida de los modelos utilizando un pool de motores reutilizables y emplea la carga de pesos en paralelo a través de varias GPUs vía NVLink para saturar el ancho de banda de interconexión.

2. Plano de Control Centrado en la Memoria

Prism emplea un programador jerárquico para gestionar la elasticidad proporcionada por kvcached:

• Colocación de Modelos Basada en la Carga (Global): Un programador global coloca los modelos en las GPUs para maximizar el margen de memoria para el inflado. Utiliza una heurística de Ratio de Presión de KV (KVPR), que cuantifica la contención de memoria basándose en las tasas de tokens ponderadas por SLO. El algoritmo coloca de forma codiciosa los modelos de alta demanda en las GPUs con la menor presión existente, asegurando que los modelos activos tengan espacio para expandir sus cachés KV durante las ráfagas.
• Arbitraje de Solicitudes Basado en el Margen (Local): Un programador local de la GPU gestiona solicitudes concurrentes de modelos colocados. En lugar de un aislamiento estático, utiliza una cola de solicitudes compartida y aplica el algoritmo de Moore-Hodgson para minimizar las pérdidas de plazos (deadlines). Prioriza las solicitudes basadas en su margen de tiempo (la diferencia entre el plazo y el tiempo de ejecución requerido), asegurando que las solicitudes urgentes y de baja latencia se sirvan antes que las de ejecución más larga, maximizando así el cumplimiento del SLO de TTFT (Tiempo hasta el Primer Token).

3. Integración del Sistema

Prism se implementa como una librería que extiende SGLang, utilizando las APIs de Gestión de Memoria Virtual (VMM) de CUDA. Opera como un proceso de control separado que coordina las expulsiones, activaciones y migraciones de modelos basadas en métricas de tiempo de ejecución.

Contribuciones Clave

1. Mecanismo de Compartición Unificado: Prism es el primer sistema en unificar la compartición espacial y temporal bajo un único esquema al tratar la memoria de la GPU como un recurso elástico. Permite que el sistema actúe como un sistema de compartición de tiempo (expulsando modelos inactivos) y como un sistema de compartición de espacio (co-sirviendo ráfagas activas) simultáneamente.
2. Controlador de Inflado kvcached: Un controlador de código abierto que permite la redistribución de memoria flexible y de grano fino (2 MB) entre LLMs heterogéneos con una sobrecarga de milisegundos y cero modificaciones de kernel.
3. Despliegue a Escala de Producción: El sistema ha sido desplegado en entornos de producción en más de 10,000 GPUs y es mantenido activamente.
4. Evaluación Exhaustiva: El artículo proporciona un análisis riguroso de trazas de producción de los principales proveedores (Hyperbolic, Novita AI) y plataformas de evaluación (Chatbot Arena), cubriendo 58 modelos heterogéneos durante periodos que van desde 11 días hasta 16 meses.

Resultados

Evaluado en un clúster de hasta 32 GPUs NVIDIA H100 utilizando trazas del mundo real:

• Cumplimiento de SLO: Prism logra hasta un 3.3× mayor cumplimiento del SLO de TTFT y un 2× mayor cumplimiento del SLO de TPOT en comparación con las líneas base de vanguardia (incluyendo MuxServe++, QLM y ServerlessLLM) utilizando el mismo número de GPUs.
• Eficiencia de Costos: Para lograr el mismo nivel de cumplimiento de SLO, Prism reduce el número de GPUs necesarias en un 2× (por ejemplo, logrando un 99% de SLO de TTFT con 16 GPUs frente a más de 32 para las líneas base) o gestiona 3.5× más solicitudes con el mismo hardware.
• Impacto en Producción: En despliegues en la sombra en dos empresas, Prism aumentó el rendimiento por GPU en un 3.89× (Empresa A) y los ingresos por GPU en un 2.86× (Empresa B) al convertir la capacidad inactiva en tokens facturables sin violar los SLO.
• Latencia: La latencia de activación de modelos se reduce a menos de 1.5 segundos incluso para modelos de 70B, y la sobrecarga de migración es insignificante (decenas de milisegundos) cuando se utiliza NVLink.

Significancia

El artículo argumenta que el cuello de botella fundamental en el servicio de múltiples LLM es la contención de la memoria de la GPU, no el cómputo. Al cambiar la perspectiva de la partición estática o el fraccionamiento de tiempo rígido hacia una gestión de memoria elástica, Prism resuelve el conflicto entre la necesidad de respuesta inmediata (que requiere colocación) y la necesidad de eficiencia de recursos (que requiere expulsión). El trabajo demuestra que una visión centrada en la memoria puede adaptarse fluidamente a la naturaleza de "ráfagas grupales" de las cargas de trabajo de IA modernas, permitiendo a los proveedores alojar miles de modelos de manera rentable mientras cumplen estrictamente con los SLO de latencia. La apertura del código de kvcached y su adopción en entornos de producción a gran escala validan la viabilidad práctica de este enfoque.