🤖 AI

Coral: Cost-Efficient Multi-LLM Serving over Heterogeneous Cloud GPUs

Coral es un sistema de servicio multi-LLM adaptativo y consciente de la heterogeneidad que optimiza conjuntamente la asignación de recursos y las estrategias de servicio en diversas GPUs de nube, logrando una reducción de costes de hasta 2.79 $\times$ y una mayor buena producción de 2.39 $\times$ mediante el uso de una descomposición en dos etapas sin pérdida para permitir una toma de decisiones rápida y casi óptima.

Autores originales: Yixuan Mei, Zikun Li, Zixuan Chen, Shiqi Pan, Mengdi Wu, Xupeng Miao, Zhihao Jia, K. V. Rashmi

Publicado 2026-05-07

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yixuan Mei, Zikun Li, Zixuan Chen, Shiqi Pan, Mengdi Wu, Xupeng Miao, Zhihao Jia, K. V. Rashmi

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que gestionas una cocina de restaurante masiva y de alta gama. En el pasado, todos pensaban que necesitabas al chef más caro y de primera línea y la estufa más grande y rápida para cocinar cada plato individual. Pero en el mundo de los Modelos de Lenguaje Grandes (LLM)—los cerebros de IA detrás de los chatbots y generadores de código—las cosas han cambiado. Ningún "modelo de IA" es el mejor en todo. Algunos son excelentes escribiendo código, otros chateando, y algunos solo son buenos en tareas simples.

Además, la "cocina" (los servidores en la nube) es un caos de diferentes equipos. Tienes estufas "H100" súper rápidas y caras, pero a menudo están agotadas. También tienes estufas "L4" o "A100" más antiguas y baratas que están disponibles y, sorprendentemente, ofrecen tanta potencia de cocción por dólar como las caras.

El problema es: ¿Cómo gestionas una cocina con 46 recetas diferentes (modelos) usando una mezcla de estufas caras y baratas, sin desperdiciar dinero ni hacer esperar a los clientes?

Este es el problema que Coral resuelve.

La Vieja Forma: El Error de "Talla Única"

Los sistemas anteriores intentaron resolver esto tratando cada plato como una caja negra. Decían: "Para el plato de escritura de código, necesitamos una estufa H100 completa. Para el plato de chat, necesitamos una A100". No miraban dentro de la receta para ver si podían combinar partes de la estufa.

Esto llevó a dos grandes problemas:

Dinero Desperdiciado: A menudo compraban el equipo más caro incluso cuando una mezcla más barata habría funcionado igual de bien.
Cuellos de Botella: Si se agotaban las estufas caras, toda la cocina se detenía, incluso cuando tenían muchas estufas más baratas ociosas.

La Solución Coral: El Chef "Inteligente de Combinación"

Coral es como un jefe de cocina genio que se da cuenta de que un solo plato no necesita cocinarse en un solo tipo de estufa. En cambio, Coral divide el proceso de cocción en etapas y asigna la estufa perfecta a cada etapa.

Así es como funciona, usando una analogía simple:

1. La Estrategia de Dos Etapas (Offline vs. Online)

Coral divide su pensamiento en dos partes para evitar abrumarse:

Etapa 1: El Libro de Recetas (Offline)
Antes de que el restaurante abra, Coral pasa tiempo creando un enorme "Libro de Recetas". Para cada plato posible (modelo) y cada combinación posible de estufas (GPUs), calcula la mejor manera absoluta de cocinarlo.
- Ejemplo: Determina que para el plato "Qwen-3 235B", la mejor manera de cocinar la primera parte (prefill) es usando tres estufas L40S baratas y dos estufas H100 caras, dispuestas en una línea específica.
- Anota estas "recetas" perfectas como Plantillas de Servicio. Esto lleva mucho tiempo hacer, pero solo necesita ocurrir una vez.
Etapa 2: El Cambio Diario (Online)
Cuando el restaurante abre y empiezan a llegar los pedidos, Coral no se detiene a figuring out cómo cocinar desde cero. Solo mira su Libro de Recetas.
- Verifica: "Tenemos 5 L40s y 2 H100s disponibles ahora mismo. Necesitamos cocinar 100 platos Qwen-3".
- Elige instantáneamente la receta precalculada que se ajusta a esas estufas específicas y cumple con los requisitos de velocidad del cliente.
- Como las matemáticas difíciles se hicieron de antemano, Coral puede tomar estas decisiones en segundos, no en horas. Esto permite que la cocina se adapte instantáneamente si una estufa se rompe o si llega una avalancha de nuevos pedidos.

2. La Analogía del "Trabajo en Equipo"

Imagina que tienes dos equipos de trabajadores (dos modelos de IA diferentes) y un suministro limitado de herramientas (GPUs).

La Vieja Forma: El Equipo A se lleva todas las mejores herramientas porque son el equipo "mejor". Al Equipo B le quedan herramientas rotas y no puede terminar su trabajo.
La Forma de Coral: Coral mira el panorama completo. Se da cuenta de que el Equipo A realmente puede hacer su trabajo perfectamente bien con una mezcla de herramientas buenas y aceptables si reorganizan su flujo de trabajo. Esto libera las mejores herramientas para el Equipo B. Ambos equipos terminan su trabajo a tiempo y no se desperdician herramientas.

Por Qué Esto Importa

El documento probó Coral con 6 modelos de IA diferentes y 20 tipos diferentes de chips informáticos (GPUs). Los resultados fueron impresionantes:

Más Barato: Coral redujo el costo de ejecutar estos modelos de IA hasta en 2.79 veces en comparación con los mejores métodos existentes. Es como pagar 100 dólares por una comida y solo pagar 36 dólares por la misma calidad.
Más Rápido (Cuando los Recursos son Escasos): Cuando la "cocina" está abarrotada y las herramientas son difíciles de encontrar, Coral logró atender a 2.39 veces más clientes que la competencia sin ralentizarse.

La Conclusión

Coral es un sistema que deja de tratar los modelos de IA como máquinas rígidas de bloque único. En cambio, los trata como recetas flexibles que pueden cocinarse en una mezcla de equipos antiguos y nuevos. Al planificar la "mezcla perfecta" con anticipación y luego aplicarla rápidamente en tiempo real, ahorra cantidades masivas de dinero y mantiene la IA funcionando suavemente, incluso cuando el suministro de hardware es inestable.

En resumen: Coral es el gerente inteligente que sabe cómo usar una mezcla de herramientas caras y baratas para hacer el trabajo más rápido y barato que nadie más.

Resumen Técnico: Coral – Servicio Multi-LLM Eficiente en Costos sobre GPUs Heterogéneas en la Nube

1. Enunciado del Problema

El panorama del despliegue de Modelos de Lenguaje Grande (LLM) es cada vez más fragmentado, sin un único modelo dominante; en su lugar, los proveedores deben servir múltiples modelos simultáneamente, cada uno con arquitecturas distintas y compensaciones entre costo y calidad. Simultáneamente, los proveedores de nube ofrecen una mezcla heterogénea de generaciones de GPU (desde las H100 de gama alta hasta las A100 de gama media y las L4 más antiguas). Aunque el hardware de gama alta ofrece el máximo rendimiento, las GPUs de gama media y más antiguas a menudo proporcionan un rendimiento por dólar comparable o superior y una mejor disponibilidad.

El desafío central abordado por Coral es el servicio eficiente en costos y adaptativo de múltiples LLMs sobre recursos heterogéneos en la nube. Esto requiere optimizar conjuntamente dos decisiones estrechamente acopladas:

Asignación de Recursos: Determinar qué nodos aprovisionar en diferentes regiones de la nube.
Ubicación del Modelo: Decidir cómo particionar cada modelo entre esos nodos heterogéneos (por ejemplo, mediante paralelismo de tubería y paralelismo de datos).

Los sistemas existentes no abordan esto de extremo a extremo. Trabajos anteriores optimizan la asignación de recursos asumiendo réplicas homogéneas (ignorando la optimización de ubicación) u optimizan la ubicación para un solo modelo en un conjunto fijo de nodos (ignorando la asignación global). Una optimización conjunta por fuerza bruta es intratable debido al espacio de búsqueda exponencial de ambas dimensiones y a la necesidad de una resolución rápida (minutos, no horas) para adaptarse a la demanda fluctuante y a los precios de los recursos.

2. Metodología

Coral introduce un sistema adaptativo consciente de la heterogeneidad que desacopla el problema de optimización conjunta en una descomposición en dos etapas sin pérdidas.

Idea Clave: Plantillas de Servicio

Coral observa que, para un modelo fijo y un Objetivo de Nivel de Servicio (SLO) de latencia fijo, la ubicación óptima del modelo en términos de rendimiento en un conjunto específico de nodos depende únicamente de esa combinación de nodos, independientemente de cómo se asigne el resto del clúster. Esto permite mover la búsqueda de ubicación fuera de línea.

Etapa 1: Generación de Plantillas de Servicio Fuera de Línea

Proceso: Para cada par (modelo, SLO), Coral enumera un subconjunto principiado de combinaciones de nodos. Para cada combinación, utiliza un Programa Lineal Entero (ILP) para calcular la ubicación óptima del modelo (partición de capas y asignación de nodos) que satisface el SLO de latencia.
Salida: Una Biblioteca de Plantillas de Servicio. Cada plantilla es un artefacto reutilizable que especifica una combinación de nodos y su estrategia de ubicación óptima.
Optimización: El ILP maximiza el rendimiento sujeto a restricciones de latencia. Para manejar la complejidad combinatoria, Coral poda el espacio de búsqueda limitando el número máximo de nodos por plantilla ( $N_{max}$ ) y la relación total de memoria ( $\rho$ ) con respecto al tamaño del modelo, ya que combinaciones más grandes a menudo incurren en sobrecargas de comunicación prohibitivas.

Etapa 2: Asignación de Recursos en Línea

Proceso: El asignador de recursos en línea consulta periódicamente la Biblioteca de Plantillas de Servicio precalculada. Resuelve un segundo ILP ligero para determinar qué plantillas instanciar en las regiones para satisfacer la demanda actual de rendimiento al menor costo.
Entradas: Demanda de rendimiento en tiempo real, disponibilidad de GPU y precios en las regiones.
Objetivo: Minimizar el costo total de aprovisionamiento más una penalización de inicialización (para desalentar cambios excesivos) mientras se satisfacen las restricciones de rendimiento y disponibilidad.
Eficiencia: Al elevar la compleja búsqueda de ubicación del modelo fuera de la ruta crítica, el solucionador en línea se completa en decenas de segundos en lugar de horas, permitiendo que el clúster se adapte a cambios dinámicos en la oferta y la demanda.

Implementación del Sistema

Coral se implementa como un sistema de tiempo de ejecución que utiliza ZeroMQ para el control, NCCL para la comunicación dentro de la instancia y vLLM como motor de ejecución. Soporta tanto el servicio desagregado como agregado de Prefill-Decode (PD). Un simulador basado en eventos de alta fidelidad, validado contra hardware real, se utiliza para la evaluación a gran escala donde el aprovisionamiento físico es prohibitivo en costos.

3. Contribuciones Clave

El artículo afirma las siguientes contribuciones:

Formulación del Problema: Una formalización del servicio multi-LLM consciente de la heterogeneidad como una optimización conjunta sobre la asignación de recursos y la ubicación del modelo bajo SLOs de latencia por modelo.
Descomposición sin Pérdidas: Un enfoque novedoso en dos etapas que utiliza Plantillas de Servicio reutilizables para mover la compleja búsqueda de ubicación fuera de línea, reduciendo los tiempos de resolución en línea de horas a decenas de segundos sin sacrificar la optimalidad.
Solucionadores Escalables: Solucionadores basados en ILP tanto para la ubicación fuera de línea como para la asignación en línea que escalan a clústeres de miles de nodos.
Sistema de Extremo a Extremo: Una implementación completa de Coral y un simulador validado para la evaluación a gran escala.
Validación Empírica: Evaluación en 6 modelos y 20 configuraciones de GPU que demuestra reducciones significativas de costos y mejora del buen rendimiento (goodput).

4. Resultados

La evaluación se realizó en diversos modelos (que van desde 14B hasta 235B parámetros) y configuraciones de GPU (incluyendo H100, A100, L40S, L4, A10G) bajo disponibilidad variable de recursos.

Eficiencia de Costos: Coral reduce los costos de servicio hasta en 2.79× en comparación con la mejor línea base (Homo, que utiliza réplicas homogéneas) y 2.66× en comparación con Cauchy (una línea base desagregada de PD) en configuraciones extendidas. En configuraciones principales, las reducciones fueron 1.62× y 1.60×, respectivamente.
Buen Rendimiento bajo Escasez: Bajo disponibilidad escasa de recursos, Coral entrega hasta 2.39× más buen rendimiento (tokens por segundo que cumplen los SLOs) en comparación con las líneas base. Esto se logra coordinando conjuntamente los recursos entre modelos para resolver la contención, mientras que las líneas base no logran satisfacer la demanda para modelos específicos.
Tiempo de Resolución: El ILP de asignación de recursos en línea se resuelve en un promedio de 0.24 segundos (configuración principal) y 9.68 segundos (configuración extendida), muy dentro de la ventana de adaptación requerida.
Comparación con Helix: En un régimen de un solo modelo en un clúster heterogéneo fijo, Coral redujo los costos en un 21% y mejoró el rendimiento en un 26% en comparación con Helix, mientras cumplía estrictamente los SLOs de latencia.
Sensibilidad: El análisis muestra que la eficiencia de costos de las plantillas generadas se estabiliza cuando el límite de nodos ( $N_{max}$ ) se establece en 6 y la relación de memoria ( $\rho$ ) en 12, lo que justifica la estrategia de poda.

5. Significado

El artículo argumenta que la optimización conjunta de la asignación de recursos y la ubicación del modelo es esencial para un servicio multi-LLM eficiente en costos. Al tratar las réplicas de modelos como cajas negras en hardware homogéneo, los sistemas existentes dejan importantes ahorros de costos sobre la mesa y luchan bajo restricciones de recursos. Coral demuestra que la heterogeneidad intra-réplica —mezclar diferentes tipos de GPU dentro de una sola réplica de modelo mediante paralelismo híbrido de tubería y de datos— permite a los sistemas adaptar las instancias a características de carga de trabajo específicas y SLOs.

El significado de Coral radica en su capacidad para hacer que esta optimización conjunta sea tratable y adaptativa. Al precalcular ubicaciones óptimas como plantillas reutilizables, cierra la brecha entre la optimalidad teórica de la búsqueda conjunta y la necesidad práctica de una reconfiguración rápida y en línea. Esto permite a los proveedores de nube aprovechar un rango más amplio y rentable de inventario de GPU mientras mantienen garantías estrictas de latencia para cargas de trabajo diversas y concurrentes de LLM.