🤖 AI

Coral: Cost-Efficient Multi-LLM Serving over Heterogeneous Cloud GPUs

Coral est un système de service multi-LLM adaptatif et conscient de l'hétérogénéité qui optimise conjointement l'allocation des ressources et les stratégies de service à travers des GPU cloud diversifiés, réalisant une réduction des coûts allant jusqu'à 2,79 fois et un débit utile supérieur de 2,39 fois grâce à l'utilisation d'une décomposition en deux étapes sans perte permettant une prise de décision rapide et quasi optimale.

Auteurs originaux : Yixuan Mei, Zikun Li, Zixuan Chen, Shiqi Pan, Mengdi Wu, Xupeng Miao, Zhihao Jia, K. V. Rashmi

Publié 2026-05-07

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yixuan Mei, Zikun Li, Zixuan Chen, Shiqi Pan, Mengdi Wu, Xupeng Miao, Zhihao Jia, K. V. Rashmi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous gérez une immense cuisine de restaurant haut de gamme. Autrefois, tout le monde pensait qu'il fallait le chef le plus cher et le plus performant, ainsi que le plus grand et le plus rapide des fours, pour préparer chaque plat. Mais dans le monde des grands modèles de langage (LLM) — les cerveaux d'IA derrière les chatbots et les générateurs de code — les choses ont changé. Aucun « modèle d'IA » unique n'est le meilleur en tout. Certains excellent dans l'écriture de code, d'autres dans la conversation, et certains sont simplement bons pour des tâches simples.

De plus, la « cuisine » (les serveurs cloud) est un chaos d'équipements variés. Vous disposez de fours « H100 » ultra-rapides et coûteux, mais ils sont souvent en rupture de stock. Vous avez aussi des fours « L4 » ou « A100 » plus anciens et moins chers, disponibles et, étonnamment, offrant tout autant de puissance de cuisson pour le dollar investi.

Le problème est le suivant : Comment gérer une cuisine avec 46 recettes différentes (modèles) en utilisant un mélange de fours coûteux et bon marché, sans gaspiller d'argent ni faire attendre les clients ?

C'est le problème que Coral résout.

L'ancienne méthode : l'erreur du « taille unique »

Les systèmes précédents tentaient de résoudre ce problème en traitant chaque plat comme une boîte noire. Ils disaient : « Pour le plat d'écriture de code, nous avons besoin d'un four H100 entier. Pour le plat de conversation, nous avons besoin d'un A100. » Ils ne regardaient pas à l'intérieur de la recette pour voir s'ils pouvaient combiner des parties du four.

Cela a conduit à deux grands problèmes :

Gaspillage d'argent : Ils achetaient souvent l'équipement le plus cher, même lorsqu'un mélange moins coûteux aurait fonctionné tout aussi bien.
Goulots d'étranglement : Si les fours coûteux venaient à manquer, toute la cuisine s'arrêtait, même s'ils disposaient de nombreux fours moins chers restés inactifs.

La solution Coral : le chef « mélange intelligent »

Coral est comme un chef étoilé génial qui réalise qu'un seul plat n'a pas besoin d'être cuit sur un seul type de four. Au lieu de cela, Coral décompose le processus de cuisson en étapes et assigne le four parfait à chaque étape.

Voici comment cela fonctionne, en utilisant une analogie simple :

1. La stratégie en deux étapes (Hors ligne vs En ligne)

Coral divise sa réflexion en deux parties pour éviter d'être submergé :

Étape 1 : Le livre de recettes (Hors ligne)
Avant l'ouverture du restaurant, Coral consacre du temps à créer un immense « Livre de recettes ». Pour chaque plat possible (modèle) et chaque combinaison possible de fours (GPU), il calcule la meilleure façon absolue de le cuire.
- Exemple : Il détermine que pour le plat « Qwen-3 235B », la meilleure façon de cuire la première partie (préremplissage) consiste à utiliser trois fours L40S bon marché et deux fours H100 coûteux, disposés dans une ligne spécifique.
- Il consigne ces « recettes » parfaites sous forme de Modèles de Service. Cela prend beaucoup de temps à réaliser, mais cela ne doit se produire qu'une seule fois.
Étape 2 : Le service quotidien (En ligne)
Lorsque le restaurant ouvre et que les commandes commencent à arriver, Coral ne s'arrête pas pour réfléchir à la façon de cuisiner à partir de zéro. Il consulte simplement son Livre de recettes.
- Il vérifie : « Nous avons 5 L40 et 2 H100 disponibles actuellement. Nous devons cuire 100 plats Qwen-3. »
- Il sélectionne instantanément la recette précalculée qui correspond à ces fours spécifiques et répond aux exigences de rapidité du client.
- Parce que les calculs complexes ont été effectués à l'avance, Coral peut prendre ces décisions en secondes, et non en heures. Cela permet à la cuisine de s'adapter instantanément si un four tombe en panne ou si une nouvelle vague de commandes arrive.

2. L'analogie du « travail d'équipe »

Imaginez que vous avez deux équipes de travailleurs (deux modèles d'IA différents) et un stock limité d'outils (GPU).

L'ancienne méthode : L'équipe A s'empare de tous les meilleurs outils parce qu'ils sont l'équipe « la meilleure ». L'équipe B se retrouve avec des outils cassés et ne peut pas terminer son travail.
La méthode de Coral : Coral examine la situation dans son ensemble. Il réalise que l'équipe A peut en fait accomplir son travail tout aussi bien avec un mélange d'outils bons et moyens si elle réorganise son flux de travail. Cela libère les meilleurs outils pour l'équipe B. Les deux équipes terminent leur travail à temps, et aucun outil n'est gaspillé.

Pourquoi cela compte

L'article a testé Coral avec 6 modèles d'IA différents et 20 types de puces informatiques différentes (GPU). Les résultats ont été impressionnants :

Moins cher : Coral a réduit le coût d'exécution de ces modèles d'IA jusqu'à 2,79 fois par rapport aux meilleures méthodes existantes. C'est comme payer 100 $ pour un repas et ne payer que 36 $ pour la même qualité.
Plus rapide (lorsque les ressources sont rares) : Lorsque la « cuisine » est bondée et que les outils sont difficiles à trouver, Coral a réussi à servir 2,39 fois plus de clients que la concurrence sans ralentir.

En résumé

Coral est un système qui cesse de traiter les modèles d'IA comme des machines rigides et monolithiques. Au lieu de cela, il les traite comme des recettes flexibles pouvant être cuites sur un mélange d'équipements anciens et nouveaux. En planifiant le « mélange parfait » à l'avance puis en l'appliquant rapidement en temps réel, il économise d'énormes sommes d'argent et maintient l'IA en fonctionnement fluide, même lorsque l'approvisionnement en matériel est instable.

En bref : Coral est le gestionnaire avisé qui sait comment utiliser un mélange d'outils coûteux et bon marché pour accomplir le travail plus vite et moins cher que quiconque.

Résumé technique : Coral – Service multi-LLM rentable sur des GPU cloud hétérogènes

1. Énoncé du problème

Le paysage du déploiement des modèles de langage de grande taille (LLM) est de plus en plus fragmenté, aucun modèle unique ne dominant ; les fournisseurs doivent plutôt servir simultanément plusieurs modèles, chacun ayant des architectures distinctes et des compromis coût-qualité spécifiques. Parallèlement, les fournisseurs de cloud proposent un mélange hétérogène de générations de GPU (des H100 haut de gamme aux A100 de milieu de gamme et aux L4 plus anciennes). Bien que le matériel haut de gamme offre des performances maximales, les GPU de milieu de gamme et plus anciens offrent souvent des performances par dollar comparables ou supérieures et une meilleure disponibilité.

Le défi central abordé par Coral est le service rentable et adaptatif de plusieurs LLM sur des ressources cloud hétérogènes. Cela nécessite d'optimiser conjointement deux décisions étroitement couplées :

Allocation des ressources : Déterminer quels nœuds provisionner dans différentes régions cloud.
Placement des modèles : Décider comment partitionner chaque modèle sur ces nœuds hétérogènes (par exemple, via un parallélisme de pipeline et un parallélisme de données).

Les systèmes existants échouent à traiter cela de bout en bout. Les travaux antérieurs optimisent soit l'allocation des ressources en supposant des réplicas homogènes (ignorant l'optimisation du placement), soit le placement pour un seul modèle sur un ensemble fixe de nœuds (ignorant l'allocation globale). Une optimisation conjointe par force brute est intraitable en raison de l'espace de recherche exponentiel des deux dimensions et de la nécessité d'une résolution rapide (en minutes, pas en heures) pour s'adapter aux fluctuations de la demande et des prix des ressources.

2. Méthodologie

Coral introduit un système adaptatif et conscient de l'hétérogénéité qui découple le problème d'optimisation conjointe en une décomposition en deux étapes sans perte.

Insight clé : Modèles de service

Coral observe que pour un modèle fixe et un objectif de niveau de service (SLO) de latence donné, le placement du modèle optimisant le débit sur un ensemble spécifique de nœuds dépend uniquement de cette combinaison de nœuds, indépendamment de la manière dont le reste du cluster est alloué. Cela permet de déplacer la recherche de placement hors ligne.

Étape 1 : Génération de modèles de service hors ligne

Processus : Pour chaque paire (modèle, SLO), Coral énumère un sous-ensemble raisonné de combinaisons de nœuds. Pour chaque combinaison, il utilise un programme linéaire en nombres entiers (ILP) pour calculer le placement du modèle optimisant le débit (partitionnement des couches et attribution des nœuds) qui satisfait le SLO de latence.
Sortie : Une Bibliothèque de modèles de service. Chaque modèle est un artefact réutilisable spécifiant une combinaison de nœuds et sa stratégie de placement optimale.
Optimisation : L'ILP maximise le débit sous contraintes de latence. Pour gérer la complexité combinatoire, Coral réduit l'espace de recherche en plafonnant le nombre maximum de nœuds par modèle ( $N_{max}$ ) et le ratio total de mémoire ( $\rho$ ) par rapport à la taille du modèle, car les combinaisons plus grandes entraînent souvent des frais de communication prohibitifs.

Étape 2 : Allocation des ressources en ligne

Processus : L'allocation des ressources en ligne interroge périodiquement la Bibliothèque de modèles de service pré-calculée. Elle résout un second ILP léger pour déterminer quels modèles instancier dans les différentes régions afin de répondre à la demande de débit actuelle au coût minimal.
Entrées : Demande de débit en temps réel, disponibilité des GPU et tarification dans les différentes régions.
Objectif : Minimiser le coût total de provisionnement plus une pénalité d'initialisation (pour décourager les changements excessifs) tout en satisfaisant les contraintes de débit et de disponibilité.
Efficacité : En soustrayant la recherche complexe de placement du chemin critique, le solveur en ligne s'exécute en quelques dizaines de secondes plutôt qu'en heures, permettant au cluster de s'adapter aux changements dynamiques de l'offre et de la demande.

Implémentation du système

Coral est implémenté comme un système d'exécution utilisant ZeroMQ pour le contrôle, NCCL pour la communication intra-instance et vLLM comme moteur d'exécution. Il prend en charge le service désagrégé et agrégé Pré-remplissage-Décodage (PD). Un simulateur événementiel haute fidélité, validé sur du matériel réel, est utilisé pour l'évaluation à grande échelle où le provisionnement physique est prohibitif en coût.

3. Contributions clés

L'article revendique les contributions suivantes :

Formulation du problème : Une formalisation du service multi-LLM conscient de l'hétérogénéité comme une optimisation conjointe de l'allocation des ressources et du placement des modèles sous des SLO de latence par modèle.
Décomposition sans perte : Une approche novatrice en deux étapes utilisant des Modèles de service réutilisables pour déplacer la recherche complexe de placement hors ligne, réduisant les temps de résolution en ligne de plusieurs heures à quelques dizaines de secondes sans sacrifier l'optimalité.
Solveurs évolutifs : Des solveurs basés sur l'ILP pour le placement hors ligne et l'allocation en ligne, capables de s'adapter à des clusters de milliers de nœuds.
Système de bout en bout : Une implémentation complète de Coral et un simulateur validé pour l'évaluation à grande échelle.
Validation empirique : Évaluation sur 6 modèles et 20 configurations de GPU démontrant des réductions de coûts significatives et une amélioration du bon débit.

4. Résultats

L'évaluation a été menée sur divers modèles (allant de 14 milliards à 235 milliards de paramètres) et configurations de GPU (incluant H100, A100, L40S, L4, A10G) sous une disponibilité de ressources variable.

Efficacité des coûts : Coral réduit les coûts de service jusqu'à 2,79 fois par rapport à la meilleure base de référence (Homo, qui utilise des réplicas homogènes) et 2,66 fois par rapport à Cauchy (une base de référence désagrégée PD) dans des configurations étendues. Dans les configurations de base, les réductions étaient respectivement de 1,62 fois et 1,60 fois.
Bon débit en situation de pénurie : Dans des conditions de ressources rares, Coral délivre jusqu'à 2,39 fois plus de bon débit (jetons par seconde respectant les SLO) que les bases de référence. Cela est obtenu en coordonnant conjointement les ressources entre les modèles pour résoudre les contentions, alors que les bases de référence échouent à satisfaire la demande pour des modèles spécifiques.
Temps de résolution : L'ILP d'allocation des ressources en ligne se résout en moyenne en 0,24 seconde (configuration de base) et 9,68 secondes (configuration étendue), bien dans la fenêtre d'adaptation requise.
Comparaison avec Helix : Dans un régime à modèle unique sur un cluster hétérogène fixe, Coral a réduit les coûts de 21 % et amélioré le débit de 26 % par rapport à Helix, tout en respectant strictement les SLO de latence.
Sensibilité : L'analyse montre que l'efficacité des coûts des modèles générés plafonne lorsque le cap de nœuds ( $N_{max}$ ) est fixé à 6 et le ratio de mémoire ( $\rho$ ) à 12, justifiant la stratégie de réduction.

5. Importance

L'article soutient que l'optimisation conjointe de l'allocation des ressources et du placement des modèles est essentielle pour un service multi-LLM rentable. En traitant les réplicas de modèles comme des boîtes noires sur du matériel homogène, les systèmes existants laissent d'importantes économies de coûts inexploitées et peinent sous des contraintes de ressources. Coral démontre que l'hétérogénéité intra-réplica – mélanger différents types de GPU au sein d'un seul réplica de modèle via un parallélisme hybride de pipeline et de données – permet aux systèmes d'adapter les instances aux caractéristiques spécifiques de la charge de travail et aux SLO.

L'importance de Coral réside dans sa capacité à rendre cette optimisation conjointe traitable et adaptative. En pré-calculant les placements optimaux sous forme de modèles réutilisables, il comble le fossé entre l'optimalité théorique de la recherche conjointe et la nécessité pratique d'une reconfiguration rapide et en ligne. Cela permet aux fournisseurs de cloud de tirer parti d'une gamme plus large et plus rentable de stocks de GPU tout en maintenant des garanties de latence strictes pour des charges de travail LLM diverses et concurrentes.