Compass: SLO-aware Query Planner for Compound AI Serving at Scale
Compass est un nouveau planificateur de requêtes conscient des SLO qui permet un service d'IA composé efficace et à grande échelle dans des environnements de déploiement diversifiés en décomposant les problèmes de planification complexes, en utilisant un profilage sélectif pour une estimation des performances rentable, et en employant un couplage bipartite pour maximiser le bon débit de service tout en réduisant considérablement les coûts et la latence de planification.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous gérez une immense cuisine de restaurant high-tech. Autrefois, les chefs (les modèles d'IA) travaillaient seuls dans une seule grande cuisine (le cloud). Mais aujourd'hui, l'« IA composée » (Compound AI) ressemble à un plat complexe qui nécessite toute une équipe : un sous-chef pour émincer les légumes, un grillardin pour cuire la viande, un expert en sauces et un livreur, tous travaillant ensemble pour servir un seul plat à un client.
Le problème ? Vous recevez des milliers de commandes en même temps. Certains clients veulent leur nourriture en 30 secondes (chat vidéo en direct), tandis que d'autres acceptent d'attendre un peu plus longtemps, mais souhaitent l'option la moins chère possible (génération de code par lots). De plus, votre cuisine n'est pas une seule pièce ; vous avez une cuisine principale luxueuse (Cloud), une petite cuisine satellite à proximité (Edge), et même quelques cuisiniers à domicile (appareils Edge) qui peuvent aider.
Compass est le nouveau Chef de Cuisine (Planificateur de requêtes) ultra-intelligent conçu pour gérer ce chaos. Voici comment il fonctionne, en utilisant des analogies simples :
1. Le Problème : Trop de Choix, Pas Assez de Temps
Autrefois, lorsqu'une nouvelle commande arrivait, le Chef de Cuisine essayait de déterminer la recette parfaite. Mais avec l'IA composée, il existe des millions de façons de préparer le plat :
- Placement : L'éminçage doit-il avoir lieu dans la cuisine principale ou dans la cuisine satellite ?
- Configuration : Faut-il utiliser un couteau géant et coûteux (un énorme modèle d'IA) ou un petit et rapide ?
- Ressources : Combien de cuisiniers devons-nous affecter ?
Tenter de trouver le parfait plan pour chaque commande individuelle prend des heures. Au moment où le Chef le détermine, le client est déjà parti, ou la nourriture est froide. Les systèmes existants étaient soit trop lents, soit ne fonctionnaient que pour des commandes simples, à plat unique.
2. La Solution : Les « Raccourcis Intelligents » de Compass
Compass ne tente pas de goûter chaque recette possible. Au lieu de cela, il utilise trois astuces ingénieuses pour trouver une excellente recette en quelques secondes :
A. Le Raccourci « Similarité » (Optimiseur de recherche)
Imaginez que vous avez déjà préparé un plat de « Tofu épicé » pour un client. Maintenant, un nouveau client commande « Tofu épicé avec un peu moins de sel ».
Au lieu de repartir de zéro, Compass consulte son historique. Il dit : « Hé, je sais comment le dernier Tofu épicé s'est passé. Je peux utiliser cette connaissance pour deviner comment celui-ci va goûter. »
- La Métaphore : C'est comme un chef qui se souvient que la « Recette A » et la « Recette B » sont similaires à 90 %. Il n'a pas besoin de refaire un test de goût complet ; il ajuste simplement le sel. Cela économise d'énormes quantités de temps et d'argent (coûts GPU).
B. Le Tri par « Dégustation » (Profilage SLO)
Pour savoir si une recette est bonne, vous devez généralement cuisiner le tout et le goûter. Mais cuisiner un énorme modèle d'IA est coûteux (cela coûte de l'argent réel pour s'exécuter sur des ordinateurs puissants).
Compass utilise une technique d'échantillonnage intelligent.
- La Métaphore : Au lieu de manger toute la pizza pour voir si elle est assez salée, Compass prend une toute petite bouchée. Si la première bouchée est clairement trop salée, il s'arrête immédiatement et dit : « Non, jetez cette recette. » Si la première bouchée est clairement parfaite, il s'arrête et dit : « Super, gardez celle-ci. » Il ne cuit la pizza entière que si le résultat est indécis. Cela économise d'énormes quantités d'argent et de temps.
C. Le « Plan de Table Global » (Planificateur de requêtes multiples)
Si vous planifiez chaque commande individuellement, vous risquez d'attribuer par erreur tous les « Grillardins » à la même table, laissant d'autres tables vides et affamées.
Compass examine toutes les commandes à la fois. Il crée un plan de table qui équilibre la charge.
- La Métaphore : C'est comme un videur dans une boîte de nuit qui ne laisse pas entrer les gens un par un. Il observe toute la foule et dit : « D'accord, nous avons de la place à la Table A pour le grand groupe, et à la Table B pour le petit groupe, afin que tout le monde soit servi sans attendre trop longtemps. » Cela garantit que toute la cuisine fonctionne efficacement, et pas seulement un seul plat.
3. Les Résultats : Plus Rapide, Moins Cher, Meilleur
L'article a testé Compass sur des scénarios réels tels que le chat vidéo en direct avec des agents d'IA, la reconnaissance vocale et la génération de code. Voici ce qui s'est produit :
- Vitesse : Compass a trouvé un bon plan en quelques secondes (2,4 à 5,1 fois plus rapide qu'auparavant). Cela signifie que les utilisateurs n'ont pas à attendre que leur IA « réfléchisse » à la façon de commencer.
- Coût : Il a réduit le coût d'exécution de ces services de 3,8 à 4,5 fois. C'est comme obtenir le même repas pour une fraction du prix en utilisant les bons ingrédients et la bonne cuisine.
- Qualité : Il a servi 2,4 à 5,1 fois plus de clients avec succès sans enfreindre les règles (SLO).
Résumé
Pensez à Compass comme au contrôleur de trafic ultime pour une ville de robots d'IA. Au lieu de laisser chaque robot conduire où il veut (ce qui provoque des embouteillages et des retards), Compass examine toute la carte, se souvient où il est allé auparavant, et dirige le trafic afin que tout le monde arrive à destination rapidement, à bas prix et en toute sécurité. Il transforme un chaos coûteux et désordonné en une opération fluide et efficace.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.