MARS: Efficient, Adaptive Co-Scheduling for Heterogeneous Agentic Systems
MARS est un système de co-planification efficace et adaptatif qui coordonne globalement des ressources hétérogènes GPU-CPU pour des agents LLM autonomes en découplant l'admission de l'exécution et en optimisant la rétention d'état, réduisant ainsi considérablement la latence de bout en bout tout en maintenant un débit élevé.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous gérez une cuisine haute technologie et très achalandée. Autrefois, cette cuisine ne préparait que des plats simples et uniques (comme une seule réponse textuelle). Les chefs (les GPU) étaient les seuls qui comptaient, et l'objectif était simplement de préparer le plus grand nombre de plats par heure possible.
Mais aujourd'hui, la cuisine a changé. Elle fait maintenant fonctionner des agents autonomes — imaginez-les comme des super-chefs qui ne se contentent pas de préparer un plat, mais entreprennent un voyage complexe pour résoudre un problème. Ils peuvent cuisiner un peu, puis courir à la garde-manger pour saisir un ingrédient (en utilisant un outil), consulter un livre de recettes (en lisant un fichier), revenir au fourneau, cuisiner un peu plus, et répéter cette boucle des dizaines de fois jusqu'à ce que le travail soit terminé.
L'article présente MARS, un nouveau « Chef de Cuisine » conçu spécifiquement pour ce style de cuisine chaotique et multi-étapes. Voici comment il fonctionne, en utilisant des analogies simples :
Le Problème : L'Ancienne Cuisine Était en Perte de Vitesse
Les anciens chefs de cuisine (les systèmes d'IA existants) étaient conçus pour l'ère du « plat unique ». Face à ces nouveaux voyages complexes d'agents, ils ont commis trois grandes erreurs :
- Le Piège « Arrêt et Départ » : Lorsqu'un chef s'arrête de cuisiner pour courir à la garde-manger (exécution d'outil CPU), l'ancien chef de cuisine soit jetait les notes du chef (le cache KV) pour économiser de l'espace, soit les conservait éternellement, encombrant le comptoir. Si les notes étaient jetées, le chef devait réécrire toute la recette depuis zéro à son retour, gaspillant d'énormes quantités de temps.
- Le Blocage de la « Grande Commande » : Si une commande énorme et complexe (un long contexte) arrivait, elle prenait possession du fourneau et bloquait toutes les petites commandes rapides derrière elle, même si ces petites commandes étaient prêtes à partir.
- Le « Point Aveugle » : Le chef de cuisine ne surveillait que le fourneau (GPU). Il ne voyait pas que la garde-manger (CPU) était encombrée. Ainsi, il continuait d'envoyer des chefs au fourneau alors que la garde-manger était pleine, provoquant un embouteillage où les chefs restaient inactifs en attendant les ingrédients.
La Solution : MARS (Le Chef de Cuisine Intelligent)
MARS résout ce problème en agissant comme un système nerveux central qui voit tout — à la fois le fourneau et la garde-manger — et les coordonne parfaitement.
1. Le « Flux d'Information Unifié » (La Talkie-Walkie)
Au lieu de deviner, MARS dispose d'un flux en direct reliant le fourneau et la garde-manger.
- Comment cela fonctionne : Chaque fois qu'un chef s'arrête pour aller à la garde-manger, ou revient avec un ingrédient, un signal est envoyé instantanément. Le chef de cuisine sait exactement pourquoi le chef s'est arrêté et quand il reviendra.
- L'Avantage : Le chef de cuisine n'a jamais besoin de deviner. Il sait exactement combien d'espace de comptoir (mémoire) conserver pour les notes du chef et quand libérer de l'espace pour de nouvelles commandes.
2. Le « Plan de Contrôle Externe » (Le Videur)
Avant même qu'une nouvelle commande n'entre dans la cuisine, MARS vérifie si la cuisine peut réellement la gérer.
- Comment cela fonctionne : Il examine deux choses : Le fourneau est-il libre ? La garde-manger est-elle libre ? Si la garde-manger est encombrée par des tâches d'outils, MARS dit : « Aucune nouvelle commande pour le moment », même si le fourneau est vide. Cela empêche la cuisine d'être submergée.
- L'Avantage : Cela empêche la cuisine d'accepter trop de commandes à la fois, ce qui provoquerait un effondrement total où rien ne serait terminé.
3. Le « Planificateur Interne Centré sur l'Agent » (Le Dispatcher Intelligent)
Une fois les commandes à l'intérieur, MARS décide qui cuisine ensuite. Il ne suit pas simplement une file d'attente « Premier arrivé, premier servi ».
- Comment cela fonctionne :
- Priorité : Si un chef est au milieu d'une étape interactive rapide, MARS le laisse passer en premier. Si un chef est coincé sur une recette massive et lente, MARS peut le mettre en pause brièvement pour laisser les autres terminer, empêchant ainsi le blocage de la « grande commande ».
- L'Astuce « Reprise à Chaud » : MARS décide intelligemment s'il faut conserver les notes du chef (cache KV) sur le comptoir. Si le chef revient dans 2 secondes, MARS conserve les notes (gagnant du temps). S'il est parti pendant 20 minutes, MARS efface les notes pour faire de la place aux autres. Il ne conserve les notes que lorsque cela économise réellement du temps.
Les Résultats : Plus Rapide et Plus Fluide
L'article a testé MARS dans des scénarios réels (comme un assistant de codage qui écrit et teste des logiciels).
- Vitesse : MARS a permis aux agents de terminer leurs tâches jusqu'à 5,94 fois plus vite que les anciens systèmes lors de tests contrôlés. Dans une configuration de codage réelle, il a accéléré l'achèvement des tâches d'un facteur de 1,87.
- Fiabilité : Alors que les anciens systèmes se bloquaient au point de cesser complètement de terminer les tâches (un « débit » élevé mais un « bon débit » nul), MARS a maintenu la cuisine en fonctionnement fluide, garantissant que les tâches étaient effectivement terminées à temps.
Résumé
Pensez à MARS comme à la différence entre un chef de cuisine qui compte simplement combien de casseroles sont sur le fourneau et un autre qui comprend l'ensemble du flux du restaurant. En surveillant simultanément le fourneau et la garde-manger, et en prenant des décisions intelligentes sur qui cuisine ensuite et quelles notes conserver, MARS garantit que les agents d'IA complexes et multi-étapes peuvent travailler efficacement sans rester coincés dans des embouteillages.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.