🤖 AI

Position: LLM Serving Needs Mathematical Optimization and Algorithmic Foundations, Not Just Heuristics

Ce document de position soutient que la mise en œuvre de l'inférence des LLM a dépassé les heuristiques génériques et nécessite le développement de modèles d'optimisation mathématique et de fondements algorithmiques adaptés à ses caractéristiques uniques afin de garantir des performances prouvables sur des charges de travail diversifiées.

Auteurs originaux : Zijie Zhou

Publié 2026-05-06

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zijie Zhou

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous gérez une immense cuisine de restaurant à très haute vitesse. Cette cuisine ne se contente pas de cuire des hamburgers ; elle prépare des repas complexes à plusieurs plats, basés sur des commandes qui arrivent une par une. Le hic ? Vous ne savez pas combien de temps chaque repas prendra à cuire, et plus le chef cuisine, plus le repas occupe d'espace sur le comptoir, encombrant les autres commandes.

C'est exactement la situation des Modèles de Langage à Grande Échelle (LLM) aujourd'hui. Ils sont les « cuisines » qui alimentent les moteurs de recherche, les assistants de codage et les chatbots.

L'article soutient qu'à l'heure actuelle, ces cuisines numériques fonctionnent sur la devinette et des règles simples (des heuristiques). L'auteur estime qu'il est temps de passer à la précision mathématique et à des fondations algorithmiques solides pour les rendre plus rapides, moins chers et plus fiables.

Voici la décomposition de l'argument de l'article en utilisant des analogies du quotidien :

1. Le Problème : Des règles « assez bonnes » qui échouent

Actuellement, des systèmes comme vLLM et SGLang (le logiciel qui fait fonctionner ces modèles) utilisent d'anciennes règles empruntées à l'informatique générale.

La File d'attente : Si vous avez une file de clients, la cuisine les sert simplement dans l'ordre d'arrivée (Premier arrivé, premier servi).
Le Routage : Si vous avez plusieurs chefs, la cuisine envoie la prochaine commande au chef ayant la file la plus courte, ou fait simplement tourner une roue pour en choisir un.
Le Nettoyage : Si le comptoir est plein, la cuisine jette l'objet le plus ancien du comptoir pour faire de la place à un nouveau.

Le point de l'article : Ces règles fonctionnent bien pour un restaurant de hamburgers standard. Mais les LLM sont étranges.

Le repas « grandissant » : Contrairement à un hamburger qui occupe le même espace du début à la fin, un repas LLM grandit au fur et à mesure qu'il est cuit. Chaque mot généré par l'IA occupe davantage de mémoire.
La cuisson en « deux phases » : La première partie de la commande (la lecture de l'invite) est rapide et nécessite beaucoup de puissance de calcul. La seconde partie (la génération de la réponse) est lente et nécessite beaucoup de bande passante mémoire.
L'inconnu : La cuisine ne sait pas combien de temps durera le repas tant qu'il n'est pas terminé.

À cause de ces bizarreries, les anciennes règles du « file la plus courte » ou « jeter l'objet le plus ancien » provoquent souvent le chaos, laissant certains chefs inactifs tandis que d'autres sont submergés, ou entraînant un manque d'espace sur le comptoir de manière imprévue.

2. La Solution : Faire appel aux mathématiciens

L'auteur dit qu'il faut arrêter de deviner et commencer à utiliser l'optimisation mathématique. Imaginez cela comme embaucher un planificateur logistique de maître qui utilise un superordinateur pour calculer la façon parfaite de faire fonctionner la cuisine, plutôt que de simplement suivre un manuel de règles.

L'article met en évidence quatre domaines spécifiques où les mathématiques peuvent réparer la cuisine :

Équilibrer les chefs (Équilibrage de charge) :
- Façon actuelle : Envoyer les commandes au chef ayant le moins de tickets.
- Façon mathématique : Calculer exactement combien d'« espace comptoir » et de « puissance de calcul » chaque commande nécessitera au fur et à mesure qu'elle grandit, et les distribuer de sorte qu'aucun chef unique ne reste bloqué à attendre le plus lent. L'article cite un système réel (DeepSeek) qui utilise la Programmation Linéaire (un type de mathématiques) pour faire cela parfaitement, économisant du temps et de l'argent.
La File d'attente (Ordonnancement) :
- Façon actuelle : Servir la première personne de la file.
- Façon mathématique : Regarder la file et réaliser : « Cette personne a commandé un essai de 10 pages, mais la suivante ne veut qu'une blague d'une phrase. » Servir la blague en premier ! Cela libère le comptoir plus vite et permet à plus de gens de manger. Les mathématiques peuvent prédire quelles commandes se termineront rapidement pour maintenir la cuisine en mouvement.
L'espace du comptoir (Mise en cache) :
- Façon actuelle : Jeter l'objet le plus ancien lorsque le comptoir est plein.
- Façon mathématique : Réaliser que jeter une « vidéo haute résolution » pour faire de la place à une « miniature toute petite » est une mauvaise affaire. Refaire la vidéo prend une éternité et coûte une fortune. Les mathématiques peuvent calculer le « coût » de jeter des choses et garder les objets coûteux sur le comptoir.
Planifier le personnel (Planification des capacités) :
- Façon actuelle : Continuer à ajouter des chefs lorsque la file devient trop longue.
- Façon mathématique : Utiliser des formules pour savoir exactement combien de chefs vous avez besoin avant même d'ouvrir les portes, en fonction du nombre de clients attendus. Cela empêche la cuisine d'être submergée dès le départ.

3. Pourquoi s'en tenir simplement aux règles ?

L'article s'adresse aux sceptiques qui disent : « Les règles actuelles fonctionnent bien, pourquoi changer ? »

« Ça fonctionne à grande échelle » : L'auteur admet que les règles actuelles fonctionnent correctement, mais elles sont fragiles. Si une application virale envoie soudainement un type de commande étrange, la cuisine pourrait s'effondrer. Les mathématiques fournissent un filet de sécurité (des garanties) qui assure que la cuisine ne tombera pas en panne, même dans les pires scénarios.
« Le matériel change trop vite » : L'auteur soutient que, bien que le matériel (les fours) change, la logique de la façon d'organiser la cuisine reste la même. Les mathématiques vous donnent un plan qui fonctionne même si vous changez les fours.
« L'ingénierie des systèmes est plus importante » : L'auteur dit que les mathématiques et l'ingénierie sont des partenaires. Vous pouvez avoir le four le plus rapide au monde, mais si votre ordonnancement est mauvais, le four reste inactif. Les mathématiques vous disent comment maintenir le four en activité.

4. La Grande Image

L'article conclut que le domaine du service des LLM a dépassé son « enfance » de règles simples. Il a mûri en un système complexe qui exige une surveillance adulte de la part des mathématiciens et des experts en algorithmes.

En traitant ces problèmes comme des énigmes mathématiques plutôt que de simples ajustements d'ingénierie, nous pouvons obtenir :

Prévisibilité : Savoir exactement comment le système se comportera.
Efficacité : Économiser d'énormes quantités d'énergie et d'argent.
Fiabilité : S'assurer que le système ne s'effondre pas lorsque les choses deviennent folles.

En bref : Arrêtez de deviner. Commencez à calculer. L'avenir du service des IA ne consiste pas seulement à construire des modèles plus grands ; il s'agit de construire des façons plus intelligentes, prouvées mathématiquement, de les faire fonctionner.

Résumé technique : La mise en service des LLM nécessite une optimisation mathématique et des fondements algorithmiques, et non de simples heuristiques

1. Énoncé du problème

L'article soutient que la mise en service de l'inférence des modèles de langage de grande taille (LLM) a évolué au-delà des capacités des heuristiques génériques héritées des systèmes distribués classiques. Bien que les frameworks de mise en service modernes (par exemple, vLLM, SGLang) aient réalisé des innovations architecturales significatives — telles que le regroupement continu (continuous batching), l'attention paginée et la désagrégation préremplissage-décodage —, leurs processus centraux de prise de décision algorithmique restent ancrés dans des politiques simples et à usage général.

Le problème central est un désajustement structurel : l'inférence des LLM possède des caractéristiques uniques que les heuristiques génériques échouent à exploiter, notamment :

Asymétrie des phases : Une phase de préremplissage (prefill) limitée par le calcul, face à une phase de décodage limitée par la bande passante mémoire.
Consommation dynamique des ressources : La mémoire du cache KV croît de manière monotone avec chaque token généré, la taille finale restant inconnue jusqu'à la fin de la génération.
Assignations persistantes : Une fois une requête acheminée vers un nœud de travail (worker), sa migration est prohibitivement coûteuse en raison des coûts de transfert du cache KV.
Synchronisation par barrière : Dans des configurations de parallélisme de données ou de parallélisme d'experts, le nœud de travail le plus lent (souvent déterminé par la taille du cache KV) dicte la latence pour l'ensemble du lot.

Les pratiques actuelles reposent sur des heuristiques telles que Join-Shortest-Queue, Round-Robin, la planification First-In-First-Out (FIFO) et l'éviction Least-Recently-Used (LRU). L'article soutient que ces politiques ignorent les contraintes spécifiques des charges de travail des LLM, conduisant à des performances imprévisibles dans des conditions diverses ou adverses et empêchant la détermination des limites fondamentales de performance.

2. Méthodologie et cadre proposé

L'article préconise un passage du réglage empirique des heuristiques vers des fondements d'optimisation mathématique et algorithmique. La méthodologie proposée implique :

Modélisation formelle : Formuler les décisions de mise en service (acheminement, planification, mise en cache, planification de capacité) comme des programmes mathématiques rigoureux (par exemple, Programmation Linéaire, Programmation Entière, Théorie des Files d'Attente).
Analyse structurelle : Dériver des insights théoriques (par exemple, variables duales, conditions de stabilité, ratios de compétitivité) de ces modèles pour comprendre les limites fondamentales du système.
Conception d'algorithmes : Développer des algorithmes qui résolvent directement ces programmes (lorsque cela est faisable en termes de calcul) ou utilisent les insights structurels pour concevoir des approximations pratiques avec des garanties de performance prouvées.

L'article établit un parallèle historique avec la gestion des revenus des compagnies aériennes, où la programmation linéaire a été utilisée non pas pour résoudre chaque réservation en temps réel, mais pour dériver des politiques de contrôle par « prix d'offre » (bid-price) qui sont simples, rapides et ancrées dans des conditions d'optimalité.

3. Contributions clés et exemples représentatifs

L'article identifie quatre domaines critiques de goulot d'étranglement où une optimisation raisonnée offre des alternatives supérieures aux heuristiques actuelles, étayées par des recherches émergentes :

A. Acheminement des experts et équilibrage de charge (MoE)

État actuel : Repose sur des fonctions de perte auxiliaires durant l'entraînement ou des heuristiques réactives (par exemple, bruit aléatoire, choix d'expert) pour équilibrer la distribution des tokens entre les GPU.
Approche d'optimisation : Formuler l'équilibrage de charge comme un problème d'affectation contraint.
Exemple : Le système LPLB de DeepSeek formule la redistribution des tokens par lot comme un Programme Linéaire (LP). Il minimise la charge maximale par GPU sous réserve de contraintes de capacité sur les réplicas d'experts redondants.
Résultat : Le LP est résolu via un solveur GPU intégré en ~100 µs, atteignant un équilibre optimal des tokens sans les gradients d'interférence des pertes auxiliaires.

B. Acheminement des requêtes dans le parallélisme de données

État actuel : Utilise des politiques de dispatch sans état (Round-Robin, Power-of-Two-Choices) qui ignorent la nature « persistante » des assignations de cache KV et la durée inconnue des étapes de décodage.
Approche d'optimisation : Modéliser l'acheminement comme un problème d'optimisation entière en ligne avec des contraintes de synchronisation par barrière.
Exemple : Chen et al. (2026) proposent un principe « Balance-Future ». Au lieu de prédire la durée totale de décodage (ce qui est difficile), l'algorithme utilise des prévisions à court horizon pour minimiser le déséquilibre accumulé sur une fenêtre de prévision.
Résultat : L'analyse théorique prouve que l'algorithme réduit le déséquilibre moyen à long terme d'un facteur $\Omega(\sqrt{B} \log G)$ par rapport aux politiques par défaut, même sous des séquences d'arrivée adverses.

C. Planification et planification de capacité

État actuel : Repose sur une mise à l'échelle automatique réactive (ajustement du nombre de nœuds de travail basé sur la profondeur de la file d'attente) et une planification FCFS.
Approche d'optimisation : Appliquer la théorie des files d'attente pour dériver des conditions de stabilité sous forme close et l'optimisation combinatoire pour le contrôle d'admission.
Exemple : Anonymous (2025) dérive des conditions de stabilité tenant compte à la fois des contraintes de calcul et de mémoire, permettant aux opérateurs de calculer la taille minimale de la flotte avant le déploiement. Jaillet et al. (2025) établissent des bornes inférieures via des relaxations LP pour évaluer les algorithmes de planification en ligne.
Résultat : Une planification de capacité proactive prévient l'instabilité à l'exécution ; des politiques de planification optimales (par exemple, Shortest-Job-First sous certaines hypothèses) peuvent être prouvées quasi-optimales.

D. Mise en cache et éviction

État actuel : Utilise l'éviction LRU, qui ignore les tailles hétérogènes des embeddings multimodaux et les coûts variables de recomputation.
Approche d'optimisation : Formuler la mise en cache comme un problème de minimisation des coûts plutôt que comme un problème de maximisation du taux de succès (hit-rate).
Exemple : Zhu et al. (2023) introduisent l'algorithme Least Expected Cost (LEC), qui note les éléments par coût par unité de taille multiplié par la probabilité d'accès.
Résultat : L'approche atteint un regret optimal (convergeant vers le meilleur coût possible aussi vite que la théorie de l'information le permet) et démontre une réduction des coûts allant jusqu'à 50x dans les scénarios multimodaux.

4. Résultats et signification

L'article ne présente pas un nouveau système unique, mais synthétise des travaux émergents pour démontrer que les méthodes raisonnées peuvent égaler ou dépasser les performances des heuristiques tout en fournissant des garanties que les heuristiques ne peuvent offrir.

Principales affirmations de signification :

Robustesse : Les algorithmes avec des bornes pires cas prouvées (par exemple, ratios de compétitivité) assurent la fiabilité sous des charges de travail adverses ou des changements de distribution, contrairement aux heuristiques réglées uniquement sur des benchmarks moyens.
Planification de capacité : L'analyse théorique fournit des conditions de stabilité sous forme close, permettant un provisionnement précis des ressources avant le déploiement plutôt qu'une mise à l'échelle réactive.
Guidage de l'ingénierie : Même lorsque les algorithmes optimaux ne peuvent pas être déployés directement, leurs insights structurels (par exemple, quelles contraintes sont contraignantes) guident la conception d'heuristiques efficaces et robustes.
Nouvelle frontière de recherche : La mise en service des LLM introduit de nouvelles classes de problèmes (par exemple, planification avec des contraintes de mémoire croissantes, allocation en ligne avec des assignations persistantes) qui nécessitent une étude algorithmique dédiée au-delà des systèmes distribués classiques.

L'article conclut en appelant à un engagement interdisciplinaire : les chercheurs en systèmes doivent comprendre la théorie de l'optimisation pour découvrir les limites fondamentales, tandis que les chercheurs en algorithmes doivent s'engager avec les contraintes système pour garantir que les modèles théoriques se traduisent par un impact pratique. L'objectif ultime est de traiter la conception algorithmique pour la mise en service des LLM comme une frontière de recherche durable, faisant passer le domaine de l'ingénierie ad hoc à une optimisation fondée sur les mathématiques.