Résumé technique : Au-delà de la précision et du coût : Routage de requêtes LLM sensible à la latence pour les charges de travail dynamiques

Énoncé du problème

Les routeurs de requêtes linguistiques modernes optimisent le compromis entre la qualité de la réponse (précision) et le coût monétaire en assignant les requêtes à différentes instances de modèles de langage étendu (LLM). Cependant, les routeurs existants sont largement insensibles à la latence. Ils sélectionnent les modèles en fonction de prédicteurs d'exactitude et de coût, mais ignorent la latence de génération qu'une requête subira sur une instance spécifique.

En pratique, la latence est déterminée par des politiques d'équilibrage de charge au niveau du système (par exemple, round-robin, join-the-shortest-queue) qui ne tiennent pas compte de l'exactitude ou du coût d'inférence du modèle. Inversement, l'optimisation de la latence au niveau du système suppose une assignation requête-modèle fixe et ignore les compromis exactitude-coût. Cela crée un fossé : les routeurs actuels peuvent router des requêtes vers des instances surchargées, provoquant de longs délais de mise en file d'attente et violant les objectifs de niveau de service (SLO), tandis que les optimiseurs de système ne peuvent pas exploiter les capacités hétérogènes d'exactitude-coût d'un pool de modèles.

Le défi central est que la latence de génération est non déterministe et dépend de :

1. Les spécifications matérielles et l'architecture du modèle.
2. La composition actuelle de la charge de travail (étapes de prefill vs decode) à l'instance.
3. Les politiques de batching et d'ordonnancement du framework de service (par exemple, vLLM, Sarathi-Serve).

Estimer avec précision le Temps jusqu'au premier jet (TTFT) pour une requête entrante est difficile car cela nécessite de simuler la manière dont le framework de service regroupera la nouvelle requête avec les séquences résidentes existantes, en considérant à la fois l'interférence de prefill (limité par le calcul) et de decode (limité par la mémoire).

Méthodologie

Les auteurs proposent un framework de routage qui optimise conjointement l'exactitude, le coût et la latence. Le système se compose de trois composants principaux :

1. Objectif de routage

Le routeur sélectionne une instance de modèle $m(i)$ pour une requête $q_i$ afin de maximiser l'utilité exactitude-coût ($\hat{U}_{i,j}$) tout en respectant une contrainte de TTFT ($\tau_i$).

• Utilité : $\hat{U}_{i,j}(\lambda) = \hat{acc}_{i,j} - \lambda \cdot \hat{cost}_{i,j}$, où $\lambda$ équilibre la qualité et le coût.
• Contrainte : L'instance sélectionnée doit satisfaire $\hat{L}^{ttft}_{i,j}(t) \leq \tau_i$. Si aucune instance ne satisfait la contrainte, le routeur sélectionne celle ayant la latence estimée la plus faible.
• Évaluation : La performance est mesurée via l'OnTimeUtility, qui fait la moyenne de l'utilité des requêtes respectant leurs contraintes de latence (attribuant une utilité de zéro à celles qui les violent).

2. Estimateur de latence SFS (Serving Framework Simulation)

Pour prédire le TTFT avec précision sans exécution en temps réel, les auteurs conçoivent un estimateur léger qui simule le comportement du framework de service.

• Entrée : L'estimateur utilise l'état actuel de l'instance du modèle, incluant l'ensemble des requêtes résidentes ($R_j(t)$), leurs jetons de prefill restants, et les longueurs de decode prédites.
• Processus de simulation :
  1. Il construit une charge de travail augmentée incluant la nouvelle requête et toutes les requêtes résidentes.
  2. Il simule de manière déterministe les politiques de batching continu et d'ordonnancement du framework de service pour former des lots de jetons (token batches).
  3. Il itère à travers ces lots jusqu'à ce que la nouvelle requête génère son premier jeton de decode.
• Modèle de temps de traitement par lot de jetons : Au lieu de simuler des kernels de bas niveau, l'estimateur utilise un modèle linéaire calibré (Éq. 9) pour prédire le temps de chaque lot de jetons. Ce modèle prend en compte :
  • Les surcoûts fixes.
  • Le calcul des couches denses par jeton (linéaire avec la taille du lot).
  • Le calcul de l'attention et les lectures du cache KV (linéaire avec la longueur du contexte pour le decode).
  • Les coûts d'attention de prefill (quadratique à l'intérieur du chunk de prefill).
• Sortie : La somme des temps de traitement prédits pour tous les lots de jetons simulés jusqu'au premier jeton de decode constitue l'estimation du TTFT.

3. Estimation du cas moyen (Sans données en temps réel)

Dans les scénarios où les instantanés de la charge de travail en temps réel ne sont pas disponibles (par exemple, routage vers des clouds tiers), les auteurs proposent une abstraction par la théorie des files d'attente utilisant un modèle de Partage de Processeur Limité (LPS). Cela modélise l'instance comme un serveur partageant sa capacité parmi jusqu'à $k$ requêtes concurrentes, les autres attendant dans une file FIFO. Cela permet d'estimer les temps d'attente moyens basés sur les taux d'arrivée et les capacités de service.

Contributions clés

1. Framework d'optimisation conjointe : Le papier comble le fossé entre le routage exactitude-coût et l'optimisation de la latence au niveau du système en concevant un routeur qui prend des décisions de routage basées sur ces trois métriques simultanément.
2. Estimateur SFS léger : Les auteurs introduisent un nouvel estimateur de latence qui simule le traitement autoregressif des lots de jetons. Il capture l'interaction complexe entre les charges de travail de prefill et de decode ainsi que les politiques des frameworks de service (comme le chunked prefill) sans nécessiter une exécution complète.
3. Haute précision et faible surcharge : L'estimateur SFS atteint une erreur absolue moyenne (MAPE) de <5 % sur les prédictions de TTFT avec une surcharge au moment du test d'environ 0,14 ms (sub-milliseconde), ce qui le rend adapté au chemin critique du routage.
4. Robustesse : Le framework est évalué sous des arrivées de Poisson standard et des arrivées de processus de Poisson modulés par Markov (MMPP) par rafales, démontrant des améliorations de performance constantes.

Résultats expérimentaux

Les auteurs ont évalué leur approche en utilisant trois modèles Qwen3 (0.6B, 8B, 32B) déployés sur des GPU H100 avec le framework de service vLLM. Ils ont comparé leur routeur basé sur SFS à trois baselines :

• Round Robin : Assignation cyclique ignorant la charge de travail.
• Shortest Queue : Assigne à l'instance ayant le moins de requêtes (axé sur la latence, agnostique à l'exactitude).
• Latency-Agnostic : Maximise l'utilité en ignorant la latence.

Principales conclusions :

• Amélioration de l'utilité : La méthode proposée génère jusqu'à 40 % d'amélioration de l'utilité exactitude-coût par rapport aux baselines standards d'équilibrage de charge (comme Shortest Queue) tout en respectant les mêmes contraintes de latence.
• OnTimeUtility : À travers diverses de taux d'arrivée de requêtes, le routeur SFS a atteint une AUC (Aire Sous la Courbe) pour l'OnTimeUtility 33 % plus élevée que la meilleure baseline.
• Contrôle du compromis : En faisant varier le paramètre de pénalité de latence $\delta$ dans la relaxation lagrangienne, le routeur fournit une courbe de compromis contrôlable entre l'utilité et la latence, surpassant les baselines qui ne peuvent pas équilibrer ces métriques efficacement.
• Performance de l'estimateur : La baseline basée sur le débit (qui ignore l'interférence de decode) présentait un MAPE de 85 %, tandis que l'estimateur SFS l'a réduit à 5 %, soulignant la nécessité de simuler la dynamique complète du framework de service.

Signification et affirmations

Le papier affirme que l'optimisation conjointe de l'exactitude, du coût et de la latence est essentielle pour un déploiement efficace des LLM dans des charges de travail dynamiques. Les auteurs soutiennent que les routeurs existants échouent car ils traitent la latence comme une préoccupation de système séparée de la sélection du modèle, menant à une utilisation sous-optimale des ressources et des violations de SLO.

En intégrant un estimateur de latence léger basé sur la simulation directement dans la décision de routage, le framework proposé évite les instances surchargées tout en préservant de fortes performances d'exactitude-coût. Ce travail démontre qu'il est possible d'obtenir des gains d'utilité significatifs (jusqu'à 40 %) sans sacrifier les contraintes de latence, unifiant ainsi efficacement les objectifs auparavant cloisonnés de "routage intelligent" (exactitude/coût) et d' "équilibrage de charge" (latence). Les auteurs positionnent cela comme une solution pratique pour les déploiements réels où les charges de travail de requêtes sont dynamiques et les SLO stricts.