Résumé Technique : PARS – Planificateur de Classement Sensible au Prompt pour le Service d'LLM à Faible Latence

Énoncé du Problème

Le déploiement des Grands Modèles de Langage (LLM), particulièrement la génération émergente de modèles capables de raisonnement (ex. : DeepSeek R1, GPT-o1), fait face à un défi critique en matière de planification d'inférence : le blocage de tête de ligne (Head-of-Line ou HOL blocking). Les systèmes de service traditionnels, tels que vLLM et Orca, reposent principalement sur des politiques de type "Premier arrivé, premier servi" (FCFS). Dans le cadre du FCFS, les tâches d'inférence de longue durée (souvent caractérisées par des traces de raisonnement de type Chaîne de Pensée très variables et étendues) bloquent les tâches plus courtes placées derrière elles dans la file d'attente, entraînant des pics de latence importants et une réduction du débit.

Bien que la politique "Travail le plus court d'abord" (Shortest-Job-First ou SJF) soit théoriquement optimale pour minimiser la latence moyenne, son application aux LLM est entravée par la nature stochastique et auto-régressive de la génération de tokens. La longueur exacte de la sortie ne peut être connue avant l'exécution. Les tentatives existantes pour approximer le SJF via la prédiction de longueur souffrent de trois limitations principales :

1. Sensibilité au bruit : Les méthodes de prédiction ponctuelles (régression) et de classement de listes (listwise) peinent face à la variabilité inhérente des sorties de LLM, où des prompts similaires peuvent produire des longueurs fluctuantes d'une exécution à l'autre, introduisant des signaux d'entraînement bruités.
2. Complexité du raisonnement : Les prédicteurs standards échouent souvent à prendre en compte toute la complexité des traces de raisonnement multi-étapes communes aux modèles modernes.
3. Manque de généralisation : De nombreuses approches nécessitent un réentraînement spécifique au modèle, ce qui les rend peu pratiques pour des déploiements de modèles divers ou propriétaires.

Méthodologie : Cadre PARS

Les auteurs présentent PARS (Prompt-Aware Ranking Scheduler), un cadre léger conçu pour atténuer le blocage HOL en approximant l'ordonnancementation SJF par un apprentissage de classement par paires (pairwise learning-to-rank). PARS se compose de deux composants principaux :

1. Prédicteur entraîné par paires

Au lieu de prédire des longueurs de sortie absolues (ponctuel) ou de classer des listes entières (listwise), PARS se concentre sur des comparaisons par paires utilisant une perte de classement par marge (margin ranking loss).

• Objectif d'entraînement : Le modèle est entraîné sur des paires de prompts $(A, B)$ avec des étiquettes binaires indiquant quel prompt est censé générer une réponse plus longue.
• Filtrage du bruit : Pour traiter la stochasticité, les données d'entraînement sont filtrées pour n'inclure que les paires de prompts présentant une différence significative dans les longueurs de réponse réelles (définie par un seuil de variance relative $\delta = 0,2$). Cela garantit que le modèle apprend à partir de paires "informatives" dont l'ordre relatif est robuste face au bruit d'échantillonnage, plutôt que de lutter contre des comparaisons quasi équivalentes.
• Architecture : Le prédicteur utilise un backbone BERT-base-uncased léger. Il extrait l'embedding du token [CLS] du prompt et le fait passer par une couche linéaire pour générer un score scalaire représentant le coût attendu de la réponse.
• Fonction de perte : Le modèle est optimisé à l'aide d'une perte de classement par marge : $L(s_A, s_B, y) = \max(0, -y \cdot (s_A - s_B) + \text{marge})$, imposant une séparation de marge entre les scores des paires correctement classées.

2. Planificateur guidé par le prédicteur

Le prédicteur entraîné est intégré au système de service vLLM pour gérer la File d'attente d'attente (W) et la File d'exécution (R).

• Logique de planification : À l'arrivée, les requêtes sont scorées par le prédicteur. La file d'attente est triée selon ces scores (ordre croissant de la longueur attendue) pour donner la priorité aux tâches plus courtes, approximant ainsi efficacement le SJF.
• Prévention de la famine (Starvation) : Pour éviter que les tâches de longue durée ne soient indéfiniment reportées, un mécanisme augmente la priorité de toute requête ayant attendu au-delà d'un seuil configurable (par défaut : 2 minutes).
• Implémentation : Le planificateur opère au niveau de l'itération, est compatible avec le batching continu, et ne nécessite aucune modification des backends C++/CUDA sous-jacents de vLLM.

Contributions Clés

1. Approche par paires novatrice : L'article propose une méthode de classement par paires avec perte de classement par marge et filtrage de données, qui démontre une plus grande stabilité face à la nature stochastique de la génération de LLM par rapport aux bases ponctuelles et listwise.
2. Conception sensible au raisonnement : Le cadre inclut explicitement les traces de raisonnement complètes (pensées intermédiaires et justifications) dans la définition de la longueur de la réponse, ce qui le rend adapté aux LLM de raisonnement modernes.
3. Intégration transparente : PARS est implémenté comme un module open-source au sein de vLLM (environ 1 000 lignes de code), ne nécessitant aucun changement au moteur d'inférence central.
4. Généralisation inter-modèles : Les auteurs démontrent qu'un prédicteur entraîné sur un modèle (ex. : GPT-4) peut planifier efficacement les tâches pour d'autres modèles divers (ex. : Llama 3.1, DeepSeek-R1) sans réentraînement.

Résultats Expérimentaux

Des évaluations approfondies ont été menées sur plusieurs jeux de données (Alpaca, LMSYS-Chat-1M, MATH-plus, Evolved Codealpaca) et modèles (Llama 3.1, GPT-4, DeepSeek-R1).

• Précision du prédicteur : PARS a atteint la précision de classement la plus élevée en termes de Kendall's Tau ($\tau_b$) sur tous les jeux de données, atteignant jusqu'à 0,96 sur le jeu de données Alpaca. Il a nettement surpassé les bases ponctuelles et listwise, particulièrement sur les modèles de raisonnement (ex. : une amélioration de 5,5× par rapport au SJF ponctuel sur LMSYS-Chat-1M avec DeepSeek-R1).
• Réduction de la latence : Dans des charges de travail réelles, PARS a réduit la latence moyenne par token jusqu'à 15,7× par rapport au planificateur FCFS par défaut de vLLM sur Llama 3.1. Sous des conditions de charge intense (2 000 requêtes simultanées), il a obtenu une accélération allant jusqu'à 7,7× sur Llama et plus de 2× sur DeepSeek-R1.
• Latence de queue (Tail Latency) : PARS a considérablement amélioré la latence p90, la réduisant jusqu'à 12,3× par rapport au FCFS, rapprochant les performances de l'idéal "Oracle SJF" (qui utilise les longueurs réelles).
• Débit et surcharge (Overhead) : La méthode a maintenu ou légèrement amélioré le débit du système (requêtes par seconde) en augmentant l'homogénéité des batches. La surcharge de temps d'exécution pour le scoring et le tri était négligeable (environ 0,08 % du temps de service total), sans ajouter de latence supplémentaire à l'exécution des requêtes.
• Généralisation : La variante "Cross-Model PARS", entraînée uniquement sur des données GPT-4, a réussi à planifier des tâches pour Llama et DeepSeek-R1, surpassant les bases ponctuelles spécifiques aux modèles et égalant les approches listwise.

Signification et Revendications

L'article soutient qu'à mesure que les LLM capables de raisonnement deviennent prédominants, la variabilité des temps d'inférence rendra le FCFS de plus en plus inefficace. La portée de PARS réside dans sa capacité à fournir une alternative pratique, déployable et légère aux solutions de planification lourdes ou spécifiques aux modèles.

Les auteurs affirment que :

• Le classement par paires est supérieur pour la planification de LLM car il se concentre sur des comparaisons relatives robustes plutôt que sur des prédictions absolues instables.
• La généralisation est réalisable sans réentraînement, permettant à un prédicteur unique de gérer des flottes hétérogènes de LLM.
• Une surcharge minimale rend l'approche viable pour les environnements de production où la réactivité est critique.

Le travail conclut que bien que l'ampleur des gains dépende de la variabilité de la longueur des tâches, PARS offre un mécanisme robuste pour capturer les coûts d'exécution relatifs, atténuant efficacement le blocage HOL et permettant un service à faible latence pour la prochaine génération d'applications d'IA. Le logiciel et les jeux de données sont publiés en open-source pour faciliter l'adoption dans la recherche et les déploiements réels.