ParetoBandit: Budget-Paced Adaptive Routing for Non-Stationary LLM Serving

1. Problématique : Le Défi du Routage LLM en Production

Le service de modèles de langage (LLM) en production repose de plus en plus sur des portefeuilles multi-modèles, offrant un compromis entre qualité et coût qui peut varier d'un facteur d'environ 530 fois. Cependant, l'environnement de production est non stationnaire :

• Les fournisseurs de modèles ajustent silencieusement leurs prix.
• La qualité des modèles peut se dégrader sans avertissement (régression silencieuse).
• De nouveaux modèles sont intégrés régulièrement sans temps d'arrêt.

Les solutions existantes souffrent de deux lacunes majeures :

1. Absence de contrôle en boucle fermée des budgets : La plupart des routeurs apprennent une politique fixe hors ligne ou optimisent sur un horizon fini connu. Ils ne peuvent pas garantir un coût moyen par requête (budget en dollars) sur un flux de requêtes infini et changeant.
2. Gestion inadéquate de la non-stationnarité : Peu de systèmes adaptent explicitement leurs estimations de récompense et de coût face aux changements post-déploiement, risquant soit de rester bloqués sur des modèles obsolètes, soit de dépasser massivement les budgets lors de l'adaptation.

2. Méthodologie : ParetoBandit

ParetoBandit est un système de routage adaptatif open-source basé sur des bandits contextuels conscients du coût. Il intègre trois mécanismes clés pour résoudre les défis ci-dessus :

A. Contrôle Autonome du Budget (Budget Pacer)

Le système utilise un pacer de budget primal-dual en ligne pour imposer un plafond de coût par requête sur un flux infini.

• Mécanisme : Il maintient un multiplicateur de Lagrange dynamique ($\lambda_t$) qui augmente lorsque les dépenses récentes dépassent le budget cible ($B$) et diminue lorsqu'elles sont inférieures.
• Application : Ce multiplicateur pénalise les modèles coûteux dans la fonction de score du bandit.
• Double couche de sécurité :
  1. Plafond dur (Hard Ceiling) : Si $\lambda_t > 0$, les modèles dont le coût dépasse un seuil dynamique sont exclus de la sélection.
  2. Pénalité douce (Soft Penalty) : Une pénalité proportionnelle au coût biaise la sélection vers les modèles moins chers au sein du sous-ensemble admissible.

B. Résilience à la Non-Stationnarité (Oubli Géométrique)

Pour s'adapter aux changements de qualité ou de prix, le système n'utilise pas toutes les données historiques de manière égale.

• Oubli Géométrique : Les statistiques suffisantes (matrice de covariance et accumulateur de récompense) sont multipliées par un facteur d'oubli $\gamma \in (0, 1]$ à chaque étape. Cela donne une « demi-vie » effective aux données, permettant au système d'oublier les estimations obsolètes (ex: un modèle dont la qualité a baissé).
• Inflation de variance basée sur l'ancienneté : Pour éviter de ré-exploiter trop lentement les bras (modèles) négligés, la borne de confiance (UCB) est inflée en fonction du temps écoulé depuis la dernière mise à jour ou sélection.

C. Gestion de Portefeuille à Chaud (Hot-Swap)

Le système permet d'ajouter ou de supprimer des modèles à l'exécution sans redémarrage.

• Initialisation : Un nouveau modèle peut être initialisé avec des priors hors ligne (statistiques suffisantes pré-calculées) pour éviter le démarrage à froid (cold start).
• Exploration forcée : Une phase brève d'exploration forcée (ex: 20 requêtes) permet de collecter des données initiales avant que la sélection UCB ne prenne le relais.
• Discrimination : Le routeur n'adopte pas aveuglément les nouveaux modèles ; s'ils sont trop chers ou de mauvaise qualité, ils sont rejetés après la phase d'exploration.

3. Contributions Clés

1. Premier système de routage LLM à simultanément :
   • Imposer des budgets en dollars par requête sur un flux infini.
   • S'adapter en ligne aux changements de prix et de qualité.
   • Intégrer de nouveaux modèles à l'exécution sans interruption de service.
2. Contrôle Primal-Dual en Boucle Fermée : Remplace le réglage de pénalités hors ligne par un contrôle dynamique qui réalloue automatiquement le budget lorsque les prix baissent.
3. Méthode d'Optimisation des Hyperparamètres (Knee-Point) : Une procédure pour calibrer conjointement le taux d'oubli ($\gamma$) et le coefficient d'exploration ($\alpha$) en fonction d'un horizon d'adaptation défini par l'opérateur, équilibrant efficacité stationnaire et résilience aux changements.

4. Résultats Expérimentaux

Les évaluations ont été menées sur un portefeuille de 3 modèles (Llama-3.1-8B, Mistral-Large, Gemini-2.5-Pro) couvrant une plage de coûts de 530x, avec 1 824 prompts de référence.

• Conformité au Budget : Sur sept plafonds de budget différents, le coût moyen par requête n'a jamais dépassé l'objectif de plus de 0,4 %. Même lors de changements brusques de prix, le système maintient la conformité.
• Adaptation aux Changements de Prix : Lors d'une baisse de prix de 50 % sur le modèle le plus cher, le système a immédiatement augmenté son adoption, entraînant une augmentation de la qualité de +0,071 tout en respectant le budget.
• Détection de Dégradation Silencieuse : Face à une régression de qualité de 18 % sur un modèle (sans changement de prix), ParetoBandit a détecté la baisse via le signal de récompense, réduit l'allocation de ce modèle et réorienté le trafic, tout en maintenant le budget. Les méthodes de base sans contrôle de budget ont dépassé leur cible de coût jusqu'à 6,9 fois.
• Intégration à Froid : Un nouveau modèle ajouté à l'exécution atteint une adoption significative en environ 142 étapes sans violer le plafond de coût.
• Latence : La latence de routage est de 9,8 ms (sur CPU), ce qui représente moins de 0,4 % du temps d'inférence typique d'un LLM. La décision de routage elle-même ne prend que 22,5 µs.

5. Signification et Impact

ParetoBandit représente une avancée majeure pour le déploiement industriel de LLMs. Il démontre qu'il est possible de gérer des portefeuilles de modèles dynamiques et non stationnaires avec une rigueur économique stricte.

• Opérationnel : Il permet aux ingénieurs de définir un budget en dollars et de laisser le système optimiser automatiquement le compromis qualité-prix, s'adaptant aux fluctuations du marché sans intervention manuelle.
• Robustesse : La capacité à détecter les régressions de qualité et à gérer les nouveaux modèles rend le système résilient face à l'instabilité inhérente aux API de LLM.
• Efficacité : Avec une latence négligeable, il peut être déployé dans la chaîne critique de n'importe quel service d'inférence LLM à grande échelle.

En conclusion, ParetoBandit comble le fossé entre la théorie des bandits adaptatifs et les réalités opérationnelles du service LLM, offrant une solution prête à l'emploi pour le routage intelligent, économique et résilient.