Résumé Technique : Regrouper, Router, Escalader : Un Cadre en Cascade pour le Service d'LLM Sensible au Coût

Problématique

Le déploiement efficace des grands modèles de langage (LLM) dans des environnements de production nécessite un arbitrage entre précision et coût de service. Les opérateurs choisissent généralement par défaut un modèle unique : soit un modèle large et coûteux qui surinvestit les ressources de calcul sur des requêtes faciles, soit un modèle plus petit et efficace qui sous-performe sur les requêtes difficiles. Les systèmes de routage de modèles existants nécessitent souvent des annotations allant au-delà des évaluations de tâches standards (par exemple, des données de préférence humaine ou des étiquettes de difficulté complexes) et peinent à optimiser conjointement le routage sous un budget explicite de coût d'inférence tout en récupérant la précision via une estimation de la qualité post-génération. De plus, de nombreuses approches ne s'adaptent pas facilement aux changements du pool de modèles disponibles sans reconfiguration manuelle.

Méthodologie

Les auteurs proposent un cadre en cascade à deux étapes qui optimise conjointement le routage sous un budget de Temps Par Token de Sortie (TPOT) et récupère la précision en utilisant uniquement des étiquettes de correction de tâche.

Étape 1 : Routage basé sur le regroupement (Clustering)

La première étape opère au niveau des clusters pour pré-router les requêtes, évitant l'inefficacité de faire tourner un modèle efficace sur chaque requête avant de décider d'escalader.

1. Regroupement Sémantique : Les requêtes entrantes sont encodées via all-MiniLM-L6-v2 et partitionnées en groupes cohérents ($N$ clusters) en utilisant le k-means. Le nombre de clusters est sélectionné en maximisant le score de Silhouette moyen.
2. Routage Sensible au Coût : Pour chaque cluster $c$ et modèle $m$, un score de routage est calculé :
   $$\text{Score}(m, c) = \text{Erreur}(m, c) + \lambda \cdot \text{Coût}_{\text{norm}}(m)$$
   Où $\text{Erreur}(m, c)$ est le taux d'erreur empirique sur les données d'entraînement, et $\text{Coût}_{\text{norm}}(m)$ est le TPOT normalisé du modèle (0 pour le plus rapide, 1 pour le plus lent).
3. Réglage de l'Hyperparamètre ($\lambda$) : Un hyperparamètre interprétable $\lambda$ contrôle l'arbitrage précision-latence. L'optimal $\lambda^*$ est automatiquement ajusté hors ligne sur les données d'entraînement pour satisfaire un budget TPOT $B$ spécifié par l'utilisateur.
4. Analyse de Pareto : Avant le routage, les modèles qui sont dominés au sens de Pareto (plus lents et moins précis qu'un autre modèle sur l'ensemble des clusters) sont éliminés du pool.
5. Décision de Routage : Chaque requête est assignée au centroïde du cluster le plus proche et routée vers le modèle minimisant le score pour ce cluster.

Étape 2 : Cascade d'Estimation de la Qualité (QE)

La seconde étape agit comme un filet de sécurité pour les requêtes routées vers des modèles efficaces.

1. Mécanisme : Un classificateurur binaire léger (fine-tuné sur ModernBERT-base) inspecte la sortie des modèles efficaces.
2. Entrée : Le classificateur prend en entrée la requête, la sortie du modèle et la longueur de la génération.
3. Décision : Sur la base des étiquettes de correction de tâche dérivées de la performance du modèle efficace sur les données d'entraînement, le classificateur décide soit d'accepter la sortie, soit d'escalader la requête vers un modèle plus puissant.
4. Intégration : Cette étape est appliquée uniquement aux sorties des modèles efficaces ; les requêtes routées directement vers des modèles puissants lors de l'Étape 1 contournent le classificateur pour préserver les gains de latence.

Principales Contributions

• Cadre à Deux Étapes : Une architecture novatrice combinant le routage par cluster pré-génération et l'estimation de la qualité post-génération, traitant le "fossé de la cascade multi-étapes" identifié dans les travaux antérieurs.
• Optimisation Sensible au Coût : Le système optimise conjointement le routage sous un budget TPOT explicite en utilisant un seul hyperparamètre interprétable ($\lambda$), plutôt que de balayer une courbe de coût monétaire.
• Exigence d'Annotation Minimale : Le cadre nécessite uniquement des étiquettes de correction de tâche (disponibles via les évaluations de benchmarks standards) pour le routage par clustering et l'entraînement du classificateur QE.
• Adaptabilité Dynamique : Le système s'adapte aux changements du pool de modèles (ajout ou retrait de modèles) automatiquement grâce à l'analyse de Pareto et la re-computation des tables de routage, sans reconfiguration manuelle.
• Généralisation : L'approche est validée sur deux domaines distincts : les télécommunications (TeleQnA) et le raisonnement mathématique (AIME 2024).

Résultats Expérimentaux

Le cadre a été évalué sur TeleQnA et AIME 2024 en utilisant des pools issus des familles Qwen 3/3.5 et Gemma 4.

• AIME 2024 (Raisonnement Mathématique) :

  • Le système combiné Étape 1+2 a atteint 88,4 % de précision avec un TPOT de 9,7 ms.
  • Cela conserve 97 % de la précision du modèle le plus fort (Qwen3-30B, 89,1 %) tout en réduisant la latence de 18 % (2,1 ms plus rapide).
  • L'Étape 2 a récupéré un gain de précision de 2,0 % par rapport à l'Étape 1 seule avec une augmentation de TPOT de seulement 0,2 ms.

• TeleQnA (QA en Télécommunications) :

  • Le système combiné a atteint 74,3 % de précision avec un TPOT de 23,8 ms.
  • Ceci est à 2,1 % de la précision du modèle le plus fort (76,4 %) tout en étant 0,7 ms plus rapide.
  • L'Étape 2 a récupéré 3,1 points de pourcentage de précision par rapport à l'Étape 1 seule.

• Extensibilité : Les expériences ajoutant de nouveaux modèles au pool ont démontré que le cadre élimine automatiquement les modèles dominés et intègre les modèles supérieurs, atteignant des améliorations de Pareto sans intervention manuelle.

Signification et Revendications

L'article affirme que ce cadre offre une solution pratique et interprétable pour déployer des LLM dans des environnements à contraintes de coûts, particulièrement pour les agents autonomes dans des secteurs comme les télécommunications où le déploiement sur site et la faible latence sont critiques.

• Efficacité vs Précision : Le système démontre que les opérateurs n'ont pas besoin de choisir entre un seul modèle fort ou un seul modèle efficace. Au lieu de cela, une approche en cascade peut conserver une précision proche de l'état de l'art tout en réduisant considérablement les coûts d'inférence (TPT).
• Simplicité Opérationnelle : En s'appuyant sur des étiquettes de correction de tâche et un hyperparamètre interprétable ($\lambda$), le cadre offre aux opérateurs une "voie simple" pour gérer les pools de modèles, évitant la complexité de l'entraînement de routeurs complexes sur des données de préférence.
• Scalabilité : L'utilisation de l'analyse de Pareto garantit que la logique de routage reste robuste à mesure que les pools de modèles évoluent, rendant le cadre adapté aux environnements de production dynamiques où de nouveaux modèles peuvent devenir disponibles.

Les auteurs reconnaissent des limites, notant que le cadre repose actuellement sur un clustering hors ligne (ne s'adaptant pas aux changements de distribution des requêtes au moment de l'inférence) et utilise le TPOT comme un proxy pour le coût, ce qui ne tient pas compte de la mise en file d'attente ou de la surcharge réseau. Cependant, ils soutiennent que le cadre fournit une architecture fondamentale et sensible au coût pour un service d'LLM efficace.