Résumé Technique : Faire plus avec moins : une enquête sur les stratégies de routage pour l'optimisation des ressources dans les systèmes basés sur les grands modèles de langage

1. Énoncé du problème

Les systèmes basés sur les grands modèles de langage (LLM), en particulier les agents conversationnels, sont fréquemment conçus avec des architectures monolithiques et statiques qui reposent sur un seul modèle généraliste pour traiter toutes les requêtes des utilisateurs. Cette approche est souvent inefficace car les différentes requêtes nécessitent des niveaux variables de raisonnement, de connaissances de domaine ou de prétraitement. Bien que les modèles généralistes (ex. GPT-4o, Claude-Sonnet) soient performants pour diverses tâches, ils engendrent des coûts financiers, énergétiques et computationnels disproportionnés pour des requêtes plus simples.

Le document définit un routeur comme un composant qui dirige un élément (ex. une requête utilisateur) vers l'élément le plus approprié dans un ensemble de candidats afin d'optimiser la consommation de ressources. Cela diffère des cadres de mélange d'experts (Mixture-of-Experts - MoE), où un mécanisme de porte interne sélectionne des sous-réseaux au sein d'un seul modèle. En revanche, un routeur externe opère indépendamment du processus de propagation latente du LLM, fonctionne sous des contraintes budgétaires et peut router vers des candidats divers, incluant des modèles plus petits, des modèles spécialisés, des flux de travail ou des sources de données.

Formellement, le problème de routage est défini comme la maximisation d'une fonction de score $s$ (ex. la précision) pour une requête $q$ et un ensemble de modèles $M$, sous une contrainte de budget $B$ :
$$R_M(q) = \arg \max_{M \in M} s(q, M) \quad \text{sous réserve de} \quad C_M(q) \le B$$
où $C_M$ est le coût (ex. $/token) pour appeler le modèle $M$.

2. Méthodologie et Taxonomie

Ce travail fournit une enquête et une taxonomie complètes des stratégies de routage, abordant trois questions fondamentales :

1. Que le routage doit-il optimiser ? (Performance vs Coût)
2. Quand le routage doit-il avoir lieu ? (Pré-génération vs Post-génération)
3. Comment le routage doit-il être implémenté ? (Stratégies algorithmiques)

2.1 Objectifs d'optimisation

• Métriques de performance : L'enquête examine les méthodes visant à maximiser les fonctions de score, allant de la correspondance exacte/partielle et des scores ROUGE à la similitude sémantique et l'évaluation automatique via des LLM. Elle note également l'utilisation de l'apprentissage de préférences (ex. modèles de Bradley-Terry) basé sur les données de réviseurs humains.
• Métriques de coût : Au-delà des coûts financiers (prix du token), le document met l'accent sur la minimisation de la latence et des coûts environnementaux (consommation d'énergie, empreinte carbone), notant que les modèles plus grands nécessitent généralement plus d'opérations de virgule flottante et d'énergie.

2.2 Temporalité du routage

• Routage pré-génération : Les décisions sont prises avant qu'un modèle ne génère une réponse. Cela minimise la latence. Les stratégies incluent l'inférence du domaine de la requête ou l'estimation de sa complexité pour router vers un modèle approprié.
• Routage post-génération (Cascade) : Les décisions sont prises après qu'un modèle a généré une réponse. Si la sortie est jugée inadéquate, la requête est routée vers un modèle plus grand ou différent. Bien que flexible (ex. cascade à choix multiples), cette approche entraîne une latence et un coût plus élevés en raison de générations multiples par requête.

2.3 Stratégies d'implémentation

Le document catégorise les stratégies d'implémentation en quatre groupes principaux :

A. Routage basé sur la similitude

Utilise des signaux non supervisés ou faiblement supervisés pour router les requêtes sur la base de la similitude sémantique avec des interactions passées.

• Similitude de requête : Calcule la similitude cosinus entre les plongements (embeddings) de requêtes (ex. 1-plus proche voisin). Bien que léger, cela peine souvent face aux requêtes complexes et à la généralisation.
• Clustering : Regroupe les requêtes en clusters sémantiques (ex. k-means) et route en fonction de la performance historique par cluster. Certaines approches (ex. Jitkrittum et al.) permettent l'ajout dynamique de nouveaux modèles sans réentraîner l'ensemble du système.
• Similitude de préférence : Utilise des données de préférence humaine (ex. provenant de Chatbot Arena) pour prédire quel modèle un utilisateur préférerait pour une requête donnée, employant souvent des algorithmes de type Bradley-Terry ou ELO.

B. Routage supervisé

Traite le routage comme une tâche de classification ou de régression une fois les profils de performance établis.

• Systèmes de recommandation : Utilise la factorisation de matrice pour inférer des caractéristiques latentes et prédire les préférences des utilisateurs entre les modèles et les requêtes.
• Classification de domaine : Route les requêtes vers des modèles spécialisés selon de larges catégories (ex. mathématiques, médecine). Bien qu'efficace, cette méthode peine avec les requêtes ne rentrant pas dans les catégories prédéfinies.
• Inférence de la complexité de la requête : Classifie les requêtes par niveau de difficulté. Cela surpasse souvent le routage basé sur le domaine mais peut souffrir sur des jeux de données hors distribution. Les approches incluent l'inférence de la complexité via les différences de performance entre tailles de modèles ou l'utilisation de la régression pour prédire les scores qualité-coût.
• Graphes de connaissances : Utilise des cadres inductifs de graphes (ex. GraphRouter) pour apprendre les relations contextuelles entre les tâches, les requêtes et les modèles, améliorant la généralisation à de nouveaux modèles sans réentraînement.
• Inférence de la confiance de la réponse : Estime la probabilité qu'une réponse générée soit correcte (ex. FrugalGPT) pour décider s'il faut passer à un modèle plus large.

C. Routage par Apprentissage par Renforcement (RL)

Cadre le routage comme un problème de prise de décision séquentielle où le routeur apprend des retours de l'environnement.

• Algorithmes sans état (Stateless) : Mappent directement les récompenses aux actions (ex. Automates d'apprentissage stochastique, Q-learning) sans maintenir des états complexes. Ils sont peu gourmands en ressources mais peinent face à des contextes évolutifs.
• Algorithmes avec état (State-based) : Incorporent des informations contextuelles (ex. Bandits Manchots Contextuels) pour déterminer quels modèles performent le mieux dans des situations spécifiques.
• Inférence basée sur la récompense : Utilise des modèles de récompense distincts (entraînés via la distillation de connaissances) pour prédire quel LLM performera le mieux, évitant ainsi le besoin d'apprentissage par interaction directe.

D. Routage génératif

Exploite les propres capacités des LLM pour prendre des décisions de routage.

• Probabilité de jeton/séquence : Mesure l'incertitude de la sortie (ex. l'écart entre les probabilités des jetons de tête) pour décider si un modèle plus grand est nécessaire.
• Routage par prompt : Utilise les LLM pour classifier les requêtes ou exprimer une "confiance verbalisée" (pré ou post-génération). Bien qu'accessibles, les LLM souffrent souvent de surconfiance.
• Fine-tuning de LLM : Réentraîne spécifiquement des modèles pour des tâches de routage (ex. classification de domaine, scoring de complexité ou génération d'appels d'API).
• Appels répétés : Génère plusieurs réponses pour évaluer la cohérence ; une faible cohérence déclenche le routage vers un modèle plus grand.
• Exécution de code : Utilise l'exécution réussie du code comme un signal de confiance sans ambiguïté pour le routage dans les tâches de génération de code.

3. Résultats clés et conclusions

• Efficacité vs Performance : L'enquête démontre que le routage peut réduire considérablement les coûts (jusqu'à 98 % dans certains cas) tout en maintenant une précision comparable aux meilleurs modèles autonomes. Cependant, l'efficacité d'une stratégie dépend fortement de la complémentarité des modèles candidats.
• Compromis stratégiques :
  • Les méthodes basées sur la similitude sont légères mais échouent souvent sur des tâches complexes ou hors distribution.
  • Les méthodes supervisées offrent généralement une plus grande précision mais nécessitent des données étiquetées et peuvent nécessiter un réentraînement pour de nouveaux modèles.
  • Les méthodes génératives (comme celles par prompt) sont flexibles mais peuvent être gourmandes en ressources ou peu fiables en raison de la surconfiance des modèles.
  • Les méthodes basées sur le RL offrent de l'adaptabilité mais introduisent de la complexité dans l'entraînement et la gestion d'état.
• Généralisation : Un défi récurrent est l'incapacité de nombreuses approches d'apprentissage transductif à se généraliser à de nouveaux candidats de routage sans réentraînement. Les approches inductives (ex. GraphRouter, vecteurs de performance basés sur le clustering) montrent des promesses pour répondre à ce problème.
• Évaluation : Le document note un manque d'évaluation standardisée, de nombreuses études utilisant des bases de référence non standard. Il souligne l'émergence de benchmarks tels que RouterBench et MixInstruct.

4. Limites et défis

Le document identifie plusieurs limites critiques dans l'état actuel du domaine :

• Définition du coût : La plupart des études se concentrent uniquement sur les coûts financiers, négligeant les impacts computationnels et environnementaux.
• Standardisation : Il existe un manque de cadres standardisés pour évaluer les stratégies de routage, rendant la comparaison objective difficile.
• Diversité des candidats : La performance du routage repose fortement sur la complémentarité du pool de candidats. Des modèles redondants (ex. même taille, entraînement généraliste) offrent des gains limités.
• Architectures statiques : La plupart des systèmes sont statiques ; ajouter de nouveaux modèles ou flux de travail nécessite généralement de réentraîner toute l'infrastructure de routage, ce qui entrave la scalabilité dans des environnements dynamiques.
• Surconfiance : Les méthodes de routage génératif reposant sur la confiance verbalisée souffrent souvent de la surconfiance des LLM, menant à des décisions sous-optimales.

5. Signification et directions futures

Cette enquête vise à fournir un aperçu complet et à formaliser le routage comme un problème d'optimisation performance-coût. Sa signification réside dans :

• Taxonomie : Fournir une classification structurée des stratégies de routage (pré/post-génération, similitude/supervisé/RL/génératif).
• Transfert industriel : Souligner le fossé entre la recherche et l'industrie, où de nombreuses entreprises utilisent encore des routages conditionnels ou par prompt simplistes. Le document préconise le transfert de stratégies légères, fondées sur la recherche, vers les applications industrielles.
• Recherche future : Les auteurs appellent à :
  • Intégrer les coûts computationnels et environnementaux dans l'objectif d'optimisation.
  • Établir des bases de référence standardisées (aléatoire, oracle, meilleur modèle autonome) pour l'évaluation.
  • Développer des stratégies de routage autonomes et adaptatives capables de se généraliser à de nouveaux composants sans réentraînement, en traitant le routeur comme un agent dynamique au sein du système.
  • Étendre le routage au-delà de l'étape de génération pour inclure la sélection d'embeddings, les stratégies de récupération (retrieval) et la conception de pipelines.

Le document conclut que le routage offre une voie pratique pour améliorer l'efficacité des systèmes basés sur les LLM, permettant le développement de systèmes adaptatifs et à faible coût sans sacrifier la performance.