Scalable Prompt Routing via Fine-Grained Latent Task Discovery

1. Problématique

L'essor des modèles de langage (LLM) a conduit à la création de pools de modèles candidats contenant des dizaines de modèles de pointe (frontier models) aux capacités très similaires. Le routage d'invites (prompt routing) vise à sélectionner dynamiquement le modèle le plus approprié pour chaque requête afin d'optimiser le rapport performance/coût.

Cependant, les approches existantes rencontrent des limites majeures face à cette échelle :

• Taxonomies manuelles : Les catégories de tâches définies manuellement sont trop grossières pour capturer les nuances subtiles entre les modèles (ex. : la distinction entre l'algèbre symbolique et les problèmes de mots en mathématiques).
• Routeurs monolithiques : Les estimateurs de qualité uniques peinent à différencier les performances fines sur des tâches diverses, car ils doivent apprendre toutes les distinctions simultanément.
• Gaps de performance réduits : Avec des modèles de pointe très performants, les écarts de performance sont minimes, rendant la tâche de routage extrêmement difficile et nécessitant une identification précise des affinités tâche-modèle.

2. Méthodologie : FineRouter

Les auteurs proposent FineRouter, une architecture de routage en deux étapes qui combine la découverte automatique de tâches fines et une estimation de qualité consciente de la tâche.

Étape 1 : Découverte de types de tâches et appariement

Cette phase se déroule hors ligne (offline) et vise à structurer les données d'entraînement sans taxonomie préétablie.

• Description des tâches : Pour chaque invite d'entraînement, un LLM génère une phrase concise décrivant la tâche.
• Construction de graphe : Un graphe creux est construit où les nœuds sont les invites. Les arêtes pondérées combinent deux signaux :
  1. La similarité sémantique entre les descriptions de tâches (via embeddings).
  2. La similarité des préférences de modèles (via le Rank Biased Overlap ou RBO des listes de modèles classés par qualité).
• Clustering itératif : Un algorithme de détection de communautés (Leiden) est appliqué pour identifier des groupes d'invites partageant à la fois une sémantique similaire et des préférences de modèles identiques. Chaque cluster représente un type de tâche latent fin.
• Sélection de candidats : Pour chaque tâche découverte, une liste restreinte de modèles candidats (ceux performants sur ce cluster) est identifiée via une fusion de rangs.
• Classifieur de tâches : Un classifieur binaire est entraîné pour associer une nouvelle invite à l'un des types de tâches découverts (ou à "aucune tâche" si le score est faible).

Étape 2 : Routeur dynamique conscient de la tâche (MoE)

Cette phase utilise la structure de tâches découverte pour affiner l'estimation de la qualité.

• Architecture Mixture-of-Experts (MoE) : Le routeur utilise une architecture où des têtes de prédiction spécialisées sont activées selon le type de tâche attribué.
  • Adaptateurs généraux : Estiment la qualité de tous les modèles sur l'ensemble des données (connaissances globales).
  • Adaptateurs spécifiques aux tâches : Pour chaque tâche $t_i$, des adaptateurs spécialisés sont entraînés uniquement sur les données de ce cluster pour prédire la performance des modèles candidats sélectionnés à l'étape 1.
• Entraînement : Une stratégie en deux phases est utilisée : d'abord l'entraînement de la base (encodeur + têtes générales), puis le fine-tuning des têtes spécifiques sur les données étiquetées, tout en gelant les encodeurs partagés.

Inférence et Agrégation

Lors de l'inférence, le système combine les signaux des deux étapes :

1. Le classifieur attribue une tâche à l'invite.
2. Les adaptateurs spécifiques (si une tâche est trouvée) et généraux sont activés pour produire des scores de qualité estimés.
3. Le score final est une moyenne pondérée entre le score spécifique à l'invite (Étape 2) et le score agrégé basé sur la tâche (médiane des performances du modèle sur le cluster de l'étape 1).
   $$Q_{final}(p, M) = \alpha \cdot \text{norm}(\tilde{Q}_t(p, M)) + (1 - \alpha) \cdot \text{norm}(\bar{Q}_{t}(M))$$

3. Contributions Clés

1. Découverte automatique de tâches fines : Une méthode évolutive qui combine des signaux sémantiques et de performance pour identifier des types de tâches latents à partir de données massives, éliminant le besoin de taxonomies manuelles.
2. Architecture de routage MoE : Un routeur qui exploite la structure de tâches découverte via des têtes de prédiction spécialisées, permettant une estimation de qualité plus précise que les estimateurs monolithiques.
3. Évaluation exhaustive : Validation sur 10 benchmarks variés (raisonnement, code, QA) avec 11 modèles de pointe (incluant Claude-4.5, Llama-4, DeepSeek-R1, Qwen3), démontrant une supériorité constante par rapport aux méthodes existantes.

4. Résultats Expérimentaux

• Performance : FineRouter surpasse systématiquement les méthodes de base (kNN, MLP, RouteLLM, GraphRouter, IPR) et, surtout, surpasse le modèle individuel le plus performant (Claude-Sonnet-4.5) sur l'ensemble des tâches.
• Efficacité des coûts : Le système atteint une performance supérieure à celle du meilleur modèle unique tout en engendrant moins de la moitié du coût d'inférence.
• Analyse d'ablation :
  • L'utilisation de tâches fines découvertes automatiquement (Fine CLS) est nettement supérieure aux taxonomies grossières manuelles (Coarse CLS).
  • L'architecture complète à deux étapes est supérieure à l'utilisation isolée de l'étape 1 ou de l'étape 2, confirmant la complémentarité des signaux.
• Distribution du routage : Le routeur répartit judicieusement les requêtes entre plusieurs modèles (ex: 28% vers Claude-Sonnet-4.5, 27% vers DeepSeek-R1), évitant la sur-utilisation d'un seul modèle.
• Cas d'usage : La méthode a découvert des distinctions inattendues, comme séparer les "problèmes mathématiques symboliques" (gérés par Llama) des "problèmes de mots contextuels" (gérés par Claude), et a identifié des niches spécifiques (ex: requêtes sur les indicatifs téléphoniques).

5. Signification et Impact

Ce travail démontre que pour gérer des pools de modèles de plus en plus vastes et performants, il est crucial de passer d'une approche de routage basée sur des catégories globales à une approche basée sur la structure latente fine des tâches.

En automatisant la découverte de ces nuances et en spécialisant les estimateurs de qualité, FineRouter permet une allocation des ressources beaucoup plus efficace. Cela ouvre la voie à des systèmes de production capables de tirer le meilleur parti de dizaines de modèles de pointe simultanément, en maximisant la qualité de réponse tout en minimisant drastiquement les coûts opérationnels.

Limites mentionnées

• Dépendance à la qualité des descriptions générées par LLM et des modèles de récompense (reward models).
• Nécessité d'un réglage des hyperparamètres de clustering.
• Coût computationnel de l'entraînement (nécessite des réponses de tous les modèles candidats pour l'entraînement).
• Actuellement limité aux invites textuelles (pas de multimodalité).