Task-Aware LLM Routing with Multi-Level Task-Profile-Guided Data Synthesis for Cold-Start Scenarios

1. Problématique : Le Défi du "Cold-Start" dans le Routage de LLM

Les grands modèles de langage (LLM) présentent une variabilité significative en termes de performance et de coût computationnel selon les tâches et les requêtes. Le routage de LLM vise à sélectionner le modèle optimal parmi un pool de candidats pour chaque requête, en fonction des préférences de l'utilisateur (équilibre coût-performance).

Cependant, les approches existantes souffrent d'une limitation majeure : elles nécessitent généralement des données d'entraînement étiquetées en domaine (in-domain) pour entraîner des routeurs (classificateurs ou régresseurs). Dans les scénarios réels de démarrage à froid (cold-start), où aucune donnée d'entraînement n'est disponible (ex. : nouveaux produits, utilisateurs individuels), ces routeurs généralisent mal. Les méthodes basées sur l'apprentissage par transfert ou le réglage fin direct échouent souvent face aux décalages de distribution entre les données d'entraînement et les requêtes réelles, tandis que les méthodes basées sur des règles simples manquent de précision.

2. Méthodologie Proposée

L'article propose une solution en deux volets : un cadre de synthèse de données guidé par des profils de tâches multi-niveaux et un nouveau modèle de routage appelé TRouter.

A. Synthèse de Données Guidée par des Profils de Tâches (Task-Profile-Guided Data Synthesis)

Pour pallier l'absence de données réelles, les auteurs proposent de générer automatiquement un jeu de données d'entraînement synthétique ($D_{syn}$) qui approxime la distribution des requêtes au moment du test. Ce processus repose sur une taxonomie hiérarchique des tâches :

1. Générateur de Types de Tâches (Task Type Generator) :
   • Construit une taxonomie hiérarchique à trois niveaux : Domaine (ex. : Raisonnement scientifique) $\rightarrow$ Sous-catégorie (ex. : Explication scientifique) $\rightarrow$ Difficulté (ex. : Modéré).
   • Utilise des LLM pour générer récursivement des définitions et des exemples pour chaque nœud, en s'assurant de la diversité et de la non-redondance.
2. Évaluateur de Qualité (Task Type Quality Evaluator) :
   • Effectue une auto-critique itérative sur les types de tâches générés pour garantir la cohérence, la spécificité et l'exhaustivité de la taxonomie avant de valider les sous-types.
3. Générateur de Paires Question-Réponse (QA Pair Generator) :
   • Pour chaque "profil de tâche" (combinaison Domaine/Sous-catégorie/Difficulté), génère des paires Q-R diversifiées.
   • Applique un filtrage de similarité sémantique (seuil > 0,9) pour éliminer les doublons et assurer la diversité des données synthétiques.

B. Le Routeur TRouter (Task-Type-Aware Router)

Contrairement aux méthodes traditionnelles qui modélisent directement le coût et la performance à partir des caractéristiques brutes de la requête, TRouter introduit une variable latente représentant le type de tâche.

• Formulation Probabiliste :
  Le modèle décompose la distribution conditionnelle du coût/performance $p(h | q, m)$ en intégrant la variable latente de type de tâche $t$ :
  $$p(h | q, m) = \sum_{t \in T} p(h | t, m) \cdot p(t | q)$$
  Où :

  • $p(t | q)$ est la probabilité qu'une requête $q$ appartienne à un type de tâche $t$ (modélisée par un module de reconnaissance).
  • $p(h | t, m)$ est la performance/coût attendu pour le modèle $m$ sur le type de tâche $t$.

• Apprentissage et Régularisation :
  TRouter utilise une borne inférieure variationnelle (ELBO) pour l'optimisation. Il intègre une régularisation par prior basée sur la taxonomie synthétisée. Cela permet au modèle de capturer la structure sémantique profonde des tâches, au-delà des simples caractéristiques de surface de la requête, améliorant ainsi la robustesse en cas de manque de données.

3. Contributions Clés

1. Première identification du problème de démarrage à froid dans le routage de LLM et proposition d'un cadre de synthèse de données multi-niveaux qui approxime la distribution des requêtes sans nécessiter de données étiquetées manuellement.
2. Développement de TRouter, un routeur conscient du type de tâche qui intègre des variables latentes et une régularisation basée sur une taxonomie synthétisée, surpassant les approches de régression classiques.
3. Validation empirique robuste démontrant que la synthèse de données permet un entraînement efficace en démarrage à froid, et que TRouter offre des performances supérieures tant en scénarios cold-start qu'en domaine (in-domain).

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs pools de LLM (Qwen 3, Gemini, etc.) et protocoles d'évaluation (métriques traditionnelles et "LLM-as-a-Judge").

• Performance en Cold-Start : TRouter entraîné uniquement sur des données synthétiques ($D_{syn}$) surpasse significativement les meilleures méthodes de base sans données d'entraînement (comme Adaptive LLM ou Smallest/Largest LLM). Il surpasse même certaines méthodes d'entraînement en domaine (comme RouterDC et MetricRouter) lorsqu'elles sont confrontées à des décalages de distribution (cross-domain).
• Robustesse : TRouter montre une variance de performance plus faible et une meilleure adaptation aux préférences utilisateurs (Coût, Équilibre, Performance) que les approches concurrentes.
• Efficacité de l'échantillonnage : L'ablation study montre que TRouter atteint des performances quasi-optimales avec très peu d'exemples par type de tâche (5 à 10 exemples), prouvant son efficacité en termes d'échantillonnage.
• Comparaison Données Synthétiques vs Manuelles : Les résultats indiquent que les données synthétisées par LLM sont presque aussi efficaces que les données manuellement annotées pour l'entraînement du routeur, tout en réduisant drastiquement les coûts et le temps de préparation.

5. Signification et Impact

Ce travail est significatif car il résout un goulot d'étranglement critique pour le déploiement pratique des systèmes de routage de LLM.

• Accessibilité : Il permet aux développeurs et aux entreprises de déployer des routeurs intelligents dès le premier jour, sans avoir besoin de collecter des milliers de requêtes utilisateurs étiquetées.
• Évolutivité et Interprétabilité : La taxonomie hiérarchique utilisée offre une structure interprétable. Contrairement aux "boîtes noires" des embeddings, les utilisateurs peuvent inspecter, modifier ou supprimer des nœuds de la taxonomie pour adapter le routeur à des contextes spécifiques.
• Réduction des Coûts : En automatisant la création de données d'entraînement et en optimisant le choix du modèle, la méthode réduit à la fois le coût de développement (pas d'annotation manuelle) et le coût d'inférence (meilleure sélection de modèles).

En conclusion, cette approche combine la puissance de la génération de données par LLM avec une modélisation probabiliste structurée pour créer des systèmes de routage robustes, efficaces et prêts à l'emploi dans des environnements réels complexes.