Résumé technique : Des résultats échantillonnés aux distributions de capacités : Repenser la supervision pour le routage des LLM

1. Énoncé du problème

Les méthodes actuelles de routage de modèles de langage (LLM) reposent généralement sur une supervision à coup unique (single-shot), où la capacité d'un modèle pour une requête spécifique est étiquetée sur la base d'une seule réponse générée et de son score correspondant. Les auteurs soutiennent que cette approche est fondamentalement erronée car la génération par LLM est intrinsèquement stochastique. Un échantillon unique fournit une observation bruitée du comportement d'une paire requête-modèle plutôt qu'une estimation fiable de sa véritable capacité.

Cette vision par « estimation ponctuelle » introduit un bruit systématique dans le signal de supervision du routage. Parce que les sorties des LLM varient en raison de l'aléatoire de l'échantillonnage (incertitude côté sortie) et de la sensibilité à la formulation des prompts (incertitude côté entrée), un échantillon unique peut conduire à un étiquetage instable ou trompeur concernant le modèle le mieux adapté à une requête. Par conséquent, les routeurs entraînés sur ces étiquettes bruitées peuvent apprendre des politiques qui reflètent un bruit de génération incident plutôt que des différences stables de capacité de modèle, menant à une sélection de modèles peu fiable en production.

2. Méthodologie : DARS (Distribution-Aware Routing Supervision)

Pour remédier à ces limitations, les auteurs proposent DARS, un cadre qui construit la supervision du routage à partir d'une vue distributionnelle du comportement du modèle plutôt que d'échantillons isolés. DARS opère en capturant l'incertitude selon deux dimensions distinctes :

A. Construction des données

Au lieu de générer une seule réponse par paire requête-modèle, DARS construit un ensemble d'observations répétées :

1. Incertitude côté entrée : La requête originale est réécrite plusieurs fois à l'aide d'un modèle de langage puissant pour générer des variations sémantiquement équivalentes (préservant la réponse de référence et la sémantique de la tâche). Cela capture la sensibilité à la formulation de la requête.
2. Incertitude côté sortie : Pour chaque requête réécrite, le modèle candidat effectue plusieurs passages de décodage stochastique indépendants. Cela capture la variabilité des chemins de raisonnement, de la facticité et des réponses finales.

Ces étapes aboutissent à une matrice d'observation (par exemple, $N$ réécritures $\times$ $M$ passages de décodage) pour chaque paire requête-modèle, enregistrant à la fois les scores de performance et les coûts d'inférence pour chaque observation.

B. Estimation de la capacité distributionnelle

À partir de ces observations répétées, DARS résume trois signaux de capacité clés pour chaque paire requête-modèle $(x, m)$ :

• Qualité attendue ($\mu_q$) : La moyenne des scores de performance sur toutes les observations.
• Coût attendu ($\mu_c$) : Le coût d'inférence moyen sur toutes les observations.
• Risque de performance ($\sigma_q$) : L'écart-type des scores de performance, représentant la variabilité globale causée à la fois par la réécriture de l'entrée et le décodage stochastique.

C. Supervision sensible au risque

DARS construit une fonction d'utilité sensible au risque pour servir de cible de supervision :
$$U(x, m) = \mu_q(x, m) - \lambda \mu_c(x, m) - \beta \sigma_q(x, m)$$
Où :

• $\lambda$ équilibre la qualité et le coût.
• $\beta$ pénalise le comportement instable (haute variance).

Le modèle préféré pour une requête est défini par $m^*(x) = \arg\max_{m \in \mathcal{M}} U(x, m)$. Cette utilité peut être utilisée comme une étiquette stricte (hard label), une cible douce (via softmax), ou une cible de régression continue, rendant DARS compatible avec diverses architectures de routeurs (régression, classification, classement, recherche, etc.).

3. Principales contributions

1. Diagnostic des limitations du "single-shot" : Les auteurs analysent systématiquement l'hypothèse de l'étiquetage à coup unique, démontrant par des mesures diagnostiques (instabilité des résultats, taux de basculement du gagnant et désaccord avec les étiquettes sensibles à la distribution) que la supervision à coup unique est instable et peut directement altérer les décisions de sélection de modèles.
2. Cadre DARS : L'introduction d'un cadre de supervision sensible à la distribution qui prend en compte les incertitudes liées à l'entrée (réécriture de prompt) et à la sortie (décodage stochastique) pour construire des étiquettes de routage fiables.
3. Validation empirique : Des expériences approfondies sur diverses tâches (raisonnement scientifique, résolution de problèmes mathématiques, compréhension de lecture) et des pools de modèles hétérogènes montrent que DARS produit des étiquettes de routage plus stables et améliore les performances des politiques de routage apprises par rapport à la supervision à réponse unique.

4. Résultats expérimentaux

L'article évalue DARS sur trois jeux de données (GPQA, MATH-500, DROP-800) en utilisant un pool de six LLM hétérogènes.

• Instabilité des étiquettes "single-shot" : L'analyse diagnostique révèle une forte instabilité dans la supervision à coup unique. Par exemple, sur GPQA, le « taux de basculement du gagnant » (la fréquence à laquelle le meilleur modèle change entre les échantillons) est de 0,970, indiquant qu'un échantillon unique est un mauvais prédicteur du modèle optimal.
• Gains de performance : DARS améliore les performances de routage dans presque toutes les familles de routeurs testées (incluant MLP, kNN, EmbedLLM, GraphRouter, MIRT, etc.). Les gains sont particulièrement prononcés sur les tâches présentant une haute incertitude côté sortie (ex: GPQA).
• Études d'ablation :
  • Les variantes DARS "entrée uniquement" et "sortie uniquement" surpassent toutes deux la ligne de base single-shot, confirmant que les deux sources d'incertitude sont informatives.
  • Le cadre complet de DARS (combinant les deux) obtient les meilleurs résultats, suggérant que les deux sources sont complémentaires.
  • L'inclusion du terme de risque ($\sigma_q$) améliore significativement les performances ; son retrait entraîne des scores moyens plus bas.
• Efficacité d'échantillonnage : L'étude conclut qu'un nombre modéré d'observations (par exemple, un protocole $3 \times 3$) est suffisant pour atteindre des performances proches du réglage complet $5 \times 5$, suggérant que DARS est pratique pour le déploiement sans coûts d'échantillonnage excessifs.
• Compromis Coût-Qualité : Les routeurs entraînés avec DARS atteignent une frontière de Pareto supérieure aux routeurs single-shot et surpassent souvent la meilleure ligne de base à modèle fixe sous diverses contraintes de coût.

5. Signification et affirmations

L'article affirme que le routage fiable des LLM doit dépasser les observations à réponse unique. En ancrant la supervision du routage dans les distributions de capacité des modèles au niveau de la requête, DARS fournit un signal plus robuste pour l'entraînement des routeurs. Les auteurs soulignent que cette approche ne nécessite pas une nouvelle architecture de routeur, mais plutôt une repensée du signal de supervision lui-même. Les résultats suggèrent que traiter les étiquettes de routage comme des échantillons stochastiques provenant d'une distribution de capacité sous-jacente conduit à des politiques de sélection de modèles plus stables, efficaces et économiquement optimales.