Résumé technique : RouteJudge et ORBIT

1. Énoncé du problème

Le routage de modèles de langage étendus (LLM) vise à sélectionner automatiquement le modèle le plus approprié parmi un ensemble hétérogène pour chaque requête entrante, en optimisant des contraintes telles que le coût, la latence et le débit. Bien que les protocoles d'évaluation existants s'appuient sur des benchmarks statiques, des réponses « d'or » ou des métriques de notation automatisées, ces approches souffrent d'une limitation critique : elles imposent une notion fixe de la qualité de la réponse. Dans les interactions réelles, les préférences des utilisateurs sont pluralistes et dépendantes du contexte. Pour des tâches comme l'écriture créative, la traduction ou le tutorat, plusieurs sorties peuvent être factuellement valides, mais les utilisateurs peuvent préférer des réponses différentes selon le ton, le niveau de détail ou la sensibilité au coût. Par conséquent, un routeur qui performe bien sous des métriques alignées sur les benchmarks hors ligne peut échouer à sélectionner les modèles que les utilisateurs préfèrent réellement en déploiement. Ce document identifie un « problème d'alignement des préférences pluralistes », où les méthodes d'évaluation actuelles ne parviennent pas à capturer de manière adéquate si les décisions de routage mènent aux réponses préférées par les utilisateurs sous des distributions de requêtes réalistes.

2. Méthodologie

Le document présente un écosystème en deux parties conçu pour combler l'écart entre le benchmarking hors ligne et la préférence utilisateur en ligne : RouteJudge et ORBIT.

RouteJudge : Cadre d'évaluation des préférences en ligne

RouteJudge est une plateforme en ligne qui évalue les stratégies de routage par le biais de préférences d'utilisateurs appariées anonymes plutôt que par des réponses de référence fixes.

• Enregistrement d'évaluation : Contra à des classements au niveau des modèles, RouteJudge stocke des enregistrements « centrés sur le routage » ($Z$) contenant la requête de l'utilisateur, les contraintes budgétaires, les décisions de routage prises par plusieurs stratégies, les réponses des modèles sélectionnés, les étiquettes de préférence de l'utilisateur, les coûts d'inférence, les latences et les métadonnées de la tâche.
• Flux de travail :
  1. Soumission : Un utilisateur soumet une requête et un budget de coût.
  2. Recommandation du routeur : Plusieurs stratégies de routage ($R$) sélectionnent indépendamment un modèle candidat à partir de l'ensemble des modèles réalisables dans le budget ($M_C$).
  3. Sélection du duel : La plateforme agrège les votes pour sélectionner une « paire de duel » de modèles ($m_A, m_B$) présentant le nombre de votes le plus élevé.
  4. Jugement anonyme : Les utilisateurs comparent les réponses de $m_A$ et $m_B$ dans une interface aveugle, choisissant entre « A gagne », « B gagne », « Égalité » ou « Les deux sont mauvais ».
  5. Attribution au routeur : Le signal de préférence est attribué aux stratégies de routage ayant sélectionné les modèles gagnants (ou perdants). Un routeur reçoit un score uniquement si le modèle qu'il a sélectionné a participé au duel jugé ; sinon, il est marqué comme non participant ($\emptyset$).
• Métriques : Le système suit les taux de victoire par routeur, les classements Elo, les taux de participation et les frontières de Pareto coût-qualité, permettant une analyse conditionnée par la tâche et sensible au budget.

ORBIT : Boîte à outils pour le routage optimal et l'inférence budgétisée

ORBIT est une boîte à outils modulaire et extensible qui standardise le flux de travail de bout en bout du routage de LLM afin de soutenir l'expansion continue des méthodes évaluées sur RouteJudge.

• Standardisation : Elle fournit des interfaces unifiées pour le chargement de benchmarks, la représentation des requêtes (via diverses couches d'embedding), l'implémentation de routeurs (basés sur des règles, appris, basés sur la recherche, etc.) et l'évaluation tenant compte du budget.
• Composabilité : Les chercheurs peuvent échanger des jeux de données, des encodeurs et des routeurs indépendamment sans réécrire la logique de base.
• Couche d'intégration : ORBIT sert d'interface de soumission pour RouteJudge. Les chercheurs implémentent des routeurs au sein d'ORBIT, les valident hors ligne, puis soumettent des routeurs compatibles pour l'évaluation en ligne.
• Pipeline d'évaluation à deux étapes :
  1. Rejeu historique : Les routeurs soumis sont évalués par rapport aux enregistrements historiques de RouteJudge pour déterminer s'ils auraient sélectionné le modèle préféré de l'utilisateur lors de comparaisons passées.
  2. Évaluation en ligne : Les routeurs validés sont déployés sur la plateforme en direct, participant en temps réel à des comparaisons par paires anonymes et recevant une attribution de préférence.

3. Contributions clés

1. Plateforme RouteJudge : La première plateforme ouverte spécifiquement conçue pour évaluer les systèmes de routage de LLM sur la base de préférences d'utilisateurs pluralistes via des comparaisons par paires anonymes, déplaçant la cible d'évaluation de la qualité de la réponse du modèle vers la qualité de décision du routeur.
2. Boîte à outils ORBIT : Une couche de développement et d'intégration standardisée qui permet un benchmarking hors ligne reproductible et la soumission fluide de méthodes de routage à RouteJudge, répondant à la fragmentation de l'ingénierie dans la recherche actuelle sur le routage.
3. Protocole d'évaluation : Un protocole novateur qui attribue les préférences des utilisateurs aux stratégies de routage, en tenant compte des contraintes budgétaires, des types de tâches et des taux de participation, plutôt que de s'appuyer sur des hypothèses statiques de « meilleur modèle ».
4. Écosystème ouvert : La combinaison de RouteJudge et d'ORBIT crée une boucle fermée où les méthodes peuvent être développées hors ligne, validées par rapport aux préférences historiques et testées dans des environnements en direct face aux utilisateurs.

4. Résultats préliminaires

Les auteurs présentent des conclusions empiriques initiales provenant à la fois du pipeline hors ligne d'ORBIT et de la plateforme en ligne RouteJudge (en date de juin 2026) :

• Cohérence hors ligne : En utilisant le benchmark RouterEval, ORBIT a démontré avec succès que différentes méthodes de routage (par exemple, EmbedLLM, Eagle, EquiRouter) peuvent être comparées sous un protocole unifié, révélant des courbes d'échange performance-coût et des métriques telles que la nAUC et le Score de Pointe.
• Différenciation en ligne : Sur RouteJudge, avec 109 comparaisons votées par les utilisateurs, la plateforme a réussi à différencier les stratégies de routage. RouterLLM-MF a obtenu le score Elo le plus élevé (1278), tandis que NIRT-Router a montré le taux de victoire observé le plus élevé (80,00 %).
• Divergence par rapport aux métriques hors ligne : Les résultats indiquent que des conceptions hors ligne robustes ne se traduisent pas toujours par un succès de préférence en ligne. Certains routeurs dotés de mécanismes de notation appris explicites ont performé moins bien en termes de préférence utilisateur que des méthodes plus simples non paramétriques ou basées sur la factorisation de matrice.
• Équilibre Coût-Préférence : L'analyse des données au niveau des modèles a montré que la préférence n'est pas déterminée uniquement par le coût ; certains modèles à faible coût ont obtenu des taux de victoire compétitifs, suggérant qu'un routage efficace nécessite d'adapter la sélection de modèles aux budgets et contextes des utilisateurs plutôt que de revenir par défaut aux modèles les plus capables.

5. Signification et affirmations

Le document affirme que RouteJudge et ORBIT adressent collectivement le « problème d'alignement des préférences pluralistes » dans le routage de LLM. En allant au-delà des benchmarks statiques, l'écosystème permet aux chercheurs d'évaluer si les décisions de routage s'alignent sur les préférences réelles des utilisateurs sous des contraintes réalistes. Les auteurs positionnent ce travail non pas comme un classement final de toutes les méthodes de routage, mais comme une étape fondamentale vers un écosystème d'évaluation ouvert. Ils soutiennent que la recherche future sur le routage doit considérer non seulement la sélection de modèles optimale pour les benchmarks, mais aussi des comportements préférés par les utilisateurs, conscients des coûts et sensibles au déploiement. Le système est conçu pour être continuellement extensible, permettant à la communauté de contribuer de nouveaux routeurs et benchmarks tout en maintenant la reproductibilité grâce au standard ORBIT.