Résumé Technique : R2-ROUTER : Un Nouveau Paradigme pour le Routage de LLM par le Raisonnement

1. Énoncé du Problème

Les systèmes actuels de routage de Grands Modèles de Langage (LLM) visent à sélectionner le modèle optimal pour une requête donnée en équilibrant la qualité de la réponse et le coût d'inférence. Cependant, les routeurs existants opèrent sous une limitation critique : ils supposent implicitement que chaque LLM possède un profil qualité-coût unique et fixe pour n'importe quelle entrée donnée. Ce profilage « par points » ignore la variabilité intra-modèle, à savoir le fait que la qualité de sortie d'un modèle est une fonction de la longueur de sa sortie.

Par conséquent, les routeurs traditionnels excluent souvent des modèles puissants et coûteux (par exemple, des modèles de 235 milliards de paramètres) simplement parce que leur coût estimé dépasse un budget, négligeant la possibilité que ces modèles pourraient fournir des réponses de haute qualité à un coût considérablement réduit s'ils étaient contraints à des longueurs de sortie plus courtes. Cela conduit à des décisions de routage sous-optimales où des modèles plus faibles sont sélectionnés au détriment de modèles puissants qui pourraient être plus performants sous un budget contraint.

2. Méthodologie : R2-ROUTER

Les auteurs proposent R2-ROUTER, un cadre de routage qui déplace le paradigme du « routage sur des points » vers le « routage sur des courbes ». Au lieu de sélectionner un seul modèle, R2-ROUTER sélectionne conjointement le meilleur LLM et un budget de longueur de sortie approprié.

Concept Central : Le Routage comme Raisonnement

R2-ROUTER traite le budget de longueur de sortie comme une variable contrôlable. En imposant des contraintes de longueur via des instructions (par exemple, « utilisez au plus $K$ jetons »), le routeur explore l'arbitrage entre qualité et coût pour chaque modèle. Cela transforme l'espace de recherche du routage d'un ensemble discret de modèles en un espace continu (ou discrétisé) de paires (LLM, Budget de Jetons).

Architecture

• Prédicteur Qualité-Coût : R2-ROUTER utilise un encodeur partagé pour générer des représentations de requêtes. Pour chaque LLM du pool, il utilise un prédicteur multi-têtes où chaque tête correspond à un budget de jetons « ancre » spécifique. Ces têtes prédisent le score de qualité attendu pour ce modèle à ce budget spécifique.
• Interpolation : Pour éviter la surcharge de calcul liée à l'entraînement de têtes pour chaque nombre de jetons possible, le système utilise un ensemble épars de budgets ancres (par exemple, de 6 à 16 points) et emploie une interpolation linéaire par morceaux pour estimer la qualité pour les budgets intermédiaires.
• Preneur de Décision : Au moment de l'inférence, le routeur calcule un score d'arbitrage $S = (1-\lambda)Q - \lambda C$ pour toutes les combinaisons (Modèle, Budget) et sélectionne la paire qui maximise ce score. Le modèle sélectionné est ensuite invoqué avec un prompt imposant le budget de jetons spécifique.

Intégration

La capacité de raisonnement est conçue comme un module plug-in. L'article démontre l'intégration de R2-ROUTER avec UniRouter, un cadre pour les pools de LLM dynamiques. En étendant la représentation de caractéristiques d'UniRouter d'un point de fonctionnement unique à une courbe qualité-coût, le système intégré maintient son adaptabilité aux nouveaux modèles tout en améliorant considérablement l'efficacité.

3. Contributions Clés

R2-BENCH : Le Premier Jeu de Données de Routage Sensible à la Longueur

Pour entraîner et évaluer des routeurs qui raisonnent sur la qualité dépendante du coût, les auteurs ont construit R2-BENCH.

• Collecte de Données : Contrairement aux benchmarks précédents qui enregistrent une seule réponse par modèle par requête, R2-BENCH collecte plusieurs réponses pour la même paire (requête, modèle) sous divers budgets de longueur de sortie (allant de 10 à 4000 jetons).
• Portée : Le jeu de données couvre 30 968 requêtes à travers 6 benchmarks (incluant GPQA, MMLU-Pro et MATH) et 15 LLM open-source de tailles variées (de 0,6B à 235B de paramètres).
• Évaluation : Il introduit une limite supérieure « Oracle » qui sélectionne la paire (Modèle, Budget) optimale, révélant une amélioration de 15 % de l'Aire Sous la Courbe de Différenciation (AUDC) par rapport aux benchmarks statiques comme SPROUT.

Formulation Théorique

L'article formalise le passage du Routage Réactif (sélection parmi des points fixes) au Routage basé sur le Raisonnement (sélection parmi un produit cartésien de modèles et de budgets). Les auteurs prouvent que l'espace de recherche du routage basé sur le raisonnement est un surensemble du routage réactif, garantissant que la solution optimale trouvée par R2-ROUTER est au moins aussi bonne, voire potentiellement supérieure, à celle de tout routeur réactif.

4. Résultats Expérimentaux

Gains de Performance

• Efficacité des Coûts : R2-ROUTER atteint des performances de pointe, atteignant des niveaux de qualité comparables aux méthodes existantes avec un coût 4 à 5 fois inférieur.
• Métriques : Sur R2-BENCH, R2-ROUTER atteint un AUDC de 0,71 (contre 0,67 pour le deuxième meilleur baseline, CARROT-L) et réduit le Coût Normalisé par Requête (QNC) à 0,26 (contre 0,56 pour CARROT-L).
• Classement : Au moment de l'acceptation, R2-ROUTER occupait la première place sur le classement public RouterArena.

Généralisation et Robustesse

• Pools Dynamiques : Lorsqu'il est intégré à UniRouter pour gérer un pool élargi de modèles non vus, le système a amélioré l'AUDC de 5 % et réduit le coût de 80 % par rapport à l'UniRouter original.
• Hors-Distribution (OOD) : Le modèle a démontré sa robustesse sur les requêtes OOD (séparation STEM vs non-STEM), maintenant une performance supérieure aux baselines.
• Efficacité des Données : Le système est hautement efficace en termes de données ; l'entraînement avec seulement 6 à 8 points ancres produit des performances quasi optimales, et l'entraînement de l'ensemble du routeur pour 15 modèles prend environ 30 minutes sur un seul GPU.

Études d'Ablation

• Modèles d'Embedding : Le cadre reste robuste lors de la substitution du modèle d'embedding par défaut (Qwen3-Embedding-0.6B) par des alternatives plus petites comme MiniLM.
• Architecture du Prédicteur : Les gains de performance sont attribués à la stratégie d'optimisation par courbe plutôt qu'à l'architecture spécifique du prédicteur, car le système fonctionne bien avec des régresseurs MLP et Gradient Boosting (LGBM).
• Prompting vs Routage : L'ajout simple de prompts de contrainte de longueur aux baselines réactives ne produit pas les mêmes bénéfices, car les routeurs réactifs reposent toujours sur des estimations de coût statiques qui excluent les modèles puissants. L'avantage de R2-ROUTER provient de sa capacité à raisonner sur la courbe qualité-coût et à sélectionner la configuration optimale.

5. Signification et Revendications

L'article affirme ouvrir une nouvelle direction dans l'infrastructure des LLM : « Le Routage comme Raisonnement ».

• Changement de Paradigme : Il soutient que les routeurs doivent évoluer de sélecteurs réactifs (choisissant un modèle fixe) vers des raisonneurs délibérés explorant l'espace complet des configurations de modèles et de leurs paramètres opérationnels (spécifiquement la longueur de sortie).
• Découverte de l'Efficacité Cachée : La principale signification réside dans la découverte de « configurations efficaces invisibles pour les méthodes précédentes » — spécifiquement, le fait que des LLM puissants peuvent surpasser des modèles plus faibles à des coûts comparables lorsqu'ils sont contraints par une longueur de sortie appropriée.
• Accessibilité : En permettant des réponses de haute qualité à des coûts computationnels considérablement réduits, ce travail vise à rendre les capacités des LLM plus accessibles et à réduire l'empreinte environnementale des systèmes d'IA.

Les auteurs soulignent que cette approche traite le comportement des LLM comme étant contrôlable plutôt que fixe, un concept qu'ils suggèrent de pouvoir étendre à d'autres variables telles que les stratégies de décodage ou la profondeur de raisonnement dans de futures recherches.