🤖 AI

UniScale: Adaptive Unified Inference Scaling via Online Joint Optimization of Model Routing and Test-Time Scaling

Cet article présente UniScale, un cadre en ligne qui unifie le routage de modèles et la mise à l'échelle au moment du test dans un espace d'optimisation adaptatif unique en utilisant des bandits multi-bras contextuels pour atteindre un compromis qualité-coût supérieur dans les déploiements de grands modèles de langage.

Auteurs originaux : Kaiyu Huang, Xingyu Wang, Mingze Kong, Zhubo Shi, Yuqian Hou, Hong Xu, Zhongxiang Dai, Minchen Yu, Qingjiang Shi

Publié 2026-06-01

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kaiyu Huang, Xingyu Wang, Mingze Kong, Zhubo Shi, Yuqian Hou, Hong Xu, Zhongxiang Dai, Minchen Yu, Qingjiang Shi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous dirigez la cuisine d'un restaurant très fréquenté. Votre objectif est de servir des plats délicieux (des réponses de haute qualité) aux clients aussi rapidement et à moindre coût (faible coût de calcul) que possible.

Dans le monde des grands modèles de langage (LLM), les chefs utilisent traditionnellement deux stratégies distinctes pour gérer cela :

Le « Changement de Menu » (Routage de Modèle) : Si un client commande une salade simple, vous l'envoyez à un commis junior. S'il commande un festin complexe à 10 services, vous l'envoyez au chef de cuisine. Le problème ? Vous n'avez que quelques chefs spécifiques en personnel. Vous ne pouvez pas facilement trouver un chef de « niveau intermédiaire » pour un plat de difficulté moyenne. Soit vous obtenez une salade simple, soit un festin massif, sans véritable juste milieu.
L'« Effort Supplémentaire » (Mise à l'échelle au moment du test) : Vous gardez le même chef mais vous lui dites de réfléchir plus intensément. Peut-être qu'il goûte la soupe cinq fois au lieu d'une seule, ou qu'il rédige trois recettes différentes avant d'en servir une. Le problème ? Même le meilleur chef a une limite. Si le plat est trop complexe, aucune quantité de réflexion supplémentaire ne pourra le sauver, et il pourrait s'épuiser (gaspiller trop de temps et d'énergie).

Le Problème :
Pendant longtemps, ces deux stratégies ont été exploitées séparément. L'article soutient que c'est comme avoir un gestionnaire qui décide quel chef utiliser, et un autre gestionnaire qui décide à quel point ce chef doit travailler, sans qu'ils ne se parlent jamais. Cela mène à l'inefficacité : vous pourriez envoyer une commande simple à un chef de cuisine qui sur-réfléchit, ou une commande difficile à un commis junior qui abandonne trop tôt.

La Solution : UNISCALE
Les auteurs présentent un nouveau système appelé UNISCALE (Inférence à Mise à l'Échelle Unifiée). Considérez cela comme un Chef de Cuisine super-intelligent qui gère toute la cuisine en temps réel.

Au lieu de choisir un chef ou un niveau d'effort, ce Chef de Cuisine examine chaque commande et crée un plan personnalisé qui combine les deux décisions instantanément.

« Cette commande est délicate, utilisons donc notre chef 4 étoiles, mais demandons-lui de vérifier son travail deux fois. »
« Cette commande est facile, utilisons notre chef 1 étoile, mais demandons-lui de revérifier juste pour être sûr. »
« Cette commande est un cauchemar, nous avons besoin du chef 5 étoiles pour rédiger cinq versions différentes et choisir la meilleure. »

Comment il apprend (Le « Serveur Intelligent ») :
La cuisine est chaotique. Les commandes changent, de nouveaux chefs arrivent et parfois les anciens partent. Le Chef de Cuisine ne peut pas tout mémoriser. Au lieu de cela, UNISCALE agit comme un serveur intelligent qui apprend en pratiquant.

Il utilise une méthode appelée LinUCB (un type de truc mathématique utilisé dans les jeux de hasard et la prise de décision).
Chaque fois qu'il sert un plat, il reçoit un retour : « Était-ce savoureux ? » et « Combien cela a-t-il coûté ? ».
Il utilise ce retour pour construire une carte mentale. Il apprend que « Pour les problèmes de mathématiques, le modèle 8B avec 4 vérifications est parfait », mais que « Pour le codage, le modèle 14B avec 2 vérifications est meilleur ».
Crucialement, il équilibre l'exploration (essayer de nouvelles combinaisons pour voir si elles fonctionnent) et l'exploitation (utiliser ce qu'il sait déjà être efficace).

Les Armes Secrètes :
Pour rendre cela rapide et efficace, le système possède deux astuces spéciales :

La « Sortie Précoce » (Sortie Précoce Sensible au Chemin) : Imaginez que les chefs rédigent plusieurs recettes. Le système dispose d'un « goûteur » (un vérificateur) qui contrôle le travail au fur et à mesure qu'il est effectué. Si le goûteur voit qu'une recette va clairement être médiocre, le système dit immédiatement au chef d'arrêter de travailler dessus. Cela économise énormément de temps et d'énergie car il n'attend pas que la mauvaise recette soit terminée.
Le « Carnet de Notes Universel » (Modèle de Coût) : Le système ne compte pas seulement les « étapes ». Il compte l'« effort » de manière unifiée. Il comprend que déplacer une marmite lourde (mémoire) est aussi fatigant que de couper des légumes (calcul). Cela lui permet de comparer un petit chef faisant beaucoup de travail avec un grand chef faisant peu de travail sur un pied d'égalité.

Les Résultats :
L'article a testé ce système sur des problèmes de mathématiques (comme les examens AIME).

Meilleur Équilibre : UNISCALE a trouvé le « point idéal » pour chaque question. Il n'a pas seulement choisi le plus gros modèle ou le plus d'efforts ; il a trouvé le mélange parfait.
Courbe plus Fluide : Au lieu de passer brusquement de « bon marché mais mauvais » à « coûteux mais bon », UNISCALE a créé une courbe fluide où l'on obtient des réponses légèrement meilleures pour un coût légèrement supérieur, et ce, jusqu'aux meilleures réponses possibles.
Adaptabilité : Lorsque la « cuisine » changeait (par exemple, un chef part ou le type de commandes change), UNISCALE trouvait rapidement la nouvelle meilleure stratégie, alors que les anciens systèmes restaient bloqués ou commettaient des erreurs.

En Résumé :
UNISCALE est comme un chef d'orchestre magistral. Au lieu de simplement choisir un instrument plus fort (un plus gros modèle) ou de demander aux musiciens de jouer plus vite (plus d'effort), il décide dynamiquement quel musicien joue quelle partie et comment il la joue, tout en écoutant la musique en temps réel pour arrêter tout musicien qui joue une fausse note. Cela donne une performance magnifique (haute qualité) qui coûte le moins d'énergie possible (faible coût).

Résumé Technique : UNISCALE

1. Énoncé du Problème

Dans les déploiements réels de grands modèles de langage (LLM), l'équilibre entre la qualité de l'inférence et le coût computationnel est un défi critique. Les approches existantes traitent généralement ce compromis selon deux dimensions indépendantes :

Le Routage de Modèles (Model Routing) : Sélection de modèles de différentes échelles à partir d'un pool hétérogène. Bien que cela couvre un large spectre qualité-coût, cela opère à une granularité grossière, induisant des sauts discrets de performance et de coût.
La Mise à l'Échelle au Moment de l'Exécution (Test-Time Scaling - TTS) : Ajustement du calcul lors de l'inférence (via par exemple Best-of-N, Beam Search, ou des Modèles de Récompense de Processus) au sein d'un modèle fixe. Bien que cela offre un contrôle fin, cela est fondamentalement limité par la capacité intrinsèque du modèle de base et présente souvent des rendements décroissants à mesure que le calcul augmente.

La conception déconnectée de ces mécanismes limite l'adaptabilité dans des environnements dynamiques où les distributions de requêtes, les objectifs des utilisateurs et la disponibilité des modèles évoluent. De plus, les traiter séparément restreint la capacité à exploiter les synergies entre la sélection de modèles et la stratégie d'inférence.

2. Méthodologie

Mise à l'Échelle d'Inférence Unifiée (Unified Inference Scaling - UIS)

Les auteurs introduisent la Mise à l'Échelle d'Inférence Unifiée (UIS), un paradigme qui unifie le routage de modèles et le TTS dans un espace d'optimisation unique. Une exécution d'inférence est paramétrée par une configuration jointe $(M, QP, CP, BS)$, où :

$M$ : Le modèle de base sélectionné.
$QP$ : Parallélisme de Question (nombre de sous-arbres explorés).
$CP$ : Parallélisme de Candidat (nombre d'échantillons parallèles par étape).
$BS$ : Taille du Beam (nombre de nœuds validés conservés).

Cette formulation crée un espace de conception riche où le TTS peut lisser les écarts discrets entre les échelles de modèles, et où le routage vers des modèles plus grands peut atténuer les rendements décroissants d'un TTS agressif sur des modèles plus petits.

Le Cadre UNISCALE

Pour résoudre le problème de l'UIS adaptatif, les auteurs proposent UNISCALE, un cadre en ligne modélisé comme un problème de bandit multi-bras contextuel.

Apprentissage en Ligne via LinUCB : Le système traite la sélection de configuration comme une tâche d'optimisation en ligne. Il utilise un encodeur basé sur un Transformer pour mapper les requêtes et les configurations d'actions (modèle + stratégie TTS) dans un espace latent sémantique partagé. L'algorithme Linear Upper Confidence Bound (LinUCB) est employé pour apprendre des politiques d'inférence, équilibrant l'exploitation (récompense prédite élevée) et l'exploration (incertitude dans les espaces de haute dimension).
Sortie Précoce Sensible au Chemin (Path-Aware Early Exiting) : Pour traiter l'effet "traînard" (straggler effect) dans les flux de travail TTS, UNISCALE termine dynamiquement les chemins d'inférence à faible potentiel. En exploitant les scores de vérification comme indicateurs de la correction de la réponse finale, le système calcule le potentiel maximal théorique des chemins en cours. Si un chemin ne peut surpasser le meilleur résultat actuel même avec une performance future parfaite, il est immédiatement interrompu, réduisant considérablement le coût de calcul sans compromettre la qualité de la sélection finale.
Retour de Vérification Dense (Dense Verification Feedback) : Au lieu de s'appuyer sur des signaux de correction binaires et épars, le cadre incorpore les scores de vérification natifs du TTS. Cela fournit un signal de supervision plus dense, permettant à l'agent de percevoir les nuances de la rigueur logique et de guider la sélection de configurations aux performances supérieures.
Modèle de Coût UIS : Pour assurer une optimisation cohérente, le cadre utilise les FLOPs équivalents (eFLOPs) pour mapper les surcharges de calcul et de mémoire dans une métrique unifiée. Cela tient compte de l'intensité arithmétique du matériel, comblant le fossé entre les opérations limitées par le calcul et celles limitées par la mémoire.

La fonction de récompense composite combine la qualité de l'inférence (exactitude et score de vérification) et le coût, permettant au système de s'adapter aux diverses priorités des utilisateurs (ex: Sensible au Coût vs Priorité à la Qualité).

3. Contributions Clés

Paradigme Unifié : La proposition de la Mise à l'Échelle d'Inférence Unifiée (UIS), qui intègre le routage de modèles et le TTS dans un espace de décision unique, surmontant les limites du routage à granularité grossière et du TTS limité par la capacité.
Cadre Adaptatif (UNISCALES) : Un algorithme en ligne basé sur les bandits contextuels (LinUCB) qui apprend des politiques d'inférence adaptatives dans des environnements non stationnaires, utilisant des représentations sémantiques pour un transfert de connaissances inter-actions efficace.
Mécanismes d'Efficacité :
- Sortie Précoce Sensible au Chemin : Un mécanisme de purge dynamique qui réduit le calcul redondant dans les flux de travail TTS.
- Retour de Vérification Dense : Une méthode pour densifier les signaux de récompense grâce aux scores de vérification, améliorant la convergence de la politique.
- Modélisation de Coût Unifiée : Un modèle de coût basé sur les eFLOPs qui reflète précisément la consommation de ressources au niveau du matériel.
Validation Empirique : Des expériences approfondies démontrant que UNISCALE surpasse systématiquement les bases de référence (incluant Random, Greedy, MLP, k-NN, Thompson Sampling, et NeuralUCB) dans les scénarios de TTS seul, de Routage seul, et de UIS complet.

4. Résultats Expérimentaux

Les auteurs ont évalué UNISCALE sur 210 instances issues des jeux de données AIME'24, AIME'25 et MATH-500 en utilisant une série de modèles Qwen3 et un vérificateur Skywork PRM.

Performance : UNISCALE a obtenu les récompenses les plus élevées et le regret cumulé le plus faible dans les deux modes : Sensible au Coût et Priorité à la Qualité. Dans l'espace UIS complet, il a délivré une frontière qualité-coût à granularité fine supérieure à toutes les bases de référence.
Études d'Ablation :
- Représentations Sémantiques : Le retrait des caractéristiques sémantiques d'action (utilisation de vecteurs one-hot) a entraîné un regret cumulé plus élevé, confirmant que la cartographie sémantique accélère l'optimisation de la politique dans les espaces de haute dimension.
- Sortie Précoce (Early Exiting) : Ce mécanisme a réduit la charge de calcul d'environ 87 % et l'accès à la mémoire de 78 % avec un impact négligeable sur la précision (<1pp).
- Feedback Dense : L'utilisation des scores de vérification au lieu de la correction binaire a amélioré la précision de 5,62 pp en mode Priorité à la Qualité et a réduit le coût de 51,3 %.
Robustesse : UNISCALE a démontré une forte adaptabilité aux dérives environnementales (ex: ajout/suppression de modèles et changements de mode de récompense), se recalibrant rapidement pour maintenir des compromis optimaux là où des bases comme k-NN peinent.

5. Signification et Revendications

L'article affirme que UNISCALE fournit une fondation théorique et un espace de décision unifiés pour l'orchestration de l'inférence à grande échelle de l'IA. Sa signification réside dans :

La Rupture des Silos Techniques : Il intègre le routage de modèles et le TTS, faisant passer l'optimisation de l'inférence de règles heuristiques à des politiques automatisées pilotées par les données.
L'IA Verte (Green AI) : En minimisant le calcul redondant grâce à la sortie précoce et à la modélisation de coût unifiée, il répond directement aux défis de consommation énergétique du déploiement des LLM.
Démocratisation : Le cadre offre un contrôle fin sur les compromis qualité-coût, permettant aux appareils de bord (edge devices) aux ressources limitées de tirer intelligemment parti de leurs capacités locales ou de montées en gamme vers le cloud, comblant potentiellement le fossé numérique.
Confidentialité : L'espace de décision sémantique abstrait est compatible avec l'orchestration fédérée, permettant l'évolution de politiques globales via des mises à jour de paramètres anonymisées sans accéder aux données brutes des requêtes.

Les auteurs notent que les performances actuelles sont modulées par la précision des Modèles de Récompense de Processus (PRM) et identifient le développement de mécanismes de vérification plus généralisables comme une direction pour les travaux futurs.