CUPID in the Model Zoo: Online Matchmaking for Selecting Your Dream LLM

Résumé technique : CUPID dans le Model Zoo

Énoncé du problème
Alors que les modèles de langage de grande taille (LLM) prolifèrent, les utilisateurs sont confrontés à un défi critique : sélectionner le modèle le plus approprié pour des tâches spécifiques parmi un ensemble en expansion rapide. Cette sélection est compliquée par deux facteurs : (1) les LLM possèdent des propriétés latentes distinctes mais souvent opaques (par exemple, la qualité du raisonnement, la verbosité, la latence, l'efficacité du coût) qui ne sont pas entièrement observables a priori ; et (2) les utilisateurs manquent souvent du vocabulaire ou de la conscience nécessaires pour articuler explicitement leurs préférences, lesquelles sont fréquemment spécifiques à une application et latentes plutôt que génériques.

Les solutions existantes se concentrent principalement sur le routage au niveau de la requête, où les prompts individuels sont assignés dynamiquement à des modèles basés sur des définitions d'utilité fixes (par exemple, précision vs latence). Cependant, le routage ne répond pas au problème d'identifier un LLM unique pour un déploiement soutenu où les préférences de l'utilisateur sont inconnues, latentes, et doivent être déduites via une interaction limitée sous des budgets stricts de coût et de temps. Les méthodes actuelles supposent souvent des objectifs connus ou reposent sur des agrégats au niveau de la population, échouant ainsi à capturer les besoins individuels des utilisateurs.

Méthodologie : Le cadre CUPID
Les auteurs proposent CUPID (Cost-aware User-centric Preference Identification and Discovery), un cadre d'apprentissage actif efficace en termes d'interaction, conçu pour faire correspondre les utilisateurs à leur LLM optimal. Le cadre opère selon trois desiderata fondamentaux : la centricité applicative (apprendre les préférences individuelles), la centricité utilisateur (utiliser un feedback léger) et la conscience du budget (respecter les limites de coût et de tours).

L'algorithme central est HEART-UCB (Human-Elicited Adaptive Resource-aware Tradeoffs), une nouvelle stratégie de Borne Supérieure de Confiance (Upper Confidence Bound - UCB) dérivée pour les bandits duels latents. La méthodologie procède comme suit :

1. Modélisation des préférences latentes : Les préférences de l'utilisateur sont modélisées comme une fonction latente $f: \mathcal{Z} \times \mathcal{A} \to \mathbb{R}$, où $\mathcal{A}$ est l'ensemble des LLM et $\mathcal{Z}$ représente un ensemble d'objectifs utilisateurs inconnus et latents (par exemple, « bon marché », « verbeux »). Un processus gaussien (GP) est placé sur cette fonction d'utilité pour représenter l'incertitude sur l'ensemble du pool de modèles.
2. Mise à jour des croyances : Le système maintient un vecteur de croyance $b_t$ sur les objectifs latents. Lors de l'observation d'une préférence par paire (par exemple, le Modèle A est préféré au Modèle B), la croyance sur les objectifs est mise à jour via la règle de Bayes, et le processus gaussien (GP) sur les utilités est mis à jour à l'aide d'une vraisemblance probit.
3. Formulation HEART-UCB : Pour sélectionner la prochaine paire de modèles à comparer, l'algorithme calcule un score UCB sensible aux croyances pour chaque modèle. Ce score intègre :
   • Utilité Attendue : La moyenne a posteriori de l'utilité latente.
   • Bonus d'Exploration : L'écart-type a posteriori (incertitude).
   • Biais piloté par le langage : Un terme optionnel dérivé du feedback en langage naturel (par exemple, « J'ai besoin d'un modèle moins cher »). Un LLM auxiliaire interprète ce feedback pour générer des fonctions indicatrices qui biaisent la sélection vers des modèles s'alignant sur la direction énoncée.
   • Pénalité de Ressource : Un terme de pénalité dynamique qui augmente si l'algorithme consomme le budget plus rapidement que le taux cible, pénalisant de fait les modèles coûteux lorsque le budget est serré.
   • Refroidissement (Cooldown) : Un terme pour éviter la sélection répétée du même modèle lorsque les candidats ont une utilité comparable.
4. Boucle d'interaction : CUPID sélectionne de manière itérative une paire de LLM, présente leurs réponses à l'utilisateur, collecte le feedback par paire (ainsi que les indices optionnels en langage naturel), et met à jour la croyance et le processus gaussien jusqu'à ce que le budget soit épuisé ou que la convergence soit atteinte.

Contributions Clés

1. Formulation du Cadre : CUPID est formulé comme un cadre général pour faire correspondre les utilisateurs aux LLM sous des préférences latentes et difficiles à articuler, tout en respectant des budgets explicites de coût et de temps.
2. Algorithme HEART-UCB : Les auteurs dérivent HEART-UCB, un algorithme en ligne fondé sur la théorie qui étend l'UCB standard aux bandits duels latents. Il intègre de manière unique le feedback linguistique comme signal de biais et incorpore les contraintes de ressources directement dans le calcul de l'utilité.
3. Validation Empirique : L'article démontre l'efficacité de CUPID à travers des expériences approfondies sur des tâches de génération de texte et d'image, en comparant ses performances à celles de bases de référence incluant les bandits duels $\epsilon$-greedy, RUCB et l'échantillonnage de type LMArena.

Résultats Expérimentaux

• Validation Automatisée : Dans des simulations utilisant un pool de 25 modèles OpenAI avec des ensembles d'objectifs variés, CUPID a atteint une convergence de 100 % dans tous les scénarios expérimentaux, surpassant de manière significative les bases de référence comme RUCB et les bandits duels latents, qui ont fréquemment échoué à converger. CUPID a également démontré une meilleure efficacité de coût, atteignant des taux de convergence élevés avec des coûts d'API totaux inférieurs.
• Robustesse : CUPID a montré sa robustesse face à un feedback linguistique bruité (adversaire, statique ou incohérent) et aux changements d'objectifs (entraînement sur des benchmarks généraux comme MMLU-Pro tout en évaluant sur des tâches de raisonnement spécifiques comme AIME). Il a systématiquement surpassé les bases de référence tant en score qu'en coût dans ces conditions.
• Études Humaines : Dans des études utilisateurs en aveugle (A/B) impliquant la génération de texte et d'images, les participants ont jugé les modèles finaux sélectionnés par CUPID comme ayant une qualité comparable ou supérieure à ceux sélectionnés par LMArena, tandis que CUPID a obtenu des scores de conformité budgétaire nettement plus élevés. L'avantage de CUPID était le plus marqué dans les contextes d'objectifs utilisateurs latents et ouverts (H3 et H4), suggérant qu'il infère efficacement les préférences cachées là où les spécifications explicites font défaut.
• Scalabilité : La surcharge algorithmique de CUPID (mises à jour du GP et scoring UCB) évolue linéairement avec la taille du pool de modèles mais reste négligeable (< 1 seconde pour 125 modèles) par rapport à la latence de génération des LLM.

Signification et Revendications
L'article affirme être la première tentative de (i) formuler des bandits duels latents utilisant l'UCB et (ii) intégrer le feedback linguistique dans l'interaction en ligne pour l'appariement utilisateur-LLM. Les auteurs positionnent CUPID comme une solution pour le « régime complémentaire » de la sélection de modèles au niveau de l'utilisateur, distinct du routage par requête.

La portée de ce travail réside dans sa capacité à permettre la découverte efficace de LLM satisfaisant les besoins individuels des utilisateurs avec un minimum de surcharge d'interaction et de coût. En traitant les objectifs des utilisateurs comme des variables latentes et en mettant à jour les croyances via des comparaisons par paires légères et des indices optionnels en langage naturel, CUPID réduit la dépendance des utilisateurs vis-à-vis d'un vocabulaire technique précis ou de spécifications prédéfinies. Les auteurs notent que bien que la formulation actuelle du processus gaussien n'analyse pas automatiquement le contenu des réponses, des travaux futurs pourraient incorporer des plongements (embeddings) sensibles au contenu pour accélérer davantage la convergence. Le cadre est présenté comme une étape vers des décisions de déploiement plus éclairées, efficaces et rentables, tant pour les individus que pour les organisations.