CUPID in the Model Zoo: Online Matchmaking for Selecting Your Dream LLM

Resumen Técnico: CUPID en el Model Zoo

Declaración del Problema
A medida que los Modelos de Lenguaje Extensos (LLMs) proliferan, los usuarios se enfrentan al desafío crítico de seleccionar el modelo más apropiado para tareas específicas de entre un conjunto en rápida expansión. Esta selección se complica por dos factores: (1) los LLMs poseen propiedades latentes distintas pero a menudo opacas (p. ej., calidad de razonamiento, verbosidad, latencia, eficiencia de costos) que no son totalmente observables a priori; y (2) los usuarios a menudo carecen del vocabulario o la conciencia para articular explícitamente sus preferencias, las cuales son frecuentemente específicas de la aplicación y latentes en lugar de genéricas.

Las soluciones existentes se centran principalmente en el enrutamiento a nivel de consulta (query-level routing), donde las consultas individuales se asignan dinámicamente a modelos basados en definiciones de utilidad fijas (p. ej., precisión frente a latencia). Sin embargo, el enrutamiento no aborda el problema de identificar un único LLM para un despliegue sostenido donde las preferencias del usuario son desconocidas, latentes y deben inferirse mediante una interacción limitada bajo presupuestos estrictos de costo y tiempo. Los métodos actuales suelen asumir objetivos conocidos o dependen de agregados a nivel de población, fallando en capturar las necesidades individuales de los usuarios.

Metodología: El Marco de Trabajo CUPID
Los autores proponen CUPID (Cost-aware User-centric Preference Identification and Discovery — Identificación y Descubrimiento de Preferencias Centrado en el Usuario y Consciente del Costo), un marco de aprendizaje activo eficiente en la interacción diseñado para emparejar a los usuarios con su LLM óptimo. El marco opera bajo tres desiderata centrales: centricidad en la aplicación (aprendizaje de preferencias individuales), centricidad en el usuario (uso de retroalimentación ligera) y conciencia del presupuesto (respeto de los límites de costo y rondas).

El algoritmo central es HEART-UCB (Human-Elicited Adaptive Resource-aware Tradeoffs — Intercambios Adaptativos Conscientes de Recursos Elicitados por Humanos), una novedosa estrategia de Banda de Confianza Superior (Upper Confidence Bound) derivada para bandidos duelistas latentes. La metodología procede de la siguiente manera:

1. Modelado de Preferencias Latentes: Las preferencias del usuario se modelan como una función latente $f: \mathcal{Z} \times \mathcal{A} \to \mathbb{R}$, donde $\mathcal{A}$ es el conjunto de LLMs y $\mathcal{Z}$ representa un conjunto de objetivos latentes y desconocidos del usuario (p. ej., "barato", "verboso"). Se coloca una prioridad de Proceso Gaussiano (GP) sobre esta función de utilidad para representar la incertidumbre sobre todo el conjunto de modelos.
2. Actualización de Creencias: El sistema mantiene un vector de creencia $b_t$ sobre los objetivos latentes. Al observar una preferencia de par a par (p. ej., se prefiere el Modelo A sobre el Modelo B), la creencia sobre los objetivos se actualiza mediante la regla de Bayes, y la posterior del GP sobre las utilidades se actualiza utilizando una verosimilitud probit.
3. Formulación HEART-UCB: Para seleccionar el siguiente par de modelos para comparación, el algoritmo calcula una puntuación UCB consciente de la creencia para cada modelo. Esta puntuación integra:
   • Utilidad Esperada: La media posterior de la utilidad latente.
   • Bonificación de Exploración: La desviación estándar posterior (incertidumbre).
   • Sesgo Impulsado por el Lenguaje: Un término opcional derivado de la retroalimentación en lenguaje natural (p. ej., "Necesito un modelo más barato"). Un LLM auxiliar interpreta esta retroalimentación para generar funciones indicadoras que sesgan la selección hacia modelos que se alinean con la dirección declarada.
   • Penalización de Recursos: Un término de penalización dinámica que aumenta si el algoritmo consume el presupuesto más rápido que una tasa objetivo, penalizando efectivamente a los modelos costosos cuando el presupuesto es ajustado.
   • Enfriamiento (Cooldown): Un término para evitar la selección repetida del mismo modelo cuando los candidatos tienen una utilidad comparable.
4. Bucle de Interacción: CUPID selecciona iterativamente un par de LLMs, presenta sus respuestas al usuario, recolecta retroalimentación de par a par (y señales de lenguaje natural opcionales) y actualiza la creencia y la posterior del GP hasta que el presupuesto se agota o se alcanza la convergencia.

Contribuciones Clave

1. Formulación del Marco de Trabajo: CUPID se formula como un marco general para emparejar usuarios con LLMs bajo preferencias latentes y difíciles de articular, respetando al mismo tiempo presupuestos explícitos de costo y tiempo.
2. Algoritmo HEART-UCB: Los autores derivan HEART-UCB, un algoritmo en línea con base teórica que extiende el UCB estándar a bandidos duelistas latentes. Integra de forma única la retroalimentación lingüística como una señal de sesgo e incorpora restricciones de recursos directamente en el cálculo de la utilidad.
3. Validación Empírica: El artículo demuestra la efectividad de CUPID a través de extensos experimentos en tareas de generación de texto e imagen, comparándolo con líneas base que incluyen bandidos duelistas $\epsilon$-greedy, RUCB y muestreo estilo LMArena.

Resultados Experimentales

• Validación Automatizada: En simulaciones utilizando un conjunto de 25 modelos de OpenAI con diversos conjuntos de objetivos, CUPID logró una convergencia del 100% en todas las configuraciones experimentales, superando significativamente a las líneas base como RUCB y Latent Dueling Bandits, que fallaron frecuentemente en converger. CUPID también demostró una eficiencia de costos superior, logrando altas tasas de convergencia con menores costos totales de API.
• Robustez: CUPID mostró robustez ante retroalimentación de lenguaje ruidosa (adversaria, estática o sin sentido) y cambios de objetivos (entrenamiento en benchmarks generales como MMLU-Pro mientras se evalúa en tareas de razonamiento específicas como AIME). Superó consistentemente a las líneas base tanto en puntuación como en costo bajo estas condiciones.
• Estudios Humanos: En estudios de usuario con A/B ciego que involucraron generación de texto e imagen, los participantes calificaron los modelos finales emparejados por CUPID como de calidad comparable o mejor que los seleccionados por LMArena, mientras que CUPID logró calificaciones de cumplimiento de presupuesto significativamente más altas. La ventaja de CUPID fue más pronunciada en entornos con objetivos de usuario latentes y abiertos (H3 y H4), lo que sugiere que infiere eficazmente preferencias ocultas donde las especificaciones explícitas faltan.
• Escalabilidad: La sobrecarga algorítmica de CUPID (actualizaciones de GP y puntuación UCB) escala linealmente con el tamaño del conjunto de modelos, pero permanece insignificante (<1 segundo para 125 modelos) en comparación con la latencia de generación del LLM.

Significancia y Reivindicaciones
El artículo afirma ser el primer intento de (i) formular bandidos duelistas latentes usando UCB y (ii) integrar la retroalimentación de lenguaje en la interacción en línea para el emparejamiento usuario-LLM. Los autores posicionan a CUPID como una solución para el "régimen complementario" de la selección de modelos a nivel de usuario, distinto del enrutamiento por consulta.

La importancia del trabajo radica en su capacidad para permitir el descubrimiento eficiente de LLMs que satisfagan las necesidades individuales de los usuarios con una mínima sobrecarga de interacción y costo. Al tratar los objetivos del usuario como variables latentes y actualizar las creencias mediante comparaciones de par a par ligeras y señales opcionales de lenguaje natural, CUPID reduce la dependencia de que los usuarios posean un vocabulario técnico preciso o especificaciones predefinidas. Los autores señalan que, si bien la formulación actual de GP no analiza automáticamente el contenido de la respuesta, el trabajo futuro podría incorporar embeddings conscientes del contenido para acelerar aún más la convergencia. El marco se presenta como un paso hacia decisiones de despliegue más informadas, eficientes y rentables tanto para individuos como para organizaciones.