CUPID in the Model Zoo: Online Matchmaking for Selecting Your Dream LLM

Resumo Técnico: CUPID no Model Zoo

Definição do Problema
À medida que os Grandes Modelos de Linguagem (LLMs) proliferam, os usuários enfrentam um desafio crítico na seleção do modelo mais apropriado para tarefas específicas a partir de um conjunto em rápida expansão. Esta seleção é complicada por dois fatores: (1) os LLMs possuem propriedades latentes distintas, mas frequentemente opacas (ex: qualidade de raciocínio, verbosidade, latência, eficiência de custo) que não são totalmente observáveis a priori; e (2) os usuários muitas vezes carecem do vocabulário ou da consciência para articular explicitamente suas preferências, que são frequentemente específicas de aplicações e latentes, em vez de genéricas.

Soluções existentes focam primariamente no roteamento ao nível de consulta (query-level routing), onde prompts individuais são atribuídos dinamicamente a modelos com base em definições de utilidade fixas (ex: precisão vs. latência). No entanto, o roteamento não aborda o problema de identificar um único LLM para implantação sustentada, onde as preferências do usuário são desconhecidas, latentes e devem ser inferidas através de interações limitadas sob orçamentos estritos de custo e tempo. Métodos atuais frequentemente assumem objetivos conhecidos ou dependem de agregados de nível populacional, falhando em capturar as necessidades individuais dos usuários.

Metodologia: O Framework CUPID
Os autores propõem o CUPID (Cost-aware User-centric Preference Identification and Discovery), um framework de aprendizado ativo eficiente em termos de interação, projetado para combinar usuários ao seu LLM ideal. O framework opera sob três desideratos principais: centricidade à aplicação (aprender preferências individuais), centricidade ao usuário (usando feedback leve) e consciência de orçamento (respeitando limites de custo e rodadas).

O algoritmo central é o HEART-UCB (Human-Elicited Adaptive Resource-aware Tradeoffs), uma nova estratégia de Upper Confidence Bound derivada para bandidos duelistas latentes (latent dueling bandits). A metodologia procede da seguinte forma:

1. Modelagem de Preferência Latente: As preferências do usuário são modeladas como uma função latente $f: \mathcal{Z} \times \mathcal{A} \to \mathbb{R}$, onde $\mathcal{A}$ é o conjunto de LLMs e $\mathcal{Z}$ representa um conjunto de objetivos latentes e desconhecidos do usuário (ex: "barato", "verboso"). Uma prior de Processo Gaussiano (GP) é colocada sobre esta função de utilidade para representar a incerteza sobre todo o pool de modelos.
2. Atualização de Crença: O sistema mantém um vetor de crença $b_t$ sobre os objetivos latentes. Ao observar uma preferência pareada (ex: o Modelo A é preferido em relação ao Modelo B), a crença sobre os objetivos é atualizada via regra de Bayes, e a posterior do GP sobre as utilidades é atualizada usando uma verossimilhança probit.
3. Formulação HEART-UCB: Para selecionar o próximo par de modelos para comparação, o algoritmo calcula um escore UCB consciente da crença para cada modelo. Este escore integra:
   • Utilidade Esperada: A média posterior da utilidade latente.
   • Bônus de Exploração: O desvio padrão posterior (incerteza).
   • Viés Dirigido por Linguagem: Um termo opcional derivado de feedback em linguagem natural (ex: "Preciso de um modelo mais barato"). Um LLM auxiliar interpreta este feedback para gerar funções indicadoras que enviesam a seleção para modelos que se alinham com a direção declarada.
   • Penalidade de Recurso: Um termo de penalidade dinâmica que aumenta se o algoritmo gastar o orçamento mais rápido do que uma taxa alvo, efetivamente penalizando modelos caros quando o orçamento está apertado.
   • Cooldown: Um termo para evitar a seleção repetida do mesmo modelo quando os candidatos possuem utilidades comparáveis.
4. Loop de Interação: O CUPID seleciona iterativamente um par de LLMs, apresenta suas respostas ao usuário, coleta feedback pareado (e pistas opcionais de linguagem natural) e atualiza a crença e a posterior do GP até que o orçamento seja esgotado ou a convergência seja alcançada.

Principais Contribuições

1. Formulação do Framework: O CUPID é formulado como um framework geral para combinar usuários com LLMs sob preferências latentes e de difícil articulação, respeitando orçamentos explícitos de custo e tempo.
2. Algoritmo HEART-UCB: Os autores derivam o HEART-UCB, um algoritmo online teoricamente fundamentado que estende o UCB padrão para bandidos duelistas latentes. Ele integra de forma única o feedback de linguagem como um sinal de viés e incorpora restrições de recursos diretamente no cálculo de utilidade.
3. Validação Empírica: O artigo demonstra a eficácia do CUPID através de extensos experimentos em tarefas de geração de texto e imagem, comparando-o com baselines que incluem bandidos duelistas $\epsilon$-greedy, RUCB e amostragem estilo LMArena.

Resultados Experimentais

• Validação Automatizada: Em simulações utilizando um pool de 25 modelos da OpenAI com conjuntos de objetivos variados, o CUPID alcançou 100% de convergência em todas as configurações experimentais, superando significativamente baselines como RUCB e Latent Dueling Bandits, que frequentemente falharam em convergir. O CUPID também demonstrou maior eficiência de custo, alcançando altas taxas de convergência com menores custos totais de API.
• Robustez: O CUPID mostrou robustez a feedback de linguagem ruidoso (adversário, estático ou sem sentido) e mudanças de objetivo (treinamento em benchmarks gerais como MMLU-Pro enquanto avalia em tarefas de raciocínio específicas como AIME). Ele consistentemente superou os baselines tanto em pontuação quanto em custo sob estas condições.
• Estudos Humanos: Em estudos de usuário com cegamento A/B envolvendo geração de texto e imagem, os participantes classificaram os modelos finais selecionados pelo CUPID como tendo qualidade comparável ou superior aos selecionados pelo LMArena, enquanto o CUPID alcançou classificações de conformidade de orçamento significativamente maiores. A vantagem do CUPID foi mais pronunciada em configurações com objetivos de usuário latentes e abertos (H3 e H4), sugerindo que ele infere efetivamente preferências ocultas onde especificações explícitas estão ausentes.
• Escalabilidade: O overhead algorítmico do CUPID (atualizações de GP e pontuação UCB) escala linearmente com o tamanho do pool de modelos, mas permanece negligenciável (<1 segundo para 125 modelos) em comparação com a latência de geração do LLM.

Significância e Alegações
O artigo afirma ser a primeira tentativa de (i) formular bandidos duelistas latentes usando UCB e (ii) integrar feedback de linguagem na interação online para o emparelhamento usuário-LLM. Os autores posicionam o CUPID como uma solução para o "regime complementar" de seleção de modelo ao nível do usuário, distinto do roteamento por consulta.

A significância do trabalho reside em sua capacidade de permitir a descoberta eficiente de LLMs que satisfaçam as necessidades individuais dos usuários com o mínimo de overhead de interação e custo. Ao tratar os objetivos do usuário como variáveis latentes e atualizar as crenças através de comparações pareadas leves e pistas opcionais de linguagem natural, o CUPID reduz a dependência de que os usuários possuam um vocabulário técnico preciso ou especificações pré-definidas. Os autores observam que, embora a formulação atual de GP não analise automaticamente o conteúdo das respostas, trabalhos futuros poderiam incorporar embeddings conscientes de conteúdo para acelerar ainda mais a convergência. O framework é apresentado como um passo para decisões de implantação mais informadas, eficientes e econômicas, tanto para indivíduos quanto para organizações.