Resumo Técnico: Bandidos Multi-Objetivo Sensíveis ao Custo para Avaliação de Configurações de LLM

1. Formulação do Problema

O artigo aborda o desafio de avaliar configurações de Grandes Modelos de Linguagem (LLMs) sob orçamentos limitados. Em cenários práticos, a seleção de configurações ideais (ex: modelos base, templates de prompt, parâmetros de decodificação) envolve o equilíbrio de múltiplos objetivos conflitantes — como precisão da tarefa, latência e robustez — enquanto incorre em custos de avaliação variáveis. Esses custos surgem do consumo de tokens, taxas de API ou esforços de anotação humana, que diferem significamente entre as configurações.

Os autores formulam este desafio como um problema de bandido multi-objetivo sensível ao custo com um orçamento de avaliação finito $B$. O problema é definido por dois objetivos de aprendizado complementares:

1. Seleção de Configuração Online: Minimizar o arrependimento (regret) ao longo do tempo, selecionando configurações de forma adaptativa para maximizar a utilidade cumulativa por unidade de custo.
2. Identificação de Configuração de Pareto: Identificar o conjunto de configurações não dominadas (ótimas de Pareto) dentro de um orçamento fixo.

O framework modela cada configuração como um braço que gera um vetor estocástico de recompensas $\mathbf{r}_{i,t} \in [0,1]^D$ e incorre em um custo dependente da configuração $c_{i,t}$. Diferente de trabalhos anteriores, esta formulação considera explicitamente o compromisso entre o desempenho multi-objetivo e os custos heterogêneos de avaliação.

2. Metodologia

O artigo propõe dois algoritmos distintos adaptados aos dois objetivos de aprendizado:

A. CoHV-UCB: Hypervolume UCB Sensível ao Custo (Seleção Online)

Para o problema de seleção online, os autores propõem o CoHV-UCB, um algoritmo baseado no princípio de "otimismo diante da incerteza" (optimism-in-the-face-of-uncertainty).

• Mecanismo: O algoritmo constrói um vetor de recompensa otimista $\mathbf{U}_{i,t}$ para cada configuração usando limites superiores de confiança (upper confidence bounds). Ele então calcula um índice de hipervolume por custo:
  $$I_{i,t} = \frac{HV(\mathbf{U}_{i,t})}{\underline{c}_{i,t}}$$
  onde $HV(\cdot)$ é o indicador de hipervolume (medindo a qualidade multi-objetivo) e $\underline{c}_{i,t}$ é um limite inferior de confiança sobre o custo de avaliação esperado.
• Tratamento de Custo: Para evitar que o índice seja artificialmente inflado pela subestimação dos custos, o algoritmo utiliza um limite inferior de confiança truncado para o denominador do custo, garantindo que ele permaneça limitado longe de zero.
• Seleção: Em cada rodada, a configuração com o maior índice é selecionada até que o orçamento se esgote.

B. CoPSI: Identificação de Conjunto de Pareto Sensível ao Custo (Orçamento Fixo)

Para o problema de identificação de orçamento fixo, os autores propõem o CoPSI, um algoritmo de rejeição sucessiva que aloca amostras com base nos custos das configurações.

• Mecanismo: O algoritmo opera em fases. Em cada fase, ele mantém um conjunto ativo de configurações e calcula um alvo de amostragem $n_r$ proporcional ao inverso do custo total do conjunto ativo.
• Eliminação Baseada em Gap: Ele computa lacunas empíricas de Pareto ($\hat{\gamma}_{i,r}$) para as configurações ativas. Essas lacunas medem a evidência empírica de uma configuração ser ou dominada ou ótima de Pareto.
• Estratégia: O algoritmo identifica a configuração com a maior lacuna de classificação empírica e a remove do conjunto ativo (aceitando-a como ótima de Pareto ou rejeitando-a como dominada). Este processo continua até que apenas uma configuração reste, que é incluída no resultado final.
• Sensibilidade ao Custo: O alvo de amostragem em cada fase é explicitamente ajustado com base no custo agregado das configurações ativas restantes, garantindo que o orçamento seja utilizado de forma eficiente.

3. Contribuições Teóricas

O artigo estabelece garantias teóricas rigorosas para ambos os algoritmos:

• Limite de Arrependimento para CoHV-UCB: Os autores provam que o arrependimento de eficiência de hipervolume é limitado por:
  $$O\left(\sum_{i \neq i^*} \frac{\log B}{\Delta_i}\right)$$
  onde $B$ é o orçamento, $i^*$ é a configuração ótima em termos de eficiência de hipervolume, e $\Delta_i$ é o gap de eficiência. Este limite mantém a dependência logarítmica do orçamento encontrada em bandidos de orçamento de objetivo único clássicos.

• Probabilidade de Erro para CoPSI: Para identificação de orçamento fixo, a probabilidade de identificar incorretamente o conjunto de Pareto é limitada por:
  $$O\left(\exp\left(-\frac{B}{H_{\mu,c}}\right)\right)$$
  onde $H_{\mu,c}$ é uma medida de complexidade sensível ao custo que depende dos custos das configurações e dos gaps de classificação de Pareto. Este resultado mostra que a probabilidade de erro decai exponencialmente com o orçamento e recupera as garantias padrão de identificação de conjunto de Pareto quando todos os custos são idênticos.

4. Resultados Experimentais

Os autores avaliam seus métodos em tarefas de configuração de LLM utilizando os conjuntos de dados GSM8K e PIQA. As configurações envolvem vários modelos, temperaturas e estratégias de prompting, com objetivos incluindo precisão e latência inversa normalizada.

• Seleção Online: O CoHV-UCB supera significativamente os baselines (incluindo o HV-UCB insensível ao custo e o UCB de Precisão-Custo de objetivo único). No conjunto de dados PIQA, o CoHV-UCB reduziu o arrependimento de eficiência de hipervolume em 83,2% em comparação com a alocação uniforme. Os resultados destacam que considerar a dispersão de custos é crucial quando a configuração que maximiza o desempenho bruto difere daquela que maximiza a eficiência.
• Identificação de Pareto: O CoPSI demonstra desempenho superior na identificação do conjunto de Pareto em comparação com a alocação uniforme e o método de rejeição sucessiva insensível ao custo (PSI-SR). No GSM8K, o CoPSI reduziu a probabilidade de erro de identificação em 84,6% em relação à alocação uniforme no maior orçamento. Os experimentos confirmam que a amostragem sensível ao custo permite que o algoritmo concentre recursos em configurações ambíguas próximas à fronteira de Pareto.

5. Significância e Alegações

O artigo afirma ser o primeiro estudo de bandidos multi-objetivo sensíveis ao custo. Sua principal significância reside em preencher a lacuna entre os frameworks teóricos de bandidos e as restrições práticas da avaliação de LLMs, onde:

1. Os custos são heterogêneos: Os custos de avaliação variam significamente com base no tamanho do modelo e nas estratégias de prompting.
2. Os objetivos são multidimensionais: Praticantes devem equilibrar simultaneamente precisão, latência e eficiência.
3. Os orçamentos são limitados: A avaliação exaustiva é computacional e financeiramente proibitiva.

Os autores afirmam que seu framework permite a tomada de decisão online eficiente e a identificação de Pareto sensível ao custo de forma precisa. Ao otimizar conjuntamente o desempenho e o custo, os métodos propostos permitem que os praticantes extraiam mais valor de orçamentos de avaliação limitados, evitando as armadilhas de estratégias que ignoram variações de custo ou focam em objetivos únicos. O trabalho fornece uma base principiológica para a avaliação adaptativa de LLMs, indo além do benchmarking estático em direção à otimização de múltiplos critérios e eficiente em recursos.