Resumo Técnico: BOLT - Um Benchmark para Democratizar a Pesquisa em Otimização de Caixa Preta para Tarefas Custosas de LLM

Declaração do Problema

A otimização de configurações de Modelos de Linguagem de Grande Escala (LLM) — especificamente hiperparâmetros, misturas de dados e prompts — é crítica para o desempenho, mas atualmente é abordada de forma heurística na prática, levando frequentemente a resultados subótimos. Embora a Otimização Bayesiana (BO) e outros métodos de Otimização de Caixa Preta (BBO) ofereçam soluções principiais e eficientes em termos de amostras para problemas ruidosos, custosos e sem derivadas, sua aplicação a LLMs é severamente impedida pelos custos computacionais. A maioria dos pesquisadores em BBO carece de recursos para validar novos métodos em tarefas reais de LLM. Consequentemente, o campo depende de funções de teste sintéticas ou de benchmarks clássicos de aprendizado de máquina em pequena escala (por exemplo, BBOB, HPO-B) que não capturam os desafios específicos da otimização moderna de LLM, como espaços de busca de variáveis mistas, restrições de simplex e embeddings de alta dimensão. Essa lacuna impede o desenvolvimento e a avaliação de métodos BBO adaptados para LLMs.

Metodologia: O Benchmark BOLT

Para abordar essas limitações, os autores introduzem o BOLT (Benchmark for optimization of expensive LLM Tasks), o primeiro benchmark centrado em LLM projetado para democratizar a pesquisa para a comunidade BBO. O BOLT substitui loops de treinamento de LLM caros e irreproduzíveis por emuladores leves e determinísticos (modelos substitutos) treinados em mais de 20.000 avaliações experimentais reais de LLM.

Componentes Principais

1. Famílias de Tarefas: O BOLT cobre três áreas ativas de pesquisa em LLM, cada uma enquadrada como um problema de otimização sem derivadas:

   • Otimização de Hiperparâmetros (HPO): Otimização de configurações de ajuste fino LoRA (rank, alpha, módulos-alvo, taxa de aprendizado, tamanho do lote) para modelos Qwen3 (4B e 8B) no conjunto de dados OpenMathInstruct-2.
   • Otimização de Mistura de Dados (DMO): Otimização da proporção de dados de seguimento de instruções, matemática e código em duas etapas de treinamento para um modelo Qwen3-4B.
   • Otimização de Prompt (PO): Seleção de prompts ótimos para raciocínio matemático a partir de um corpus pré-gerado de 5.014 candidatos, avaliados no benchmark MATH-500.

2. Variantes de Problema e Desafios: Cada família de tarefas inclui variantes projetadas para testar desafios específicos de BBO:

   • Multi-fidelidade: Configurações de fidelidade contínua (contagem de tokens) e discreta (tamanho do modelo) para testar otimização consciente de custos.
   • Multi-objetivo: Otimização simultânea de múltiplas métricas (por exemplo, IFEval, MATH-500, MBPP+).
   • Ruído Heterocedástico: Modelagem de ruído dependente da entrada para otimização de mistura de dados.
   • Altas Dimensões: Tarefas de otimização de prompt variando de 128 a 768 dimensões (usando embeddings de Aprendizado de Representação Matryoshka).
   • Restrições: Restrições de simplex para misturas de dados e espaços de variáveis mistas (contínuas, inteiras, categóricas) para hiperparâmetros.

3. Construção do Emulador:

   • HPO e DMO: Treinados usando Perceptrons Multicamada (MLPs) de 2 camadas em dados experimentais reais.
   • PO: Utiliza dados tabulares de candidatos de prompts pré-gerados e seus embeddings, pois a interpolação no espaço de embeddings não é facilmente decodificável para linguagem natural.
   • Validação: Os emuladores são validados usando a correlação de postos de Spearman ($\rho_s$) entre previsões e conjuntos de teste retidos, garantindo alta fidelidade na classificação de candidatos (por exemplo, $\rho_s \approx 0,96$ para HPO).

Contribuições Principais

1. Um Conjunto de Problemas BBO Centrados em LLM: Os autores introduzem três famílias de tarefas fundamentadas em objetivos reais de LLM, abrangendo espaços de variáveis mistas, restrições de simplex, multi-fidelidade, multi-objetivo e configurações de alta dimensão.
2. Democratização via Emuladores: Ao fornecer modelos substitutos validados e conjuntos de dados tabulares, o BOLT permite que pesquisadores avaliem métodos BBO sem acesso a infraestrutura de LLM cara, garantindo reprodutibilidade e acessibilidade.
3. Avaliação Empírica Extensa: O artigo avalia uma ampla gama de métodos BO (incluindo LogNEI, GIBBON, MES, PES) contra baselines padrão (Random, TPE, CMA-ES, NSGA-2) em todas as tarefas do BOLT.

Resultados Experimentais

Os autores avaliaram numerosas funções de aquisição e estratégias de otimização no BOLT:

• HPO: Métodos BO baseados em GP (especificamente LogNEI, MF-MES e MF-GIBBON) superaram consistentemente as baselines não-GP (TPE, CMA-ES, BOHB) em configurações de fidelidade única e multi-fidelidade. No entanto, a seleção de funções de aquisição mostrou sensibilidade às escalas de custo e parâmetros de exploração (por exemplo, $\beta$ em UCB).
• DMO: Métodos baseados em NEI dominaram tarefas de objetivo único, enquanto o NEHVI com seleção em lote ($q=5$) superou significativamente as baselines evolutivas (NSGA-2) em tarefas multi-objetivo, alcançando qualidade de fronteira de Pareto similar com 50 vezes menos avaliações de função. Métodos conscientes de ruído (LogNEI+MLHGP) mostraram melhorias modestas em configurações heterocedásticas.
• PO: Funções de aquisição padrão (LogEI, LogNEI, UCB) falharam em escalar em espaços de embeddings de alta dimensão, estabilizando-se perto do desempenho de busca aleatória. Métodos de busca local adaptados para espaços discretos (dTuRBO e dBAxUS) combinados com LogNEI alcançaram ganhos substanciais, atingindo arrependimento logarítmico simples de -10 a -15. A avaliação em lote acelerou ainda mais a convergência. Notavelmente, a redução de subespaço (dBAxUS) foi menos eficaz em dimensões mais baixas (PO-128), onde a variância não estava concentrada em um subespaço ativo de baixa dimensão, sugerindo que os embeddings de LLM podem nem sempre satisfazer as suposições de baixo rank de tais métodos.

Significado e Alegações

O artigo afirma que o BOLT é um passo crítico para modernizar a pesquisa em BBO para LLMs. Ao fornecer um benchmark reprodutível, acessível e realista, o BOLT:

• Valida o potencial da BO: Demonstra que métodos BBO maduros, particularmente aqueles baseados em busca de entropia e melhoria esperada ruidosa, são eficazes para tarefas de LLM, mas requerem adaptação a desafios estruturais específicos (por exemplo, restrições de simplex, espaços de busca discretos).
• Destaca lacunas: Expõe as limitações dos métodos atuais em configurações de alta dimensão, discretas e com restrições, sublinhando a necessidade de novos desenvolvimentos algorítmicos.
• Permite progresso: Remove a barreira computacional que anteriormente impedia a comunidade BBO de se envolver com problemas de otimização específicos de LLM, fomentando o desenvolvimento de estratégias de otimização de pipeline de LLM mais eficientes e principiais.

Os autores permanecem modestos, observando que os emuladores são treinados em configurações específicas (por exemplo, orçamentos de tokens menores, modelos não pensantes) e podem não representar o desempenho absoluto máximo alcançável por modelos de ponta, mas os desafios de otimização em si (variáveis mistas, restrições, ruído) são intrínsecos às tarefas de LLM e permanecem consistentes entre configurações.