Surrogate modeling for Bayesian optimization beyond a single Gaussian process

Resumo Técnico: Modelagem por Surrogato para Otimização Bayesiana Além de um Único Processo Gaussiano

Declaração do Problema
A Otimização Bayesiana (OB) é um framework principiado para otimizar funções de caixa-preta "caras de avaliar", como as encontradas no ajuste de hiperparâmetros, descoberta de fármacos e robótica. A OB padrão depende de um modelo de surrogato estatístico para selecionar sequencialmente pontos de consulta, equilibrando exploração e exploração. No entanto, as abordagens existentes geralmente dependem de um único Processo Gaussiano (GP) com uma função de kernel pré-selecionada. Este design exige expertise significativa de domínio para escolher o tipo de kernel e os hiperparâmetros apropriados. Além disso, garantias rigorosas de convergência para algoritmos de OB frequentemente faltam, e a paralelização de avaliações para reduzir o tempo de convergência frequentemente exige hiperparâmetros adicionais ou regras de seleção complexas para garantir a diversidade das consultas. O artigo aborda a necessidade de um método de OB que minimize esforços de ajuste, suporte operação paralela e forneça garantias teóricas de convergência.

Metodologia: EGP-TS
O método proposto, EGP-TS (Ensemble de Processos Gaussianos com Amostragem de Thompson), introduz um novo framework que vai além de um único surrogato GP.

1. Ensemble de GPs (EGP): Em vez de um único kernel, o método aproveita um ensemble de $M$ GPs, onde cada GP $m$ utiliza uma função de kernel $\kappa_m$ selecionada de um dicionário pré-definido $\mathcal{K}$. O prior sobre a função objetivo $f(x)$ é modelado como uma mistura ponderada desses GPs:
   $$f(x) \sim \sum_{m=1}^M w_m^0 \mathcal{GP}(0, \kappa_m(x, x'))$$
   Os pesos $w_m^t$ são atualizados adaptativamente em tempo real com base nos dados observados $D_t$ usando a regra de Bayes, selecionando efetivamente o ajuste de modelo de surrogato mais adequado para a etapa atual da otimização.

2. Aquisição por Amostragem de Thompson (TS): Para selecionar o próximo ponto de consulta, o método emprega Amostragem de Thompson. Em vez de otimizar uma função de aquisição complexa, o TS amostra uma realização de função $\tilde{f}_t(x)$ da distribuição de mistura posterior e seleciona o maximizador dessa função amostrada. Esta abordagem não requer parâmetros de design adicionais.

3. Escalabilidade via Features Aleatórias (RF): Para garantir escalabilidade, particularmente para a etapa de amostragem exigida pelo TS, o método emprega aproximação de kernel baseada em features aleatórias para cada GP no ensemble. Isso converte a aprendizagem de GP não paramétrica em uma paramétrica, permitindo amostragem eficiente de função e atualizações bayesianas recursivas dos parâmetros do modelo (pesos e médias/covariâncias posteriores).

4. Paralelização: O framework EGP-TS acomoda naturalmente avaliações de função paralelas síncronas e assíncronas. Em um cenário paralelo com $K$ trabalhadores, múltiplos pontos de consulta são gerados amostrando da mistura posterior atual sem exigir hiperparâmetros extras para impor diversidade, um requisito comum em OB paralela usando Limite Superior de Confiança (UCB) ou Melhoria Esperada (EI).

Contribuições Principais
O artigo delineia quatro contribuições primárias:

• Seleção Adaptativa de Modelo: Substitui o GP único com um kernel pré-selecionado por um ensemble de GPs que ajusta adaptativamente os pesos por GP em tempo real, removendo a necessidade de seleção manual de kernel.
• Paralelismo Livre de Parâmetros: A abordagem EGP-TS resultante suporta avaliações paralelas síncronas e assíncronas sem necessitar de parâmetros de design adicionais.
• Garantias de Convergência: Os autores estabelecem a convergência do EGP-TS para o ótimo global derivando limites de arrependimento bayesiano sublineares para cenários sequenciais e paralelos. A análise adapta técnicas de bandits lineares com priores de mistura para o contexto de OB, abordando os desafios introduzidos pelo prior EGP.
• Validação Empírica: Testes extensivos em funções sintéticas, tarefas robóticas (empurrar robô) e tarefas de ajuste de hiperparâmetros do mundo real (para FNNs, SVMs e Gradient Boosting) demonstram a superioridade do método sobre TS baseado em GP único, GP-TS totalmente bayesiano e abordagens de ensemble alternativas.

Resultados
Experimentos numéricos foram conduzidos em benchmarks sintéticos padrão (Ackley-5d, Zakharov, DropWave, Eggholder) e aplicações do mundo real.

• Funções Sintéticas: O EGP-TS alcançou consistentemente arrependimento simples menor comparado ao GP-TS com kernels pré-selecionados (RBF, Matérn) e outros métodos de ensemble como BanditBO e EXP3BO. Também superou o GP-TS totalmente bayesiano.
• Robótica: Em tarefas de empurrar robô em 3D e 4D, o EGP-TS demonstrou desempenho superior na minimização da distância até a localização do objetivo comparado a todas as linhas de base, enquanto também executou significativamente mais rápido que o GP-TS totalmente bayesiano.
• Ajuste de Hiperparâmetros: Para ajustar modelos FNN, SVM e Gradient Boosting em conjuntos de dados como Câncer de Mama, Iris e Vinho, o EGP-TS alcançou maior precisão de validação com menos avaliações de função comparado aos concorrentes.
• Ablação: Resultados preliminares acoplando o surrogato EGP com Melhoria Esperada (EGP-EI) também mostraram desempenho melhorado sobre o GP-EI padrão, sugerindo que os benefícios do modelo de ensemble se estendem além da Amostragem de Thompson.

Significado e Alegações
O artigo alega que o EGP-TS oferece uma solução robusta para o gargalo do "esforço de design" na Otimização Bayesiana. Ao automatizar a seleção de kernel através de uma abordagem de ensemble e utilizar Amostragem de Thompson, o método reduz a dependência de conhecimento especializado de domínio. A contribuição teórica reside em estabelecer limites rigorosos de arrependimento bayesiano para um algoritmo de OB baseado em ensemble, provando que o método converge para o ótimo global com arrependimento médio decrescente. Os autores enfatizam que, embora o conceito de ensemble tenha sido usado em aprendizagem supervisionada, sua adaptação para OB para seleção de kernel, acoplada com escalabilidade paralela e análise de convergência, é uma contribuição novel. O trabalho posiciona o EGP-TS como um método que equilibra a expressividade da aprendizagem de ensemble com a eficiência e as garantias teóricas necessárias para tarefas de otimização práticas e de alto custo.