Profile Bayesian Optimization for Expensive Computer Experiments

Resumo Técnico: Otimização Bayesiana de Perfil para Experimentos Computacionais Caros

Definição do Problema
O artigo aborda o desafio de otimizar simulações computacionais de caixa-preta determinísticas e caras, onde o objetivo é identificar "ótimos de perfil" em vez de um único ótimo global. Nesses cenários, os parâmetros de entrada são divididos em um único parâmetro de controle ($x^\star$) e múltiplos parâmetros de incerteza (ou parâmetros espúrios, $x_{-\star}$). O objetivo é estimar a função $T(x^\star) = \min_{x_{-\star}} f(x^\star, x_{-\star})$ em todo o intervalo plausível de $x^\star$.

A Otimização Bayesiana (BO) padrão é mal adequada para esta tarefa porque normalmente visa um único mínimo global, negligenciando frequentemente a exploração de todo o espaço do parâmetro de controle. Os métodos existentes de otimização de perfil, como o Profile Expected Improvement (PEI) proposto por Ginsbourger et al. (2014), sofrem de duas limitações principais:

1. Intratabilidade Computacional: Eles dependem de grades densas para a seleção de candidatos, o que se torna inviável em dimensões superiores a duas.
2. Desequilíbrio Exploração-Explotação: Assim como o Expected Improvement (EI) tradicional, o PEI tende a sobre-explotar regiões próximas ao mínimo global, falhando em explorar adequadamente todo o intervalo do parâmetro de controle.

Os autores são motivados por uma aplicação de engenharia específica: o projeto de um difusor para um Combustor de Detonação Rotativa (RDC). A simulação é computacionalmente cara (de 10 minutos a várias horas por execução) e não estacionária devido à dinâmica da combustão. O objetivo é mapear a perda mínima de energia (perda de pressão) como uma função do comprimento do difusor ($x^\star$), otimizando sobre cinco parâmetros de incerteza (pontos de curvatura e localização do bypass) para informar as compensações de design entre eficiência e restrições físicas.

Metodologia
Os autores propõem um novo procedimento de Otimização Bayesiana de Perfil (PBO) que integra modelagem de substitutos (surrogates) com uma estratégia de aquisição de dois estágios.

1. Modelagem de Substitutos (Surrogate Modeling):

   • O método utiliza substitutos de Processo Gaussiano (GP) ou Processo Gaussiano Profundo (DGP). Os DGPs são destacados pela sua capacidade de lidar com superfícies de resposta não estacionárias, comuns em simulações físicas.
   • Para estimar $T(x^\star)$, os autores geram amostras posteriores conjuntas do substituto. Para cada amostra, eles identificam o valor de resposta mínimo para cada $x^\star$ único. A distribuição empírica desses mínimos fornece uma estimativa $\hat{T}(x^\star)$ juntamente com a quantificação de incerteza (UQ) via intervalos de credibilidade.
   • Para gerenciar custos computacionais em altas dimensões, a aproximação de Vecchia é empregada para uma amostragem posterior conjunta eficiente.

2. Tricands Modificados (Geração de Candidatos):

   • Para evitar o gargalo computacional de grades densas, os autores adaptam a abordagem de "tricands" (candidatos de triangulação) de Gramacy et al. (2022).
   • Em vez de uma grade completa, os candidatos são gerados usando uma triangulação de Delaunay dos parâmetros de incerteza observados ($X_{-\star}$). "Candidatos internos" são colocados nos centros geométricos dos componentes de triangulação, e "candidatos de borda" são colocados próximos aos limites.
   • Uma grade 1D semi-densa é criada para o parâmetro de controle $x^\star$. O conjunto final de candidatos ($X_{tri+}$) é o produto cartesiano da grade $x^\star$ e dos tricands dos parâmetros de incerteza. Isso permite a estimativa eficiente de mínimos sem avaliar bilhões de pontos.

3. Esquema de Aquisição de Dois Estágios:
   A seleção do próximo ponto de avaliação $x_{n+1} = \{x^\star_{n+1}, x_{-\star, n+1}\}$ ocorre em dois passos distintos:

   • Estágio 1 (Exploração de $x^\star$): O algoritmo seleciona o valor do parâmetro de controle $x^\star_{n+1}$ que exibe a maior incerteza (largura do intervalo de credibilidade mais ampla) na estimativa atual de $\hat{T}(x^\star)$. Isso é inspirado pelo critério MacKay de Aprendizado Ativo e garante que todo o intervalo do parâmetro de controle seja explorado.
   • Estágio 2 (Explotação de $x_{-\star}$): Uma vez fixado o $x^\star_{n+1}$, o algoritmo seleciona os parâmetros de incerteza $x_{-\star, n+1}$ maximizando o Profile Expected Improvement (PEI) ao longo daquela fatia específica. Isso foca a busca na descoberta da configuração de incerteza ideal para o parâmetro de controle escolhido.

Principais Resultados
Os autores validam o procedimento PBO através de benchmarks sintéticos e da aplicação motivadora RDC:

• Benchmarks Sintéticos:

  • Funções Estacionárias (Branin 2D, Kyger 3D): O PBO superou a BO padrão, a Amostragem de Hipercubo Latino (LHS) aleatória e o método PEI original. O PBO alcançou um Erro Quadrático Médio (RMSE) menor e intervalos de credibilidade mais estreitos, mantendo a cobertura próxima a 95%. Crucialmente, o PBO explorou com sucesso todo o intervalo de $x^\star$, enquanto o PEI e a BO padrão agruparam as aquisições perto dos mínimos globais, deixando partes do perfil inexploradas.
  • Função Não Estacionária (Squiggle 4D): Usando substitutos DGP, o PBO demonstrou precisão superior comparado a substitutos GP. Embora as previsões DGP tenham mostrado uma cobertura ligeiramente menor (indicando excesso de confiança), elas renderam significativamente menor RMSE e Desvio Absoluto Máximo (MaxAD) do que os métodos baseados em GP.

• Aplicação Motivadora (Difusor RDC):

  • Aplicado a uma simulação de 6D (1 controle, 5 incertezas), o PBO com substitutos DGP foi executado por 150 avaliações.
  • A estimativa de perfil resultante forneceu quantificação de incerteza em todo o intervalo de comprimentos do difusor.
  • Ao comparar com um otimizador evolutivo multiobjetivo de última geração (CADO) rodado no mesmo orçamento (113 avaliações), o PBO identificou designs com menores perdas de pressão do que a fronteira de Pareto encontrada pelo CADO. Além disso, o PBO forneceu um perfil contínuo de ótimos, enquanto o CADO forneceu apenas um conjunto discreto de pontos de compensação.

Significância e Alegações
O artigo afirma que a Otimização Bayesiana de Perfil oferece um framework robusto para estimar ótimos de perfil em experimentos computacionais caros onde o intervalo do parâmetro de controle é de interesse primário.

• Novidade: A principal contribuição é o esquema de aquisição de dois estágios que separa explicitamente a exploração do parâmetro de controle da explotação dos parâmetros de incerteza. Isso evita a "sobre-explotação" comum na BO e no PEI tradicionais.
• Escalabilidade: Ao combinar tricands modificados com a aproximação de Vecchia, o método estende a otimização de perfil para dimensões mais altas (demonstrado até 6D), onde métodos anteriores baseados em grade falharam.
• Flexibilidade: O procedimento é compatível tanto com substitutos estacionários (GP) quanto não estacionários (DGP), tornando-o aplicável a simulações físicas complexas com mudanças de regime.
• Impacto Prático: Na aplicação RDC, o método permitiu a tomada de decisão informada ao quantificar a compensação entre o comprimento do difusor e a perda de energia, identificando designs que superaram as abordagens de otimização multiobjetivo existentes.

Os autores notam modestamente algumas limitações, incluindo a suposição de ótimos de perfil únicos para cada fatia de $x^\star$ e o custo computacional de gerar amostras posteriores suficientes para a cobertura de DGP em altas dimensões. Eles sugerem que trabalhos futuros poderiam envolver substitutos com gradiente aumentado e calibração Bayesiana com dados físicos.