Sequential Experimental Designs for Kriging Model

Resumo Técnico: Desenhos Experimentais Sequenciais para Modelos de Krigagem

Definição do Problema
Experimentos computacionais frequentemente dependem de modelos de Krigagem (processos gaussianos) como modelos substitutos (surrogate models) para aproximar sistemas físicos e de engenharia complexos. O objetivo principal é minimizar a discrepância entre o substituto e o modelo real em todo o domínio experimental. Embora desenhos de preenchimento de espaço (space-filling designs) de estágio único sejam comuns, eles dependem de suposições a priori e podem falhar em cobrir regiões críticas, levando ao desperdício de recursos. Desenhos sequenciais oferecem uma alternativa dinâmica ao adicionar pontos iterativamente com base em dados acumulados. No entanto, os métodos sequenciais existentes enfrentam duas limitações significativas:

1. Desenhos sequenciais em lote baseados em observações são pouco estudados. Em muitos cenários práticos (ex.: simulações aeroespaciais de alta fidelidade), os custos fixos de configuração de um experimento (calibração, inicialização) são altos, enquanto o custo marginal de adicionar múltiplos pontos dentro de uma única rodada é desprezível. Os métodos atuais raramente abordam esse cenário de "lote" (batch) de forma eficaz.
2. Ineficiência de desenhos sequenciais de um único ponto. Abordagens tradicionais de um único ponto exigem inúmeras rodadas iterativas para acumular dados suficientes, levando a ciclos experimentais prolongados e uso ineficiente de recursos. Além disso, a seleção de lotes ingênua pode resultar no agrupamento de pontos em torno de uma única localização ótima, falhando em explorar o espaço de desenho de forma eficaz.

Metodologia
O artigo propõe um framework abrangente para abordar essas lacunas, compreendendo dois novos critérios de seleção e um algoritmo geral de desenho sequencial em lote.

1. Novos Critérios de Seleção:

   • Critério baseado em Gradiente ($\phi_{gra}$): Motivado pela observação de que regiões com grandes magnitudes de gradiente frequentemente requerem amostragem mais densa para reduzir o erro de ajuste, este critério seleciona pontos que maximizam a magnitude esperada do gradiente da função real, $\|\nabla f(x)\|$, mantendo a distância de pontos existentes. Ele incorpora um termo para a variabilidade da resposta local ($|\hat{y}_X(x) - f(x^*)|$) para garantir que os pontos sejam selecionados onde a função realmente varia. Teoricamente, este critério aproxima o limite superior do erro de predição.
   • Critério baseado em Variância ($\phi_{var}$): Este critério visa minimizar o erro máximo de ajuste ao selecionar pontos que maximizam uma função derivada da variância de predição e da variância da estimativa do gradiente. Ele é fundamentado em limites teóricos que mostram que o erro de estimação é regulado tanto pela variância de predição quanto pela variância do gradiente.

2. Framework de Desenho Sequencial Top-$b$ Baseado em Agrupamento (Cluster-based):
   Para estender qualquer critério sequencial de um ponto para um cenário de lote (onde $b > 1$ pontos são adicionados por iteração), os autores propõem um algoritmo de agrupamento (Algoritmo 2).

   • Mecanismo: Em vez de simplesmente selecionar os $b$ melhores pontos que maximizam o critério $\phi(x)$ (o que resultaria em agrupamento próximo a um único máximo global), o algoritmo discretiza o espaço de desenho e ordena os pontos candidatos por seus valores de $\phi$.
   • Lógica de Agrupamento: Os pontos são atribuídos a grupos (clusters) com base na proximidade espacial e regras de densidade (controladas pelos parâmetros $\alpha$ e $\beta$). O algoritmo identifica máximos locais distintos (grupos) e seleciona o ponto representante dos $b$ melhores grupos.
   • Objetivo: Esta abordagem evita o agrupamento de pontos, garante uma exploração diversa de regiões de alto valor e permite que qualquer critério de um ponto existente seja adaptado para cenários de lote.

Principais Contribuições

• Dois Novos Critérios: A introdução dos critérios baseados em gradiente e variância, que oferecem perspectivas teóricas distintas sobre a minimização do erro de ajuste global (erro médio vs. erro máximo).
• Framework Geral de Lote: Um novo framework "top-$b$ baseado em agrupamento" que resolve o problema inerente de agrupamento de pontos da seleção de lote ingênua, permitindo a extensão eficiente de qualquer critério sequencial para cenções de lote.
• Justificativa Teórica: O artigo fornece lemas e teoremas estabelecendo que os critérios propostos se relacionam com os limites superiores dos erros de predição e variâncias de gradiente, oferecendo uma base teórica para suas estratégias de seleção.

Resultos
Os autores avaliaram os métodos propostos contra critérios existentes (incluindo variantes de Melhoria Esperada (Expected Improvement), minimização de variância e discrepância de mistura) usando sete funções de teste (Branin, Hartman, Ackley, Zakharov, Rosenbrock, etc.) com dimensões variadas.

• Desempenho de Um Ponto: Em termos de Erro Quadrático Médio (RMSE), o critério baseado em gradiente geralmente superou os métodos existentes. Para o Erro Absoluto Máximo (MAE), o critério baseado em variância demonstrou desempenho superior.
• Desempenho em Lote: Os desenhos top-$b$ baseados em agrupamento gerados usando os novos critérios superaram consistentemente os desenhos de lote baseados em critérios existentes e o desenho sequencial uniforme de referência.
• Eficiência: Os desenhos em lote alcançaram desempenho comparável, e em alguns casos melhor, que seus equivalentes de um único ponto, enquanto reduziram significativamente o número de rodadas experimentais (iterações).

Significância e Alegações
O artigo afirma que os métodos propostos abordam limitações críticas na literatura atual de desenho sequencial, especificamente a falta de desenhos em lote baseados em observações eficazes e a ineficiência das abordagens de um único ponto. Ao demonstrar que o critério baseado em gradiente minimiza o erro médio e o critério baseado em variância minimiza o erro máximo, os autores fornecem ferramentas direcionadas aos praticantes para objetivos de otimização específicos. Além disso, o framework de lote proposto é apresentado como uma solução versátil que aumenta a eficiência de recursos ao reduzir as rodadas experimentais sem sacrificar a precisão do ajuste, tornando-o particularmente adequado para experimentos computacionais de alto custo de recursos. Os autores concluem que seus critérios e framework geralmente superam as abordagens existentes em termos de precisão de ajuste.