Fast and Provably Accurate Sequential Designs using Hilbert Space Gaussian Processes

Título: Projetos Sequenciais Rápidos e Provavelmente Precisos usando Processos Gaussianos no Espaço de Hilbert

1. O Problema

O projeto sequencial de experimentos (Sequential Design) utilizando Processos Gaussianos (GP) é uma abordagem fundamental para aprender superfícies de resposta caras (expensive response surfaces) sob orçamentos limitados de avaliação. O objetivo é selecionar iterativamente novos pontos de entrada que equilibrem exploração e exploração.

• Função de Aquisição IMSE: Uma função de aquisição eficaz para reduzir o erro global de predição é o Erro Quadrático Médio Integrado (IMSE - Integrated Mean Squared Error). O IMSE mede a redução esperada na incerteza posterior integrada sobre todo o domínio.
• O Gargalo Computacional: A implementação prática do IMSE é computacionalmente proibitiva. O critério envolve uma integral sobre o domínio $\Omega$ do produto de funções de kernel. Para a maioria das funções de kernel (exceto casos muito específicos), essa integral não possui uma expressão de forma fechada (closed-form).
• Limitações Atuais: Métodos existentes, como o IMSPE (Integrated Mean Squared Prediction Error) implementado no pacote hetGP, dependem de derivadas analíticas específicas para kernels particulares (Gaussiano, Matérn-3/2, Matérn-5/2) e medidas uniformes. Isso limita severamente a aplicabilidade a outras famílias de kernels e exige cálculos numéricos caros (como quadratura densa ou Monte Carlo) a cada iteração, tornando o processo lento à medida que o número de amostras aumenta.

2. Metodologia Proposta

Os autores propõem uma aproximação baseada em Processos Gaussianos no Espaço de Hilbert (HSGP - Hilbert Space Gaussian Process) para a função de aquisição IMSE.

• Aproximação HSGP: O método utiliza uma expansão truncada dos autovalores e autofunções do operador Laplaciano em um domínio limitado. O kernel é aproximado por uma série finita de funções trigonométricas (base de senos), cujos coeficientes são determinados pela densidade espectral do kernel.
  $$\hat{k}_m(x, x') = \sum_{j \in [m]^d} S\left(\frac{\pi j}{2L}\right) \phi_j(x) \phi_j(x')$$
  Onde $S$ é a densidade espectral e $\phi_j$ são as autofunções.
• Fechamento Analítico da Integral: Ao substituir o kernel original pela aproximação HSGP (que depende apenas de funções trigonométricas) dentro da integral do IMSE, a integral passa a ter uma expressão de forma fechada. Isso elimina a necessidade de integração numérica repetida durante a otimização da função de aquisição.
• Estratégia de Estabilização ($\gamma$-stabilizing): Para evitar instabilidades numéricas quando pontos candidatos estão muito próximos dos pontos de design existentes (o que faria o denominador da função IMSE tender a zero), os autores impõem uma restrição de separação. O próximo ponto é selecionado apenas em uma região $\Omega_\gamma$ onde a distância para os pontos existentes é maior que $\gamma h_N$ (onde $h_N$ é a distância de preenchimento). Isso garante estabilidade e propriedades de quasi-uniformidade.
• Complexidade Computacional:
  • O método tradicional de IMSPE tem custo $O(N^2)$ ou pior para a avaliação da função de aquisição.
  • O método HSGP-IMSE proposto reduz o custo de avaliação para $o(N^2)$ (especificamente $O(NM)$, onde $M$ é o número de bases, tipicamente $M \ll N^2$), tornando-o escalável para grandes conjuntos de dados.

3. Principais Contribuições

1. Método (HSGP-IMSE): Desenvolvimento de uma função de aquisição $\widehat{\text{IMSE}}_m(t)$ que combina a expansão de auto-bases truncada com uma redução analítica da integral IMSE para uma forma quadrática. Diferente de métodos anteriores, este se aplica a qualquer família de kernels com densidade espectral de forma fechada (incluindo Gaussianos, Matérn, Wendland generalizados), não exigindo integração numérica.
2. Teoria (Limites de Erro):
   • Derivação de limites de erro globais não assintóticos e agudos (sharp bounds) para a aproximação do kernel e para a função de aquisição resultante.
   • Estabelecimento de taxas de convergência exponenciais para kernels Gaussianos e polinomiais para kernels Matérn, com constantes explícitas.
   • Prova de que a restrição de estabilização $\gamma$ garante que os pontos de design sequenciais sejam quasi-uniformes.
3. Avaliação Empírica: Experimentos extensivos em 1D e 2D comparando o HSGP-IMSE com o IMSPE (via hetGP) e com amostragem de Latin Hypercube (LHS).

4. Resultados Experimentais

Os experimentos foram realizados em várias funções de teste (incluindo campos aleatórios Gaussianos e funções sintéticas complexas) com diferentes kernels (Gaussiano, Matérn-3/2, Matérn-5/2, Matérn-2, Wendland Generalizado).

• Precisão da Aproximação: As curvas da função de aquisição aproximada $\widehat{\text{IMSE}}_m(t)$ sobrepostas à referência numérica (IMSE exato) mostraram sobreposição quase perfeita, indicando alta fidelidade na reprodução do perfil de aquisição.
• Desempenho de Predição (RMSE): O método HSGP-IMSE superou consistentemente o método de amostragem LHS e, em vários casos (especialmente com kernels não suportados pelo hetGP), superou o método IMSPE tradicional na redução do Erro Quadrático Médio Raiz (RMSE) global e na contração da variância posterior.
• Eficiência Computacional: O tempo de execução do HSGP-IMSE foi comparável ao do IMSPE (quando este último é aplicável) e significativamente mais rápido do que métodos que exigem integração numérica. O método manteve alta precisão mesmo em dimensões mais altas e com kernels complexos.
• Generalidade: O método demonstrou eficácia com kernels que não possuem implementações de IMSPE analítico (como Matérn-2 e Wendland Generalizado), preenchendo uma lacuna importante na literatura.

5. Significado e Conclusão

Este trabalho resolve um gargalo computacional crítico no projeto sequencial baseado em Processos Gaussianos. Ao transformar um problema de integração intratável em uma forma analítica fechada através da aproximação HSGP, os autores:

• Expandem a aplicabilidade: Permitem o uso de IMSE com uma vasta gama de kernels, não apenas os poucos casos especiais com soluções analíticas conhecidas.
• Garantem eficiência: Oferecem uma abordagem computacionalmente eficiente que escala melhor com o número de amostras do que os métodos de quadratura tradicionais.
• Fornecem garantias teóricas: Estabelecem limites de erro rigorosos que validam a precisão da aproximação, assegurando que a otimização da função de aquisição aproximada leva a designs sequenciais de alta qualidade.

Em suma, o framework HSGP-IMSE oferece uma solução robusta, precisa e escalável para a emulação global de superfícies caras, tornando o projeto sequencial mais acessível e eficiente para uma ampla classe de problemas científicos e de engenharia.