Active Learning with Adaptive Non-Stationary Kernel for Continuous-Fidelity Surrogate Models

Resumo Técnico: Aprendizado Ativo com Kernel Não Estacionário Adaptativo para Modelos Substitutos de Fidelidade Contínua

Definição do Problema
Simulações computacionais de processos físicos complexos, particularmente aquelas que utilizam o Método de Elementos Finitos (FEM), são frequentemente proibitivas do ponto de vista computacional. Simulações de alta fidelidade oferecem precisão, mas exigem recursos substanciais, enquanto simulações de baixa fidelidade são mais baratas, porém menos precisas. A modelagem de substituto multifidelidade tradicional baseia-se frequentemente em níveis de fidelidade discretos ou em suposições de Processos Gaussianos (GP) estacionários. No entanto, em muitas aplicações de FEM, a fidelidade é determinada por parâmetros de continuidade (por exemplo, densidade da malha ou tamanho do passo de tempo) que controlam a precisão numérica. Métodos existentes têm dificuldade em integrar eficientemente esses parâmetros de fidelidade contínua em um arcabouço estatístico que considere o comportamento específico de convergência dos erros de numeração (onde o erro desaparece conforme o parâmetro de fidelidade se aproxima de zero) e as variações nas estruturas de correlação dos incrementos das simulações ao longo do espaço de fidelidade. Além disso, designs experimentais estáticos do tipo "one-shot" falham em otimizar o equilíbrio entre o ganho de informação e o custo computacional em comparação com estratégias sequenciais.

Metodologia
Os autores propõem um arcabouço que combina um novo modelo substituto com uma estratégia de aprendizado ativo (design sequencial).

1. Modelo Substituto GP Não Estacionário:
   O arcabouço modela a saída do computador $y(x, t)$ como a soma de uma solução exata $\phi(x)$ e uma função de erro $\delta(x, t)$, onde $x$ representa os parâmetros de entrada físicos e $t$ representa um vetor de parâmetro de fidelidade contínua. Ambos os componentes são modelados como Processos Gaussianos.

• Kernel Adaptativo: A inovação central é uma nova função de kernel não estacionária adaptativa, $K_\gamma(t_1, t_2)$, inspirada no movimento Browniano fracionário e no modelo de krigagem Lifted Brownian (LB). Este kernel é projetado para capturar a taxa de convergência da função de erro conforme $t \to 0$. Ele introduz um parâmetro $\gamma \in (0, 1)$ para controlar o comportamento de curto alcance e a correlação dos incrementos ao longo do espaço do parâmetro de fidelidade. Isso permite que o modelo se adapte a diversos comportamentos de trajetórias (por exemplo, incrementos positivamente correlacionados, negativamente correlacionados ou não correlacionados) observados em diferentes simulações de FEM.
• Inferência: Os hiperparâmetros são estimados usando Estimativa de Máxima Verossimilhança (MLE) com uma abordagem de plug-in, oferecendo uma alternativa computacionalmente eficiente aos métodos totalmente Bayesianos. O modelo suporta a extrapolação para a solução exata em $t=0$.

2. Estratégia de Aprendizado Ativo:
   Os autores desenvolvem uma estratégia de design sequencial baseada no Erro Médio Quadrático de Predição Integrado (IMSPE).

• Critério Ajustado ao Custo: Para gerenciar orçamentos computacionais, a seleção do próximo ponto de design $(x_{n+1}, t_{n+1})$ maximiza a razão entre a redução do IMSPE e o custo computacional $C(t)$.
• Otimização em Forma Fechada: Uma contribuição técnica fundamental é a derivação de uma expressão em forma fechada para a redução do IMSPE e suas derivadas. Isso permite a otimização numérica eficiente (usando gradiente descendente com múltiplos reinícios) sobre o espaço de fidelidade contínua, evitando a necessidade de aproximações de Monte Carlo dispendiosas ou grades discretas pré-definidas usadas em trabalhos anteriores.
• Designs Iniciais: O estudo investiga o impacto de designs iniciais (por exemplo, MaxPro, Multi-Mesh Experimental Design) na estimativa de hiperparâmetros e no subsequente desempenho do aprendizado ativo.

Principais Contribuições

• Nova Função de Kernel: Introdução de um kernel não estacionário adaptativo que generaliza modelos anteriores (incluindo o modelo de Tuo et al., 2014) e reflete melhor o comportamento das saídas de simulação computacional através de parâmetros de fidelidade contínuos, especificamente acomodando estruturas de correlação variáveis de incrementos.
• Design Sequencial Eficiente: Desenvolvimento de um arcabouço de aprendizado ativo que utiliza um critério IMSPE em forma fechada. Isso permite a otimização de pontos de design sobre um domínio de fidelidade contínuo, uma capacidade não presente nos métodos de aprendizado ativo em lote ou de níveis discretos existentes.
• Avaliação Abrangente: A metodologia é validada através de experimentos numéricos e três estudos de caso reais de FEM: Equação de Poisson, análise de tensão de uma pá de turbina de motor de jato e uma equação de onda dependente do tempo.

Resultos

• Estudos Numéricos: O método de Aprendizado Ativo (AL) proposto com o kernel Lifted Brownian (LBM) superou consistentemente modelos de fidelidade única e designs "one-shot" (OS) em várias configurações de parâmetros. O kernel LBM mostrou particular superioridade quando os incrementos da simulação eram positivamente correlacionados ($\gamma = 0.95$).
• Estudos de Caso:
  • Equação de Poisson: O kernel LBM superou significativamente outros métodos para a resposta "Média" (onde os incrementes são positivamente correlacionados) e permaneceu altamente competitivo para a resposta "Máxima". Os métodos de AL produziram consistentemente erros quadráticos médios (RMSE) menores do que os designs one-shot.
  • Pá de Turbina de Motor de Jato: A abordagem de multifidelidade com AL e o kernel LBM proporcionou um desempenho preditivo robusto sem exigir a seleção de um único tamanho de malha fina, potencialmente subótimo. Superou tanto os modelos de fidelidade única quanto os métodos de design de empilhamento (stacking).
  • Equação de Onda: O método de AL demonstrou uma vantagem pronunciada sobre os designs one-shot ao selecionar estrategicamente pontos de fidelidade de baixo custo que maximizavam a melhoria preditiva, alcançando RMSEs menores dentro do mesmo orçamento computacional.
• Sensibilidade do Design Inicial: Embora a escolha do design inicial tenha afetado significativamente a robustez da estimativa de hiperparâmetros, o desempenho preditivo final do método de aprendizado ativo foi considerado relativamente insensível à escolha específica do design inicial, desde que um orçamento razoável fosse alocado.

Significância
O artigo afirma que este arcabouço aborda lacunas críticas no design experimental de multifidelidade para parâmetros de fidelidade contínua. Ao integrar um kernel adaptativo que se alinha com as taxas de convergência da análise numérica e um critério de aprendizado ativo eficiente, o método oferece uma alternativa computacionalmente barata às simulações de FEM dispendiosas. A capacidade de extrapolar para a solução exata ($t=0$) enquanto fornece quantificação de incerteza distingue esta abordagem dos modelos de multifidelidade autorregressivos. Os autores posicionam seu trabalho como um passo em direção a uma quantificação de incerteza mais eficiente em simulações complexas, observando que, embora seu método melhore o desempenho preditivo, trabalhos futuros são necessários para abordar saídas multidimensionais e custos de transição entre configurações de malha. Um pacote R (MuFiMeshGP) implementando a metodologia é fornecido para facilitar a reprodutibilidade.