Space-Filling One-Factor-At-A-Time Designs

Resumo Técnico: Designs de Preenchimento de Espaço de Um Fator de Cada Vez (SOFT)

Definição do Problema
Em experimentos computacionais determinísticos, designs de preenchimento de espaço (como os Designs de Hipercubo Latino) são o padrão para explorar espaços de entrada visando construir modelos substitutos (surrogates) robustos, como Processos Gaussianos (GPs). No entanto, esses designs são frequentemente ineficientes para triagem de fatores (screening), pois variam todos os fatores simultaneamente, tornando difícil isolar efeitos causais quando apenas um pequeno subconjunto de entradas é influente (a hipótese de "escassez de efeito"). Por outro lado, os designs de Um Fator de Cada Vez (OFAT) são eficazes para triagem, mas historicamente sofrem de propriedades de preenchimento de espaço deficientes, resultando em lacunas no espaço de entrada que degradam a precisão da modelagem substituta. Designs de triagem existentes, como os designs de Morris e os recentemente propostos designs de Máximo Um Fator de Cada Vez (MOFAT), melhoram a capacidade de triagem, mas falham em fornecer cobertura adequada do interior do espaço de entrada, muitas vezes concentrando pontos próximos às fronteiras ou deixando grandes regiões inexploradas.

Metodologia
Os autores propõem uma nova classe de designs chamada Designs de Preenchimento de Espaço de Um Fator de Cada Vez (SOFT). Esses designs visam otimizar as propriedades de preenchimento de espaço enquanto mantêm a estrutura de triagem dos designs OFAT. A metodologia envolve três componentes principais:

1. Critério de Otimização: Em vez de depender de métricas simples baseadas em distância (como a distância minimax), que podem não considerar erros de extrapolação em modelos GP, os autores otimizam um critério baseado no Erro Quadrático Médio Máximo (MMSE) de um modelo substituto GP. Especificamente, eles maximizam a forma quadrática $Q(D; \alpha, \theta) = \min_{x \in E} \{r(x)'R^{-1}r(x)\}$, onde $E$ é um conjunto de avaliação composto por amostras de Monte Carlo uniformes e vértices representativos do hipercubo de entrada. Isso garante que o design minimize o erro de predição no pior caso sob um kernel Multiplicativo Inverso Multiquadrático (MIM).
2. Níveis de Fatores e Pareamento: Para manter a capacidade de triagem, o design utiliza $2l$ níveis igualmente espaçados para cada fator. Os autores derivam uma estratégia de pareamento ideal (Proposição 1) onde os níveis são pareados para maximizar a magnitude total da perturbação, garantindo a estimativa precisa dos índices de Sobol' totais. Eles identificam um desloco inicial robusto ($a = 0.125/l$) para os níveis que apresenta bom desempenho em diversas estruturas de correlação.
3. Otimização Estrutural: O artigo aborda duas estruturas OFAT:
   • Estrutura Padrão: Todas as trajetórias OFAT originam-se de uma matriz de corridas base comum $A^{(0)}$.
   • Estrutura Estrita: As trajetórias são encadeadas sequencialmente.
     Para a estrutura estrita, onde avaliar todas as permutações é computacionalmente inviável, um algoritmo guloso é proposto para construir a sequência de mudanças de fatores que maximiza o critério de preenchimento de espaço. Para ambas as estruturas, um algoritmo de busca local determinístico é usado para otimizar as corridas base ($A^{(0)}$) através da troca de linhas para melhorar o critério $Q$.

Principais Contribuições

• Nova Classe de Design: Introdução dos designs SOFT, que são os primeiros a integrar explicitamente fortes propriedades de preenchimento de espaço com as capacidades de triagem dos designs OFAT no contexto de experimentos computacionais.
• Estrutura de Otimização: Desenvolvimento de um framework de otimização específico que equilibra a necessidade de triagem (via estrutura OFAT e magnitude de perturbação) com a necessidade de precisão de predição global (via critérios de preenchimento de espaço baseados em MMSE).
• Eficiência Algorítmica: Apresentação de algoritmos eficientes (construção gulosa e busca local) para gerar esses designs, observando que, embora exijam otimização, são computacionalmente mais eficientes do que gerar designs de preenchimento de espaço de alta dimensão como o MaxPro.

Resultos
Estudos numéricos comparando designs SOFT contra designs MmLHD, MaxPro e MOFAT em dimensões de $p=2$ a $20$ produzem as seguintes conclusões:

• Propriedades de Preenchimento de Espaço: Os designs SOFT alcançam um desempenho de preenchimento de espaço (medido pelos critérios $Q$ e $\Phi$) comparável aos designs de preenchimento de espaço clássicos (MmLHD e MaxPro) e significativamente superior aos designs MOFAT, particularmente em configurações de alta dimensão. A estrutura estrita geralmente oferece um preenchimento de espaço melhor do que a estrutura padrão conforme as dimensões aumentam.
• Precisão da Modelagem Substituta: Em termos de Erro Quadrático Médio (MSE) fora da amostra para funções de referência (função g, Levy, Ackley):
  • Os designs SOFT consistentemente alcançam o menor MSE na maioria dos cenários, incluindo com escassez de efeito (fatores inertes).
  • Enquanto designs de puro preenchimento de espaço (MmLHD, MaxPro) enfrentam dificuldades quando muitos fatores são inertes, e designs MOFAT enfrentam dificuldades quando fatores são ativos ou em altas dimensões, os designs SOFT permanecem robustos em ambos os regimes.
  • A estrutura padrão dos designs SOFT frequentemente fornece o desempenho preditivo mais estável.
• Custo Computacional: Os designs SOFT são significativamente mais rápidos para gerar do que os designs MmLHD e MaxPro, embora ligeiramente mais custosos que os designs MOFAT devido à etapa de otimização.

Significância e Alegações
O artigo afirma que os designs SOFT oferecem uma "vantagem clara" sobre os métodos existentes ao resolver o compromisso entre triagem e preenchimento de espaço. Os autores asseveram que os designs SOFT são mais robustos para modelagem substituta do que os designs de preenchimento de espaço tradicionais, um resultado que descrevem como "surpreendente" dada a sabedoria convencional de que o preenchimento de espaço é primordial para experimentos computacionais. Eles posicionam o SOFT como o primeiro design de seu tipo em experimentos computacionais que integra com sucesso as capacidades de triagem e de modelagem de superfície de resposta, potencialmente impactando como sistemas complexos são explorados e modelados quando há escassez de fatores. O trabalho é apoiado pela Fundação Nacional de Ciência dos EUA (U.S. National Science Foundation).