Statistical Validation of Computer Models: Global and Subdomain Hypothesis Testing

Título: Validação Estatística de Modelos Computacionais: Testes de Hipóteses Globais e de Subdomínio

Autores: Chaoan Li, Xianyang Zhang e Rui Tuo (Texas A&M University).

---

1. Problema e Motivação

Simulações computacionais são fundamentais para a descoberta científica e inovação em engenharia, permitindo experimentação virtual que reduz a necessidade de testes físicos caros. No entanto, a credibilidade desses modelos depende de uma validação estatística rigorosa contra dados do mundo real.

O problema central abordado é determinar se a saída de um modelo computacional ($y_s(x)$) é consistente com o processo físico real ($f(x)$) sobre um domínio de entrada $\Omega$.

• Limitações das abordagens existentes: Métodos frequentistas anteriores (como testes $T^2$ de Hotelling ou diagnósticos baseados em resíduos) geralmente quantificam erros agregados, mas carecem de testes formais de hipóteses ao nível da função. Abordagens bayesianas (como o modelo de Kennedy & O'Hagan) incorporam termos de discrepância, mas não focam em testes formais com taxas de erro controladas.
• Objetivo: Preencher essa lacuna formulando a validação como um problema de teste de hipóteses funcional, capaz de detectar discrepâncias estruturais em todo o domínio (validação global) e em regiões específicas (validação de subdomínio).

2. Metodologia Proposta: FMMT

Os autores propõem o Teste de Módulo Máximo de Fourier (FMMT - Fourier Maximum Modulus Test). A metodologia baseia-se nos seguintes pilares:

A. Estimativa da Discrepância (Regressão Não Paramétrica)

• Utiliza-se a Regressão por Ridge com Kernel (KRR) para reconstruir a função do processo físico $f(x)$ a partir dos dados observados $(x_i, y_i)$.
• O kernel escolhido é o Matérn isotrópico, permitindo flexibilidade na suavidade da função estimada.
• A discrepância estimada é dada por $\hat{f}_n(x) - y_s(x)$.

B. Coeficientes de Fourier Generalizados

• O método projeta a função de discrepância ponderada (ponderada pela densidade de probabilidade dos dados de entrada) sobre uma base ortonormal de $L^2(\Omega)$.
• Define-se os coeficientes de Fourier generalizados como:
  $$s(i) = \int_{\Omega} (f - y_s)(x) \sqrt{p(x)} h_i(x) dx$$
  onde $\{h_i\}$ é uma base ortonormal (ex: senos e cossenos para domínios retangulares).
• Sob a hipótese nula ($H_0: f(x) = y_s(x)$), todos os coeficientes $s(i)$ devem ser zero.

C. Estatística de Teste e Distribuição Assintótica

• A estatística de teste é o módulo máximo dos coeficientes de Fourier ponderados e escalonados:
  $$T = \max_{i \geq 1} \left| \frac{\sqrt{n} \rho_i \hat{s}_n^{(i)}}{\hat{\sigma}_n} \right|$$
  onde $\rho_i$ são coeficientes de decaimento que controlam a importância das frequências mais altas, e $\hat{\sigma}_n$ é uma estimativa da variância do erro.
• Fundamentação Teórica: O Teorema 4.1 estabelece a normalidade assintótica do vetor infinito de coeficientes. Isso permite derivar valores-p em forma fechada ($p = 1 - F(T)$), onde $F(t)$ é o produto infinito das funções de distribuição normal padrão.
• Validação de Subdomínio: O método é estendido para subdomínios $\Omega_i$ definidos pelo usuário. A estatística de teste é calculada localmente, e o controle da taxa de erro familiar (FWER) é feito via correção de Bonferroni.

3. Contribuições Chave

1. Framework Frequentista Formal: Desenvolvimento de um teste de hipóteses rigoroso para validação de modelos computacionais, indo além de métricas de erro agregado.
2. Validação Global e Local: Capacidade de testar a consistência do modelo em todo o domínio de entrada e, crucialmente, identificar falhas localizadas em sub-regiões específicas.
3. Tratamento de Parâmetros de Calibração: O framework acomoda naturalmente modelos calibrados ($y_s(x, \hat{\theta})$), mostrando que o erro de plug-in é assintoticamente negligenciável em relação ao erro de estimação não paramétrica.
4. Eficiência Computacional e Teórica: O uso de bases de Fourier e KRR permite computação eficiente (via FFT em domínios retangulares) e garante consistência do teste (potência tende a 1 sob a hipótese alternativa).

4. Resultados e Estudos de Simulação

Os autores realizaram extensos estudos de Monte Carlo para avaliar o desempenho do FMMT:

• Comparação com Métodos Existentes: O FMMT foi comparado com o teste de duas amostras de Neumeyer & Dette (ND) e o teste de seleção de ordem de Eubank & Hart (EH).
  • Controle de Erro Tipo I: O FMMT demonstrou um controle superior do erro Tipo I, mantendo-se próximo do nível nominal $\alpha$ sem inflação excessiva, especialmente em amostras pequenas.
  • Potência: O FMMT superou o método ND em todos os cenários. Em alternativas lineares, superou o método EH (que tende a ter baixa potência para componentes lineares devido à sua base de cossenos). Em alternativas senoidais, ambos FMMT e EH tiveram potência perfeita (1.0), mas o FMMT foi mais robusto em cenários complexos.
• Detecção de Discrepâncias Locais: Em cenários onde a discrepância ocorria apenas em subdomínios (ex: apenas em 1/3 do intervalo), o teste global muitas vezes falhou em detectar o erro, enquanto os testes de subdomínio do FMMT identificaram as falhas com alta potência.
• Cenários 1D e 2D: O método manteve desempenho robusto tanto em dimensões unidimensionais quanto bidimensionais, demonstrando sensibilidade a perturbações tanto de baixa quanto de alta frequência.

5. Aplicação Prática: Experimento de Camada de Cisalhamento

O método foi aplicado a um conjunto de dados clássico de dinâmica de fluidos (camada de cisalhamento compressível):

• Dados: 11 pontos de simulação computacional e 32 pontos de dados físicos.
• Resultado Global: O FMMT rejeitou fortemente a hipótese nula ($p < 10^{-2}$), confirmando a existência de discrepância não linear entre o modelo e a física, corroborando achados anteriores.
• Análise de Subdomínio:
  • O FMMT identificou discrepâncias em regiões onde métodos anteriores (como o de Wang et al., 2009) não haviam detectado falhas ou reportaram incerteza devido a dados esparsos.
  • Especificamente, detectou falhas em $M_c \in [0.5, 0.75]$ e $[1, 1.25]$, refinando a compreensão das limitações do modelo em regimes específicos de número de Mach.
  • O método de Neumeyer-Dette falhou em rejeitar a hipótese nula neste caso real, evidenciando a maior sensibilidade do FMMT.

6. Significado e Conclusão

O trabalho apresenta uma ferramenta estatística poderosa para a validação de modelos computacionais. Ao combinar a flexibilidade da regressão não paramétrica com a estrutura analítica dos coeficientes de Fourier, o FMMT oferece:

• Sensibilidade Localizada: Capacidade de "mapear" onde um modelo falha, guiando melhorias direcionadas no desenvolvimento do modelo.
• Rigor Estatístico: Garantias teóricas de controle de erro e consistência.
• Versatilidade: Aplica-se a problemas de comparação de funções em um ou múltiplos domínios, com ou sem parâmetros de calibração.

O código e os dados para reprodução dos resultados estão disponíveis publicamente, facilitando a adoção da metodologia pela comunidade de engenharia e ciência de dados.