A numerical study into neural network surrogate model performance for uncertainty propagation

Resumo Técnico: Um Estudo Numérico sobre o Desempenho de Modelos Substitutos de Redes Neurais para Propagação de Incertezas

Declaração do Problema
Os modelos substitutos de redes neurais (NN) emergiram como uma ferramenta promissora para a resolução de problemas de valor de contorno estocásticos (SBVPs), oferecendo o potencial de contornar as avaliações repetidas e dispendiosas de solucionadores numéricos tradicionais exigidas para a propagação de incertezas. No entanto, a literatura existente foca predominantemente na capacidade desses modelos de representar amostras determinísticas ou soluções de campo médio, frequentemente negligenciando o desempenho nas caudas da distribuição de probabilidade. Esta é uma lacuna crítica, pois a análise de confiabilidade e a avaliação de riscos dependem fortemente de previsões precisas de eventos raros e extremos. O desafio específico abordado neste estudo é o problema da "cauda longa": as redes neurais tipicamente se destacam na interpolação, mas lutam com a extrapolação. Em SBVPs, a escassez de amostras de treinamento em regiões de baixa probabilidade (as caudas) leva a uma diminuição da precisão para campos de solução extremos, onde os erros podem ser uma ordem de magnitude maiores que os erros de campo médio.

Metodologia
O estudo avalia o desempenho de três arquiteturas distintas de redes neurais na previsão do campo de solução de uma equação de condução de calor em regime permanente com um termo fonte altamente estocástico. A física governante é incorporada por meio de uma perda de resíduo na forma fraca. O problema é definido em um domínio bidimensional, onde o termo fonte é gerado via uma decomposição de Karhunen–Loève de um campo aleatório, seguida por uma transformação não linear para induzir distribuições de temperatura de cauda pesada. Dois conjuntos de dados (Fonte 1 e Fonte 2) são gerados, sendo que a Fonte 2 exibe uma faixa de temperatura significativamente maior e picos mais concentrados.

Os três modelos avaliados são:

1. Rede Orientada a Dados (DDN): Uma rede neural feed-forward totalmente conectada treinada exclusivamente em dados de elementos finitos rotulados.
2. Rede Neural Informada pela Física (PINN): Uma rede totalmente conectada treinada usando uma função de perda derivada do resíduo na forma fraca da equação diferencial parcial (EDP) governante, sem dados rotulados.
3. Rede de Operador Profunda (PCA-DeepONet): Um modelo informado pela física que utiliza uma arquitetura DeepONet, a qual separa a aprendizagem da função de entrada (rede de ramo) das coordenadas espaciais (rede de tronco).

O estudo emprega um protocolo de treinamento padronizado usando hiperparâmetros idênticos, pontos de colocalização e divisões de treinamento/teste para garantir uma comparação justa. O desempenho é avaliado usando métricas padrão (norma relativa $\ell_2$) e, crucialmente, normas de ordem superior, incluindo o erro máximo por amostra (MPSE) e o erro máximo (ME) para capturar o comportamento das caudas. O estudo também investiga estratégias de ponderação adaptativa baseadas em instâncias para enviesar o treinamento em direção a amostras de valores atípicos e analisa a correlação entre erros de previsão e tipos específicos de valores atípicos (extrapolação de parâmetros de entrada vs. extrapolação de quantidades de solução).

Principais Resultados

• Disparidade no Desempenho das Caudas: Os erros de previsão no pior caso para todos os modelos foram encontrados ser aproximadamente dez vezes maiores que o erro de campo médio. Isso confirma que métricas de treinamento padrão (como erro médio $\ell_2$) podem mascarar falhas significativas na previsão de eventos extremos.
• Comparação de Modelos: Entre as arquiteturas testadas, a PINN (totalmente conectada com perda informada pela física) consistentemente superou tanto a DDN quanto a PCA-DeepONet nos dados de teste, particularmente no que diz respeito à redução do ME e à distribuição dos valores de MPSE. Embora a PCA-DeepONet tenha se saído bem nos dados de treinamento, ela exibiu erros significativamente maiores nos dados de teste, sugerindo uma generalização pobre para este mapeamento estocástico específico.
• Limites de Extrapolação: Os maiores erros foram fortemente correlacionados com amostras que exigiam extrapolação além dos limites dos dados de treinamento. Especificamente, os erros foram mais altos quando a temperatura máxima prevista de uma amostra de teste excedeu a temperatura máxima observada no conjunto de treinamento. Curiosamente, amostras com parâmetros de entrada situados fora do casco convexo do conjunto de treinamento não produziram necessariamente erros grandes; ao contrário, a extrapolação da quantidade de resposta de interesse (o campo de solução) foi o principal motor do erro.
• Estratégias de Ponderação: Uma estratégia de ponderação adaptativa, projetada para atribuir pesos mais altos a amostras com maiores perdas (amostras de cauda), reduziu com sucesso o erro de treinamento. No entanto, essa abordagem levou ao sobreajuste, resultando em um aumento no erro de teste. Isso sugere que simplesmente reponderar dados existentes é insuficiente para resolver o problema de extrapolação e pode degradar a generalização.
• Sensibilidade ao Tamanho dos Dados: O aumento do número de amostras de treinamento melhorou o erro de generalização até certo ponto, mas o desempenho estabilizou quando o conjunto de treinamento não continha mais amostras com temperaturas máximas superiores às do conjunto de teste.

Significado e Alegações
Os autores afirmam que a contribuição primária deste trabalho é uma investigação numérica rigorosa que avalia arquiteturas de redes neurais ubíquas e funções de perda especificamente para propagação de incertezas sob campos de solução altamente variáveis. O estudo destaca que:

1. Identificação de Valores Atípicos é Crítica: A fonte mais significativa de erro é a incapacidade do modelo de extrapolar para campos de solução extremos. O artigo propõe um método para identificar essas amostras "atípicas" sinalizando casos de teste onde as quantidades de resposta previstas excedem aquelas observadas durante o treinamento.
2. Limitações dos Métodos Atuais: Abordagens informadas pela física e orientadas a dados padrão, embora eficazes para campos médios, lutam com as caudas da distribuição. O estudo demonstra que a ponderação adaptativa sozinha não é uma panaceia e pode levar ao sobreajuste.
3. Direção Futura: Os autores sugerem que os esforços futuros devem focar no uso da identificação de valores atípicos para orientar o aumento adaptativo de dados — especificamente, simulando modelos de ordem completa para regiões de valores atípicos identificadas para construir conjuntos de dados de treinamento direcionados — em vez de depender de amostragem aleatória ingênua ou simples reponderação.

O artigo conclui que, embora os substitutos de redes neurais mostrem promessa, sua aplicação a problemas de confiabilidade requer atenção cuidadosa às capacidades de extrapolação e ao estabelecimento de limites de erro para regiões de baixa probabilidade.