Uncertainty Quantification in PINNs for Turbulent Flows: Bayesian Inference and Repulsive Ensembles

Este trabalho desenvolve e avalia sistematicamente extensões probabilísticas de Redes Neurais Informadas pela Física (PINNs), incluindo inferência Bayesiana e ensembles repulsivos, para quantificar incertezas epistêmicas em problemas inversos de modelagem de turbulência, demonstrando que a abordagem Bayesiana oferece as estimativas mais consistentes enquanto os ensembles repulsivos fornecem uma alternativa computacionalmente eficiente.

O essencial

Imagine que você é um detetive tentando reconstruir o que aconteceu em um crime, mas você só tem algumas fotos borradas e muito poucas testemunhas. Além disso, você sabe as "leis da física" que regem o mundo (como a gravidade ou como a água flui), mas não sabe exatamente como o suspeito se moveu.

Esse é o desafio que os cientistas enfrentam ao tentar modelar turbulência (como a água girando ao redor de um barco ou o ar passando por uma asa de avião). Eles usam uma ferramenta chamada PINN (Redes Neurais Informadas pela Física), que é como um detetive superinteligente que tenta adivinhar o resto da cena usando as leis da física e as poucas pistas que tem.

O problema é que, até agora, esses "detetives" eram muito confiantes. Eles diziam: "Estou 100% certo!", mesmo quando estavam chutando. Em situações perigosas (como projetar um avião), esse excesso de confiança é perigoso. Precisamos saber quão incertos eles estão.

Este artigo apresenta três novos métodos para dar a esses detetives um "termômetro de incerteza". Vamos usar analogias para entender como eles funcionam:

1. O Detetive Bayesianista (Bayesian PINN)

A Analogia: Imagine um único detetive muito experiente que, em vez de dar uma única resposta, passa dias revisando todas as possibilidades. Ele cria milhares de "versões alternativas" da cena do crime, cada uma ligeiramente diferente, mas todas consistentes com as leis da física e as fotos que temos.

• Como funciona: Ele usa uma técnica matemática avançada (chamada Hamiltonian Monte Carlo) para explorar todas essas possibilidades.
• O Resultado: Ele não diz apenas "o suspeito estava aqui". Ele diz: "Há 95% de chance de que ele estivesse nesta área, mas se as fotos estiverem borradas, a área de dúvida aumenta".
• Vantagem: É o método mais preciso e honesto sobre o que ele não sabe. É como ter um consultor que nunca mente sobre suas dúvidas.
• Desvantagem: É lento e caro computacionalmente (como demorar semanas para resolver um caso que poderia ser resolvido em horas).

2. O Exército de Dupes com "Óculos de Sol" (MC Dropout)

A Analogia: Imagine que você tem um único detetive, mas você o faz tirar os óculos escuros e colocá-los de volta várias vezes, ou pedir para ele fechar um olho de cada vez. Cada vez que ele muda os óculos, ele vê a cena de um ângulo ligeiramente diferente e faz uma previsão diferente.

• Como funciona: A rede neural é treinada com uma técnica chamada "Dropout", que desliga aleatoriamente partes do cérebro da rede durante o teste.
• O Resultado: Você obtém várias previsões diferentes. Se todas elas concordam, você está seguro. Se elas divergem muito, você sabe que está em uma área de incerteza.
• Vantagem: É muito rápido e barato.
• Desvantagem: Às vezes, o detetive fica "confuso" demais e superestima o perigo, dizendo que há incerteza mesmo quando ele deveria estar seguro. É como um alarme de incêndio que toca quando alguém apenas acende um fósforo.

3. O Grupo de Detetives que se Empurram (Repulsive Deep Ensembles)

A Analogia: Imagine que você contrata 10 detetives diferentes para resolver o mesmo caso. O problema é que, se você não intervir, eles tendem a pensar todos da mesma maneira e chegar à mesma conclusão errada (o que chamamos de "colapso do ensemble").

• O Truque: Os autores criaram uma regra especial: "Se dois detetives chegarem a uma conclusão muito parecida, eles recebem uma 'chinelada' (uma penalidade matemática) para se afastarem um do outro".
• Como funciona: Eles forçam os detetives a explorarem diferentes caminhos de pensamento (espaço de funções), garantindo que o grupo tenha diversidade real.
• O Resultado: O grupo oferece uma previsão média muito boa e uma estimativa de incerteza que é melhor do que um único detetive, mas não tão perfeita quanto o Detetive Bayesianista.
• Vantagem: É um ótimo meio-termo: rápido como o método dos óculos de sol, mas mais confiável.

O Que Eles Descobriram?

Os autores testaram essas ideias em dois cenários:

1. Um pêndulo matemático simples (Oscilador de Van der Pol): Para ver como as ferramentas funcionavam em um ambiente controlado.
2. Água passando por um cilindro (Fluxo Turbulento): Um cenário real e complexo, usando dados de simulação superprecisa e dados reais de experimentos de laboratório.

As Conclusões Principais:

• O "Padrão Ouro": O Detetive Bayesianista foi o vencedor. Ele deu as respostas mais precisas e as estimativas de incerteza mais honestas em tudo, desde a velocidade da água até a pressão (que nem foi medida diretamente, apenas calculada).
• O "Cavalheiro de Serviço": O Grupo de Detetives que se Empurram (Repulsive Ensembles) foi o segundo melhor. Ele foi muito rápido e preciso para as coisas principais (velocidade), mas às vezes falhou em estimar a incerteza nas partes mais complexas (como o atrito interno do fluido).
• O Perigo do "Grupo Sem Regras": Quando eles testaram um grupo de detetives sem a regra de se empurrarem (o método tradicional), o grupo colapsou. Todos pensaram igual, deram a mesma resposta errada e disseram que tinham 100% de certeza. Foi um desastre de confiança.
• O "Dropout" (Óculos de Sol): Foi rápido, mas muitas vezes foi excessivamente cauteloso, dizendo que havia incerteza onde não havia.

Resumo Final para o Dia a Dia

Se você precisa de precisão absoluta e segurança (como em projetos de aviação ou usinas nucleares), use o método Bayesiano. É lento, mas vale a pena.

Se você precisa de velocidade e uma boa estimativa para coisas gerais, use o método dos Grupos que se Empurram. É rápido e inteligente.

O grande aprendizado deste trabalho é que, ao tentar prever o futuro ou reconstruir o passado em sistemas complexos, saber o que você não sabe é tão importante quanto saber o que você sabe. E para isso, precisamos de métodos que nos digam a verdade sobre nossas dúvidas, não apenas nos dêem uma resposta falsa e confiante.

Resumo técnico

Resumo Técnico: Quantificação de Incerteza em PINNs para Escoamentos Turbulentos

1. Problema e Motivação

As Redes Neurais Informadas pela Física (PINNs) tornaram-se uma ferramenta promissora para resolver problemas inversos governados por Equações Diferenciais Parciais (EDPs), incluindo a reconstrução de campos de escoamento turbulento a partir de dados esparsos. No entanto, a maioria das formulações atuais de PINNs é determinística, falhando em quantificar a incerteza epistêmica (incerteza do modelo).

Este é um problema crítico na modelagem de escoamentos turbulentos baseada em dados, especificamente na abordagem de Reynolds-Averaged Navier-Stokes (RANS). O problema inverso de inferir campos de velocidade, pressão e tensões de Reynolds a partir de dados esparsos é mal-posto (ill-posed), pois múltiplas combinações de campos podem satisfazer tanto as equações governantes quanto as observações limitadas. Sem estimativas de incerteza, é impossível distinguir regiões onde as previsões são bem constrangidas pelos dados daquelas onde são dominadas pelo viés indutivo da arquitetura da rede. Além disso, métodos determinísticos não fornecem orientação sobre o valor marginal de medições adicionais para o desenho experimental.

2. Metodologia

Os autores propõem e avaliam sistematicamente um conjunto de extensões probabilísticas para PINNs, focando na inferência conjunta de velocidade, pressão e termos de fechamento (tensões de Reynolds) a partir de dados esparsos e ruidosos. O estudo compara três abordagens principais:

1. PINNs Bayesianas (BPINNs):

   • Utilizam uma formulação probabilística rigorosa com priores sobre os pesos da rede.
   • Empregam o Hamiltonian Monte Carlo (HMC) com o amostrador adaptativo No-U-Turn Sampler (NUTS) para amostragem assintoticamente exata do posterior.
   • Temperatura da Verossimilhança (Likelihood Tempering): Para evitar que o posterior se concentre excessivamente (superconfiança) devido ao grande número de pontos de colisão e dados, os autores introduzem expoentes de temperamento ($\beta$) distintos para dados de velocidade, dados de tensão de Reynolds e resíduos das EDPs. Isso equilibra a confiança relativa entre observações diretas e restrições físicas aproximadas.
   • Recalibração Post-Hoc: Um passo final ajusta a escala global da incerteza para atingir uma cobertura empírica nominal de 95%, preservando a estrutura espacial da variância.

2. PINNs com Dropout de Monte Carlo (MC Dropout):

   • Tratam o dropout durante a inferência como uma aproximação variacional do posterior.
   • Oferecem um custo computacional baixo (uma única rodada de treinamento), mas a qualidade da incerteza é limitada pela expressividade da família variacional induzida pelo dropout.

3. Ensembles Profundos Repulsivos (Repulsive Deep Ensembles - RDE):

   • Introduzem um termo de repulsão baseado em kernels no objetivo de treinamento para forçar a diversidade entre os membros do ensemble.
   • Espaço de Função vs. Espaço de Parâmetros: O estudo investiga a repulsão no espaço de parâmetros (pesos da rede) e no espaço de função (saídas da rede). A repulsão no espaço de função penaliza a similaridade nas previsões diretas, promovendo diversidade física mais significativa.
   • O objetivo total combina a perda da PINN (dados + física) com o termo repulsivo.

3. Contribuições Principais

• Framework de Ensemble Repulsivo para PINNs: Adaptação de ensembles repulsivos para sistemas de EDPs, demonstrando que a diversidade no espaço de função é superior à do espaço de parâmetros para quantificação de incerteza em problemas físicos.
• Inferência Bayesianas Aprimorada: Desenvolvimento de uma BPINN com verossimilhança temperada multi-componente e recalibração post-hoc, superando as limitações de escalabilidade e calibração de formulações anteriores.
• Análise Comparativa Abrangente: Avaliação sistemática das três metodologias em uma hierarquia de casos de teste, desde um oscilador de Van der Pol até escoamentos turbulentos complexos.
• Insights sobre o Problema Mal-Posto: Demonstração de como a diversidade do ensemble e o temperamento da verossimilhança são cruciais para lidar com a ambiguidade inerente à modelagem RANS baseada em dados.

4. Resultados Experimentais

Os métodos foram testados em dois cenários principais de escoamento ao redor de um cilindro circular:

1. Re = 3.900 (Dados de DNS - Simulação Numérica Direta): Dados de alta fidelidade.
2. Re = 10.000 (Dados Experimentais PIV - Velocimetria por Imagem de Partículas): Dados reais com ruído de medição e sem dados de pressão.

Principais Achados:

• BPINNs (O Padrão Ouro): Forneceram as estimativas de incerteza mais consistentes e bem calibradas em todas as variáveis (velocidade, pressão e tensões de Reynolds). Após a recalibração, atingiram cobertura de ~95% em todos os casos, mesmo para a pressão inferida sem dados diretos.
• Ensembles Repulsivos (Espaço de Função): Ofereceram uma alternativa computacionalmente eficiente com alta precisão preditiva para variáveis primárias (velocidade). No entanto, a calibração da incerteza degradou-se para os termos de fechamento (tensões de Reynolds), subestimando a incerteza nessas regiões complexas.
• Falha de Ensembles "Vanilla" (Sem Repulsão): Ensembles profundos padrão, treinados apenas com inicialização aleatória, sofreram de colapso do ensemble (todos os membros convergiram para a mesma solução), resultando em estimativas de incerteza próximas de zero e completamente não confiáveis, especialmente para termos de fechamento.
• MC Dropout: Produziu estimativas de incerteza menos confiáveis, tendendo a ser excessivamente conservador (superestimando a incerteza) em regiões com dados, falhando na calibração precisa.
• Reconstrução de Pressão: Tanto BPINN quanto RDE conseguiram reconstruir o campo de pressão (que não possui dados de treinamento) apenas através das equações governantes, com a BPINN fornecendo uma estimativa de confiança mais realista.

5. Significado e Conclusão

Este trabalho fornece diretrizes práticas para a seleção de métodos de quantificação de incerteza (UQ) na modelagem de turbulência baseada em dados:

• Para aplicações críticas onde a fidelidade da calibração é essencial (ex: segurança, projetos de alta confiabilidade), as PINNs Bayesianas são a escolha recomendada, apesar do custo computacional mais elevado.
• Para aplicações que exigem eficiência computacional e alta precisão preditiva em variáveis primárias, os Ensembles Repulsivos no Espaço de Função são uma alternativa viável e superior aos ensembles tradicionais, embora exijam cautela na interpretação da incerteza para termos de fechamento complexos.

O estudo destaca que, para problemas inversos mal-postos em física, a simples aleatoriedade na inicialização não é suficiente para garantir diversidade; mecanismos explícitos de repulsão (no espaço de função) ou inferência bayesiana rigorosa são necessários para evitar o colapso do modelo e fornecer estimativas de confiança confiáveis.