Enhancing neural network extrapolation in thermo-fluid systems using steady-state solutions

Resumo Técnico: Melhorando a Extrapolação de Redes Neurais em Sistemas Termofluidodinâmicos Usando Soluções de Estado Estacionário

Definição do Problema
As equações diferenciais parciais (EDPs) dependentes do tempo que regem sistemas termofluidodinâmicos, como os encontrados em transformadores de potência e turbinas a gás, frequentemente exigem simulações de longo prazo computacionalmente dispendiosas. Os métodos numéricos clássicos (diferenças finitas, volumes ou elementos finitos) dependem de passos de tempo sequenciais limitados pela estabilidade e precisão, tornando a resolução da dinâmica de longo prazo proibitiva quando a escala de relaxação do sistema excede significamente o passo de tempo permitido. Embora as Redes Neurais Informadas pela Física (PINNs) ofereçam uma alternativa livre de malha, as arquiteturas padrão frequentemente falham em generalizar além do seu intervalo de treinamento. Elas carecem do viés indutivo necessário para representar o decaimento assintótico, levando a uma rápida degradação da precisão durante a extrapolação temporal. Esta limitação é crítica para aplicações de engenharia onde capturar a evolução completa, desde as condições iniciais até um equilíbrio estacionário, é necessário, mas custoso.

Metodologia
Os autores propõem uma representação de rede neural "informada pelo estado estacionário", projetada para sistemas de EDPs dissipativos que relaxam em direção a um equilíbrio estacionário. A inovação central é um ansatz de solução que decompõe a solução prevista $u(x, t)$ em dois componentes:
$$u(x, t) = u_s(x) + f(t)g(x, t)$$
onde:

• $u_s(x)$ é o componente de estado estacionário, representando o equilíbrio assintótico.
• $f(t)$ é um perfil de decaimento dependente do tempo (ex: exponencial, algébrico ou oscilatório amortecido) que satisfaz $\lim_{t\to\infty} f(t) = 0$.
• $g(x, t)$ é um termo de correção transiente, limitado no espaço e no tempo.

Esta decomposição incorpora a convergência para o estado estacionário diretamente na arquitetura da rede, em vez de a impor via um termo de penalidade na função de perda. O componente de estado estacionário $u_s(x)$ pode ser fornecido por solvers clássicos, dados experimentais ou uma sub-rede dedicada. O perfil de decaimento $f(t)$ pode ser fixo ou aprendido como um parâmetro treinável (ex: taxa de decaimento $\lambda$).

A implementação utiliza um framework de Rede Neural Informada pela Física (PINN) treinado com o otimizador SOAP (Shampoo com Adam no Autovetor do Precondicionador). O SOAP foi selecionado para abordar a natureza mal condicionada e multiobjetivo dos campos de perda das PINNs, melhorando o condicionamento do gradiente e reduzindo conflitos direcionais entre os termos de perda. O treinamento segue uma estratégia de duas fases:

1. Fase 1 (Estado Estacionário): Treinar sub-redes para aproximar $u_s(x)$ usando dados ou resíduos de física de estado estacionário.
2. Fase 2 (Transiente): Congelar os pesos do estado estacionário e treinar as sub-redes restantes para aprender a correção transiente $g(x, t)$ usando perdas de física dependentes do tempo.

Principais Contribuições

• Viés Indutivo Arquitetural: O artigo introduz uma arquitetura modular que impõe a convergência assintótica estruturalmente, permitindo que a rede aprenda a dinâmica transiente enquanto garante o comportamento correto de longo prazo.
• Estratégia de Otimização: A aplicação do otimizador SOAP a PINNs para problemas termofluidodinâmicos, demonstrando melhor convergência sobre métodos de primeira ordem padrão como o Adam.
• Análise de Perfil Temporal: Uma avaliação sistemática de diferentes perfis de decaimento temporal (constante, exponencial, algébrico, oscilatório amortecido) para determinar seu impacto na precisão da extrapolação através de variados regimes físicos.

Resultos
O método foi avaliado em uma sequência de problemas com complexidade crescente:

1. Equação do Calor 1D: O método proposto superou significativamente as PINNs padrão na extrapolação. Um perfil de decaimento exponencial ($f(t) = e^{-\lambda t}$) produziu o menor erro, alinhando-se com a estrutura de automodelos (eigenmodes) da equação do calor. As PINNs padrão e a linha de base de perfil constante mostraram erros monotonicamente crescentes durante a extrapolação.
2. Cavidade Impulsionada por Parede 2D (Navier-Stokes): A abordagem extrapolou com sucesso os campos de velocidade além do horizonte de treinamento. Perfis exponenciais e oscilatórios amortecidos tiveram o melhor desempenho, com erros permanecendo limitados e fisicamente consistentes mesmo em tempos três vezes superiores à duração do treinamento.
3. Convecção Natural 2D (Boussinesq): Em um regime dominado pela advecção, o perfil oscilatório amortecido ($f(t) = e^{-\lambda t}(a + \cos(\omega t))$) superou o exponencial puro. O parâmetro de amplitude adicional $a$ permitiu que o modelo desacoplasse a magnitude transiente inicial da taxa de decaimento, acomodando as rápidas flutuações iniciais antes da estabilização.
4. Transferência de Calor Conjugada 3D: O método foi aplicado a um sistema 3D complexo com interfaces fluido-sólido. Dois cenários de treinamento foram testados:
   • PINN Pura: O treinamento de todos os componentes usando perdas informadas pela física resultou em convergência para um estado estacionário errôneo devido a imprecisões no componente de estado estacionário aprendido.
   • Abordagem Híbrida: O treinamento das sub-redes de estado estacionário ($FNN_1, FNN_3$) usando dados de alta fidelidade do Método de Elementos Finitos (FEM), enquanto se treinava os componentes transientes com perdas de PINN, reduziu drasticamente o erro de extrapolação. Isso confirmou que a precisão da solução final é limitada pela precisão do componente de estado estacionário fornecido.

Significância e Alegações
O artigo alega que a principal contribuição não é uma nova função de perda ou termo de penalidade, mas uma representação informada pelo estado estacionário que integra o comportamento assintótico diretamente na arquitetura da rede neural. Os autores afirmam que esta abordagem melhora substancialmente a extrapolação temporal em comparação com arquiteturas que não impõem explicitamente a condição assintótica.

O trabalho destaca que, embora as PINNs padrão tenham dificuldade com dinâmicas de longo prazo, explorar a propriedade estrutural conhecida dos sistemas dissipativos (convergência para o equilíbrio) permite a criação de modelos substitutos (surrogates) robustos. Os autores observam que o método é particularmente eficaz quando a solução de estado estacionário é conhecida ou pode ser computada de forma barata, servindo como uma âncora para prever a evolução transiente. O estudo conclui que a seleção de um perfil temporal apropriado é crítica e dependente do problema, sendo que perfis exponenciais e oscilatórios amortecidos geralmente fornecem o desempenho mais robusto para aplicações termofluidodinâmicas.