Physics Informed Neural Network using Finite Difference Method

Título: Rede Neural Informada por Física Usando o Método das Diferenças Finitas (FDM-PINN)

Autores: Kart Leong Lim, Rahul Dutta, Mihai Rotaru

---

1. Problema e Contexto

As Redes Neurais Informadas por Física (PINNs) são uma evolução recente que integra leis físicas (expressas como Equações Diferenciais Parciais - EDPs) diretamente na função de perda de redes neurais profundas. Tradicionalmente, as PINNs utilizam Diferenciação Automática (AD) para calcular as derivadas parciais necessárias para a retropropagação das EDPs.

No entanto, o uso da AD apresenta desafios:

• Custo Computacional: Pode ser elevado, especialmente em problemas complexos.
• Convergência: Em alguns casos, a convergência teórica não é garantida.
• Precisão com poucos pontos: A precisão tende a diminuir quando o número de pontos de colocalização (collocation points) é reduzido.
• Complexidade de Implementação: A AD atua como uma "caixa preta", dificultando a otimização manual e o entendimento do processo de treinamento.

O artigo propõe investigar uma alternativa menos explorada: substituir a Diferenciação Automática pela Diferenciação Numérica (ND), especificamente o Método das Diferenças Finitas (FDM), para estimar as funções de perda baseadas em física.

2. Metodologia Proposta (FDM-PINN)

Os autores propõem uma abordagem onde o solver da EDP é desacoplado da função de perda da rede neural, utilizando o FDM para aproximar as derivadas.

• Conceito Central: Em vez de usar a AD para calcular $\frac{\partial u}{\partial x}$ ou $\frac{\partial^2 u}{\partial x^2}$, o método discretiza o domínio em uma grade de nós e aplica fórmulas de diferenças finitas clássicas.
• Implementação para a Equação de Laplace:
  • A EDP é aproximada pelo resíduo do nó em uma grade 2D.
  • A função de perda física ($L_f$) é calculada como a resposta do filtro Laplaciano da saída da rede neural.
  • Isso é matematicamente análogo ao algoritmo de Successive Over-Relaxation (SOR) usado em análise eletromagnética, onde o novo valor de um nó é uma média ponderada dos vizinhos.
• Implementação para a Equação de Burgers:
  • Derivadas de primeira e segunda ordem são aproximadas usando fórmulas de diferenças finitas de ordem superior (ex: diferenças para trás ou centradas) sobre a grade discretizada.
• Atualização de Pesos:
  • A função de perda total é $L_{PINN} = L_\mu + \lambda L_f$, onde $L_\mu$ é o erro quadrático médio (MSE) dos dados e $L_f$ é o erro da EDP.
  • Para o gradiente da perda física ($\nabla L_f$), os autores utilizam a regra da cadeia. Assumem que a derivada do termo de diferença finita em relação à saída da rede ($\delta \Gamma / \delta V$) é uma constante local, permitindo o treinamento sem necessidade de AD para a parte da física.

3. Contribuições Principais

1. Abordagem Livre de AD para Perda Física: Demonstram que é possível treinar PINNs completamente sem Diferenciação Automática para o cálculo do termo de física, utilizando apenas FDM.
2. Baixo Custo de Implementação: A metodologia simplifica o código, permitindo que o solver de EDP seja tão simples quanto uma média de vizinhos (no caso de Laplace), sem dependência de bibliotecas pesadas de AD.
3. Eficiência Computacional: O método não requer GPU para ser computado (diferente das implementações padrão de AD que muitas vezes dependem de aceleração por hardware) e é mais rápido que a AD em cenários com poucos pontos de colocalização.
4. Generalização: O método é aplicado com sucesso tanto em problemas elípticos (Equação de Laplace, comum em eletromagnetismo) quanto em problemas hiperbólicos/parabólicos não lineares (Equação de Burgers, comum em mecânica dos fluidos).

4. Resultados Experimentais

Os autores compararam três abordagens:

• NN: Rede Neural padrão (apenas perda de dados).
• AD-PINN: PINN tradicional usando Diferenciação Automática.
• FDM-PINN: A abordagem proposta usando Diferenças Finitas.

Desempenho na Equação de Burgers:

• O FDM-PINN superou significativamente a rede neural padrão (NN).
• Em comparação com o AD-PINN, o FDM-PINN apresentou desempenho equivalente ou superior em termos de erro ($L_2$), especialmente com poucos pontos de treinamento ($N_{ini}$).
• Tempo de Execução: O FDM-PINN foi aproximadamente 5 vezes mais rápido que o AD-PINN (que usava GPU), apesar de o FDM-PINN rodar apenas em CPU. O AD-PINN foi o mais lento devido à complexidade das operações de diferenciação automática múltipla.

Desempenho na Equação de Laplace (Canal Retangular Condutor):

• O FDM-PINN superou tanto a NN quanto a AD-PINN em todos os cenários testados, apresentando erros menores.
• A AD-PINN mostrou desempenho inconsistente em certos intervalos de amostragem, enquanto o FDM-PINN manteve estabilidade.
• Novamente, o FDM-PINN foi computacionalmente mais eficiente que a versão baseada em AD.

5. Significado e Conclusão

O trabalho demonstra que a Diferenciação Numérica (FDM) é uma alternativa viável e eficiente à Diferenciação Automática para o treinamento de PINNs.

• Vantagens: Redução do custo computacional, eliminação da dependência de GPUs para o cálculo da perda física e implementação mais simples.
• Limitações:
  • A necessidade de definir pontos de colocalização em uma grade estruturada (o que pode ser limitante para geometrias complexas não estruturadas).
  • A suposição de que o gradiente da superfície do nó ($\delta \Gamma / \delta u$) é constante, o que é uma aproximação.
• Futuro: Os autores sugerem explorar abordagens de Campos Aleatórios de Markov (MRF) para o solver de EDP e estender a arquitetura para redes neurais convolucionais (2D) para melhor captura de características espaciais.

Em suma, o artigo valida que, para muitas aplicações de engenharia (como eletromagnetismo e fluidos), o uso de métodos numéricos clássicos (FDM) integrados a redes neurais pode oferecer um equilíbrio superior entre precisão, velocidade e simplicidade de implementação em comparação com as abordagens puramente baseadas em Diferenciação Automática.