A Neural Operator-Based Approach to Symbolic Discovery of PDEs

Resumo Técnico: Uma Abordagem Baseada em Operadores Neurais para a Descoberta Simbólica de EDPs

Definição do Problema
Métodos existentes para descoberta de modelos simbólicos, como o Equation Learner (EQL) e abordagens de regressão esparsa (ex: PDE-FIND), são fundamentalmente limitados por sua dependência de bibliotecas de funções analíticas locais. Esses métodos constroem equações candidatas usando quantidades pontuais, incluindo valores de campos, derivadas locais e combinações algébricas. Embora eficazes para Equações Diferenciais Parciais (EDPs) clássicas, eles falham em descobrir leis governantes que envolvem interações não locais, operadores integrais, equações de campos auxiliares ou efeitos de memória temporal. Muitos sistemas físicos — como aqueles governados por difusão fracionária, sistemas de campos acoplados ou viscoelasticidade hereditária — dependem de operadores que atuam sobre espaços de funções inteiros, em vez de pontos locais, tornando-os inacessíveis aos atuais frameworks de descoberta simbólica.

Metodologia: NOMTO
Os autores propõem o NOMTO (Neural Operator-based symbolic Model approximaTion and discOvery), um framework que estende a arquitetura EQL para incorporar operadores neurais pré-treinados como primitivas simbólicas.

• Arquitetura: O NOMTO representa equações candidatas como grafos computacionais esparsos e diferenciáveis. Diferente do EQL padrão, onde os nós aplicam apenas operações algébricas ou diferenciais locais predefinidas, o NOMTO permite que nós selecionados sejam implementados como surrogates (substitutos) de operadores neurais pré-treinados. Esses surrogates atuam sobre funções discretizadas e retornam saídas de operadores discretizados na mesma grade.
• Separação de Aprendizado e Descoberta: Um princípio central de design é o desacoplamento do aprendizado do operador da descoberta da equação.
  1. Pré-treinamento: Operadores neurais (especificamente FNO [Fourier Neural Operators], CNO [Convolutional Neural Operators] e FNN [Fully Connected Neural Networks]) são treinados independentemente para aproximar operadores físicos específicos (ex: Laplaciano fracionário, mapa gradiente-Poisson, integrais de memória hereditária). Esses surrogates são então congelados.
  2. Otimização Simbólica: Durante a fase de descoberta, os nós surrogate permanecem fixos. O processo de otimização ajusta apenas os pesos escalares treináveis que conectam os nós no grafo computacional.
• Estratégia de Otimização: O framework emprega um paradigma de grosso-para-fino (coarse-to-sparse) envolvendo três fases:
  1. Treinamento Denso: O grafo completo é treinado para ajustar a dinâmica alvo sem restrições de esparsidade.
  2. Esparsificação: Uma penalidade $\ell_1$ é adicionada à função de perda e pesos abaixo de uma certa magnitude são podados para identificar a estrutura esparsa.
  3. Refinamento (Refitting): O grafo podado é retreinado sem a penalidade de esparsidade para refinar os coeficientes dos caminhos ativos.
• Extração de Expressão: Após o treinamento, pesos negligenciáveis são removidos e o grafo ativo restante é traduzido em uma equação simbólica explícita. A expressão resultante combina termos algébricos padrão com a notação para os surrogates de operadores neurais pré-treinados (ex: $\hat{G}^a_m$).

Resultados Principais
O NOMTO foi avaliado em três sistemas físicos distintos que exigem operadores não locais ou dependentes de histórico:

1. Difusão Fracionária: O sistema envolve um operador Laplaciano fracionário, um operador espacial não local. O NOMTO recuperou com sucesso a equação governante $u_t \approx -\hat{\kappa} \hat{G}^a_{L_s}[u]$. O surrogate baseado em FNO alcançou a maior precisão (MSE Relativo $9,47 \times 10^{-6}$) e identificou corretamente o coeficiente $\hat{\kappa} = 1,00$.
2. Sistema Euler-Poisson: Este sistema acopla equações de transporte locais com um termo de força não local derivado de uma equação de Poisson auxiliar. O NOMTO recuperou tanto os termos de transporte locais quanto o acoplamento gradiente-Poisson não local. O surrogate CNO alcançou o menor erro de momento (MSE Relativo $3,245 \times 10^{-4}$), enquanto todas as arquiteturas identificaram corretamente a estrutura simbólica e os coeficientes.
3. Viscoelasticidade Hereditária: Este caso envolve uma lei constitutiva com uma integral de memória temporal. O NOMTO descobriu com sucesso a estrutura $\sigma(t) = E\varepsilon(t) + A\hat{G}^a_H[\varepsilon](t)$, recuperando o módulo elástico instantâneo e a amplitude de memória com alta precisão em todos os tipos de surrogate.

Em todos os casos, o NOMTO superou ou igualou os surrogates de redes neurais padrão (FNN) em termos de correção estrutural e recuperação de coeficientes, demonstrando que operadores pré-treinados podem servir como proxies simbólicos fiéis para mecanismos físicos complexos.

Significância e Alegações
O artigo afirma que o NOMTO representa uma mudança da "descoberta simbólica de funções" para a "descoberta simbólica de leis físicas de valor de operador". Ao incorporar operadores aprendidos como nós fixos e diferenciáveis dentro de um grafo simbólico esparso, o framework:

• Expande a Classe Descoberta: Estende a descoberta simbólica além de bibliotecas diferenciais locais para incluir leis governantes com operadores espaciais não locais, mapeamentos de campos auxiliares e efeitos de memória temporal.
• Preserva a Interpretabilidade: Apesar de usar redes neurais, o resultado final permanece uma equação simbólica interpretável, onde o papel dos mecanismos não locais é explícito.
• Permite Modularidade: A separação do aprendizado do operador e da descoberta da equação permite que bibliotecas de operadores sejam reutilizadas em diferentes tarefas de descoberta e facilita a incorporação de conhecimento físico prévio através da seleção de operadores candidatos.

Os autores reconhecem limitações, observando que a fidelidade do modelo recuperado depende da precisão dos operadores surrogate e que a construção da biblioteca de operadores ainda requer algum grau de conhecimento prévio sobre mecanismos físicos plausíveis. No entanto, o trabalho estabelece um caminho para integrar avanços no aprendizado de operadores com o aprendizado de máquina científico interpretável.