The finite expression method for turbulent dynamics with high-order moment recovery

Resumo Técnico: O Método de Expressão Finita para Dinâmica Turbulenta com Recuperação de Momentos de Alta Ordem

Declaração do Problema
Sistemas dinâmicos turbulentos são caracterizados por fortes interações não lineares, instabilidades intrínsecas e efeitos estocásticos que geram quantidades estatísticas acopladas, particularmente momentos de ordem superior não nulos. A modelagem desses sistemas é desafiadora devido a erros de modelo imperfeitos, escalas não resolvidas e dados observacionais limitados. Embora métodos baseados em dados recentes tenham demonstrado sucesso no aprendizado de dinâmicas locais ou de curto prazo, eles frequentemente dependem de representações estatísticas de baixa ordem (por exemplo, média e variância), que são insuficientes para capturar os comportamentos essenciais da dinâmica turbulenta. Além disso, métodos existentes de descoberta simbólica, como a Identificação Esparsa de Sistemas Dinâmicos Não Lineares (SINDy) e suas variantes, dependem de bibliotecas de funções pré-definidas. Essa limitação restringe sua capacidade de representar expressões de forçamento complexas que caem fora da base escolhida e frequentemente leva a violações das leis de conservação subjacentes (por exemplo, trocas que preservam energia) ao estimar coeficientes em ambientes altamente estocásticos. O problema central abordado é a recuperação precisa tanto das dinâmicas governantes determinísticas (incluindo interações não lineares e forçamento externo) quanto dos componentes estocásticos necessários para reproduzir momentos estatísticos de alta ordem até a ordem cinco.

Metodologia
Os autores propõem um framework de modelagem baseado em dados em dois estágios que integra regressão simbólica com modelos generativos para identificar conjuntamente as dinâmicas governantes e prever quantidades estatísticas chave.

• Estágio I: Descoberta de Dinâmicas Determinísticas via Método de Expressão Finita (FEX)
  O primeiro estágio emprega o Método de Expressão Finita (FEX) para descobrir expressões de forma fechada para o componente determinístico da dinâmica, denotado como $C(u, t)$. Diferentemente de métodos baseados em bibliotecas, o FEX representa expressões candidatas como árvores binárias construídas a partir de um conjunto finito de operadores unários e binários elementares (por exemplo, $\sin, \exp, +, \times$). Isso permite composições hierárquicas que capturam formas funcionais aninhadas além do span linear de funções de base pré-definidas.

  • Mecanismo de Busca: O método utiliza um framework de otimização misto discreto-contínuo. Um controlador de rede neural gera sequências candidatas de operadores (busca discreta), enquanto um otimizador baseado em gradiente refina os parâmetros contínuos (escala e viés) para uma sequência fixa.
  • Objetivo: O objetivo é minimizar a perda empírica entre os incrementos de tempo previstos e os dados observados, recuperando efetivamente termos de interação não linear e forçamento externo sem bibliotecas pré-definidas.
  • Aprendizado por Componente: Para melhorar a escalabilidade, o framework aprende a representação simbólica para cada componente do estado separadamente antes de montar o modelo completo de valor vetorial.

• Estágio II: Correção de Erro Estocástico via Modelos Generativos
  Como os modelos FEX modelam apenas o componente determinístico, um segundo estágio é introduzido para modelar os componentes estocásticos residuais, que incluem incrementos estocásticos não modelados e erros de modelo decorrentes da estimativa de coeficientes.

  • Definição do Resíduo: O resíduo $R_n$ é definido como a diferença entre a evolução do estado observada e a previsão do modelo FEX do Estágio I: $R_n = u(t_{n+1}) - u(t_n) - h C^*(u(t_n))$.
  • Modelos Generativos: Três modelos generativos representativos são empregados para aprender a distribuição desses resíduos:
    1. Modelo de Difusão Livre de Treinamento (TFDM): Formula o processo estocástico via equações diferenciais estocásticas (EDEs) forward e reverse, aproximando a função de pontuação numericamente sem treinamento explícito de uma rede de pontuação no sentido tradicional, embora uma rede seja treinada para mapear ruído gaussiano para a distribuição de resíduos.
    2. Rede de Ativação de Resíduo Estocástico (SRAN): Uma rede leve que mapeia ruído gaussiano para resíduos estocásticos, regularizada para corresponder às estatísticas de segunda ordem (covariância) dos resíduos.
    3. Autoencoder Variacional (VAE): Utiliza um framework de variável latente com codificação e decodificação probabilísticas para capturar a estrutura estocástica.
  • Inferência: Durante a inferência, as dinâmicas simbólicas aprendidas (Estágio I) e o modelo generativo (Estágio II) são combinados para produzir trajetórias estimadas completas, permitindo a recuperação fiel de momentos de alta ordem envolvendo distribuições altamente não gaussianas.

Contribuições Chave

1. Descoberta Simbólica Precisa com Dados Limitados: O framework demonstra habilidade uniformemente alta na recuperação de fórmulas de expressão determinísticas corretas e na identificação de coeficientes de interação não linear em regimes que variam de determinísticos a fortemente estocásticos. Os coeficientes aprendidos respeitam restrições físicas intrínsecas, como transferências que conservam energia, através do processo de ajuste fino do FEX.
2. Recuperação de Momentos de Alta Ordem: Ao desacoplar a descoberta determinística da modelagem estocástica, o framework prevê com sucesso momentos estatísticos até a ordem cinco, capturando comportamentos turbulentos essenciais que métodos de baixa ordem perdem.
3. Generalização Fora do Domínio de Treinamento: Sob suposições de ruído constante, os modelos generativos do Estágio II aprendem a distribuição de resíduos, permitindo a reamostragem de trajetórias além do regime de treinamento e melhorando a estimativa de longo prazo de momentos de alta ordem.
4. Consistência Teórica: O artigo fornece análise teórica estabelecendo a consistência do estimador simbólico e quantificando erros de estimativa em termos de tamanho de dados e discretização numérica, dependendo de suposições de ergodicidade e expansões de Itô–Taylor.

Resultados Numéricos
O framework foi avaliado no modelo de tríade estocástica, um sistema tridimensional representando uma truncagem de Galerkin de sistemas não lineares, em cinco regimes distintos:

• Regimes Testados: Equipartição (próximo a gaussiano), Cascata de Energia Direta, Cascata de Energia Dupla, Forçamento Periódico e Forçamento Aleatório.
• Descoberta Simbólica: O FEX recuperou com precisão as equações governantes, incluindo termos de interação não linear e expressões de forçamento complexas (por exemplo, formas senoidais e exponenciais), em todos os regimes. Em contraste, o SINDy Fraco frequentemente aproximou termos de forçamento polinomialmente e falhou em identificar corretamente termos de interação sob forte influência estocástica.
• Tolerância a Ruído: O FEX manteve recuperação precisa de coeficientes (erros entre $10^{-6}$ e $10^{-2}$) mesmo à medida que os níveis de ruído aumentaram de regimes determinísticos para fortemente estocásticos.
• Eficiência de Dados: O aumento do tamanho da amostra melhorou a estimativa de coeficientes, com ganhos significativos observados entre 1.000 e 4.000 amostras, embora retornos decrescentes ocorressem além desse limiar devido à variabilidade estocástica inerente.
• Previsão de Momentos: Todos os três modelos generativos (TFDM, SRAN, VAE) capturaram comportamentos qualitativos. O SRAN mostrou o acordo mais próximo com a verdade fundamental para momentos de ordem inferior, enquanto o TFDM mostrou apenas desvios menores. O framework previu com sucesso momentos de quarta e quinta ordem, embora a precisão tenha diminuído no regime de cascata aleatória, onde o forçamento estocástico dependente do tempo forte tornou a recuperação mais desafiadora.
• Dependência Temporal: Uma comparação entre estratégias de modelagem independente e dependente do tempo para o TFDM revelou um compromisso: a modelagem dependente do tempo capturou melhor a covariância oscilatória de curto prazo, mas tornou-se instável para horizontes de longo prazo ($T > 10$), enquanto a modelagem independente do tempo ofereceu trajetórias de longo prazo mais suaves e estáveis, ao custo de viés sistemático.

Significado e Alegações
O artigo alega que integrar descoberta simbólica interpretável (FEX) com modelagem estocástica baseada em dados (modelos generativos) oferece uma solução robusta para sistemas turbulentos complexos. O significado reside na capacidade de:

• Recuperar expressões de forma fechada para interações não lineares e forçamento externo sem bibliotecas pré-definidas, preservando leis de conservação físicas.
• Caracterizar com precisão quantidades estatísticas de alta ordem (até a ordem cinco) que são críticas para entender comportamentos turbulentos, mas difíceis de capturar com métodos padrão baseados em dados.
• Fornecer um framework teórico consistente onde o estimador simbólico é provado ser consistente sob suposições de ergodicidade.
• Demonstrar que essa abordagem em dois estágios permanece eficaz mesmo em configurações desafiadoras com múltiplas fontes de estocasticidade, como regimes de cascata aleatória, destacando sua aplicabilidade potencial a sistemas estocásticos complexos onde métodos tradicionais falham em capturar dinâmicas de alta ordem essenciais.

Os autores observam que, embora o framework seja eficaz, o custo computacional do TFDM escala com o número de passos de tempo e o volume de dados, e trabalho futuro é necessário para desenvolver implementações mais escaláveis e estender o método para efeitos estocásticos acoplados multiescala e EDPs estocásticas.