Stochastic and Non-local Closure Modeling for Nonlinear Dynamical Systems via Latent Score-based Generative Models

Resumo Técnico: Modelagem de Fechamento Estocástico e Não Local via Modelos Generativos de Pontuação Baseados em Espaço Latente

Definição do Problema
A mecânica computacional lida frequentemente com sistemas dinâmicos não lineares complexos, como fluxos turbulentos, onde resolver explicitamente todas as escalas relevantes é computacionalmente proibitivo. As abordagens clássicas de modelagem de fechamento (ex: RANS, LES) baseiam-se em suposições determinísticas e locais para aproximar fenômenos de subgrade. No entanto, essas suposições são frequentemente excessivamente restritivas para sistemas que carecem de uma separação clara de escalas, falhando em capturar incertezas, transições de regime e correlações espaciais não locais. Embora avanços recentes em IA generativa, especificamente modelos de difusão, ofereçam um framework promissor para a modelagem de fechamento estocástica e não local ao tratar termos de fechamento como objetos aleatórios, sua aplicação prática é limitada pelos custos proibitivos de inferência computacional. Modelos de difusão padrão exigem centenas a milhares de avaliações de rede por passo de tempo, tornando-os inviáveis para integração em simulações numéricas onde os termos de fechamento devem ser avaliados em cada passo.

Metodologia
Os autores propõem um framework de Modelo de Difusão Condicional Latente (L-CDM) para abordar o compromisso entre eficiência computacional e precisão generativa. A metodologia consiste em três componentes principais:

1. Formulação de Espaço Latente: O framework emprega autoencoders convolucionais para comprimir campos físicos de alta dimensão (o estado do sistema $V$ e o termo de fechamento $U$) em representações latentes de baixa dimensão ($z_V$ e $z_U$). Essa redução de dimensionalidade é crítica para reduzir o custo computacional do processo de amostragem reversa.
2. Modelagem Não Local: Para capturar dependências espaciais de longo alcance inerentes a sistemas complexos, a função de pontuação (score function) $s_\theta$ no espaço latente é construída utilizando um Operador Neural de Fourier (FNO). O FNO realiza convoluções aprendidas no domínio de Fourier, garantindo campos receptivos globais. Adicionalmente, a arquitetura do autoencoder incorpora camadas hierárquicas profundas e módulos de autoatenção explícitos para modelar ainda mais as interações não locais.
3. Estratégia de Treinamento Conjunto: Uma inovação metodológica chave é a mudança do convencional pipeline de treinamento em duas fases (treinar autoencoders e modelos de difusão separadamente) para um esquema de otimização conjunta end-to-end.
   • Abordagem Convencional: Os autoencoders são treinados unicamente para minimizar o erro de reconstrução, o que frequentemente resulta em um espaço latente difícil de ser amostrado de forma eficaz pelos modelos de difusão.
   • Abordagem Proposta: O autoencoder e o modelo de difusão latente são treinados simultaneamente usando uma função de perda composta: $L_{joint} = L_{AE} + \lambda_{score} L_{score} + \lambda_{KL} L_{KL}$.
     • $L_{AE}$ garante a reconstrução fiel dos campos físicos.
     • $L_{score}$ treina o modelo de difusão para corresponder à distribuição condicional $p(z_U | z_V)$.
     • $L_{KL}$ (divergência de Kullback-Leibler) atua como um regularizador para prevenir o colapso do espaço latente, garantindo que a distribuição latente permaneça suficientemente estocástica e não degenerada.

O processo de amostragem utiliza um esquema de passo de tempo adaptativo (integração Euler-Maruyama) para acelerar ainda mais o processo de difusão reversa dentro do espaço latente.

Principais Contribuições

• Framework de Difusão Latente: O artigo introduz um framework de modelagem de fechamento estocástico que mapeia campos de alta dimensão para um manifold latente, realizando amostragem de Langevin condicional ali para alcançar uma inferência ordens de magnitude mais rápida do que os modelos de difusão no espaço físico.
• Otimização Conjunta: Os autores demonstram que o pipeline de treinamento padrão de duas fases compromete a precisão da geração do termo de fechamento. Eles propõem um esquema de treinamento conjunto que harmoniza os objetivos de reconstrução e de correspondência de pontuação (score-matching), melhorando significativamente a precisão generativa enquanto mantém a eficiência da amostragem no espaço latente.
• Modelagem Estocástica Não Local: Ao integrar FNOs e mecanismos de atenção dentro de uma arquitetícia de difusão latente, o framework captura efetivamente dependências espaciais não locais e comportamentos estocásticos que modelos locais determinísticos perdem.

Resultados Numéricos
O framework foi avaliado em um fluxo de Kolmogorov bidimensional governado pelas equações de Navier-Stokes estocásticas, onde o objetivo era modelar o termo de convecção não linear estocástico desconhecido.

• Precisão vs. Eficiência:
  • Baseline no Espaço Físico (P-CDM): Alcançou alta precisão, mas exigiu ~2,64 segundos para gerar 1.000 amostras.
  • Modelo Latente de Duas Fases: Alcançou um aumento de velocidade de 5,5× (~0,48 segundos), mas sofreu uma degradação significativa de precisão (maiores erros de MSE e de norma de Frobenius relativa) em comparação com o baseline no espaço físico.
  • Modelo Latente Treinado Conjuntamente (Joint L-CDM): Alcançou um aumento de velocidade de 5,4× (0,49 segundos) enquanto mantinha uma precisão preditiva comparável ao baseline no espaço físico. O treinamento conjunto corrigiu a divergência de distribuição observada na abordagem de duas fases.
• Simulações de Ensemble: Quando integrado em solvers numéricos para simulações de 20 segundos, o Joint L-CDM permitiu a geração de ensembles com uma aceleração computacional de ~10× em relação ao P-CDM (1.236s vs. 8.652s), mantendo erros relativos abaixo de 10% para as simulações de ensemble.
• Quantificação de Incerteza: O modelo reproduziu com sucesso não apenas a média da dinâmica resolvida, mas também a estrutura espacial e a magnitude da incerteza intrínseca (desvio padrão) do termo de fechamento, superando abordagens determinísticas e o modelo latente de duas fases na captura da variância física.
• Análise Espectral: A análise do espectro de energia mostrou que o Joint L-CDM correspondeu de perto ao ground truth até números de onda da ordem de $10^2$, preservando a característica de cascata de enstrofia direta da turbulência 2D.

Significância e Alegações
O artigo afirma que este trabalho preenche a lacuna entre a expressividade representacional da IA generativa e a viabilidade computacional necessária para a computação científica prática. Ao otimizar conjuntamente a representação latente e o modelo generativo, os autores demonstram que é possível alcançar uma aceleração computacional de ordens de magnitude na modelagem de fechamento estocástico sem sacrificar a precisão preditiva. Isso torna a quantificação de incerteza baseada em ensembles de grande escala, de forma prática, viável para sistemas dinâmicos complexos onde era anteriormente proibitivamente caro. Os autores observam que, embora o framework seja arquiteturalmente extensível para sistemas 3D, o principal desafio permanece o custo computacional de dados 3D de alta fidelidade, o que reforça a necessidade da abordagem de espaço latente. Eles também reconhecem que a sensibilidade a dados fora da distribuição (ex: eventos extremos) continua sendo uma área para investigação futura.