The finite expression method for turbulent dynamics with high-order moment recovery

Riepilogo Tecnico: Il Metodo delle Espressioni Finite per la Dinamica Turbolenta con Recupero di Momenti di Ordine Superiore

Enunciazione del Problema
I sistemi dinamici turbolenti sono caratterizzati da forti interazioni non lineari, instabilità intrinseche ed effetti stocastici che generano quantità statistiche accoppiate, in particolare momenti di ordine superiore non nulli. La modellazione di tali sistemi è complessa a causa di errori di modello imperfetti, scale non risolte e dati osservativi limitati. Sebbene i recenti metodi basati sui dati abbiano dimostrato successo nell'apprendimento di dinamiche locali o a breve termine, spesso si affidano a rappresentazioni statistiche di basso ordine (ad esempio, media e varianza) che sono insufficienti per catturare i comportamenti essenziali della dinamica turbolenta. Inoltre, i metodi esistenti di scoperta simbolica, come l'Identificazione Sparsa di Sistemi Dinamici Non Lineari (SINDy) e le sue varianti, dipendono da librerie di funzioni predefinite. Questa limitazione ne riduce la capacità di rappresentare espressioni di forzatura complesse che esulano dalla base scelta e spesso porta a violazioni delle leggi di conservazione sottostanti (ad esempio, scambi che conservano l'energia) quando si stimano i coefficienti in ambienti altamente stocastici. Il problema centrale affrontato è il recupero accurato sia delle dinamiche governative deterministiche (compresi le interazioni non lineari e la forzatura esterna) sia dei componenti stocastici necessari per riprodurre momenti statistici di ordine superiore fino al quinto ordine.

Metodologia
Gli autori propongono un framework di modellazione basato sui dati in due stadi che integra la regressione simbolica con modelli generativi per identificare congiuntamente le dinamiche governative e prevedere quantità statistiche chiave.

• Stadio I: Scoperta delle Dinamiche Deterministiche tramite il Metodo delle Espressioni Finite (FEX)
  Il primo stadio impiega il Metodo delle Espressioni Finite (FEX) per scoprire espressioni in forma chiusa per il componente deterministico della dinamica, indicato come $C(u, t)$. A differenza dei metodi basati su librerie, il FEX rappresenta le espressioni candidate come alberi binari costruiti a partire da un insieme finito di operatori unari e binari elementari (ad esempio, $\sin, \exp, +, \times$). Ciò consente composizioni gerarchiche che catturano forme funzionali nidificate oltre l'intervallo lineare di funzioni di base predefinite.

  • Meccanismo di Ricerca: Il metodo utilizza un framework di ottimizzazione misto discreto-continuo. Un controllore di rete neurale genera sequenze di operatori candidate (ricerca discreta), mentre un ottimizzatore basato sul gradiente affina i parametri continui (scala e bias) per una sequenza fissa.
  • Obiettivo: L'obiettivo è minimizzare la perdita empirica tra gli incrementi temporali previsti e i dati osservati, recuperando efficacemente termini di interazione non lineari e forzatura esterna senza librerie predefinite.
  • Apprendimento Componente per Componente: Per migliorare la scalabilità, il framework apprende la rappresentazione simbolica per ogni componente dello stato separatamente prima di assemblare il modello vettoriale completo.

• Stadio II: Correzione dell'Errore Stocastico tramite Modelli Generativi
  Poiché il FEX modella solo il componente deterministico, viene introdotto un secondo stadio per modellare i componenti stocastici residui, che includono incrementi stocastici non modellati ed errori di modello derivanti dalla stima dei coefficienti.

  • Definizione del Residuo: Il residuo $R_n$ è definito come la differenza tra l'evoluzione dello stato osservata e la previsione del modello FEX dello Stadio I: $R_n = u(t_{n+1}) - u(t_n) - h C^*(u(t_n))$.
  • Modelli Generativi: Tre modelli generativi rappresentativi sono impiegati per apprendere la distribuzione di questi residui:
    1. Modello Diffusivo Senza Addestramento (TFDM): Formula il processo stocastico tramite equazioni differenziali stocastiche (SDE) forward e reverse, approssimando numericamente la funzione di punteggio senza un addestramento esplicito di una rete di punteggio nel senso tradizionale, sebbene una rete venga addestrata per mappare il rumore gaussiano alla distribuzione dei residui.
    2. Rete di Attivazione del Residuo Stocastico (SRAN): Una rete leggera che mappa il rumore gaussiano sui residui stocastici, regolarizzata per corrispondere alle statistiche del secondo ordine (covarianza) dei residui.
    3. Variational Autoencoder (VAE): Utilizza un framework a variabili latenti con codifica e decodifica probabilistiche per catturare la struttura stocastica.
  • Inferenza: Durante l'inferenza, le dinamiche simboliche apprese (Stadio I) e il modello generativo (Stadio II) sono combinati per produrre traiettorie stimate complete, consentendo il recupero fedele di momenti di ordine superiore che coinvolgono distribuzioni altamente non gaussiane.

Contributi Chiave

1. Scoperta Simbolica Accurata con Dati Limitati: Il framework dimostra un'abilità uniformemente elevata nel recuperare formule di espressione deterministiche corrette e nell'identificare coefficienti di interazione non lineari attraverso regimi che vanno dal deterministico al fortemente stocastico. I coefficienti appresi rispettano vincoli fisici intrinseci, come i trasferimenti che conservano l'energia, attraverso il processo di affinamento del FEX.
2. Recupero di Momenti di Ordine Superiore: Disaccoppiando la scoperta deterministica dalla modellazione stocastica, il framework prevede con successo momenti statistici fino al quinto ordine, catturando comportamenti turbolenti essenziali che i metodi di basso ordine trascurano.
3. Generalizzazione Fuori dal Dominio di Addestramento: Sotto ipotesi di rumore costante, i modelli generativi dello Stadio II apprendono la distribuzione dei residui, consentendo il ricampionamento delle traiettorie oltre il regime di addestramento e migliorando la stima a lungo termine dei momenti di ordine superiore.
4. Coerenza Teorica: Il documento fornisce un'analisi teorica che stabilisce la coerenza dello stimatore simbolico e quantifica gli errori di stima in termini di dimensione dei dati e discretizzazione numerica, basandosi su ipotesi di ergodicità ed espansioni di Itô–Taylor.

Risultati Numerici
Il framework è stato valutato sul modello stocastico a triade, un sistema tridimensionale che rappresenta una troncatura di Galerkin di sistemi non lineari, attraverso cinque regimi distinti:

• Regimi Testati: Equipartizione (quasi-gaussiano), Cascata Energetica Diretta, Cascata Energetica Doppia, Forzatura Periodica e Forzatura Casuale.
• Scoperta Simbolica: Il FEX ha recuperato con precisione le equazioni governative, inclusi termini di interazione non lineari ed espressioni di forzatura complesse (ad esempio, forme sinusoidali ed esponenziali), in tutti i regimi. Al contrario, il Weak SINDy ha spesso approssimato i termini di forzatura in modo polinomiale e non è riuscito a identificare correttamente i termini di interazione sotto forte influenza stocastica.
• Tolleranza al Rumore: Il FEX ha mantenuto un recupero accurato dei coefficienti (errori compresi tra $10^{-6}$ e $10^{-2}$) anche all'aumentare dei livelli di rumore, dai regimi deterministici a quelli fortemente stocastici.
• Efficienza dei Dati: L'aumento della dimensione del campione ha migliorato la stima dei coefficienti, con guadagni significativi osservati tra 1.000 e 4.000 campioni, sebbene si siano verificati rendimenti decrescenti oltre questa soglia a causa della variabilità stocastica intrinseca.
• Previsione dei Momenti: Tutti e tre i modelli generativi (TFDM, SRAN, VAE) hanno catturato comportamenti qualitativi. La SRAN ha mostrato il accordo più stretto con la verità fondamentale per i momenti di ordine inferiore, mentre il TFDM ha mostrato solo deviazioni minori. Il framework ha previsto con successo momenti del quarto e quinto ordine, sebbene l'accuratezza sia diminuita nel regime di cascata casuale, dove una forzatura stocastica fortemente dipendente dal tempo ha reso il recupero più impegnativo.
• Dipendenza dal Tempo: Un confronto tra strategie di modellazione indipendente e dipendente dal tempo per il TFDM ha rivelato un compromesso: la modellazione dipendente dal tempo ha catturato meglio la covarianza oscillatoria a breve termine ma è diventata instabile per orizzonti temporali lunghi ($T > 10$), mentre la modellazione indipendente dal tempo ha offerto traiettorie a lungo termine più lisce e stabili a scapito di un bias sistematico.

Significato e Affermazioni
Il documento afferma che l'integrazione della scoperta simbolica interpretabile (FEX) con la modellazione stocastica basata sui dati (modelli generativi) offre una soluzione robusta per sistemi turbolenti complessi. Il significato risiede nella capacità di:

• Recuperare espressioni in forma chiusa per interazioni non lineari e forzatura esterna senza librerie predefinite, preservando le leggi di conservazione fisiche.
• Caratterizzare con precisione quantità statistiche di ordine superiore (fino al quinto ordine) che sono critiche per la comprensione dei comportamenti turbolenti ma difficili da catturare con i metodi standard basati sui dati.
• Fornire un framework teorico coerente in cui lo stimatore simbolico è dimostrato essere coerente sotto ipotesi di ergodicità.
• Dimostrare che questo approccio in due stadi rimane efficace anche in contesti impegnativi con molteplici fonti di stocasticità, come i regimi di cascata casuale, evidenziando la sua potenziale applicabilità a sistemi stocastici complessi in cui i metodi tradizionali non riescono a catturare le dinamiche di ordine superiore essenziali.

Gli autori notano che, sebbene il framework sia efficace, il costo computazionale del TFDM scala con il numero di passi temporali e il volume dei dati, e sono necessari lavori futuri per sviluppare implementazioni più scalabili ed estendere il metodo a effetti stocastici accoppiati multiscala e a equazioni differenziali alle derivate parziali stocastiche.